舊上海市圖書館位于黑山路181號(hào)，采用的是現(xiàn)代建筑與中國建筑之混合式樣。處于行政中心南北主軸線上位于府前右路與府南有路之間，座西向東，與博物館相對(duì)。平面為“工”字型，前部?jī)啥藱M展向前突出，與午門相似。總面積3，470平方米，而且還為將來留有擴(kuò)建余地，容量可增加一倍。

圖書館中央正面設(shè)計(jì)了門樓，屋脊最高處約25米。一層中央為入口大廳，依次是報(bào)紙閱覽室，書庫，左翼為辦公室，右翼為兒童圖書室，演講廳。二層為閱覽室、借書室和目錄室。左右翼為研究室和特別閱覽室。二層中央前部上有夾層，為儲(chǔ)藏室，由此可通過露天階梯登門樓。圖書館在設(shè)計(jì)上防傳統(tǒng)門樓，在平頂?shù)膬蓪咏ㄖ希O(shè)置“中國固有形式”的重檐歇山門樓。左右對(duì)稱，具有新古典主義縱橫三段式構(gòu)圖的特征。室內(nèi)采取紅柱、彩畫的傳統(tǒng)風(fēng)格。

舊上海市立圖書館是區(qū)級(jí)文物保護(hù)單位文物保護(hù)單位。2014列為市級(jí)文物保護(hù)單位文物保護(hù)單位。