明代崇禎四年(1631年)由高晉卿等三個(gè)太監(jiān)出資在東磊圍屏山前興建延福觀。從此東磊便成為云臺(tái)山一帶道教的主要基地，三四百年間香火旺盛，甚至連圍屏山也賦予了一個(gè)道教的名稱——鐘鼎，山上所有的景點(diǎn)都染有濃重的道教色彩。

由于延福觀緊靠圍屏山，地勢(shì)險(xiǎn)要，又隱蔽于綠色叢林之中，躲過(guò)了日本飛機(jī)的狂轟濫炸．成為云臺(tái)山中唯一免遭此劫的廟宇。然而“文革”后期拆毀了保存完好的大殿和玉蘭山房，其余設(shè)施也全部流散或破壞，剩余的前山門和西配房年久失修，幾乎坍塌。山門題額為“敕賜護(hù)國(guó)延福觀”，是典型的明代寺觀建筑風(fēng)格。觀前累石起平臺(tái)，東望海天，極目千里。遙想二三百年前山下還是汪洋一片的大海，明月初升，靜影沉璧。那便是云臺(tái)山的一個(gè)名景：平臺(tái)水月。

東院原為玉蘭山房，把古玉蘭樹(shù)圍于院中。陶澍巡視云臺(tái)山時(shí)，對(duì)這里也進(jìn)行過(guò)大修，并題楹聯(lián)一副于玉蘭山房：“奇石似人花下立，仙人如鶴竹間來(lái)”。廟后有溫泉一池，隆冬不冰。周圍石壁上刻著許多前人的題勒，如錢泳的“登山觀海”，無(wú)名氏的“小蓬萊”、“天上人間”，也都各具風(fēng)韻，令人賞心悅目。

延福觀周圍多南方草木，這里的銀杏、格木、黃楊、紫薇等，都是數(shù)百年的古物。它倚圍屏山而建，山勢(shì)列如圍屏，屏上雜花生樹(shù)，芳草如茵。石隙間泉水淙淙跌落崖下，狀如飛雪散珠，叮咚有聲。日久天長(zhǎng)，滴水處形成一個(gè)圓洼，人稱玉女洗頭盆。盆側(cè)石壁上有康熙年間海州司訓(xùn)楊廷鎮(zhèn)的刻詩(shī)一首：“飛流飄灑云山根，泠韻清音聽(tīng)石門。恍如華山來(lái)玉女，觀看珠落洗頭盆。”玉女為道教中的女神，善于彈琴和做游戲，很像西方神話中的藝術(shù)女神。云臺(tái)山有許多關(guān)于玉女的景點(diǎn)，如花果山的玉女峰，宿城的玉女窗等，這都與徐淮地區(qū)為道教的發(fā)源地有關(guān)。