最早的園主人為當地望族趙氏家族,園名為“因而園”。清代道光年間,趙氏漸衰,該園被轉售給羅氏,園名也改稱為“羅氏園”。光緒初年,“羅氏園”為
浙江一知縣許威所有,又易園名為“頤園”。民國初年,許家敗落。到了1937年,頤園又為金山人“南社”社員高君藩所得。頤園占地兩畝多,北部布局以水、石取勝。有一清池,水質清冽,上架石橋。池
東北隅,繞以舫榭回廊。池之西岸有
黃石疊山,呈懸岸狀,凌空于池。登山之巔,見石峰隱然,古木參天。沿石階而下,進入約3米見方的一洞室。洞壁間有小孔,影影綽綽。出洞門,便進入一個庭院。左邊有小齋,是讀書處。右折東游便進入畫舫之中。園南有樓臺相望,下廳上室,是起居之處。南面之樓,小巧精致。相傳此樓曾作演戲之所。樓上北廊10扇長窗,可隨意裝卸,卸去窗即成寬4米有余的臺幕。此樓不演戲時,可作書房、臥室。