孤山景色早在唐宋就已闻名。唐代有孤山寺，南宋时建有西太乙宫、四圣延祥观，清代曾在此建行宫，康熙、乾隆南巡时都在这里住过。雍正时（1727年）改为圣因寺，与灵隐、昭庆、净慈三寺合称西湖四大丛林。1927年，为纪念孙中山先生，原行宫的一部分建为中山公园（文澜阁、浙江省博物馆、浙江图书馆等处都是行宫旧址）。公园大门内正对的石壁上刻有两个笔力雄健的大字“孤山”，相传是宋人手迹。