紹興四年(1134年)九月，李清照避難金華，投奔當時在婺州任太守的趙明誠之妹婿李擢，卜居酒坊巷陳氏第。在金華期間，李清照還曾作《武陵春》詞，感嘆輾轉漂泊、無家可歸的悲慘身世，表達對國破家亡和嫠婦生活的愁苦。又作《題八詠樓》詩，悲宋室之不振，慨江山之難守，其“江山留與后人愁”之句，堪稱千古絕唱。
此樓系南朝齊隆昌元年（494），東陽郡太守、著名史學家和文學家沈約建造。峻工后沈約曾多次登樓賦詩，寫下了不少膾炙人口的詩篇，其中有一首《登元暢樓》云：“危峰帶北阜，高頂出南岑。中有凌風謝，回望川之陰。岸險每增減，湍平互淺深。水流本三派，臺高乃四臨。上有離群客，客有慕歸心。落暉映長浦，煥景燭中潯。云生嶺作黑，日下溪半陰。信美非吾土，何事不抽簪。”并在此基礎上又增寫了八首詩歌，稱為《八詠》詩，是當時文壇上的長篇杰作，傳為絕唱，故從唐代起，遂以詩名改元暢樓為八詠樓。北宋至道年間定今名。南宋淳熙十四年（1187）擴建，將沈約的八詠詩勒于石碑。元皇慶年間（1312一1313）樓毀于火，碑亦不存。明洪武五年（1372）重造寶婪觀，八詠樓廢址建玉皇閣，后玉皇閣毀。萬歷年間（1573一1620）重建八詠樓?，F(xiàn)存八詠樓為清嘉慶年間（1796一1820）重建，1984年大修。