位于端州區寶月臺，該地為肇慶八景之一的“寶月荷香”。早在宋代，任端州知郡事的包拯便在這里建立星巖書院，漢謀圖書館的前身就是星巖書院的“眾綠廳”。

清代時星巖書院改為包公祠，后又改作魁星樓，至民國初因年久失修坍毀。1917年，新加坡華僑陳祝齡捐資重建魁星樓。

1935年，肇慶籍的國民黨高級將領余漢謀捐資改建并贈一批古籍，因此更名為“漢謀圖書館”。該樓高二層，綠琉璃瓦歇山頂，磚木結構，總面積為400平方米，樓四周設有圓柱回廊。該圖書館面對寶月湖，周圍環境清幽，是讀書的好地方。