原名寶晉齋，為北宋著名書畫家米芾知無為軍時所建。米公祠歷經兵火，曾于明、清兩次重修。

祠內書藏晉唐以來歷代名家碑刻150多方，于60年代被嵌于館內走廊上，既珍藏了文化遺產，又豐富了游覽和觀賞米公祠的景致。祠內墨池、投硯亭、拜石等著名景觀，訴說著一頁頁米芾刻苦習書、恃才傲物的傳奇典故，意味雋永綿長。