清真寺坐落在大東門立志巷。北臨壽春路，南接淮河路，與明教寺咫尺相望，是穆斯林傳授宗教知識和聚會禮拜之所。唐武德始興，元代以后信奉伊斯蘭教日多，建寺之風日盛。

合肥縣志云：沙氏宗譜亦云先祖哈吉公欽天監于明永樂年間始來合肥住南油坊巷。建有丁家巷清真寺，后遭戰火，至建國時已殘陋不堪。于1956年在大東門立志巷征地二畝多建月牙樓清真寺，規模西化，造型完美，寺內遍植奇花異草，四季吐芳，是當時廬州一處景點，不幸于“文革”時破壞殆盡。三中全會以后得以恢復并增建綜合樓一幢，設施完備，規模可觀。

建國前夕合肥市僅有穆斯林700余人，以柏沙二氏為主體，陶、米二氏以聯姻關系構成柏、米、陶、沙四大姓氏，現合肥穆斯林已增加到15000人左右。寺內現任哈吉阿訇許治海系阿訇世家，任省人大八、九兩屆常委會委員，省伊斯蘭教協會副主任等，是一位與時俱進的阿訇。