建廟以前這里稱“黑紺嶺”。唐貞觀十四年（640年），候君集平定高昌時，行軍副總管左屯衛將軍、姜行本曾在此制作攻城器械，事華立記功碑于天山之嶺。元、明時期稱“闊石圖”嶺（蒙語：碑嶺）。

現在的天山廟，僅存有三間磚木結構的空殿和一塊斷碑。遂使今人有“破廟殘碑映雪寒”之感嘆。天山路蜿蜒曲折凡三十六盤，道旁山高林密，鷹囀鹿鳴。順盤山彎道，登上天山廟山頂，豁然天開，俯瞰山下，只見林海莽莽，雪光瑩瑩，一會兒朗月當空，一會兒云遮霧罩，一會兒大雪紛飛。游人旅客多駐足于此，領略一番大自然的奇妙景色。

現哈密市在天山廟立有班超像一尊，廟旁有一小屋，屋內藏漢、唐和清的碑刻，而唐的姜行本碑就是其中之一。2000年經當地政府批準拆除原有的天山廟，恢復修建新的天山廟，并修建觀景亭一個；2002年又投資擴建、景區護欄、步行道、環保廁所、景區標示牌等設施。

天山廟位于哈密北部天山頂，因清乾隆五十一年（公元1786年）在天山頂部修建關帝廟而得名。天山公路由此分道，急轉直下，南去是南山口，北去是口門子。這里海撥2700多米，云巔鳥道，自古以來是東部天山南陽北陰的必經之路。