桑噶方托寺在洛扎縣境，由西藏著名苦行僧米拉日巴于北宋熙寧十年（107年）修建。據載，起初其師馬爾巴要他修建三角形的房屋，修了大半，令其拆掉。繼又要他修建半圓形的房屋，當快要完工的時候，馬爾巴又令其拆除。幾經拆修，最后建成現存碉樓式的樓房。原高9層，現存7層。

后來米拉日巴的門徒眾多，逐步形成了遍布全藏的噶舉教派，桑噶方托寺也建成了一座頗具規模的大寺。寺里藏有古本手抄經卷，頗為珍貴。