伝承によれば、古代に南海の大魚を退治しに向かった讃留霊王ら88人の兵士が大魚に船を呑まれて倒れたとき、横潮明神が金山の麓にある泉の水を持ってあらわれ、その水を兵士に飲ませた。すると、全員が命を吹き返して助かったという。それからこの泉は「八十場（やそば）の霊水」と呼ばれるようになったという。（弥蘇波から転じたとの説もある） その後、寺伝によると、天平年間に行基は、カナヤマビメカナヤマビコが鎮座する金山に薬師如来を本尊とした堂宇を開創した[3]。さらに後、空海（弘法大師）が八十場の泉を訪れたとき、金山権現の化身である天童が現れ閼伽井を汲み大師に給仕し、この山の仏法を守るようにと宝珠を預けた。大師はこの宝珠を嶺に埋め、荒廃していた堂舎を再興し、その寺を摩尼珠院妙成就寺（まにしゅいん みょうじょうじゅじ）と号した[4]。 また大師は、その霊域にあった霊木で本尊十一面観音、脇侍阿弥陀如来、愛染明王の三尊像を刻造して安置した。そして、金山ノ薬師は札所[5]となり、それらの霊験著しく七堂伽藍が整い境内は僧坊を二十余宇も構えるほど隆盛した。 時代は下って、崇徳上皇は、保元の乱（1156年）で敗れ讃岐国に配流となり、最初の約3年は雲井御所で過ごし、その後、情勢の変化により厳しく管理するため当所に移され[6]約6年余り幽閉され長寛2年（1164年）旧暦8月26日に崩御した。上皇の亡骸の処遇について京から返事の使者を待つあいだ、金棺を冷たい八十場霊泉に浸し、清水をかけ続けたところ、21日間過ぎたのちも上皇の顔はまるで生きているごとくだったという。その間、霊泉から東へ約200ｍの所にあった上皇の御所の辺りから毎夜神光が放たれ森が光ったという[7]。やがて返事が届いて上皇は白峯山に葬送され旧暦9月18日山上で荼毘に付された。そして、二条天皇は、崩御の地に一堂を設けるよう沙汰を下しており[8]、上皇が最期に住んだ終焉の地であり神光が光った上皇の魂が宿る御所跡である当所に、霊を鎮めるためその年の内に御廟が建てられた。また、寛元2年（1244年）後嵯峨天皇の宣旨により崇徳天皇社は再建され、摩尼珠院はその別当職に任じられ崇徳院永代供養の寺という役割を担わされた。そして、いつの頃か札所は金山ノ薬師から崇徳天皇社とその別当摩尼珠院となった。ゆえに人はみな摩尼珠院は「天皇寺」と呼び、崇徳天皇社は「天皇さん」と親しまれるようになった。また、このあたりを「天皇」という地名で呼ぶようになったが、恐れ多いので「八十場の霊水」から名をとり、現在は「八十場」と呼んでいる。江戸時代末期の納経帳には「奉納経 本尊十一面観音 崇徳院御鎮座所 讃州 摩尼珠院」と版木押しに十六八重菊の御紋の朱印がされている。 明治維新直前、明治天皇の宣旨により崇徳院御霊は京都白峯宮へ戻され、崇徳天皇社は崇徳上皇を祀ることを廃止し白峰宮と改名された。さらに、明治初年の神仏分離令により、神社境内にある寺院は移転か廃寺を迫るものであり、さらに寺請制度の寺院に新政府は厳しく、摩尼珠院は廃寺となった。ただ、初代神官には摩尼珠院主が赴任し、79番札所は筆頭末寺の奇香山仏乗寺高照院（約2km北の林田町にあった）が引き継ぐことになった。その後、神仏分離令の嵐がおさまった明治20年（1887年）高照院は、摩尼珠院跡の現在地に天皇寺高照院として移転した。