宮城県神社庁の説：以下は、宮城県神社庁による当社の歴史である、当地の伝説では、当初は第2代天皇の綏靖天皇を祀っていたとされ、神社として創建されたと考えられる。その後、白鳳8年（679年[4]）に、役小角が大和国（現奈良県）の吉野山から蔵王権現を現在の不忘山に奉還して周辺の奥羽山脈を含めて修験道の修行の場とし、「蔵王山」と呼んだ。すると当社はいつしか「蔵王大権現」と呼ばれるようになった。平安時代後期の前九年の役の頃になると、安倍氏が当社を氏神と見なして神殿の改築したという。戦国時代になると、当地は出羽国（山形県側）に本拠を置く勢力の下に入り、当社は甘糟氏が管理したとされる。当地が伊達氏の勢力下に入ると、当社を守護神と見なして片倉小十郎に管理させ、伊勢神宮に倣って21年毎の改築（遷宮）を始めた。伊達政宗が仙台藩をたてると、仙台城の鬼門（北東）除けを金華山（黄金山神社）、病門（南西）除けを当社と見なして重要視するようになる。明治維新で神仏分離が行われると明治5年（1872年）4月に「水分神社」と改称するが、明治8年（1875年）には「刈田嶺神社」に改称して郷社となった。

蔵王町の説：以下は、蔵王町による当社の歴史である、平安時代に修験道開祖の役小角の叔父にあたる願行が、吉野山の金峯山寺蔵王堂から当地の奥羽山脈の山頂に蔵王大権現を分祀し、青麻山東麓に僧坊を構えて修験道の修行を行った。そのため、修行の場となった当地の奥羽山脈は「蔵王山」と呼ばれるようになった。僧坊には修験者が集まって拡大し、願行の死後には僧坊跡地に「願行寺」を建て、「願行寺四十八坊」と呼ばれる修験道の大寺院となった。平安時代末期（12世紀末）には奥州藤原氏の庇護も受けたが、奥州藤原氏が滅亡すると衰退が始まり、戦国時代には兵火による焼失も加わって戦国末期（16世紀後期）には3坊まで減少してしまった。存続した3坊の1つに、住職がいない小寺院「嶽之坊」（だけのぼう）があった。同寺は遠刈田温泉に所在し、江戸時代になると「金峯山蔵王寺嶽之坊」（きんぷせんざおうじだけのぼう）と号する真言宗の寺院となる。さらに、山頂の「蔵王大権現社」、および、遠刈田温泉から蔵王大権現社への参詣路「蔵王参詣表口」（ざおうさんけいおもてぐち）の管理も行った。江戸時代後期（18世紀末）になると、お蔭参りに代表されるような庶民の旅行が盛んになり、「蔵王大権現社」への参詣もにぎわった。すると同社と参詣路を管理する嶽之坊には住職が常在するようになった。また、山頂の「蔵王大権現社」へ冬季に積雪のために参詣出来ない不便を解消するため、冬季に麓の嶽之坊にある「蔵王大権現御旅宮」（おかりのみや）に季節遷座をするようになった。明治維新で神仏分離が行われると、吉野では「蔵王権現」を神号とし、従前の僧侶が神官となった。これに従って当地でも明治2年（1869年）7月に「蔵王大権現」を「蔵王大神」へと改号。さらに同年9月、「蔵王大神」とは「天水分神および国水分神」の2柱であるとの解釈から、社号を「水分神社」（みくまりじんじゃ）に改称した。なお、この時期に修験道の「蔵王大権現」を管理していた真言宗の嶽之坊は、神道の神社となった当社と合一したと見られる。明治8年（1875年）に「水分神社」は「刈田嶺神社」へ改称した。