Nun edificio anterior que deu orixe a este, hai historiados que sosteñen que aquí se asentaba a sinagoga xudea na Idade Media; un dos motivos sería a súa proximidade ao "Lampán ou Campa dos Xudeos", o cemiterio medieval xudeo (ver recensión: “Lampán dos Xudeos”). Máis recentemente, no século XVIII, este edificio foi o palacio dos Arias Teixeiro e conserva na súa fachada un escudo heráldico do século XVI coas liñaxes: Castro, Pereira, Ulloa, Ozores, Camba e Soutomaior, pertencente á casa de Setados. Desde hai décadas instaláronse neste edificio as Nais Doroteas e oito anos despois do milagre de Fátima, ocorrido en Portugal o 13 de outubro de 1917, a Virxe María, co Neno Xesús, volvéronselle a aparecer a Sor Lucía, ó Lucía de Xesús Rosa dos Santos (1907-2005), última sobrevivente do milagre de Fátima, cando era novicia, con dezaoito anos, nesta casa de Pontevedra, ao amparo das Nais Doroteas, en 1925. Por iso está considerado o terceiro santuario mariano despois de Lourdes e de Fátima, concedido polo papa Xoán Paulo II no 75º aniversario da aparición da Virxe e o Neno a Sor Lucía en Pontevedra.