Según la tradición, la Virgen se apareció a un pastorcilla manca que buscaba por los parajes donde se levanta el Santuario una vaca que había perdido.

La Virgen le aseguró a la pastorcilla que por su intersección hallaría al animal, encargándole además que fuese al Castillo de Alpetea que se encontraba al mando del moro Montesinos el cual asolaba aquellas tierras con crueldad. Para convencer al moro, la Virgen le repuso la mano perdida poniendo sobre la misma la señal de la cruz.

Visto el milagro, Montesinos se convirtió al cristianismo, bautizándose en el lugar donde se había producido la aparición mariana.

Nada mejor que seguir a Francisco Núñez en el relato que sobre la aparición y la historia del Santuario hace en el Capítulo 43 de su “Archivo de las cosas notables de esta leal villa de Molina” escrito en el siglo XVI, aunque sufre una confusión al principio, ya que habla de un pastor en lugar de una pastora.

Así dice que: “ La hermita de Nra Señora del Montesino llamada de este nombre según dizen algunos antiguos por un moro llamado Montesinos es la mas antigua de esta tierra de Molina, pues quentan el caso siguiente: que la Ymagen de Nra Señora del Montesino se aparezia a un pastor de buena vida que andaba entre aquellas peñas donde esta aora la hermita buscando una baca y poniéndose en orazion a la Virgen que por su interzesion allase su baca se le aparezio y le aseguro que allaria su baca y que fuese primero al moro Montesinos y se lo llamase para tratar con el lo que mas le combenia y que para que le creyese le sano una mano que tenia manca poniéndole en ella la señal de la cruz y le dijo que se la mostrase al moro. Hizolo asi y venido el moro se combirtio y se hizo baptizar en el mesmo lugar donde allo la Ymagen de Nra Señora y por esso le llamaron Nra Señora e Montesinos. Habitaba antes este moro en el Castillo de Alpera termino del Villar y después de combertido serbia la hermita o Capilla que edifico a Nra Señora. Otros antiguos dizen casi lo mesmo y es que quando esta tierra de Molina era de moros hazia grande daño en la montaña a donde aora esta esta Sancta Hermita de Nra Señora y auiendola cobrado los christianos, este moro según memorias de antiguos se baptizo en ella y de alli le quedo el nombre de Montesinos llamándola Nra Señora del Montesino ”.

También cita la donación que de la Dehesa de Arandilla, junto con la ermita de Montesinos hace el Conde Pedro Manrique al Monasterio de Huerta y de la ubicación de la primitiva ermita, de la que actualmente nada queda, así como la edificación del nuevo Santuario por Diego López de Zúñiga, señor de Cobeta, en el siglo XVI: “ es de las primeras fundaziones que en nra tierra hubo de christianos y pareze bien su antigüedad pues el segundo Señor de Molina llamado el Conde Dn Pedro Manrrique hyjo del fundador de Molina Almerich o Malrrique, hizo donazion a los Padres Bernardos de Huerta de la Dehessa de Arandilla de la Hermita de Nra Señora del Montesino (por zerca del año de 1240) que a la sazon caya en aquel termino porque según relazion verdadera de los antiguos la Sancta Ymagen aparezida que ay en esta hermita se aparezio mas de dos tiros de escopeta de adonde aora esta la hermita a la parte de la Dehessa de Arandilla y alli zerca le hizieron al prinzipio su casa, después en lo antiguo no auia tan estrecha quenta con los mojones de los terminos los extendieron los de Cobeta hasta zerca de la Hermita de Nra Señora y tomaron buena parte de lo que pertenezia a la Dehessa de Arandilla y después estando esta hermita muy deborada y como desierta uno de los esto Señores de Cobeta que creo yo fue el primero que troco a la Villa de Ziruelos por la de Cobeta con las monjas de Buenafuente (este fue Dn Diego Lopez de Zúñiga y la rehedifico año de 1523. Auiala antes rehedificado en el sitio que aora esta su abuelo Dn Iñigo Lopez de. Tomo a su cargo el reparar esta hermita y la hizo en la forma que aora esta y paso a la raya de su tierra de Cobeta; y por este titulo se llaman los Señores de Cobeta patrones y fundadores de esta hermita de Nra Señora “.

Durante este mismo siglo y el siguiente hubo ciertas diferencias sobre la posesión de la ermita entre los señores de Cobeta y los frailes de Huerta, resolviéndose al final a favor de estos últimos, quedando, no obstante, el Señor de Cobeta con el título de Patrón: “ pero todavía los frayles de Huerta pretenden pertenezerles y ser suio y caer en su termino de Arandilla por virtud de la donazion que de ella muestran de el Conde Dn Pedro Manrrique Señor de Molina (en nros tiempos Dn Fr Matheo de Vurgos obispo y Señor de Siguenza dio esta hermita a los Padres de Huerta los quales la posehen y habitan; llebando adelante su posesion de patrones de ella los Señores de Cobeta; pretendiendo siempre los Padres de Huerta pertenezerles esta hermita por donazion que de ella les hizo Dn Pedro Manrrique Segundo Señor de Molina y este año de 1611 Dn Francisco de Zúñiga con poder de su padre Dn Diego de Zúñiga corregidor de Cordoba como Patron de esta hermita llamo a los otros Padres y los presento ante el dho obispo de Siguenza el qual les dio la dha hermita y al dho Señor de Cobeta confirmo en la posesion de Patron y por titulo de Patron le cantan un Annibersario) “.

También nos da cuenta Núñez de la devoción que siempre ha despertado el lugar en los habitantes de la zona, siendo incluso lugar de enterramiento de algún personaje notable, del que no tenemos ninguna noticia hoy en día: “ Ha sido siempre esta hermita muy zelebre y frequentada de mucha gente deuota; y asi pareze lo fue en lo antiguo pues se yban a enterrar en ella personas de quenta, que no ha muchos años que cabando en ella para sacar zierto zimiento se allo un sepulchro notable de piedra labrada a lo antiguo y en el parezia un hombrfe asentado, y no tendido a la larga que debio de ser persona de autoridad y valor por la diferenzia que hizieron en su sepultura “.

Cita el hallazgo cerca de la ermita de una cueva con restos de vasijas, cenizas y algunos esqueletos, dos de ellos de gran tamaño que Núñez atribuye al moro Montesinos: “ zerca de esta hermita entre ella y Aragonzillo andando a caza Gregorio Fernández de Ysla Cura de aquel lugar y Pedro Perdiguero y otros de aquel pueblo acontezio año de 1585 que un podenco entro por un resquizio de una peña y no podiendo salir antes daba aullidos y ladraba mucho adentro y sonaba el ladrido de manera que denotaba auer alli en hueco gran concabidad y por sacar el perro y por curiosidad de saber lo que alli auia trajeron picos y auiendo echo entrada allaron alli una Capilla con unos poyos echos en la mesma peña y muchos cascos de vasijas quebradas y carbones y allaron algunos huessos de difuntos y entre ellos dos cuerpos de hombres que en sus tiempos debieron ser gigantes porque testifican que la canilla del pie de cada uno llegaba a qualquier hombre de aora a zerca de la zintura y cada calavera era tan grande como de dos hombrfes junttos con las concabidades de los ojos que podia caber en cada uno dos puños juntos y asi mostraban una de estas calaberas por cosa de marauilla. Creerse auer sido estos huessos del Moro Montesinos que hizo alli su morada y era disforme de cuerpo u de el Moro Zafra que mato un pariente de los Señores de Molina llamado Dn Pedro Manrrique de quien dijimos arriba que tenia un grande palmo de ojo a ojo; algunos milagros he oydo dezir que ha obrado el Señor en esta Sancta hermita por medio de esta Ymagen aparecida pero por no tenerlos aberiguados los dejo aora hasta tener y poder dar de ellos mas claridad y certeza “.

Finalmente habla de los dos jubileos que se ganaban visitando la ermita, por lo era muy frecuentada. También cita que posee Santero y Hospedería y huerto para albergar y alimentar a los romeros, así como que su mantenimiento corre a cargo de Cobeta, en cuyo término se ubica: “ Hanse traydo para esta Sancta Casa dos Jubileos que se ganan visitándola el dia de nra Señora de Septiembre y otro dia de nra Señora por la qual comenzo a frenquentarse mas aunque por la riña que arriba se dijo se a estorbado en algo por aora esta deuozion. Tiene esta hermita continuamente Santero y Casa de Hospederia y huerto para regalo de los deuotos que acuden a esta hermita. Probehese de ornamentos y otras cosas nezesarias de Cobeta cuya anexa es al presente “.