Se trataba de un palacio del siglo xvi, propiedad de la familia de los Lujanes. A finales del siglo xvii fue surgiendo una tradición que situaba la casa de Iván de Vargas, amo de San Isidro, en este lugar, a pesar de que los cronistas anteriores del Santo Labrador la ubicaban en la Morería Vieja. La tradición llegó a nuestros días sin ser desmentida. Las excavaciones arqueológicas que se realizaron posteriormente en el solar entre los años 1989-1997 encontraron numerosos silos que ocupaban casi todo el espacio y confirmaron la ausencia de estratos de ocupación que hubieran indicado la existencia de alguna edificación anterior al palacio de los Lujanes. Esto confirmó que antes de los Lujanes no vivieron en el solar los Vargas y por tanto no pudo ser casa de Iván de Vargas. Posteriormente, el palacio fue ocupado por el Nuncio Apostólico tras el traslado de la Corte a Madrid. Después, y hasta el siglo xix, el palacio perteneció a los condes de Paredes de Nava y, más tarde, al marqués de Peñafuente.

Valentín Quintás Ripoll llevó a cabo el proyecto integrando elementos originales, como la capilla de San Isidro levantada en el siglo xvii, el pozo donde cayó el hijo de San Isidro (también uno de los pozos que se disputan la ubicación del referido milagro), del cual fue salvado por la oración del santo, y el patio, con los escudos de la familia de los Lujanes.

No pudo levantarse la capilla en 1608 como indica la lápida de la entrada ya que un informe de la Junta de Aposentadores del año 1619, describe el lugar como una caballeriza utilizada por los dueños y los nuncios, con una lumbrera a la calle. La misma Junta de Aposentadores informa, en ese año, de una capilla en el piso primero al otro lado de la casa. Según las excavaciones arqueológicas que se hicieron en los años noventa del siglo pasado, en el año 1664 se tapó una escalera que allí había, debajo de lo que ahora es el altar, que bajaba a una pequeña cueva. Esto indica que la construcción de la capilla debió de realizarse ese año. Después se reformó entre 1783 y 1789, época de la que data la decoración actual. Las pinturas murales que cubren las bóvedas fueron realizadas por Zacarías González Velázquez. El óvalo central representa la apoteosis de San Isidro, y en la bóveda de la nave aparecen dos ángeles que sostienen una corona de laurel mientras otros dos presentan una banda con la inscripción: «Hice dormivit in domino» («Aquí durmió en el Señor»), aludiendo a la tradición según la cual el santo murió en este lugar. El retablo es del siglo xviii, de madera pintada imitando mármol. Un arco de punto alberga una escultura de madera policromada que se encuentra en la capilla desde el año 1663.

Además del pozo y la capilla, merece destacar la reconstrucción del patio renacentista del siglo XVI, que fue desmontado por la ruina del edificio, y que se ha reconstruido en parte, siendo una pieza única junto al del patio del Colegio Imperial en la calle de Toledo, con una perspectiva muy interesante desde sus galerías, y un bello patio en el centro.