La vertiente septentrional de la sierra de Guadarrama fue durante la Edad Media lugar de caza reservado para los reyes de Castilla, quienes la frecuentaban dada su riqueza cinegética y su proximidad a la ciudad de Segovia. Según crónicas de la época, el primer refugio real de monteros (conocido como Casa del Bosque) fue mandado construir por el rey Enrique III en el pueblo de Valsaín, el rey Enrique IV construyó un albergue y una pequeña ermita dedicada al arzobispo San Ildefonso. En 1477 los Reyes Católicos donaron la ermita y el albergue con extensiones de tierra a la congregación de los monjes jerónimos del Monasterio del Parral en Segovia. Estos monjes hicieron pequeñas reformas y se trasladaban en los meses de verano cuando el aire fresco de la Sierra era más agradable que en Segovia. Esta granja, lugar de meditación y recreo de los monjes del Parral, fue el origen del pueblo y de ella tomó el nombre. El rey Felipe II realizó la última reforma y convirtió el edificio en un suntuoso palacio que sirvió de residencia a sus sucesores hasta Carlos II, en tiempo del cual un gran incendio destruyó la parte de poniente en 1682.

El duque de Anjou nació en Versalles (Francia) en 1683 y se crio en la corte de su abuelo Luis XIV. De carácter introvertido, era afable e inteligente y muy aficionado al ejercicio físico. En 1700, cuando cumplió 17 años, se convirtió en Felipe V (el Animoso), rey de España y de las Indias.

El monarca frecuentaba los reales montes de Valsaín, cazando en compañía de la reina y del duque del Arco, hacia 1718. Se enamora del paisaje y de la riqueza cinegética de la zona, y decidió levantar un palacio en el lugar en que se encontraba la ermita de San Ildefonso, para lo cual compró a la comunidad de monjes del Parral la granja-ermita, la hospedería y terrenos circundantes. El rey que, parece, quiso imitar la vida de Felipe II, acabó demostrando que había sido educado en la corte de Luis XIV y lo que pudiera haber sido otro Palacio de El Escorial, acabó siendo una copia del Palacio de Versalles.

Teodoro Ardemans,​ maestro mayor del Real Palacio y de la Villa de Madrid, fue el encargado de realizar los planos y el proyecto del nuevo palacio. La fecha de iniciación de las obras es 1721.3​ La ejecución de la obra se encargó al aparejador Juan Román. Prácticamente al unísono de la obra arquitectónica comienza el trazado y construcción de los jardines bajo la dirección del escultor René Carlier y del jardinero Étienne Boutelou. Los movimientos de tierra fueron dirigidos por el ingeniero Étienne Marchand que, además, se hizo cargo de la dirección de las obras en 1725. De las fuentes y estatuas se encargó un grupo de relevantes escultores, entre los que destacaron René Frémin, Jean Thierry, Hubert Demandré, Pedro Pitué, Santiago Bousseau, etc.

El trazado y diseño de los jardines corresponde al estilo clásico francés, cuyo creador fue Le Nôtre, autor de los jardines de Versalles. Las esculturas de las fuentes se pensó en un principio realizarlas en bronce pero, debido a problemas económicos, se decidió finalmente realizarlas en plomo, estableciéndose la fundición en el palacio de Valsaín. A partir de 1724, el Real Sitio comienza a adquirir su máximo esplendor, pues ya no es un palacio más de la geografía española sino que pasa a ser la residencia veraniega del rey de España, con su correspondiente corte.

En la planta baja de este palacio se exhibía la colección de esculturas de la reina Cristina de Suecia, quien las reunió en su exilio en Roma tras su abdicación al trono. Fueron adquiridas expresamente para este palacio por Felipe V junto con sus peanas, elaboradas en Italia por encargo de la exreina sueca, las cuales aún subsisten en los espacios originales. Las esculturas fueron trasladadas en el siglo xix al Museo del Prado y reemplazadas en sus peanas por reproducciones en escayola.