Edificato nel IX secolo dai Conti di Tuscolo come castello sovrastante il borgo medievale, lo storico Palazzo Ruspoli di Nemi dopo la loro decaduta divenne – nel corso dei secoli – proprietà dei Monaci delle Tre Fontane, degli Annibaldi, dei Colonna, dei Cenci, dei Frangipane, dei Braschi, dei Rospigliosi, degli Orsini ed infine passò nelle mani dei Ruspoli. Ristrutturato durante il Rinascimento ad opera di Giuseppe Valadier, si articola attorno ad una torre cilindrica ed è circondato da uno splendido giardino pensile. All'interno conserva antichi frammenti marmorei e decorazioni a tempera del XVIII secolo opera del pittore Liborio Coccetti. Negli anni Novanta è stato venduto ad una società privata, che ha iniziato un intenso lavoro di restauro. Attualmente del palazzo sono visitabili gli stalloni al piano inferiore e la sala delle Armi aperte al pubblico durante mostre e altri eventi.