Il Castello Tramontano fu costruito tra la fine del 1400 e l'inizio del 1500 dal tiranno di Matera, il conte Giovan Carlo Tramontano. È un'opera militare, non fu concepita come abitazione; il suo autore era consapevole di essere odiato dai materani. Costoro in effetti finirono per tendergli un agguato ed assassinarlo in via Riscatto (che deve il suo nome a questo evento), la strada alle spalle delle Cattedrale, quando il tiranno, uscito dalla Chiesa disarmato per prendere il passaggio che doveva riportarlo al castello, era più vulnerabile. Il Castello è oggi chiuso al pubblico, purtroppo, e l'Amministrazione ne consente la visita solo in rare occasioni. Nel parco antistante, che ha la forma di un anfiteatro, è possibile passeggiare. In qualche circostanza vi vengono organizzati concerti e spettacoli pubblici. Nella zona retrostante si riesce ad ammirare il panorama dei Sassi.