Die Burg Visconti oder Castello Visconteo wurde von Galeazzo Visconti zwischen 1360 und 1365 erbaut. Besucher durchqueren die Räume noch mit feinen Fresken aus der Zeit der Visconti und Sforza. Der Nordflügel fehlt jetzt. Dies war einst die Residenz des Herzogs, mit Blick auf die Parklandschaft Parco Visconteo und mit der Certosa (Charterhouse) verbunden. Die Harmonie des Schlosses - eines der großen Beispiele der spätgotischen lombardischen Architektur - ist jedoch intakt.

Nach dem Zweiten Weltkrieg ist das Schloss Sitz der Stadtmuseen von Pavia. Die Museen umfassen die folgenden Sammlungen: die archäologische und frühmittelalterliche Abteilung mit den prächtigen archäologischen Überresten aus Rom, Goth und Lombard, die romanische und Renaissance-Abteilung, die Malaspina-Galerie mit Werken aus dem 14. bis 16. Jahrhundert und eine Abteilung für XVII und XVIII Jahrhunderte die Galerie des 19. Jahrhunderts, die Morone Collection, das Risorgimento Museum, die Gipsoteca, das Ethnographische Museum Robecchi Bricchetti und einen Raum mit temporären Ausstellungen. Nach der Renovierung des Stalles des Schlosses wurden die Stadtmuseen um einen weiteren Ausstellungsraum bereichert.