Zamek Visconti lub Castello Visconteo został zbudowany przez Galeazzo Visconti w latach 1360-1365. Odwiedzający przechodzą przez pokoje, wciąż mając piękne freski z okresu Visconti i Sforza. Brakuje teraz skrzydła północnego. Była to niegdyś rezydencja księcia, zwrócona w stronę parku, Parco Visconteo i łącząca się z Certosa (Charterhouse). Jednak harmonia Zamku - jednego z wielkich przykładów późnogotyckiej architektury lombardzkiej - jest nienaruszona.

Po II wojnie światowej zamek jest siedzibą muzeów miejskich w Pawii. Muzea obejmują następujące zbiory: sekcja archeologiczna i wczesnośredniowieczna ze wspaniałymi rzymskimi, gotyckimi i lombardzkimi pozostałościami archeologicznymi, sekcje romańskie i renesansowe, galeria Malaspina, w tym prace od XIV do XVI wieku oraz sekcja poświęcona XVII i XVIII wieki, Galeria XIX wieku, Kolekcja Morone, Muzeum Risorgimento, Gipsoteca, Muzeum Etnograficzne Robecchi Bricchetti i przestrzeń mieszcząca wystawy czasowe. Po renowacji stajni Zamku Muzea Miejskie wzbogaciły się o kolejną przestrzeń wystawienniczą.