La costruzione del castello di Vogogna risale probabilmente al 1348 quando il territorio era soggetto all’arcivescovo Giovanni Visconti. Dal 1410 al 1425, Vogogna costituisce un centro di resistenza contro le incursioni nemiche. Nel 1446 il feudo viene concesso con l’Ossola inferiore, ai Borromeo che ne mantengono la proprietà fino al 1797. La crisi del borgo a metà del Cinquecento porta la fortezza alla decadenza, tanto che in pochi anni si trasforma in carcere e tale rimane fino agli inizi dell’Ottocento. I documenti antichi fanno riferimento a una rocca, usando questo termine sia per il castello nel borgo che per la fortificazione posta su un’alta rupe. I due castelli sono infatti legati: la rocca è costruita con il castello per poterlo difendere. L’origine comune è testimoniata dalla presenza di torri quadrate in entrambe le costruzioni, mentre quelle semicircolari sono costruite durante il restauro effettuato dai Borromeo nel tardo Quattrocento. Nonostante la progressiva decadenza, il castello presenta ancora la massiccia ed elegante torre ad angolo semicircolare, sormontata da un apparato in aggetto, sorretto da beccatelli di pietra su cui si aprono le caditoie. La merlatura guelfa serviva a difendere il cammino di ronda e a sostenere il tetto a spiovente. Il castello vero e proprio si presenta come una solida costruzione, che si sviluppa tra la torre rivolta verso il borgo e l’altra quadrata, appoggiata contro la montagna. Nel 1798, dopo tre secoli di dominio dei Borromeo, il castello diventa proprietà comunale e viene adibito a prigione per delinquenti comuni e detenuti politici. Dopo un lungo periodo di abbandono, con il 1990 si avvia una prima fase di restauro, ultimato con l'inaugurazione delle corti esterne e del giardino completate otto anni più tardi.