Il complesso dei due castelli, realizzati fra il XII e il XIV secolo, e trasformati nell´Ottocento, sovrasta il torrente Viana ed è situano a nord dell’insediamento storico medievale, cui si raccorda mediante un sistema di giardini e terrazzamenti. Il “castelvecchio” edificato dai Valperga, denuncia ancora nelle sue strutture l’origine medievale (probabilmente del XIV secolo) e numerose stratificazioni tre-quattrocentesche. Il castello inferiore, conosciuto come “castelnuovo”, che prima degli interventi ottocenteschi conservava parti medievali in vista, subisce un intervento di ristrutturazione evidente nel Seicento. Il primo, presenta ancora due torri d´angolo, di cui una altissima e merlata e, nelle pareti, alcune finestre gotiche in cotto. Il secondo, invece, viene radicalmente trasformato nella prima metà dell’Ottocento con l’inserimento di una nuova ala.
Il complesso, acquistato dal banchiere Carlo Ogliaro nel 1871, è restaurato negli anni successivi da Alfredo d’Andrade, che ha conservato l’aspetto medievale del castello superiore e salvaguardato e ripristinato la prevalente facies barocca del “castelnuovo”.
Il contrasto fra antiche architetture e arte contemporanea fanno del Castello di Rivara lo scenario ideale per esposizioni dedicate ad artisti contemporanei come dimostrano le personali dedicate a Jürgen Drescher, Paul McCarthy, Luigi Ottani, Lari Pittman, Charles Ray, Oliviero Toscani, Jeffrey Vallance.