Costruito nel 1887 ad opera del Marchese Carlo Alberto Pizzardi, il palazzo prende il nome dai mattoni rossicci con cui fu fatto edificare. Inizialmente l'entrata propendeva sul Navile, ed era accessibile tramite un ponte, tuttora esistente. L'edificio è composto da tre piani, adibiti in precedenza a varie funzioni: Il piano terra era la sede degli uffici; il primo piano, denominato piano nobile, era l'abitazione vera e propria dei Pizzardi, con un balcone e varie finestre particolarmente ampie; il secondo ed ultimo piano, invece, era l'abitazione dei dipendenti. Al suo interno vi si trova la Sala dello Zodiaco, decorazione realizzata tra il 1896 ed il 1897 da Augusto Sezanne nella quale si possono osservare elementi vegetali, animali e simbologie celesti tra le quali, da qui il nome, la rappresentazione della fascia dello zodiaco con alcune costellazioni. Vi sono inoltre rappresentate le fasi lunari e del globo terrestre unite alla stilizzazione del Sole, rappresentato coi soli raggi di un intenso colore rosso. Durante la Seconda guerra mondiale il palazzo venne leggermente danneggiato, nel 1981 il comune ne acquista la gestione e nel 1992 ne diviene il proprietario, iniziando già dall'anno seguente il primo trasferimento della Biblioteca Municipale che oggi viene restituita alla cittadinanza completamente rinnovata e ampliata.