Costruito alla sommità della collina del centro storico, in una zona dove hanno trovato sede le massime espressioni del potere civile, religioso e giudiziario, si affaccia sul lato O di piazza della Libertà. Eretto nel 1333, ha ospitato dal basso Medioevo ai giorni nostri le supreme magistrature cittadine: oggi è sede degli organi e degli uffici del Municipio.
Il lato di via Ricasoli conserva le tracce più evidenti dell'originaria architettura trecentesca; la facciata e la caratteristica torre quadrangolare (1337, con orologio del secolo successivo) sono invece il risultato di numerosi rifacimenti e restauri, effettuati nel Quattrocento, nel Cinquecento e nel Seicento (in seguito ad un rovinoso crollo della parte frontale).
L'ultima ristrutturazione (opera di Giuseppe Castellucci ed Umberto Tavanti) risale al 1930, ed ha lasciato segni profondi, sia nell'aspetto esteriore (merlatura della facciata, coronatura della torre) che nella sistemazione interna dei locali. L'interno del palazzo presenta un cortile a portico risalente al Cinquecento.
All'esterno del porticato, sormontato ai piani superiori da due loggiati, recenti lavori di sistemazione edilizia hanno creato un nuovo ingresso, di indubbia forza suggestiva, dalla sottostante via Montetini.