Nella parte più alta della cittadina sorge il Palazzo Barbolani, che prospetta con la sua facciata principale sulla piazza del centro storico. Fu costruito alla fine del Settecento con l’utilizzo di quello che restava del castello medioevale, dove si erano succedute nei secoli varie famiglie feudali; oggi si presenta conglobato in un complesso di edifici: la Chiesa Parrocchiale di San Nicola, che un tempo fungeva da cappella gentilizia del Castello, i resti di una delle porte del borgo, la cosiddetta “Casa dell’Arciprete”, che in realtà era la Chiesa sconsacrata di San Rocco. Un bombardamento subìto nel corso della seconda guerra mondiale e il degrado determinato dall’abbandono degli ultimi anni hanno reso il Palazzo pressoché inagibile; di recente ne è stata restaurata una piccola parte, mentre altre costruzioni aggiuntive ne hanno sostanzialmente modificato l’aspetto complessivo. L’attuale denominazione del Palazzo deriva dai suoi proprietari di fine Ottocento, i fratelli Achille e Raffaele Ulisse Barbolani, appartenenti ad una antica famiglia di origine toscana. La struttura dell’edificio consiste nell’unione ad Elle di due blocchi edilizi, la cui facciata principale è posta su un lato della piazza adiacente. I tre piani sono definiti all’esterno da cornici marcapiano ; le finestre sono provviste di architravi; il cornicione che in alto chiude la facciata reca tracce di una decorazione, forse a triglifi. Accanto al Palazzo sono visibili i resti di un portale che anticamente dava accesso al Castello. Inoltre si notano alcune tracce di un muro di difesa, certamente di antica età, da cui è possibile supporre che si trattasse di una fortificazione destinata a proteggere da assalti nemici sia lo stesso Castello, sia il borgo che lo circondava.