Am Ensemble lassen sich die unterschiedlichen Epochen gut ablesen. Im korbbogigen Durchgang des Turms zeigt sich in zwei Jochen ein Kreuzrippengewölbe aus der Mitte des 15. Jahrhunderts. Die Stockwerke darüber gehen auf besagte Umgestaltungen zwischen 1744 und 1756 zurück, als man den Turm um ein Stockwerk erhöhte und Barockelemente anbrachte. Auf Muschelwerk-Konsolen ruhen prunkvolle Balkone mit Roncailleornamentik, die der Bamberger Bildhauer Bonaventura Joseph Mutschele anfertigte. Von ihm stammen auch die beiden darüber angebrachten Wappen, bergseitig das städtische Wappen mit dem Ritter, der Stadt zugewandt das Wappen des 1756 regierenden Fürstbischofs Franz Konrad von Stadion. Ende des 19. Jahrhunderts wurden sie durch Kopien ersetzt.
Auch der auf einem hohen Werksteinunterschoss sitzende Rathausbau, der im Kern auf das 15. Jahrhundert zurückgeht, wurde im 18. Jahrhundert umgestaltet und mit Wandfresken versehen. Diese sog. Illusionsmalerei, die Dreidimensionalität vortäuschen soll, stammt von Johann Anwander. Er hob die Hauptgliederung des Baus durch Säulen hervor, die sich über beide Geschosse erstrecken, und ergänzte das Werk durch Fassadendetails und figürliche Darstellungen.
Nach dem Zweiten Weltkrieg war der Zustand äußerst desolat, sodass 1959 nur die Westseite zum Domberg hin restauriert werden konnte. An der Ostseite wurde der Putz vollständig abgeschlagen, neu aufgebracht und vom Kunstmaler Anton Greiner nach sorgfältig erstellten Befunden bemalt.
Im Erdgeschoss ist die Porzellansammlung Ludwig untergebracht. Der reichhaltig ausgeschmückte Ratssaal im 1. Obergeschoss wird von der Stadt für Festivitäten genutzt.
Beim Rottmeisterhäuschen auf dem Wellenbrecher handelt es sich um einen dreigeschossigen Fachwerkbau mit Satteldach aus dem 15. Jahrhundert. Sein Name geht wohl zurück auf die Nutzung durch den sog. Rottmeister, dem Anführer der Wachmannschaft. Durch Sprengungen an der Oberen Brücke wurde das damals verputzte Häuschen im April 1945 stark beschädigt. Im Zuge der Sanierung entschied man sich für die Freilegung des Fachwerks, das 1979 aufgrund von Befunduntersuchungen in einem dunklen Gelb gefasst wurde.
Erst auf den zweiten Blick fällt auf, dass über dem Gesims der Ostfassade das vollplastisch stuckierte linke Bein eines aufgemalten Puttos aus der Wand herausragt. Seiner linken Seite sind mehrere gemalte Pinsel und die Palette eines Malers zugeordnet. Mit dem rechten Zeigefinger deutet er auf eine Kartusche mit der Inschrift „Joh. Anwander invenit & pinx.“, frei übersetzt: „Johann Anwander hat es erfunden und gemalt“. Unterhalb der Traufe befindet sich ein weiteres vergnügliches Detail - ein vollplastischer Putto, der in seiner rechten Hand eine Schnur hält, um damit einen Theatervorhang zu „bewegen“. Dieser ist ebenfalls teils plastisch ausgearbeitet und überdeckt die linke obere Ecke eines Fensters.