Schloss Herzberg er en perle inden for bindingsværksarkitektur.
Den nuværende bygning fra år 1510 var i lang tid residens for Grubenhagen-linjen i huset Braunschweig-Lüneburg. Det var hertug Georg (1582-1641), der forlod Herzberg i 1636, som gjorde Hannover til residensby, og hans efterkommer blev konge af England som Georg I (1660-1727).
I Baudenkmal Welfenschloss in Herzberg ligger der blandt andet et museum. I et afsnit præsenteres historien om slottet og Welfernes styre i Herzberg, herunder med en faksimile af Heinrichs des Löwen evangelie. Her står Schloss Herzberg som residens som midtpunkt. Derudover viser museet specielle aspekter af byens og handlens historie: Herzberger Gewehrmanufaktur, møller i Herzberg og orgelbyggeren Johann Andreas Engelhardt, der havde sit værksted i Herzberg. Et særligt træk ved museet er en funktionel model med originale komponenter fra historiske Engelhardt-orgeler, som der kan spilles på, hvor der regelmæssigt finder orgelkoncerter sted. Alle afdelinger tilbyder aktivitetsstationer, ikke kun for børn. Museet rummer også en udstilling fra den nedersaksiske Niedersachsen Landesforstverwaltung om skovhistorien i Harzen og forbindelserne mellem skovbrug, skovfoged og malmminedrift samt en præsentation af Esperanto-Gesellschaft Südharz e.V.