På hjørnet af Bispegade og Jomfrugang lå der i senmiddelalderen en bispegård. Bispeporten stod 50 meter længere mod nord, og lidt udenfor porten var der en voldgrav, som afgrænsede byen mod nord. For at komme ind eller ud af byen, skulle man over Bispebroen.
Det er kun i de sidste hundrede år, der har boet biskopper i Haderslev. Egnen omkring Haderslev var nemlig en del af Slesvig Stift, så biskoppen og domkirken var i Slesvig.
Kapitlet her havde til opgave at holde gudstjenester, uddanne præster, administrere kirkens jordegods og inddrive de afgifter, kirken havde krav på. Alt dette på Slesvig-bispens vegne. Derfor kom han af og til på besøg i Haderslev for at kontrollere, at kirkens anliggender blev varetaget på betryggende vis.
I 1454/55 købte biskop Nicolaus Wulff nogle grunde – svarende til vore dages nr. 9-13 i Bispegade – og fik bygget sin gård her. Den lå sydligt på grundstykket og var et fornemt stenhus i to etager og med gavlen ud mod gaden. Der vides ikke så meget om den, bortset fra at den ikke overlevede den store bybrand i 1627.
Efter at den nye grænse i 1920 havde skilt en stor del af Sønderjylland fra domkirken i Slesvig, blev der oprettet et nyt stift. Vor Frue blev ophøjet til Domkirke, og Haderslev fik omsider sin egen biskop. Den nye bispegård ligger et stykke ude ad Ribe Landevej.