Præstegade hed indtil anden halvdel af 1600-tallet Klostergade, og der er en god grund til dette navn, for området var stærkt præget af kirkelige institutioner. Endnu i dag bliver bydelen kaldt Klosterkvarteret. Den vigtigste var et kloster for sortebrødre eller dominikanere, som de hed officielt. Denne orden havde af paven fået til opgave at udbrede den rette tro blandt almindelige mennesker. Det gjorde de ved at gå rundt i byernes gader eller i landsbyerne, hvor de prædikede og samlede almisser til klosteret. Med deres sorte kapper har munkene sat et markant præg på bybilledet.
I de sidste årtier før reformationen var der i Haderslev også en gruppe kvinder, kaldt beginer, en særlig slags nonner, der tilhørte franciskanerordenen. De tog sig bl.a. af sygepleje og undervisning af børn. Det hus, de boede i, lå ikke ret langt fra dominikanernes kloster.
På Klosterhalvøens nordskråning lå boligen for de præster, der gjorde tjeneste i Marianerkapellet – en af de mange tilbygninger til Vor Frue Kirke. Præsternes bolig er for længst væk, og det er kapellet også. Det lå i vestenden af kirken og blev ødelagt, da kirketårnet styrtede sammen under den store bybrand i 1627.