Her blev der opført en kirke omkring 1150, men den stod kun i ca. 100 år. Den blev afløst af en større, kendt som Vor Frue Kirke. Kirken skulle rumme flere funktioner og blev derfor større end de fleste købstadskirker.
Kirken i Haderslev hørte under biskoppen i Slesvig, men fungerede fra 1260’erne som en slags ”filial-domkirke” for den nordligste del af stiftet. Præsterne, her kaldt kannikker, forestod de mange kirkelige handlinger, førte tilsyn med sognepræsterne og holdt skole for unge mænd, der senere kunne gå i kirkens tjeneste.
Da Hertug Christian, den senere Kong Christian III, blev sat til at styre Haderslev og Tørning len fra 1525, fik Vor Frue Kirke en central rolle i reformationen. Han var tilhænger af Martin Luthers nye lære og ændrede Vor Frue til en protestantisk kirke. I 1528 udstedte Hertug Christian de såkaldte ”Haderslev-artikler”, et sæt regler for hvordan gudstjenesten skulle foregå fra nu af, og hvordan præsterne skulle passe deres embede.
I 1920 blev grænsen mellem Danmark og Tyskland flyttet fra Kongeåen til Kruså, så en stor del af Sønderjylland blev skilt fra domkirken i Slesvig. Vor Frue Kirke blev domkirke i det nye stift. Den første biskop i Haderslev tiltrådte i 1923.