Torvet var et vigtigt sted i byens liv. Handel og håndværk var det, der kendetegnede en by til forskel fra bondelandet. Købstæderne havde hver deres egen stadsret, som bl.a. regulerede handelen, og som kun gjaldt indenfor bygrænsen. På landet gjaldt Jyske Lovs regler, som var tilpasset et landbrugssamfund.
Centrum for handelen var torvet, men her foregik også andre ting, som henvendte sig til byens indbyggere. Det kunne være oplæsning af bekendtgørelser fra myndigheder eller optræden af turnerende gøglere. Og før reformationen kom der af og til rejsende afladshandlere, som brugte torvet til at præsentere sig selv og deres tilbud til kunderne.
I Haderslev har Torvet ligget samme sted, så længe som byen har eksisteret, d.v.s. fra ca. 1100-tallet. Den store brand i 1627 nedbrændte alle husene omkring Torvet. De nye blev opført indenfor traditionen, med gavlen ud mod pladsen og efter de gamle matrikelgrænser. Mange af disse huse ligger her stadig. Bl.a. de to bindingsværkshuse – nr. 4 og 5 – er tæt på deres oprindelige udseende. Dog fik mange i 1800-tallet muret gavlen ud mod Torvet for at leve op til moden. Nogle steder kan man få et kig ind bag facaderne og stadig se det oprindelige bindingsværk.
I løbet af 1800-tallet slog pladsen på Torvet ikke mere til, og derfor fik bystyret anlagt en ny markedsplads i den nordlige udkant af byen. Den blev taget i brug i 1880.