U doba Rimskog carstva na mestu današnjih Karlovaca se nalazilo malo utvrđenje.Grad se prvi put pominje 1308. kao tvrđava pod imenom Karom, podignuta na rimskim temeljima. Karom je 1521. utvrđenje i naselje u Mađarskoj kraljevini, pod vlašću plemićkih porodica Batori i Morović.
Otomanski vojskovođa Bali-beg je zauzeo ovo mesto 1521. Ono će pod turskom vlašću ostati narednih 170 godina.
Slovensko ime, Karlovci, prvi put se pominje 1532-1533. Za vreme otomanske vlasti mesto je bilo naseljeno Srbima i malim brojem Turaka. Godine 1545, Karlovci su imali 547 hrišćanskih stanovnika (Srba). U gradu su postojale 3 pravoslavne crkve i jedan manastir.
Od 16. novembra 1698. do 26. februara 1699. u Karlovcima je održan kongres koji je označio kraj neprijateljstva između Otomanskog carstva i Svete lige (koalicije Austrije, Poljske, Mletačke Republike i Rusije). Postignut je dogovor poznat kao Karlovački mir. Po ovom dogovoru, Karlovci su postali deo habzburških poseda pod imenom Vojna krajina.
Grad je 1753. imao 3.843 stanovnika, od čega 3.110 Srba. Karlovci su bili sedište eparhije, u njemu je postojala srpska škola, a 1791. otvorena je gimnazija. Ovde je 1794. otvorena pravoslavna bogoslovija, kao druga po starosti u svetu (posle Kijevske).
Od 1918. Karlovci su postali deo Kraljevine SHS. Ovde su se 1920. doselili oficiri generala bele ruske armije Pjotra Nikolajeviča Vrangela. Tu je stigao i sinod Ruske pravoslavne crkve u izbeglištvu.
U periodu 1929-1941, Karlovci su se nalazili u Dunavskoj banovini, provinciji Kraljevine Jugoslavije. Posle rata, mesto je postalo deo AP Vojvodina, pokrajine u Srbiji, unutar SFR Jugoslavije.