Vjerojatno je da su stari grad Ozalj podigli moćni knezovi Babonići kao branik od provale njemačkog plemstva iz susjedne kranjske koje je svoju vlast nastojalo proširiti i u ovaj dio Hrvatske. Prve autentične vijesti o Ozlju potječu iz XIII stoljeća. U prvoj polovici XIII stoljeća kratko vrijeme Ozalj je u rukama Bele III/ IV, ali od 1278. ponovo je u posjedu Stjepana Babonića. Kad su se Babonići pobunili protiv Karla Roberta Anžuvinca, izgubili su 1325. među ostalim svojim imanjima i Ozalj. Od tada je to kraljevski grad kojim upravljaju hrvatski banovi drzeći u Ozlju svoje kaštelane. U to vrijeme podignuto je pod gradom slobodno kraljevsko mjesto (libera villa domini regis) koje je prilično stradalo od provale susjednih Teutonaca, njemačkih križara, zbog čega je ban Mikac Prodavić 1329. godine preselio stanovnike na otok Ključ, tamo gdje je danas selo Trg. Preseljeni stanovnici dobili su posebne povlastice. Grad Ozalj ostaje u rukama Hrvatsko-Ugarskih vladara do 1398. godine kad ga je kralj Zigmund (Sigismund) predao za zasluge knezu Nikolu Krčkom. Novi vlasnici dugo su se sporili sa zagrebačkim Kaptolom zbog crkvene desetine. Godine 1479. Ozalj je već u rukama modruške loze Frankopana. Knez Bernardin Frankopan izdaje 1479. Godine nama već poznatu povelju kojom dozvoljava Tržanima da mogu opet naseliti "Dragu pod Ozljem" pošto je ostala pusta a opasnost od Nijemaca vec odavno minula, pa je tako obnovljeno Ozaljsko naselje "Podgraj". U to su vrijeme u Hrvatskoj učestale provale Turaka. Prva provala u okolini Ozlja zabilježena je 1511. godine. Od tada Ozalj drži jaku posadu u kojoj je mnogo vojnika iz susjedne Kranjske. Radi uzajamnog pomaganja u borbi protiv Turaka 1. veljače 1544. godine gospodar Ozlja Stjepan Frankopan sklapa vojni savez sa svojim šurjakom Zrinskim Sigetskim a ujedno oni udružuju i svoje posjede. Poslije Nikoline smrti kod Sigeta 1566. Ozalj naslijediše njegovi sinovi. Godine 1577. smrću Stjepan Frankopana (pokopan u Sveticama), ostaje Ozalj od 1580. u posjedu Zrinskih sve do 1670. kad poslije poznate urote polovicom imanja vlada ugarska komora, a drugom polovicom Adam, posljednji Zrinski, poginuo 1691. kod Slankamena.

Stari grad Ozalj.
Arhitektonski grad je dosta raznolik. Građen i nadograđivan je u različitim razdobljima i svaka je epoha dala svoje obilježje tom neobično vrijednom zdanju. Neki oblici gradnje upućuju nas na XIII stoljeće. Cijeli kompleks grada sastoji se od ulazne kule, manje kule s lijeve strane ulazne kule, glavne branič-kule, južnog, istočnog i sjevernog gradskog krila (sva tri krila su velike zgrade na dva kata) i tzv. "Palasa Zrinskih" ili "žitnice", zgrade nešto izdvojene i smještene na strmoj litici iznad Kupe. Od grada proteže se visoki kameni zid sa šest polukružnih kula. Prema potoku ispod južnog gradskog krila vide se tragovi vrlo starog kamenog zida, mjestimice debelog preko jedan metar.
U grad se ulazi s njegove južne strane preko drvenog mosta koji leži na kamenim stupovima. Srednji stup je zapravo nekadašnja kula-stražarnica. Taj je objekt gradjen od tesanog kamena i arhitektonski je vrlo zanimljiv i vrijedan. Donji dio gradjen je na osnovi trokuta, dok je gornji četverokutan. U gornjem je dijelu bila prostorija s tri puškarnice i s otvorenom stranom prema ulazu u grad. Do godine 1821. podizao se je sve do ove kule most na lancima, o čemu i danas svjedoče dva kotura u rupi zida ulazne kule. Dvokatna ulazna kula s lijepo profiliranim kamenim dovratnikom i teškim hrastovim vratima vrlo je često gradjena. Njezin prvi kat potječe iz zrinskih vremena, a drugi kat nadogradio je grof Franjo Perlas (1743-1753) kad je preuredjivan i obnavljan cijeli grad i dobio današnji izgled. S desne strane kule, sasvim na uglu, bliže zemlji uzidana je kamena ploča s tekstom na latinskom jeziku, koji glasi u slobodnom prijevodu:" Poglaviti i velemožni gospodin Juraj grof Zrinski, meštar kraljevskih tarnika u Ugarskoj, savjetnik posvećenog rimskog carskog i kraljevskog veličanstva i župan zaladske županije itd. dade me učiniti godine Gospodnje 1599." Ova je ploča vjerojatno nekada stajala u niši nad vratima.Ispod kule vodi nadsvođen prolaz u kojem s desne strane pri dnu vidimo ulaz u nekadašnje tamnice. S ulaznom kulom na lijevoj strani spojena je drvenim trijemom manja okrugla kula iz XV stoljeća, nekada vjerojatno stražarnica ili oružarnica. Nasuprot ulaznoj kuli uzdiže se dvokatna kula kojom završava sjeverno gradsko krilo. Ova najjača branič-kula potječe iz XIII stoljeća. U prizemlju, u prolazu sjevernog gradskog krila, vidi se zazidan kamin od tesanog kamena kraj kojeg su se zimi grijali stražari.Lijevo uz branič-kulu vode stube prema najstarijem dijelu grada, "Palasu Zrinskih", objektu koji je do današnjeg dana sačuvao autentični izgled iz XVI stoljeća. Desno od branič-kule vodi glavni ulaz u gradsko dvorište. Pod kulom u živoj stijeni postavljena je 1971. godine brončana spomen ploča u znak sjećanja na 300-godišnjicu pogubljenja Petra Zrinskog i Frane Krste Frankopana s tekstom: NAVIK ON ZIVI KI ZGINE POSTENO F. K. Frankopan U povodu tristo godišnjice smaknuća zatočenika hrvatske samostalnosti i hrvatskih književnika bana Petra Zrinskog i kneza Frane Krste Frankopana podiže narod Ozlja 30. travnja 1971. Na lijevoj istoj strani u zidu je kameni grb Frankopana iz XV stoljeća. Ovdje je između zida i kamene stijene do 1875. godine stajala zgrada kroz koju su vodila unutrašnja gradska vrata. Spomenuti grb nalazio se nad tim ulaznim vratima. Putem koji se blago penje uskoro stižemo u gradsko dvorište. Desno ugledamo okruglu kulu tzv. "obli turen", kojeg su bili nekada dužni prema urbaru ozaljskog vlastelinstva održavat stanovnici sela Trg. Na ovu kulu nadozidano je i XVIII stoljeću južno gradsko krilo, ali su podrumske prostorije ovog krila još iz vremena Zrinskih. U podrumskoj prostoriji od okrugle kule još do 1960. godine bio je s lijeve strane ulaznih vrati uzidan kameni izljev za vodu, što nas navodi da je ta prostorija nekada služila kao kuhinja. Ako pođemo dalje, ravno prema nama je unutrašnje gradsko dvorište u kojem se nalazi cisterna, građena u XV stoljeću. Na kamenoj ogradi bila je nekoć uklesana 1450. godina. Nad ulaznim vratima istočnog krila (nekada podrumi) uklesana je 1824. Vjerojatno su te godine u tom zidu probijena vrata. S desne strane ulaznih vrati u podrume vidi se zazidan prozor s dvodjelnim kamenim okvirom (bifora) koji svakako pripada davnijem vremenu. Svratimo li pogled gore na lijevo, opazit ćemo u I katu hodnika sjevernog gradskog krila četiri masivna kamena stupa koji nose oble kamene svodove i pretpostavlja se da pripadaju razdoblju XV i XVI stoljeća. U I i II katu istočnog gradskog krila razabiru se zazidani prozori i otvori za loženje peći. U gornje prostorije ovog dijela grada ulazi se preko drvenih hodnika, čija konstrukcija leži na drvenim konzolama. U sjeverno gradsko krilo ulazi se kroz kameni trijem, koji je ujedno i predvorje male gradske kapelice. Ulazna vrata kapelice imaju prekrasno profiliran kameni dovratnik u gotičkom stilu. Današnja gradska kapelica (sada bez inventara) potječe iz XVIII stoljeća, ali se gradski kapelan spominje vec 1501. godine, dakle kapelica je postojala već i prije. U XVII stoljeću bila je podignuta kapelica sv. Antuna Padovanskog izvan gradskog zida. Ova kapelica je porušena potkraj XIX stoljeća, ali dijelovi temelja postoje jos i danas. Iz ove kapelice potječu kipovi sv. Roka i sv. Sebastijana (XVII stoljeće) i danas se nalaze u Zavičajnom muzeju Ozlja, a kip sv. Antuna i dva oltara na kojima su stajali navedeni kipovi u vlasništvu su crkve sv. Vida u Ozlju. Sjeverno gradsko krilo je po veličini i po broju prostorija najveće. U gornje katove vode kamene stepenice iz XVIII stoljeća, a dijelom su sačuvana u hodnicima i izvorna vrata od kovanog željeza iz XVIII stoljeća kao i drveni stropovi u prostorijama II kata. "Palas Zrinskih" je čvrsto zdanje, građeno u obliku pravokutnika i podignuto na živoj stijeni, koja se strmo uzdiže nad Kupom. Ispod ovog dijela grada je početkom ovog stoljeća probijen tunel kroz koji vodi željeznicka pruga. Taj najstariji dio grada sačuvao je do danas svoj izgled iz XVI stoljeća. Pročelje palasa je malo zaobljeno prema unutra i nad ulaznim vratima na prvom katu uklesan je natpis NICO.CO.ZR.1556 (Nicolaus comes Zriniensis 1556 = Nikola grof Zrinski 1556). Dakle, taj je grad Nikola Subić Zrinski Sigetski podigao, ili obnovio 10 godina prije svoje junačke smrti kod Sigeta. U prizemlju se nalazi predsoblje (u kutu peć s otvorenim ložistem), a lijevo vode vrata u spavaću sobu s ostacima kamina i vrijednim zidnim freskama vjerskog sadržaja, što se inače može rijetko naći u svjetovnim prostorijama naših feudalnih dvorova. Iz spavaće sobe i predsoblja vode vrata u veću prostoriju, koja je služila vjerojatno za dnevni boravak. Na zidovima ove prostorije pronađeni su oštrim predmetima urezani natpisi na glagoljici i na latinskom jeziku iz XVI i XVII stoljeća, što je također kuriozitet svoje vrste. U prvom katu nalazi se veliko predsoblje i samo jedna velika dvorana, koja je vjerojatno služila za svečanosti. U ona nemirna vremena, kad je u ratovima s Turcima krv potocima tekla, gospodari ovog grada i proslavljeni junaci na čas bi znali staviti mačeve u korice i latiti se pera. Prema zabilješci Pavla Rittera Vitezovića, upravo u Ozlju (zacijelo u nekoj dvorani palasa) Petar Zrinski je spjevao, odnosno napisao parafrazirani prijevod iz mađarskog na hrvatski jezik svog brata Nikole "Adriatskog mora sirenu". Ovo Petrovo djelo pisano je ikavskim govorom naroda ovog kraja. Pouzdano se zna da je Katarina Zrinski pisala svoj "Putni tovarus" ovdje kod kuće u Ozlju. Vjerojatno je u sjeni mirisnog jasmina ili ruže ozaljskog perivoja i Frano Krsto Frankopan napisao pokoju lirsku pjesmicu prožetu dubokom iskrenošću za svoju zbirku "Gartlic za čas kratiti". U XVII stoljeću živio je i djelovao u Ozlju svećenik Klement Jančetić. Kao svećenik bavio se i pisanjem, pa je sigetskom junaku Nikoli Zrinskom posvetio pjesmu "Nadpisanje presvitlom g. Miklousu Zrinskom f. Klementa Jancseticha od Ozlja reda S. F. Pripovidca". Ova je pjesma tiskana ispred djela Brne Krnarutića Zadranina "Vozetje Szigeta grada", objavljeno u Mlecima 1639. Kada je u XVIII stoljeću grad Ozalj obnovljen i izgrađen u lijepo uređeni dvorac, nekadašnji "Palas Zrinski" pretvoren je u skladište žita, pa se od tada zove "žitnica". Uz bedeme grada vode puteljci, a između bedema i gradskih krila su dvorišta, zelene površine i terase. Osobito je s istočne terase prekrasan pogled na dio Ozlja i rijeku Kupu - sve do Ozaljskog slapa, hidroelektrana i nizvodno do sela Trga. Na terasi je vrlo ugodno sjediti ljeti u hladu sjenovitih krošanja drveća, a posebno ljetnih zvjezdanih večeri i promatrati u tihoj vodi odsjaj svjetla ulične rasvjete, okolnih kuća i moglo bi se reći bogato iluminiranih zgrada hidroelektrane. Zaslugom društva "Braće hrvatskog zmaja" u gradu Ozlju postojala je već prije drugog svjetskog rata vrlo bogata muzejska zbirka, ali na žalost dobar dio muzejskih predmeta je u toku tog rata nestao, a samo dijelom je zbirka prenesena u Zagreb.