Na południowym skraju Kachetii, ok. 60–70 km na południowy wschód od Tbilisi w linii prostej, ciągnie się niski grzbiet Garedża na skraju płaskowyżu Iori: półpustynia z piaskowca i gliny, latem spalona słońcem, wiosną na krótko zielona. Na ok. 25 km jego zboczy mnisi wykuli w miękkiej skale ok. 20 klasztorów, setki cel, kościołów, refektarzy i cystern na deszczówkę. Wokół leży step i pasiaste wzgórza w kolorach czerwieni, ochry i zieleni, które z punktów widokowych wyglądają jak namalowane. Głównym klasztorem jest Lawra św. Dawida na północnym stoku, a nad nią, na grzbiecie i po drugiej stronie, leży Udabno („pustynia”) ze słynnymi freskami. Grzbietem biegnie granica z Azerbejdżanem, która akurat tutaj nie została wytyczona, i dlatego część zespołu leży na terytorium, które Azerbejdżan uważa za swoje.

Klasztor założył w VI w. Dawid Garedżeli, jeden z trzynastu ojców syryjskich, uczniów Jana Zedazneli, którzy przyszli z Antiochii szerzyć w Gruzji życie mnisze. Najpierw żył na górze Mtacminda nad Tbilisi i tam wiąże się z nim legenda: kobieta podburzona przez pogańskich kapłanów oskarżyła go, że jest ojcem jej dziecka, a on zapowiedział, że prawda wyjdzie na jaw, gdy urodzi kamień. Tak się stało i od gruzińskiego słowa kwa, „kamień”, wywodzi się nazwa kościoła Kaszweti w centrum Tbilisi. Potem Dawid odszedł z uczniem Łukianem na pustynię Garedża i zamieszkał w naturalnej jaskini; według żywota przeżyli dzięki łani, która pozwalała się doić [do sprawdzenia]. Jego uczniowie Dodo i Łukian założyli kolejne klasztory, Dodos Rka („róg Dodo”) i Natlismcemeli („Chrzciciela”). Dawid zmarł ok. 604 r., a pamięć o nim Gruzini obchodzą w Mamadawitobę, czwartek po Wniebowstąpieniu. Według tradycji Dawid szedł do Jerozolimy, ale przed samym miastem uznał się za niegodnego, by do niego wejść, i zabrał stamtąd tylko trzy kamienie; dlatego mówi się, że trzy pielgrzymki do Garedży są warte jednej do Jerozolimy [do sprawdzenia].

W IX w. Hilarion Gruziński wzniósł tu kościół Przemienienia i refektarz, a złoty wiek klasztorów przyszedł w XI–XIII w., razem z rozkwitem zjednoczonego królestwa Gruzji. Powstały wtedy Udabno, Bertubani i Czyczchituri, a ściany skalnych kościołów pokryły malowidła z portretami fundatorów, wśród nich królowej Tamar (1184–1207). Król Demetriusz I, syn Dawida Budowniczego, po abdykacji wybrał Garedżę na miejsce odosobnienia; to on jest autorem hymnu do Matki Bożej „Ty jesteś winnicą” (Szen char wenachi), który śpiewa się w Gruzji do dziś. Ciekawostką są napisy: obok gruzińskich mnisi i pielgrzymi zostawili ormiańskie, greckie i arabskie, a w Udabno jest napis w czterech językach z 1352 r.: gruzińskim, ormiańskim, perskim i ujgurskim. Klasztory łupili Mongołowie w 1265 r., a potem wojska Timura. Najgorszy był rok 1615, gdy wojska szacha Abbasa I wymordowały mnichów i spaliły bezcenne rękopisy; tradycja mówi, że stało się to w noc wielkanocną i zginęło kilka tysięcy mnichów [do sprawdzenia]. Życie mnisze odnowił od 1690 r. przeor Onopre Machutadze, a pod koniec lat 90. XVII w. służył tu Sulchan-Saba Orbeliani, autor pierwszego słownika gruzińskiego.

W XX w. klasztor przeżył kolejne oblężenie, tym razem przez wojsko. Bolszewicy zamknęli go po 1921 r., a w latach wojny w Afganistanie armia radziecka urządziła tu poligon i ostrzał uszkodził freski. W 1987 r. grupa studentów z pisarzem Dato Turaszwilim zaczęła protesty. Wojsko obiecało się wycofać, ale w październiku 1988 r. strzelanie wznowiono; ok. 10 tys. ludzi wyszło na ulice Tbilisi, studenci prowadzili w klasztorze głodówkę i dopiero wtedy poligon zlikwidowano. Historia powtórzyła się w niepodległej Gruzji: w 1996 r. ćwiczenia wznowiła armia gruzińska, a w maju 1997 r. setki działaczy rozbiły namioty na środku poligonu, aż ćwiczeń zakazano. Od 1991 r. trwa spór graniczny z Azerbejdżanem, który w 2007 r. ogłosił swoją część zespołu rezerwatem Keşikçidağ. Wiosną 2019 r. azerbejdżańscy pogranicznicy na kilka dni zamknęli dostęp do Udabno; od tamtej pory górny klasztor jest dla odwiedzających niedostępny (stan na 2026 r.). Wieś Udabno, przez którą się dojeżdża, ma własną historię: po lawinach w zimie 1986/1987, gdy po 46 dniach śnieżyc w Swanetii zniszczonych zostało ponad 2000 domów, ok. 8500 osób przesiedlono na niziny, a część z nich trafiła tutaj, na step.