Ok. 30 km na wschód od Erywania rzeka Azat wcięła się głęboko w płaszcz lawy, który kiedyś wylał się z gór Geghamskich. Stygnąca lawa popękała w regularne, najczęściej sześciokątne kolumny. Na kilkukilometrowym odcinku pod wsią Garni tworzą one ściany wysokie na dziesiątki metrów, ze słupów stojących, pochylonych i ułożonych w wachlarze. Ormianie nazywają je „Symfonią Kamieni”, bo przypominają piszczałki organów. Dno wąwozu jest zielone, z orzechami i morwami nad rzeką. Najlepiej oglądać je rano albo późnym popołudniem, gdy słońce pada z boku i wydobywa rytm kolumn.

Nad wąwozem, na trójkątnym cyplu, stała twierdza Garni, jedna z najstarszych w Armenii. Urartyjski król Argiszti I wymienia ją w inskrypcji klinowej jako Giarniani, a Tacyt pisze o „castellum Gorneas”. Najbardziej niezwykła jest świątynia na krawędzi urwiska, joński peripteros z szarego bazaltu. To jedyna tak dobrze zachowana budowla grecko-rzymska w całym dawnym Związku Radzieckim i najdalej na wschód wysunięty ślad świata klasycznego. Tradycja wiąże ją z Tyrydatesem I. Koronował go w Rzymie Neron w 66 r., a potem dał pieniądze i rzemieślników na odbudowę kraju. Grecki napis wymienia „Heliosa Tyrydatesa” i jedenasty rok jego panowania, więc ok. 77 r. Według tej wersji była to świątynia Mihra, boga słońca. Część badaczy uważa, że to grobowiec któregoś z rzymskich królów Armenii z II w., bo nie ma dowodu na kult Mihra. Przy chrystianizacji Armenii na początku IV w. zburzono wszystkie świątynie pogańskie, a ta jedna ocalała. Badacze do dziś spierają się dlaczego. Mojżesz Chorenacki pisze, że w twierdzy Garni zbudowano letni dom dla Chosrowiducht, siostry króla Tyrydatesa III, i być może dawna świątynia stała się częścią rezydencji. Świątynia runęła w trzęsieniu ziemi w 1679 r. W latach 1969–1975 złożono ją z powrotem z oryginalnych bloków. Obok są ruiny łaźni rzymskiej z mozaiką z greckim napisem. Dziś Garni jest też ośrodkiem ormiańskiego ruchu neopogańskiego, który obchodzi tu święta, m.in. Nawasard w sierpniu.

Kilka kilometrów w górę doliny, tam gdzie kończy się asfalt, leży klasztor Geghard, w połowie wykuty w skale. Według tradycji założył go w IV w. Grzegorz Oświeciciel przy świętym źródle w jaskini, czczonym jeszcze przed chrześcijaństwem. Dlatego pierwsza nazwa brzmiała Ajriwank, „Klasztor Jaskini”. Obecna nazwa, Geghard, znaczy „włócznia”. Przechowywano tu grot, którym według tradycji przebito bok Chrystusa na krzyżu, przyniesiony przez apostoła Tadeusza. Dziś relikwia jest w skarbcu Eczmiadzynu. Główny kościół zbudowali w 1215 r. bracia Zakare i Iwane, wodzowie gruzińskiej królowej Tamary. W XIII w. książęta Proszian wykuli w skale kolejne kaplice i grobowce, m.in. grób Prosza z 1283 r. pod herbem z orłem trzymającym baranka. W kaplicach wykutych w skale słychać niezwykłe echo i czasem śpiewa tam chór. Klasztor razem z górną doliną Azatu jest od 2000 r. na liście UNESCO.