Nazwa miasta to pamiątka po berberyjskim rodzie Banu Razin, który w XI w., gdy kalifat Kordoby rozpadł się na małe królestwa taifa, uczynił z Albarracín stolicę własnego państewka. Miasto stoi na skalnym cyplu oblanym zakolem rzeki Guadalaviar, a mury wspinają się granią wysoko ponad dachy. Najstarsza część obwarowań, wieża Torre del Andador, ma muzułmański wątek z X–XI w., a większość murów to chrześcijańska rozbudowa z XIV w.

Po upadku taify Albarracín miało niezwykłe dzieje. Ok. 1170 r. władca Murcji Ibn Mardanisz (1124/1125–1172), zwany Królem Wilkiem, przekazał je nawarskiemu rycerzowi Pedrowi Ruizowi de Azagra (zm. 1186). Ibn Mardanisz rządził Murcją i Walencją, przez ćwierć wieku opierał się Almohadom, którzy podbijali resztę muzułmańskiej Hiszpanii, i chętnie brał na służbę chrześcijańskich rycerzy; Azagra miał mu pilnować północnej granicy przed Aragonią. Nowy pan nie uznał nad sobą żadnego króla: w 1172 r. miasto dostało własnego biskupa, a od 1176 r. Azagra tytułował się „wasalem Najświętszej Marii Panny”. Ród Azagra przez ponad sto lat rządził tu jak niezależni władcy, lawirując między Kastylią a Aragonią. Skończył to dopiero Piotr III Aragoński (ok. 1239–1285, król od 1276), który w 1284 r. obległ i zdobył miasto. Ten sam król dwa lata wcześniej, po powstaniu nieszporów sycylijskich, przejął Sycylię z rąk Andegawenów i otworzył Koronie Aragonii drogę do panowania na zachodnim Morzu Śródziemnym. Samo Albarracín ostatecznie przeszło do Korony Aragonii w 1300 r.

Domy mają kolor rdzawo-różowy od tynku z miejscowego piaskowca rodeno. Stoją na krawędzi skały, jedne na drugich, z drewnianymi balkonami nad wąwozem, a uliczki są tak wąskie, że okapy niemal się stykają. Od 1961 r. Albarracín jest pomnikiem narodowym i uchodzi za jedno z najpiękniejszych miasteczek Hiszpanii. W okolicznych lasach sosnowych Pinares de Rodeno ludzie paleolitu i neolitu zostawili malowidła naskalne, a nieco na południe, w Montes Universales, biorą początek Tag, Júcar i Guadalaviar.