Z daleka trudno powiedzieć, gdzie kończy się skała, a zaczyna zamek. Peracense stoi na stromym grzbiecie z czerwonego piaskowca rodeno i z tego samego kamienia zbudowano mury, więc baszty wyglądają jak przedłużenie skał. Na tym wzgórzu mieszkano już w późnej epoce brązu, a w czasach muzułmańskich stała tu pewnie niewielka strażnica. Ok. 1150 r. teren zajęła Aragonia, a ok. 1170 r. trafił do rodu Azagra, panów sąsiedniego Albarracín. Piotr III Aragoński przejął zamek w 1284 r.

Swoją dzisiejszą formę zamek zawdzięcza wojnie dwóch Piotrów (1356–1369), czyli Piotra IV Aragońskiego (1319–1387, król od 1336) z Piotrem I Okrutnym z Kastylii (1334–1369, król od 1350). Kastylijczyk zginął w 1369 r. pod Montiel z ręki przyrodniego brata, Henryka z Trastámary. Założona przez Henryka dynastia Trastámara objęła potem także tron Aragonii, a jej potomkowie, Izabela Kastylijska i Ferdynand Aragoński, połączyli oba królestwa w Hiszpanię. Granica biegła niedaleko, więc zamek rozbudowano w potrójną twierdzę. Zewnętrzny pierścień z blankami i basztami otacza duży majdan, w którym chroniła się ludność z bydłem. Środkowy mur, dopasowany do kształtu skały, powstał w drugiej połowie XIV w. Najwyżej stoi cytadela na trzech tarasach, do której wchodziło się po ruchomej drabinie, wciąganej w czasie ataku. Po wojnie zamek stracił znaczenie, służył za więzienie wspólnoty wsi Daroki, a potem popadł w ruinę. W czasie pierwszej wojny karlistowskiej, w latach 1830., stacjonował w nim jeszcze oddział liberałów.

Odbudowę zaczął rząd Aragonii w 1987 r. Archeolodzy znaleźli w zewnętrznym pierścieniu kamieniołom, w którym z piaskowca wycinano okrągłe kamienie młyńskie. Dziś w zamku działa wystawa średniowiecznych machin oblężniczych z rekonstrukcjami trebuszy.