Średniowieczne miasteczko w pełnym obwodzie murów, z jedną bramą wjazdową, zamkiem i arkadowym rynkiem. Pedraza zajmuje skalisty cypel otoczony urwiskami, więc mury biegną krawędzią skały, a do środka do dziś prowadzi tylko jedna droga: Puerta de la Villa. Brama ma korzenie w XI w., obecny kształt dostała w XVI w. za Íñiga Fernándeza de Velasco, którego herb wisi nad przejazdem. Wrota z drewna czarnej topoli zamykano na noc i nikt nie wchodził ani nie wychodził, chyba że w nagłej potrzebie, a wtedy otwierał je strażnik więzienia. Więzienie mieści się w dawnej wieży strażniczej tuż przy bramie. Skazanych za zabójstwo spuszczano przez klapę do dolnej komory, skąd nikt nie uciekał, bo upadek zwykle łamał nogi. Dziś to małe muzeum średniowiecznego więziennictwa.

Pedraza przez stulecia była majątkiem rodów możnowładczych. W 1369 r. król Henryk II nadał ją Fernandowi Gómezowi de Albornoz, potem przeszła na Herrerów, a pod koniec XV w., przez małżeństwo Blanki de Herrera z Bernardinem Fernándezem de Velasco, na konetabli Kastylii, późniejszych książąt Frías. Najlepsze czasy przyszły w XVI i XVII w. dzięki owcom merynosom: wełnę i sukno z Pedrazy sprzedawano do północnej Europy, a jakością konkurowały z flandryjskimi. Z tego bogactwa pochodzą kamienne domy z herbami nad drzwiami i Plaza Mayor z podcieniami i drewnianymi balkonami. Podczas wrześniowych świąt ku czci Virgen del Carrascal miasteczko wciąż urządza procesję (8 września) i gonitwę byków (encierro, 9 września). Zamek z XIII w., przebudowany w XV w., Velascowie wzmocnili na początku XVI w. murem z otworami na działa. W latach 1528–1530 więzili w nim dwóch synów króla Francji Franciszka I: delfina Franciszka i jego młodszego brata, późniejszego króla Henryka II. Ojciec oddał ich cesarzowi Karolowi V jako zakładników po klęsce pod Pawią i traktacie madryckim (1526), a wrócili do Francji w marcu 1530 r., po „pokoju dam”.

W 1926 r. ruinę zamku kupił baskijski malarz Ignacio Zuloaga, odbudował ją i urządził w niej pracownię, a jego spadkobiercy pokazywali w jednej z wież część jego obrazów. W 2024 r. zamek za 4,8 mln euro kupili aktorzy Santiago Segura i José Mota z producentem Luisem Álvarezem, zapowiadając wydarzenia kulturalne i otwarcie dla zwiedzających. Mury mają też swoje legendy: miejscowy hrabia miał zabić kochanka swojej żony Elviry, Roberta, wkładając mu na głowę rozżarzoną metalową koronę, a Elvira odebrała sobie potem życie. Niektórzy mieszkańcy twierdzą, że w niektóre noce po zamku chodzą dwie postacie z ognistymi aureolami. Najsłynniejsza jest jednak Noche de las Velas: w pierwszą i drugą sobotę lipca gaśnie oświetlenie uliczne, a miasteczko rozświetlają dziesiątki tysięcy świec na ulicach, oknach i w ogrodach, z koncertem pod zamkiem i ograniczoną liczbą wchodzących. Na co dzień Pedraza (cała gmina ma ok. 335 mieszkańców) żyje z gości z Madrytu i Segowii, przyjeżdżających na pieczonego w piecu opalanym drewnem baranka (lechazo), prosię (cochinillo), fasolę judiones z La Granja i ciasto ponche segoviano. Od 1951 r. miasteczko jest zespołem zabytkowym, a od 2014 r. należy do stowarzyszenia „najpiękniejszych wsi Hiszpanii”.