Wieś na łupkowym cyplu nad doliną Alagónu założyli według tradycji muzułmanie w IX w. jako strażnicę przy rzymskiej Vía de la Plata. Nazywała się wtedy po prostu Granada. W 1160 r. zdobył ją Ferdynand II Leoński (1137–1188, król Leónu od 1157 r.) i otoczył murami, które stoją do dziś niemal w całości. Ten sam władca odbudował i zasiedlił Ciudad Rodrigo, a w 1170 r. powstał pod jego opieką zakon Santiago, który miał chronić pielgrzymów do grobu Apostoła w Composteli. W 1446 r. król Jan II oddał miasteczko rodowi Álvarezów de Toledo, który trzymał je aż do 1830 r. Zamek z wysoką basztą kazał wznieść w latach 1473–1478 García Álvarez de Toledo (ok. 1424–1488), książę Alby, w miejscu dawnej alkazaby. Tytuł książęcy dostał w 1472 r. od Henryka IV, a w wojnie o tron Kastylii stanął po stronie Izabeli. Jego prawnukiem był Fernando Álvarez de Toledo (1507–1582), „Wielki Książę Alba”, wódz Karola V i Filipa II: krwawo tłumił bunt w Niderlandach, a w 1580 r. zdobył Lizbonę i otworzył Filipowi drogę do korony Portugalii. Po zdobyciu muzułmańskiej Granady przez Królów Katolickich w 1492 r. miasteczko zaczęto nazywać zdrobniale Granadillą, żeby nie myliło się ze słynną imienniczką.

W 1955 r. rząd Franco zdecydował o wywłaszczeniu prawie całej gminy pod zbiornik Gabriel y Galán. Nazwano go na cześć José Maríi Gabriela y Galána (1870–1905), poety, który ostatnie lata życia spędził w pobliskim Guijo de Granadilla. Pisał po kastylijsku i w miejscowej mowie estremadurskiej (cykl „Extremeñas”), w chwili śmierci należał do najczęściej czytanych poetów Hiszpanii i jako jeden z pierwszych pisał o nędzy sąsiedniego Las Hurdes. Mieszkańców wysiedlano stopniowo, ostatni wyjechali w 1964 r., a gminę zlikwidowano. Ironia losu polega na tym, że woda nigdy nie zalała wsi: nawet przy pełnym zbiorniku Granadilla stoi na suchym cyplu, tylko odcięta od dawnych pól. Jedynym budynkiem, którego państwo nie przejęło, był kościół Wniebowzięcia NMP z XV w. Dawni mieszkańcy i ich potomkowie wracają tu dwa razy w roku: 15 sierpnia na odpust i 2 listopada, w Dzień Zaduszny.

W 1980 r. wieś uznano za zespół historyczno-artystyczny, a w 1984 r. weszła do państwowego programu odbudowy opuszczonych wsi. Od tamtej pory co roku przyjeżdżają tu uczniowie, którzy w ramach programu edukacyjnego pomagają odnawiać domy; ich pobyty mają pierwszeństwo przed turystami. W 1990 r. Pedro Almodóvar nakręcił tu końcowe sceny filmu „¡Átame!” („Zwiąż mnie!”). Ok. 12 km w linii prostej na południe leżą ruiny rzymskiej Cápary z łukiem czterodrożnym z końca I w., jedynym takim w Hiszpanii. Postawił go Marek Fidiusz Macer, by spełnić wolę zmarłych rodziców, a pod nim przechodził rzymski gościniec Vía de la Plata.