Brantôme leży nad rzeką Dronne, ok. 20 km na północ od Périgueux. Stare centrum stoi na wyspie o średnicy ok. 300 m, stąd przydomek „Wenecja Périgordu”. Nad wodą ciągnie się długa fasada opactwa benedyktyńskiego Saint-Pierre, a za nią wapienna skała z grotami, w których mnisi mieszkali od VIII w.

Tradycja mówi, że opactwo założył w 769 r. Karol Wielki i złożył w nim relikwie św. Sykariusza, jednego z dzieci zamordowanych w Betlejem na rozkaz Heroda. Wikingowie zniszczyli klasztor w 848 i 857 r., a odbudowa trwała od ok. 900 r. Z XI w. pochodzi romańska dzwonnica ze szczytami w stylu limuzyńskim; stoi osobno, nie na kościele, tylko na skale wysokiej na 12 m, i uchodzi za najstarszą tego rodzaju we Francji. W grocie Sądu Ostatecznego przetrwała płaskorzeźba z końca XV w., a obok druga, z XVII w., z Ukrzyżowaniem. Dzisiejsze budynki klasztoru, z XVII–XVIII w., mieszczą ratusz i dwa muzea.

Najsłynniejszym opatem był Pierre de Bourdeille (ok. 1540–1614), znany jako Brantôme: żołnierz, dworzanin i autor wspomnień o ludziach i obyczajach dworu Walezjuszów. Opatem został w latach 50. XVI w., a w czasie wojen religijnych, w 1569 i 1570 r., dwa razy przyjął hugenotów tak, że oszczędzili opactwo. Po jego poprzedniku, opacie Pierze VIII de Mareuil (1538–1556), został Ogród Mnichów z renesansowymi kapliczkami, a przez Dronne prowadzi kamienny most kolankowy (pont coudé).