El Ghriba stoi w dawnej żydowskiej wiosce Hara Seghira, dziś Er-Riadh, kilka kilometrów od Houmt Souk. Według legendy założyli ją kapłani (kohenim), którzy po zburzeniu świątyni jerozolimskiej uciekli aż na Dżerbę i przynieśli ze sobą drzwi i kamień ze świątyni; mają być wmurowane w synagogę. Inna opowieść mówi o tajemniczej dziewczynie, która zamieszkała samotnie w szałasie i zginęła w pożarze, a jej ciało zostało nietknięte przez ogień; „el-ghriba” znaczy po arabsku „obca” albo „samotna”. Obecny budynek, z niebieskimi kafelkami, kolumnami i drewnianymi stropami, pochodzi głównie z XIX w.

Synagoga jest celem dorocznej pielgrzymki Żydów z Tunezji, Francji i Izraela. Odbywa się wiosną, między Pesach a Szawuot, i kończy w święto Lag ba-Omer procesją z ozdobioną menorą przez wioskę. Do lat 50. XX w. na Dżerbie działało ok. 20 synagog w trzech żydowskich wioskach; społeczność jest dziś niewielka, ale wciąż żywa.

Miejsce było kilka razy celem zamachów: w 1985 r., w 2002 r. (wybuch ciężarówki z gazem) i w maju 2023 r., gdy strzelanina podczas pielgrzymki zabiła kilka osób. Dlatego przy wejściu stoi posterunek, a bagaż bywa sprawdzany.