Segesta nie była grecka, choć wygląda na najbardziej grecki krajobraz Sycylii. Zbudowali ją Elymowie, jeden z trzech rdzennych ludów wyspy. Grecy i za nimi Tukidydes powtarzali, że Elymowie to uciekinierzy ze zburzonej Troi, a Rzymianie chętnie przyjęli tę opowieść, bo sami wywodzili się od trojańskiego Eneasza. Dzięki temu pokrewieństwu Segesta za Rzymian była miastem wolnym i zwolnionym z podatków, o czym pisał jeszcze Cyceron. Współcześni badacze uważają raczej, że Elymowie przybyli z Italii, ale z trojańskim rodowodem łączy się tu wątek Odysei i Eneidy: z jednej strony wracający z Troi Grecy, z drugiej uciekający z niej Trojańczycy.

Segesta toczyła długie spory z greckim Selinuntem. W 416 r. p.n.e. poprosiła o pomoc Ateny i, jak opowiada Tukidydes, oszukała ateńskich posłów pokazem rzekomego bogactwa. Ateńczycy dali się przekonać i rok później wysłali na Sycylię wielką flotę, która skończyła się klęską pod Syrakuzami. W 307 r. p.n.e. tyran Syrakuz Agatokles, przyjęty w mieście jako sojusznik, sprowadził na nie według przekazów wielką rzeź.

Świątynia stoi samotnie na wzgórzu za dawnym miastem. Zbudowano ją prawdopodobnie w latach 20. V w. p.n.e., być może według projektu ateńskiego architekta, ale nigdy nie dokończono: kolumny nie mają żłobień, na blokach zostały występy do ich podnoszenia, a w środku nie ma celli ani śladów dachu. Na szczycie sąsiedniej góry Barbaro leży hellenistyczny teatr zwrócony w stronę Zatoki Castellammare; w pogodny dzień widać z niego morze.