Jēdziens ksenofobija nāk no grieķu jēdziena, kas sastāv no ksenos ("ārzemnieks") un " foobos" ("bailes"). Tāpēc ksenofobija attiecas uz naidu, aizdomām, naidīgumu un noraidījumu pret ārzemniekiem. Vārdu bieži lieto arī paplašinātā veidā ar fobiju pret dažādām etniskajām grupām vai cilvēkiem, kuru sociālais, kultūras un politiskais izskats nav zināms.
Ksenofobija ir ideoloģija, kas sastāv no atšķirīgu kultūras identitāšu noraidīšanas. Atšķirībā no rasisma, ksenofobija ierosina pieņemt ārzemniekus un imigrantus, ja vien ir izpildīta viņu sociokulturālā asimilācija.
Var teikt, ka šāda veida diskriminācija ir balstīta uz dažādiem vēsturiskiem, reliģiskiem, kultūras un nacionāliem aizspriedumiem, kuru dēļ ksenofobi attaisno segregāciju starp dažādām etniskajām grupām, lai nezaudētu savu identitāti. No otras puses, daudzkārt tiek pievienots ekonomisks aizspriedums, kas imigrantus uzskata par konkurenci par valstī pieejamiem resursiem.
Šī iemesla dēļ ekonomiskā un sociālā krīze, kurā 20. gadsimta beigās cieta daudzas valstis, bija sākumpunkts agresīvai ksenofobijas izpausmei, kas atspoguļojās no reklāmkarogiem un runām līdz visa veida vardarbības aktiem. Plašsaziņas līdzekļi no savas puses bieži sadarbojas ar ksenofobijas attīstību, iepazīstinot svešās paražas un kultūras kā svešas dimensijas un svešu nacionālo identitāti.
Jāatzīmē, ka antropologi ir pamanījuši ksenofobijas situācijas arhaiskajās tautās, kas liecina, ka ksenofobija ir parādība, kas vienmēr bijusi cilvēku uzvedībā.