Zuid-Afrika, 1927. De Britse Abram en zijn Jamaicaanse vrouw Alisa leiden een comfortabel leven met hun twee jonge dochters. Dan wordt de Ontuchtwet aangenomen die relaties tussen 'witten' en 'zwarten' verbiedt, en zijn hun twee kinderen opeens het bewijs van een verbintenis die volgens de overheid een misdaad is.
In eerste instantie vragen Alisa en Abram zich af of de nieuwe wet gevolgen voor hen zal hebben, maar dan beginnen ambtenaren vragen te stellen op de school van de meisjes en worden hun bezittingen gecatalogiseerd voor mogelijke inbeslagname. Abram weet niet hoe hij zijn jonge gezin moet beschermen. Door deze aarzeling staat de relatie tussen het stel onder druk en zinkt Alisa weg in een depressie. Haar wanhoopsdaad verscheurt het gezin.
Zwervelingen verweeft de verhalen van Abram en Alisa met rituelen, mythen en de hartverscheurende vraag wie blijft en wie
vertrekt.