L'origine des Rroms a été l'objet de tous les fantasmes. Les hypothèses qui en ont fait les descendants de Caïn côtoient celles qui les affilient à Cham. D'autres les font descendre de mages de Chaldée, des Atlantes, de Syrie, d'une des tribus perdues d'Israël, des Égyptiens de l'époque pharaonique, ou encore d'anciennes tribus Celtes du temps des Druides. La fascination exercée par de tels mythes a encouragé ces nomades, vivant souvent de leurs talents, à se donner eux-mêmes les origines les plus mystérieuses.
Cependant, des études linguistiques établissent, dès le XVIIIe siècle, les origines indiennes des Rroms, hypothèse recoupée par un récit historico-légendaire datant du milieu du Xe siècle, la Chronique persane de Hamza d'Ispahan, qui fut reproduite et embellie au XIe siècle par le poète Ferdowsi.
Selon cette chronique, plusieurs milliers de Zott, Rom ou Dom (homme) partirent du Sind actuel, et peut-être de la rivière Sindhu vers l'an 900 selon les ordres du roi. Ils devaient rejoindre le roi de Perse, soucieux de divertir ses sujets grâce à leur culture musicale. De là, ils se divisèrent et s'éparpillèrent autour du monde. Longtemps installés en Perse, ces Roms, déjà décrits comme refusant de vivre d'agriculture, finissent par se séparer en deux groupes migratoires : les uns vers le sud-ouest et l'Égypte, les autres vers le Nord-ouest et l'Europe.
Les Rroms pourraient donc avoir quitté l'Inde autour de 1000 ap. J.-C., et avoir traversé ce qui est maintenant l'Afghanistan, l'Iran, l'Arménie, une grande partie du Caucase et la Turquie. Des populations Rroms reconnues par d'autres Rroms comme tels vivent encore en Iran, y compris ceux qui ont migré vers l'Europe, et qui y sont repartis. Au XIVe siècle, les Rroms atteignent les Balkans, et au XVIe siècle, l'Écosse et la Suède. Quelques Rroms migrent vers le sud. En 1425 ils traversent les Pyrénées et pénètrent en Espagne. Certains auteurs estiment que les Roms n'ont jamais transité par l'Afrique du Nord, comme d'autres le pensent. Toujours est-il que des preuves indiscutables manquent.
De nombreux peuples apparentés aux Rroms vivent encore en Inde, apparemment originaires de l'État désertique du Rajasthan. Il serait parents* des Banjaras, restés en Inde.