从先秦时代开始，就不断有人前往日本定居。最早日本用“汉人”、“新汉人”、“吴人”、“唐人”、“归化人”等来称呼他们。当时日本政府为吸收先进的文化，引进人才，也会派人前往大陆引诱汉人定居日本。
第一次是在秦汉时期(公元前3世纪至公元3世纪)
其间流传最广的就是发生在秦始皇时期的徐福东渡日本的传说。在司马迁的《史记·秦始皇本纪》中中有这样一段记载：始皇二十八年：“齐人徐 (徐福)等上书，言海中有三神山，名曰蓬莱、方丈、瀛洲，仙人居之。请得斋戒，与童男女求之。于是遣徐福发童男女数千人，入海求仙人。
那么，徐福求药寻仙最后去了哪儿呢?据《史记·淮南衡山列传》记载徐福最后到达“平原广泽”之地，竟“止王不来。”据说，这“平原广泽”是今天日本的九州。在日本学术界，研究徐福事迹的学术团体、学者和专家有很多，也有很多研究徐福事迹的文章、著作和专著，都确认了徐福到达并开发日本事实，徐福至今也仍受到日本民众的尊崇与爱戴。
不管徐福的传说到底怎样，但是有一个事实是毋庸置疑的，即在秦汉年间，就开始有中国人大量移居日本。首先在秦始皇的铁骑横扫六国时。旧燕国和齐国民众为逃避战乱，分两路逃亡日本：北路是燕国人由东北到朝鲜半岛再渡海到日本，南路是山东半岛的齐国人直接渡海赴日本。其次在在西汉武帝时期。元封三年(前108),汉武帝灭卫氏朝鲜政权，在朝鲜半岛北部设置乐浪等四郡。大量汉族人民随之移居四郡，其中有一部分不断往半岛南部迁移，直至跨海到达日本。
再次是东汉时期。此时中日之间终于建立了正式的官方联系。据《后汉书·东夷列传》记载，公元57年，倭奴国来朝，汉光武帝刘秀封倭奴酋首为国王，并赏“汉倭奴国王”金印一枚。1784年，倭奴国内发现“汉倭奴国王”五字金印一枚，证明了记载的可靠。另据日本史籍也有关于此事的记载。这个时候开始，就有一部分汉朝皇室成员(刘氏)因出使、避难等原因开始渡海来到日本。西文首氏(王氏)也有人到达了日本。
此时，隋朝完成了中国的统一，结束了长达三个世纪的南北分裂状态，中国封建社会开始进入了鼎盛的巅峰时期。尤其是大唐王朝前期(贞观之治到开元盛世)，国家空前强盛，百姓生活富足安康。相比之下的日本，则正处于由奴隶社会向封建社会转折的阵痛期，国势日衰，内部矛盾重重，内讧不断。大陆移民东渡热潮日趋消退，虽仍有部分知识分子、手工业者和学问僧在日本使者的劝诱下赴日，但是人数相比两晋时期已是强弩之末。相反，强盛的大唐却强烈的吸引了当时的日本人不畏惊涛骇浪，大规模派遣使节(即遣唐使)来唐朝访问学习。
本文开头引用李白诗中的晁衡就是其中一名最著名的留学生(日文名叫阿倍仲麻吕)。遣唐使回日，唐朝有时派遣送使同去。由于航行艰险，他们往往居留下来，归化日本。如沈惟岳、袁晋卿等，都在日本朝廷任职。
唐朝僧人也有随遣唐使赴日的，最有名的是鉴真东渡。有趣的是，伴随着大规模的人员交往，出现了很多唐日之间的跨国婚姻，如遣唐大使藤原清河娶的就是一位中国新娘。可见，跨国婚姻不是今天才有的的时尚，早在一千多年前的唐朝就已相对的普遍化了。安史之乱后，唐朝衰弱，藩镇割据混战，民不聊生，此时直至唐末，又陆续有不少民众驾舟东渡，但规模已无法与两晋时相比。甚至有传说杨贵妃并没有在马嵬驿被缢死，而是随使者逃到了日本，据说日本还有人自称是其后裔。
第三次是宋明时代(公元13世纪末至17世纪末)
遣唐使于公元895年废止后，一直到元朝，中日两国之间的关系趋于冷淡，官方往来基本停止，大规模有组织的大陆归化人移民浪潮也基本结束。有据可查的是洪武二十五年(1392)，朱元璋“更赐闽人三十六姓”人琉球。这批中国移民主要是向琉球传授中国先进的生产技术和文化。琉球王国也曾主动请求赐人，如1606年，尚宁王受册封时，便请赐明人归化。
如从中国去的蔡氏为蔡襄的后人，林氏为林和靖家族的后人。到了元灭南宋和清军入关的残酷民族战争与屠杀中，又有些南宋和明朝遗民(主要是江南汉人)迁居日本(比如著名的南宋温州雁山能仁寺住持高僧祖元、明朝宗室遗民朱舜水等)，但为数已不足道。一个最主要的原因就是唐宋以来，中国造船技术的进步和指南针的使用大大提高了中国人的航海技术，大量的贫苦农民和战争难民开始浮海到自然条件更为优越的南洋一带谋生，人多地狭的日本已逐渐失去了对大陆人民的吸引力，不再是中国海外移民的首选目的地。
17世纪末，清朝统治日趋稳定，民族压迫政策有所减轻，经济由恢复而发展，开始进入封建社会最后也是持续时间最长的盛世——康乾盛世;日本则进入了德川幕府统治时期，中日两国都奉行闭关锁国的国策，官方往来再次中断。至此时，引发移民潮的原动力不复存在，持续了将近2000年的中国大陆移民迁居日本的历史终于彻底终结。
正如日本一位史学家所说的，“只要统计一下我们祖先的数字就明白了。可以说我们现代的每一个日本人，都继承着一千数百年前生活着的全部日本人的血液，所以，必须承认，我们不论谁的血液中，都含有百分之十或二十古代归化人的血液。虽然流行着我们的祖先同化了归化人的说法，但并非如此，归化人(汉族移民)就是我们的祖先。”
中国和日本在古代就建立了外交关系，可以说，日本完整的继承了盛唐时期的中国，如此密切的往来，大部分日本人有中国的血统，也不是什么稀罕事。
