Na temelju arheoloških nalaza postavljeno je da hominida aktivnost u Japanu može datirati već od 200.000 prije Krista kad su otoci bili spojeni s azijskim kopnom. Iako neki znanstvenici sumnjaju u ovaj rani datum stanovanja, većina se slaže da je oko 40.000 B.C. glacijacija je ponovno povezala otoke s kopnom.
Stanovništvo zemlje Japana
Na temelju arheoloških dokaza, također se slažu da je između 35.000 i 30.000 B.C. Homo sapiens doselili su se na otoke iz istočne i jugoistočne Azije i imali su dobro utvrđene obrasce lova i sakupljanja i izrade kamena. Kameni alat, nalazišta i ljudski fosili iz tog razdoblja pronađeni su na svim otocima Japana.
Jomon razdoblje
Stabilniji životni obrasci stvorili su oko 10 000 B.C. do neolitski ili, kako neki učenjaci tvrde, mezolitika Kultura. Eventualno udaljeni preci Ainu aboridžinskog naroda suvremenog Japana, pripadnika heterogene Jomon kulture (ca. 10.000-300 B.C.) ostavili su najjasniji arheološki zapis. Već od 3000. god. Prije Krista, Jomonci su izrađivali glinene figure i posude ukrašene uzorcima izrađenim po utisku vlažna glina s pletenom ili nepletenom vrpcom i štapovima (Jomon znači „obrasci pletene vrpce“) s rastom profinjenost. Ti su ljudi također koristili sjeckani kameni alat, zamke i lukove, a bili su lovci, sakupljači i vješti obalni i dubokovodni ribolovci. Bavili su se rudimentarnim oblikom poljoprivrede i živjeli u pećinama, a kasnije i u privremenim skupinama prebivališta s plitkim jamama ili nadzemne kuće, što ostavlja bogate kuhinjske okvire za modernu antropološku studiju.
Do kasnog Jomonovog razdoblja došlo je do dramatičnog pomaka prema arheološkim istraživanjima. Nekadašnje kultiviranje razvilo se u sofisticirano uzgoj riže i neovlaštenu kontrolu. Mnogi drugi elementi japanske kulture također mogu potjecati iz ovog razdoblja i odražavaju pomiješanu migraciju sa sjevernog azijskog kontinenta i područja južnog Tihog oceana. Među tim elementima su Shinto mitologija, bračni običaji, arhitektonski stilovi i tehnološki razvoj, poput lakiranja, tekstila, obrade metala i izrade stakla.
Yayoi razdoblje
Sljedeće kulturno razdoblje, Yayoi (nazvan po dijelu Tokija u kojem su arheološka istraživanja otkrili njegove tragove) procvjetali su između oko 300 B.C. i A. D. 250 od južnog Kyushua do sjevernog Honshu. Najraniji od tih ljudi, za koje se smatra da su doselili iz Koreje u sjeverni Kyushu i miješali se s Jomonom, također su koristili sjeckani kameni alat. Iako je grnčarija Yayoi bila tehnološki naprednija, bila je jednostavnije ukrašena od posude od Jomona.
Yayoi je izrađivao brončana ceremonijalna nefunkcionalna zvona, ogledala i oružje, a do prvog stoljeća A.D., željezo poljoprivredno oruđe i oružje. Kako se stanovništvo povećavalo, a društvo postajalo složenije, tkali su tkanine, živjeli u trajnim seoskim selima, gradili zgrade od drveta i kamena, akumulirali su bogatstvo vlasništvom nad zemljom i skladištenjem žita, te razvili različite društvene klase. Njihova navodnjavana, mokra kultura riže bila je slična kulturi u središnjoj i južnoj Kini, koja je zahtijevala velike unose ljudskog rada, što je dovelo do razvoja i mogućeg rasta visoko sjedećeg, agrarnog društva.
Za razliku od Kine, koja je morala poduzeti ogromne javne radove i projekte upravljanja vodom, što je dovelo do visoko centralizirane vlade, Japan je imao obilno vode. U Japanu su tada lokalni politički i društveni razvoj bili relativno važniji od aktivnosti središnje vlasti i slojevitog društva.
Najraniji pisani zapisi o Japanu potječu iz kineskih izvora iz tog razdoblja. Wa (japanski izgovor ranog kineskog imena za Japan) prvi put je spomenut u A. 57. Kineski povjesničari opisali su Wa kao zemlju stotina raspršenih plemenskih zajednica, a ne zajednicu ujedinjena zemlja sa 700-godišnjom tradicijom utvrđenom u Nihongi, što je temelj Japana 660 B.C.
Kineski izvori iz trećeg stoljeća izvijestili su da su ljudi Wa živjeli od sirovog povrća, riže i ribe poslužene na bambusovim i drvenim ladicama, imali su odnose vazala i gospodara, prikupljali poreze, provincijske kaštele i tržnice, pljeskale su rukama (nešto se još uvijek radilo u šintološkim svetištima), vodile su nasilne borbe za sukcesiju, gradili zemljane grobnice i promatrali žalosti. Himiko, vladarica rane političke federacije poznate kao Yamatai, procvjetala je tijekom trećeg stoljeća. Dok je Himiko vladala kao duhovni vođa, njezin je mlađi brat obavljao državne poslove, koji su uključivali diplomatske odnose sa dvorom kineske dinastije Wei (A. 220. do 65.).