Japonijai buvo pažadėtos 1940 m. Olimpinės žaidynės, tačiau Antrasis pasaulinis karas privertė šalį atsisakyti šios garbės. Ir tik 1964 m. Japonijos sostinė vėl buvo pasirinkta kaip olimpinių žaidynių vieta. Tai buvo pirmosios Azijos olimpinės žaidynės.
Tokijas rimtai artėjo prie pasiruošimo didžiulėms atostogoms. Žaidynių išvakarėse jie atliko reikšmingą miesto rekonstrukciją: nugriovė daug senų rajonų, nutiesė naujus greitkelius, tiltus, įrengė modernias sporto aikšteles, atkūrė senus stadionus ir baseinus.
Į XVIII žaidynes susirinko 5140 sportininkų iš 93 šalių. Pirmą kartą olimpinėse žaidynėse dalyvavo Alžyras, Kamerūnas, Dramblio Kaulo Krantas, Kongas, Malis, Nigeris, Senegalas, Zanzibaras, Čadas, Trinidadas ir Tobagas, Mongolijos Liaudies Respublika, taip pat Nepalas. Pietų Afrikos Respublikos komanda buvo sustabdyta dalyvauti varžybose dėl rasinės diskriminacijos. Iš varžybų taip pat buvo sustabdytos Šiaurės Korėjos, Indonezijos, Barbadoso ir Ekvadoro komandos.
Spalio 10 d. Į olimpinį stadioną susirinko apie 90 tūkst. Sportininkus pasveikino Japonijos imperatorius Hirohito ir organizacinio komiteto prezidentas Dangoro Yasukawa.
Olimpinių žaidynių programa dar nebuvo tokia plati. Jis buvo papildytas dziudo ir moterų bei vyrų tinkliniu. Išskirtinis šių žaidimų bruožas buvo žymiai padidėjusi konkurencija visų rūšių varžybose. Varžybų metu buvo iškelti 77 olimpiniai ir 35 pasaulio rekordai.
1964 m. Žaidynėse neoficialioje komandų įskaitoje SSRS sportininkai išlaikė savo pirmumą ir laimėjo 96 medalius, iš kurių 30 buvo aukso. JAV sportininkai atnešė nacionalinei komandai 90 medalių, Japonijos komanda užėmė trečią vietą, pirmiausia pateko į geriausiųjų trejetuką.
Japonijos vasaros olimpinės žaidynės buvo prisimintos už puikų sovietinių svarmenininkų pasirodymą. Aleksejus Vakhoninas, Rudolfas Plukfelderis, Vladimiras Golovanovas ir Leonidas Zhabotinskis gavo aukso medalius, Viktoras Kurentsovas, Jurijus Vlasovas ir Vladimiras Kaplunovas - sidabrą.
Sovietinė gimnastė Larisa Latynina iškovojo 2 aukso, 2 sidabro ir 2 bronzos medalius. Bendras olimpinių apdovanojimų skaičius ji padidino iki 18 ir ji tapo čempionų iškovotų medalių skaičiumi.
Pirmą kartą olimpinėse žaidynėse rezultatams rinkti ir saugoti buvo naudojami kompiuteriai. Be to, pirmą kartą iš olimpinių arenų televizija buvo transliuojama į kitus žemynus.