Aptardamas III olimpines žaidynes, Tarptautinis olimpinis komitetas nusprendė ją organizuoti JAV, nes ši šalis per pastaruosius dvejus žaidimus pademonstravo gerus rezultatus. Iš pradžių jie norėjo surengti olimpines žaidynes Čikagoje ar Niujorke, tačiau dėl to pasirinkimas sumažėjo mažame uostamiestyje Sent Luise.
III pasaulinės olimpinės žaidynės Sent Luise kartu su Paryžiumi buvo surengtos kaip pasaulinės parodos dalis. Tačiau vietinė parodos vadovybė nelaikė jos konkurentu, o priešingai, padarė viską, kad žaidimus panaudotų savo reklamos tikslams. Be to, organizatoriai pakartojo kai kurias 1900 m. Paryžiaus vasaros olimpinių žaidynių klaidas. Dėl prisirišimo prie pasaulinės parodos konkursai buvo perkelti į aplinkybes, o pačios olimpinės žaidynės tęsėsi beveik 5 mėnesius (1904 m. Liepos 1 d. – lapkričio 23 d.). Daugybė varžybų vyko vadovaujant įvairioms profesinėms organizacijoms, tačiau nepaisant to, visoms joms buvo suteiktas olimpinių disciplinų titulas.
TOK duomenimis, 12 šalių dalyvavo vasaros žaidynėse Sent Luise. Vienintelė valstybė, pirmą kartą dalyvavusi varžybose, buvo Pietų Afrika. Lyginant su Paryžiaus olimpinėmis žaidynėmis, dalyvaujančių šalių skaičius smarkiai sumažėjo. 13 Paryžiaus vasaros žaidynėse dalyvaujančių valstybių dėl ekonominių priežasčių negalėjo atvykti į Sent Luisą. Rusija, kuri tuo metu kovojo su Japonija, varžybose nedalyvavo.
Iš viso III vasaros olimpinėse žaidynėse dalyvavo 651 žmogus, iš jų 6 moterys. Jie varžėsi dėl 94 apdovanojimų rinkinių 18-yje sporto šakų. Didžiausia komanda buvo Jungtinės Amerikos Valstijos, žaidynėse jie atstovavo 533 žmonėms. Daugelyje sporto šakų (boksas, imtynės, vandens polo, šaudymas iš lanko ir tenisas) dalyvavo tik Amerikos sportininkai, todėl žaidynės aiškiai parodė šalies viršenybę.
Sent Luise pirmą kartą pradėjo apdovanoti ne du, o ne du geriausius rezultatus parodę sportininkai. Pagrindinis konkurso nugalėtojas buvo apdovanotas aukso medaliu; antros vietos sportininkas - sidabras; ir trečioji vieta buvo pažymėta bronzos apdovanojimu. Ši tradicija išliko iki šių dienų.
Neoficialiame komandos turnyre dalyvaujančios šalys yra šios: I vieta - JAV (78 aukso, 82 sidabro, 78 bronzos medaliai), II vieta - Vokietija (4 aukso, 4 sidabro, 5 bronzos medaliai), III vieta - Kuba (4 auksai)., 2 sidabro, 3 bronzos medaliai).
