Les Jeux d'été de 1904 devaient se dérouler à Chicago, mais une autre ville du Midwest américain, Saint-Louis, souhaitait ardemment les organiser. C'est au président des États-Unis, Theodore Roosevelt, que revenait le choix de la ville hôtesse et il trancha en faveur de Saint-Louis, allant ainsi à l'encontre de toutes les recommandations du président du C.I.O., Pierre de Coubertin. Ce dernier n'assista à aucune compétition et ne fit même pas le voyage en Amérique. Plusieurs pays européens suivirent l'exemple de Coubertin, prétextant, avec raison, que le voyage au Missouri était beaucoup trop onéreux. Les Jeux de Saint Louis accueillirent 12 pays et 687 athlètes, surtout des Américains et des Canadiens.
Encore une fois les Jeux d'été furent tenus parallèlement à une Exposition universelle et s'étalèrent sur cinq mois. Ces Jeux furent un plus grand fiasco qu'à Paris en 1900. L'organisation était faible et le niveau des compétitions l'était tout autant. Les athlètes américains ont dominè totalement dans ces compétitions, remportant 238 médailles, dont 80 médailles d'or. En athlétisme, les États-Unis ont gagné les trois médailles dans 20 épreuves, alors que Ray Ewry, Archie Hahn, Harry Hillman et Jim Lightbody ont tous remporté trois médailles d'or. Les Jeux de Saint Louis ont vu les Cubains s'imposer pour la première fois sur la scène internationale ; ceux-ci ont dominé dans les épreuves d'escrime, leur légendaire escrimeur Ramon Fonst a mérité quatre médailles d'or.