En 1904, Jim quitte la Première nation Sauk et Fox pour le collège de Carlisle, où l’on "rééduquait" les enfants amérindiens. Sur le terrain de football (américain) comme sur les pistes d’athlétisme, l’entraineur "Pop" Warner va pousser Jim à donner le meilleur de lui-même, jusqu’aux podiums de Stockholm ou au fameux match contre les cadets de West Point dirigés par Ike Eisenhower.