Sportif complet, ancien espoir de tennis, skieur et grand amateur de chasse.
Fils du tennisman Hubert Rigault (plusieurs fois sélectionné au championnat de France dont 1/4 finale contre Jean Borotra en 1927), Serge Rigault est demi-finaliste à 14 ans au Championnat de France à Roland-Garros (cadets) en 1944.