Рюффье является воспитанником Монако. В составе монегасков он и сделал себе имя, заработав репутацию одного из лучших вратарей чемпионата Франции. Ряды красно-белых Стефан покинул летом 2011 года, не пожелав опускаться с командой в низший дивизион. Переход в Сент-Этьенн позволил Рюффье сделать шаг вперед в своей карьере. Под руководством Кристофа Галтье он продолжал оттачивать свое мастерство и превратился в одного из лидеров команды. В данный момент Стефаном интересуются многие европейские клубы.
В составе национальной сборной Франции Рюффье провел всего лишь один матч – против сборной Норвегии летом 2011 года. Выиграть конкуренцию за место в основе главной команды страны особых шансов нет, но на роль второго номера он подходит идеально. Впрочем, возможность поехать на чемпионат мира он получил только благодаря травме Стива Манданда.