Жоэль Матип родился в немецком Бохуме в семье немки и камерунского футболиста Жана Матипа. Совсем еще маленьким он начал заниматься футболом в клубе Вайтмар, но уже в шесть лет был замечен скаутами Бохума. В структуре этого клуба Жоэль пробыл только до десяти лет, и с тех пор его жизнь неразрывно связана с Шальке. В Бундеслиге дебютировал осенью 2009 года, причем не только стал лучшим игроком того матча с Баварией, но и забил гол. Высокий и грамотный центральный защитник, прекрасно играющий на перехватах, но, невзирая на рост, не очень уверенно чувствующий себя в воздухе, является оплотом обороны Шальке, с которым становился вице-чемпионом страны, выигрывал Кубок Германии и выступал в плей-офф Лиги чемпионов.
Матип долго раздумывал насчет своего футбольного гражданства. Немецкая сборная также имела виды на талантливого футболиста, но Жоэль весной 2010 года все-таки сделал выбор в пользу родины отца. В марте 2010 года дебютировал в сборной Камеруна в товарищеском матче с Италией и сразу же отправился на чемпионат мира в ЮАР, где принял участие в матче с Японией. В команде Фолькера Финке действует на позиции опорного полузащитника, которая ему знакома по матчам и на клубном уровне.