Le grand public a réellement découvert Raphael en 2003, lors de son duo avec Jean-Louis Aubert sur la chanson Sur la route, extraite de son deuxième album, La réalité, disque d'or.

Mais Raphael connaît vraiment la consécration avec son troisième album Caravane, disque de diamant avec 1,8 million d'exemplaires vendus, qui lui vaut trois victoires de la musique en mars 2006 : meilleur artiste masculin, meilleur album et meilleure chanson pour Caravane. Tous les extraits de cet album (Caravane, Ne partons pas fâchés, Et dans 150 ans et Schengen) sont largement diffusés en radio.

Le 17 mars 2008, paraît son quatrième album, Je sais que la terre est plate. Enregistré en septembre 2007. L'album s'écoule à 300 000 exemplaires et est certifié disque de platine. Il comporte notamment Le vent de l'hiver, Le petit train, et un duo avec le chanteur jamaïcain Frederick Toots Hibbert, Adieu Haïti. 

La tournée qui suit le mène dans tous les Zéniths de France, à Madagascar, La Réunion et s'achève au Palais Omnisport de Paris-Bercy en décembre 2008.

Entre novembre 2009 et avril 2010, Raphael prépare un nouvel album qu'il conçoit comme un « retour au blues, au rock et aussi à des ambiances plus mystérieuses ». Raphael s'entoure d'Adrian Utley, guitariste de Portishead, Albin de la Simone, Benjamin Lebeau (du groupe The Film), Adrian Belew ou encore Sly Johnson (beat box).

Début 2010, il se lance dans une tournée acoustique en solo, Funambule, avec des anciens titres, des nouvelles chansons qu'il teste sur son public comme Bleu, blanc, rouge, ainsi que des reprises : Modern Love de David Bowie, Hey Hey My My de Neil Young et Osez Joséphine de Bashung. Raphael ajoute à sa guitare, son piano et son harmonica des vocodeurs et des instruments bricolés commandés par des pédales, avec des projections d'images sur scène.

Le 27 septembre 2010 sort son cinquième album, Pacific 231, avec comme premiers extraits Terminal 2B et Bar de l'hôtel (dont le clip est en partie censuré par M6). Très apprécié par la critique, jugé par beaucoup comme son meilleur album et par certains comme le meilleur album de la rentrée, l'album s'écoule à 100 000 copies (disque de platine).

La chanson Le Patriote est diversement appréciée. Rendant hommage selon ses propres déclarations à Renaud (Hexagone) et Jacques Dutronc (Merde in France), Raphael s'en prend à « l’esprit de café du commerce » et au « patriotisme de comptoir » : « J'ai comme une idée qu'il faut que j'te dise/Cette France, hé bien moi, j’la méprise ».

Une tournée intitulée Pacific Tour suit la sortie de cet album (deux soirs à l'Olympia en novembre). Après une pause, il reprend en mai 2011 au Parc Chanot de Marseille.

Un nouvel album est annoncé pour l'automne 2012. Il porte le titre de Super-Welter et le premier extrait s'intitule Manager.