Der gebürtige Karlsruher begann seine Karriere beim ASV Durlach, bevor er 1988 zum Karlsruher SC wechselte. Da er jedoch von Trainer Winfried Schäfer kaum für die erste Mannschaft berücksichtigt wurde zog es ihn 1993 zum VfR Mannheim und später zum 1. FC Pforzheim. 1997 kehrte er zum KSC zurück, kam jedoch erneut hauptsächlich für die zweite Mannschaft zum Einsatz. Scharinger wechselte zur Saison 1999/2000 zum SSV Ulm 1846, die überraschend in die Bundesliga aufgestiegen waren. Hier wurde er auf Anhieb zum Stammspieler, konnte den Abstieg nach nur einer Saison jedoch nicht verhindern.

Rainer Scharinger wechselte im Sommer  2001 zu den Stuttgarter Kickers. Nach 30 Pflichtspielen und zwei Toren in der Regionalliga Süd verließ er den Verein Ende August 2002 nach dem 7. Spieltag der Saison 2002/03. Nach weiteren Engagements beim SV Sandhausen und dem Bahlinger SC beendete der Mittelfeldmann 2006 seine aktive Karriere, im Alter von 39 Jahren.

Mit 20 Jahren verließ er den deutschen Rekordmeister und wechselte zu Viktoria Köln. Nur knapp scheiterte er mit seinem neuen Verein 2017 am Aufstieg in die dritte Liga, nach einer denkbar knappen (2-3; 1-0) Niederlage gegen Carl-Zeiss Jena. Zur Saison 2017/18 folgte er seinem ehemaligen Kölner Trainer Tomasz Kaczmarek in die Regionalliga Südwest und heuerte bei den Stuttgarter Kickers an.

Im defensiven Mittelfeld war der kopfballstarke Schwarz gesetzt, verpasste allerdings einige Spiele verletzungsbedingt. Für das Team aus Stuttgart Degerloch verlief die Saison allerdings sehr schlecht. Recht schnell fanden sich die Kickers im Abstiegskampf wieder und rutschten letztendlich am vorletzten Spieltag in die rote Zone. Nach dem darauf folgenden Abstieg der Kickers, kehrte Edwin Schwarz zur Saison 2018/19 nach Bayern zurück, wo er seitdem für die SpVgg Bayreuth in der Regionalliga spielt.