Rabus werd geboren in Kempten en studeerde onder Angelo Jank aan de academie in München. Na verschillende kunsttentoonstellingen georganiseerd door Hans Goltz in München en door Der Sturm in Berlijn werkte Rabus van 1923 tot 1927 als boek- en kunstillustrator in Berlijn. Zijn werken werden gepubliceerd door verschillende tijdschriften zoals Eulenspiegel, Der Orchideengarten en Jugend.[3] Samen met tijdgenoten als Jacob Steinhardt, Richard Janthur [de], Heinrich Richter-Berlin en Conrad Felixmüller, "herleefde Rabus de technieken van houtsnede en houtgravure die synoniem zijn met de Die Brücke-kring van kunstenaars en het Duitse expressionisme".
Na de machtsovername door de nazi's in Duitsland in 1933 verhuisde Rabus naar Wenen, Oostenrijk, waar hij zijn toekomstige vrouw, de Joodse fotografe Erna Adler, ontmoette.
Ze moesten echter al snel het land verlaten vanwege de dreigende annexatie door het Derde Rijk. Ze vluchtten naar Brussel, maar in 1940 werden ze in België gearresteerd na de inval van het Duitse leger. Erna Adler werd vrijgelaten, maar Rabus werd opgesloten in het detentiekamp Saint-Cyprien in Zuid-Frankrijk.
In 1941 kon hij ontsnappen uit het kamp en keerde hij terug naar Brussel. Daar werd hij in 1943 opnieuw gearresteerd op beschuldiging van Rassenschande. Rabus werd gedeporteerd en moest enige tijd in de stadsgevangenis van Wenen doorbrengen.
In 1944 trouwde hij met Erna Adler en na de oorlog woonden ze in Essen, München en Brussel. Uiteindelijk vestigden ze zich in 1974 in Murnau am Staffelsee, waar Carl Rabus op 28 juli 1983 overleed. Hij werd overleefd door zijn vrouw Erna.