Рудольф Караччиола родился в немецком городке Ремаген в семье итальянских эмигрантов.
Родители содержали небольшую гостиницу, однако Рудольфа Караччиолу с детства влекли к себе автомобили. Начал он с мотогонок, а разменяв третий десяток, стал гоняться на малолитражках. В 1922 году он выиграл свою первую гонку. В 1926 году на гоночной трассе AVUS Mercedes Карачиолы пришел к финишу первым.
С тех пор он выступал под знаменами команды с трехлучевой звездой. За мастерство управления машиной под дождем Руди окрестили Regenmeister – «мастер дождя». После войны Рудольф Караччиола продолжил участие в гонках и выступал за команду Mercedes до середины 50-х.