Рудольф Караччиола родился в германском городке Ремаген в семье итальянских эмигрантов. Родители содержали небольшую гостиницу, однако Руди с детства влекли к себе автомобили. Начал он с мотогонок, а разменяв третий десяток, стал гоняться на малолитражках — в 1922 году он выиграл свою первую гонку.
В 1926 году на гоночной трассе AVUS Mercedes Карачиолы пришел к финишу первым. С тех пор он выступал под знаменами команды с трехлучевой звездой. За мастерство управления машиной под дождем Руди окрестили Regenmeister – «мастер дождя».
После войны Караччиола продолжил участие в гонках и выступал за команду Mercedes до середины 50-х.