Sebagai pemain, Rummenigge meraih kesuksesan besar bersama Bayern Munich; ia memenangkan Piala Interkontinental, dua Piala Champions Eropa, serta dua gelar liga dan dua gelar piala domestik. Ia juga memenangkan dua penghargaan Ballon d'Or, yakni pada tahun 1980 dan 1981. Pada tahun 2004, nama Rummenigge dimasukkan oleh Pelé ke dalam daftar FIFA 100 yang memuat para pemain terbaik dunia yang masih hidup.
Di timnas Jerman Barat dia bermain 95 kali dan mencetak 43 gol.
