Karena perlawanannya yang gigih terhadap kolonialis Belanda, mereka berdua kemudian dibuang ke Semarang pada 9 Juni 1933 dengan menaiki kapal api SS van Linskhoten dari pelabuhan Emma Haven yang sekarang bernama Pelabuhan Teluk Bayur, Padang. Kepergian gadis remaja pejuang yang sama-sama berumur sekitar 22 tahun ketika itu dilepas oleh ribuan orang pendukungnya yang berdatangan dari berbagai wilayah di Minangkabau.[2]
Rasimah adalah adik dari Abdul Gaffar Ismail,[3] seorang ulama pejuang, dan merupakan bibi dari Taufiq Ismail, seorang penyair ternama Indonesia.