Aek sipangolu berasal dari bekas kaki gajah putih milik Raja Sisingamangaraja yang kehausan karena perjalanan panjang.[3] Saat sedang duduk dan berdoa, Sisingamangaraja XII menancapkan tongkatnya ke tanah tepat pada bekas pijakan kaki gajah, dan seketika air keluar dari tanah tersebut, dan mengalir deras hingga ke Danau Toba.[4]
Awalnya air terjun ini dinamakan sebagai Binanga Bibir, yang dalam bahasa Indonesia berarti Telaga Bibir.[5] Namun saat ini namanya telah diganti menjadi Aek Sipangolu yang berarti "air kehidupan" di mana ketika orang meminumnya, mencuci muka, dan mandi, akan menghilangkan berbagai macam penyakit dari dalam tubuh[6]
