后来，刘显派人将要谋害道武帝，道武帝的姑姑是刘显弟弟刘亢泥（刘亢掞）的妻子，知道此事，秘密地告诉贺氏，梁眷也来报告祸难。贺氏于是命令道武帝离开。贺氏夜晚请刘显喝酒使他醉倒。到天亮，故意惊动圈中的马匹，刘显派人起来看马。贺氏哭着对他说：“我的几个儿子开始都在这里，现在都不见了。你们谁杀了他们？”所以刘显不许派人急追，道武帝得以到达贺兰部。人心不是很愿归附，贺氏的堂弟外朝大人贺悦率领部落跟随，每事以礼供奉。刘显发怒，将要杀害贺氏，贺氏夜晚投奔刘亢泥家中，在神车中躲藏了三天，刘亢泥全家求情，才得以免除祸难。遇到刘显部落混乱，才得以逃回。