皇帝的教师杨少荣，是福建省建宁人。
他的祖先累世都以操渡船为生。有一次，下雨很久，溪水高涨，横流冲毁百姓的住宅，溺水的人顺著河流而漂下。其他船夫都捞取货物，杨少荣的曾祖父和祖父只有救人，对於财货一无所取。同乡的人都笑他愚蠢。（因为救人不但没赚钱，而且可能还要供他们吃住。）
等到杨少荣的父亲出生，家境已经逐渐宽裕。有一位道者告诉他：「你祖父有阴德，子孙应当显贵，应该埋葬在某某地方！」於是杨家就把先人的遗体安葬在那里，这块地穴就是现在的白兔坟！
後来生了少荣，弱冠登第，位至三公（相当於现在的首相），加封曾祖父、祖父和父亲为一品官，子孙贵盛，到了现在还有许多贤人。（《感应类钞》第九十二页）