謝向榮的祖父就是給謝時開蒙的老師，他是個疏朗開闊的文人，雖然惋惜沒有孫子，卻並不執迷於此，還反過來勸說兒子和兒媳，認為這是緣分。
“你們沒有兒子，是因為緣分未至，孩子是上蒼的恩賜，你們既有了大娘，不如好好教養她，不也有做父母的樂趣嗎？”
可惜他兒子兒媳不認命，一直折騰著想要一個兒子。
謝老先生就把孫女帶在身邊，孫女說，“我做夢了，夢見自己應該著男裝，叫向榮，這樣或許弟弟就來了。”
於是謝老先生就給她改名叫向榮。
孫女說，“弟弟可能不喜歡陽夏的風水，聽聞琅琊人傑地靈，阿爹阿娘若去琅琊居住，說不定能引來靈童。”
於是他們一家就跟著被征辟到琅琊的謝老先生一起搬到了琅琊。
等戰火四起，謝老先生憂憤之下病逝，謝向榮又說，“祖父半生漂泊，此時落葉當歸根，這才是最重的孝道。”
於是本來想向南逃亡的父母不得不跟著她一起扶棺回鄉，他們幸運的躲開了路上的匈奴大軍，跟著一群流亡的難民到了陽夏，迅速聯係上謝時的親眷，被他們庇護起來，躲過了那一場兵禍。
然後謝向榮開始為祖父守孝，以守孝為名拒絕了許多親事，去年年中出孝，謝家父母要給她說親，她就反過來勸父母，認為他們正當年，還有希望為謝家綿延子嗣。
“我若重孝，或許上蒼憐憫，能為父親和母親送來一個兒子，”以此為由居家為祖父繼續守孝，“別人守三年，我就守六年，十二年，我相信，女兒的孝心一定能感動上蒼，為父母賜下麟兒。”
她的父母被說服了，於是拒絕親事，讓謝向榮居家守孝。
但謝時說，“名為守孝，其實她是在整理叔祖的文稿和注釋，想要學孔子學生為孔子著書留言之舉。”