在那个时候，男人就是家里的天，是一个家的顶梁柱。丁承业死后，他与嫡妻的几个儿子，也就是芸娘的几位伯父便以丁来喜不是丁家的种为由，分走了丁承业所有的遗产，将潘氏母子赶了出去。
潘氏并没有离开越州，就在离家不远处的树林里搭了几间茅草屋住下来。她用自己开荒出来的地种上蔬菜，再以刺绣换取其他生活用品，艰辛地养大了儿子。
丁氏一族对丁来喜的身份一直持怀疑态度，但以前丁承业是承认这个儿子的，因此家族的态度模棱两可。虽然很多人怀疑，却并未将丁来喜逐出家族。
丁来喜家境不好，在族中又受人轻视，偏偏人才生得十分好，还识字，让丁氏一族同龄的族人很是嫉妒。于是，只要有人给丁来喜做媒，丁家就有人出面说丁来喜的坏话，坏掉他的婚事。因此，丁来喜一直娶不上媳妇儿。
如此，丁来喜直到年近三十去外地做工，这才娶了个媳妇回家，几年后才生下了芸娘。
因为家里多了人口，而潘氏的身体也越来越差，家里负担很重。于是，丁来喜只能外出做工，以养活自己的母亲和妻女。因为他经常几个月都不能回家一次，芸娘也一直没有弟弟妹妹出生。
就在芸娘四岁的时候，父母带着她出门，说是去外祖家，谁知就遇上了海难。
等芸娘被父亲的朋友送回老家，祖母潘氏差点哭瞎了双眼。可是，眼泪除了表示软弱，没有半点作用。为了养大芸娘，潘氏不得不坚强地站起来。
这个时候，村里有了谣言，说潘氏命不好，克夫克子。而后，潘氏的三个继子，芸娘的三位伯父就开始欺辱她们。经常潘氏好不容易用刺绣攒几个钱买回一点米或者肉，就被几个继子抢了，理由是：都怪你这个扫把星克死了我爹！
安然看得满心愤怒，然而潘氏却一直忍着，这一忍就是十多年，真的是历经千辛万苦才将芸娘抚养长大。
芸娘也是个能干懂事的姑娘，很小的时候就能帮着祖母做事，七八岁就能做刺绣贴补家用，十来岁就跟着人学打渔。但她们一直无法摆脱被三位伯父欺凌的境况，直到后来遇到燕老三，家里有了男人，还是个武艺高强的男人，这种情况才开始有了好转。
却也因为燕老三的强势，一怒之下差点将芸娘的堂兄打死，也让他们与丁氏家族结下更深的仇怨。经过族长的族老的干涉，这件事情虽然最后解决了，却也告诫燕老三以后不许随便打人，如果不然就要将潘氏和丁来喜逐出丁氏一族。
燕老三是很想带着芸娘和祖母一起离开的，可是潘氏不肯。
安然知道，这个时代的人，家族观念很重，而被逐出家族，是非要严厉的惩罚，无论在什么地方都是被人看不起的。特别像潘氏这样的人，坚强了一辈子，如果年老反而被丈夫的家族逐出去，她就是死了都不会安心的。
因为丁氏一族的支持，只要燕老三不在，家里就难免被抢劫。等燕老三回来再上门去将对方打一顿，将东西抢回来。打得几次，芸娘三位伯父才收敛了一些。
可去年燕老三带着芸娘回乡祭祖，大半年没回家，乡邻们便开始传燕老三不会回来了。于是，芸娘的三位伯父便带着自己的儿孙又去欺负潘氏。要不是燕老三回来及时，只怕老人家都要饿死在家里了。
安然每每想到这些，就不禁为芸娘和她的祖母潘氏感到心疼，一个人怎么就能经历这么多的苦难呢！而最难得的是，这么多的苦难，那位老人家竟然都坚持下来了。
同时，安然更为芸娘的几位伯父感到愤怒。人怎么可以如此忘恩负义，如此无耻？而丁氏家族，就因为芸娘父亲早产，就怀疑他不是丁家血脉，就可以这样欺负人家孤儿寡母？
好吧，其实安然也怀疑芸娘的父亲丁来喜不是丁承业的亲生骨肉。从潘氏被丁承业从河里救出来，却说不记得以前的事情这件事情上，安然就基本上可以推断出潘氏之前多半也是所托非人，这才绝望跳河。
可就算如此，人家丁承业都认了这个儿子，关其他人什么事？就算是养子，既然冠上了丁氏的姓氏，不就是丁家的人了吗？你不说对人家多好，至少也不能如此欺负人吧？
