很偶然的一次机会，他看上了小家碧玉的潘怜儿。二人一来二去便偷吃了禁果，他当时后悔不迭，却也不敢声张，任是潘怜儿哭闹不休，他只是不肯报予琢玉知道。
但是琢玉心思玲珑，没过多久还是听到了风声
。她伤心到了极处，反而表现得冷淡而镇定，根本没有同他商量，便一顶轿子将怀孕三个月的潘怜儿从侧门抬进了府里，唤作二姨娘。
同一时间，她又拨了自己身边最漂亮的两个一等丫鬟，珊瑚和珍珠，塞到他**，抬举做了三姨娘和四姨娘！
他当时吓得跟什么似的，错也认了，罪也请了，但琢玉就是不肯看他一眼！他耐着性子，整整一年没有碰过任何女人，包括潘怜儿和珊瑚、珍珠。琢玉认识到他的诚意，这才勉强原谅了他。
后来他们便有了第二个孩子，还是个男孩，起了个名字叫做苏若瑾。他那时欣喜若狂，可惜那孩子没福，几个月上却夭折了！
那件事后，琢玉大受打击，虽然强打着精神，身子却一天差过一天，为了子嗣之事，有时还主动把他往几个姨娘房里赶，他不想去都不行……
没过几年，她便当真丢下他和婉媚，撒手人寰去了。他自是伤心欲绝，将她所住的“司玉阁”改动了一个字，唤作了“思玉阁”，还不时前去缅怀。可惜阴阳两隔，伊人无迹，哪里还能再觅芳踪？
而且，活着的人，该过的日子还是要过。苏园说大不大，说小不小，总得要个女主人在内打理吧？他于是将连生了两个女儿的潘怜儿扶为继室，做了二夫人。
但他心里又放不下琢玉，便时常去三姨娘珊瑚和四姨娘珍珠房里走动，果然没多久，她们便双双有了身孕！
可是，也不知前世造了哪门子孽，这两个胎儿也都没能保住！
他也是在商场上打过滚的人，出了这样的事，还能不多留一个心眼？也曾明里暗里警告过潘怜儿，甚至还打杀了她的几个心腹丫鬟，但因为没有直接的证据，却也奈何不了她本人！
再说还有婉嫣和婉娇两个姑娘。她们到底是他亲生骨肉，不仅生得粉雕玉琢，性子也十分乖巧，成天在他身边转来转去，甜甜叫唤。
自从琢玉过世以后，大女儿婉媚就一直闷闷不乐，比起她来，婉嫣和婉娇这两个小女儿自然更为讨喜。他看在这两个孩子的份上，对潘怜儿的一些做法，也就睁一只眼闭一只眼去了！
也许真的是他过于纵容，有一次他出外押货，回来后才听说，珊瑚和珍珠因为盗窃、投毒等罪名，被潘怜儿双双拿住，下了监牢
！
他知道其中大有蹊跷，赶紧翻案追查，可惜还不等他查出个结果，珍珠已是为了自证清白，一头撞死在狱中！他只来得及将珊瑚救出，可她也已心灰意冷，说什么也不愿回到苏园，他只得给了她一笔钱，派人护送她投了一门远亲……
唉，想他苏永贺叱咤商场，偏生家中经营十几年，却还是抱不来一个儿子！
他咬咬牙，一发狠娶了一房五姨娘！此女姿色平凡，同样出身小户，他也从不专宠，料想不至于遭人妒恨，谁料不足两年，她竟被人当场捉奸！事已至此，他也别无选择，不管她是否遭人诬陷，总之他戴不起这顶绿帽，于是只得一纸休书，将她休回娘家！
那以后，他几乎相信了自己命中无子，渐渐便有些放浪形骸，频繁出入于烟花柳巷。
也就是在那个时候，他迷上了婀娜多姿、性情爽朗的歌妓柳依依。在她身边，他好像重新焕发了青春！他控制不住自己的热情，将她娶回家中做了第六房姨娘，居住在园中最美的绛云楼上！
同时，他还从以前的多次失败中吸取教训，为了保证柳依依的安全，不仅拨了忠心耿耿、精明强干的管事妈妈李德福家的前去照顾，还特意允许柳依依专事休息，平时不必出门去给二夫人潘氏请安！
他知道家里人都看不惯他的做法，可是为了苏家的家业后继有人，他已是管不了其它！
尤其是大女儿婉媚，她心中只怕也有芥蒂。平日来向他请安的时候，她虽然礼数不缺，态度却总是说不出的疏离。他就算想多疼她几分，也不知道从何做起。
但她并不知道，他其实一直有一种隐秘的心理，觉得自己当年对不住发妻，这才害得她无心医治、青春早逝，也害得婉媚这孩儿小小年纪便没了亲娘……
这种遗憾和歉疚，已经伴随他多年，他原以为一生都无法解脱！
没想到婉媚这孩子坠崖以后，拖着重伤的身体，到底还是第一时间来向他求助，而且言行之间，还对他生出了一种莫名的依恋！她心里既然有他这个爹爹，他又怎能不站出来为她出头，也好对得起她这份来之不易的信任！
