后来父亲曾来找过他，也劝慰过他，让他不要将这些事情给放在心上，于是他同意了。但是好景不长，府里渐渐的开始传出一些对他不好的谣言，那些谣言全都与他的生母有关，而那个时候的他，已经长大了许多，很多事情已经都能懂得了，最后还是父亲忍受不住这些谣言，带着他离开了宁国公府，搬去了外宅居住。
那个时候的父亲，虽然陪在他的身边，可他一点也高兴不起来，因为他知道，父亲也并不开心，父亲日日都在思念着母亲和弟弟，而他也时常会想起弟弟。
直到有一天，父亲突然为他请了一个教书先生，从那之后，他便一心跟着先生读着书。
转眼间十年的时间过去了，他和父亲在外宅也居住整整了十年，每年只有到年关的时候，父亲才能带着他回到宁国公府居住上几日，可每次回去，父亲都会同母亲吵上一架，于是两人不欢而散，第二天父亲又会带着他离开宁国公府。
一次，在父亲醉酒的时候，他从父亲口中得知，原来她的生母能够生下他，完全是因为一次意外。那次父亲遭人算计，被送去了青楼，而那晚服侍他的人，正好是自己的生母，于是自那日之后，才有了他。
知道这件事情的真相之后，沈远淳的心里也十分的痛苦，那日他喝了许多的酒，也是他第一次喝酒便醉的一塌糊涂，也吐得一塌糊涂。
从那次醉酒之后醒来，他便请求父亲同意他去参加秋闱，后来父亲同意了，说要回去问问母亲的意思。
再次见到母亲之后，母亲还是不肯认他，可他却突然能够理解母亲了，这世间哪有一个妻子，能容忍自己的丈夫和别的女人生的孩子的。
从母亲的院子里出来之后，他遇见了许久不见的弟弟，弟弟依旧不喜欢他，只是没有再像以前一样躲着他了，他看着弟弟朝着他走了过来，他满心欢喜，弟弟看起来又长高了，也变得更得俊美了，他的身边还跟着一个小女孩，虽然那个小女孩他并不认识，但是能够站在弟弟身边的人，那身份定是不简单，他莫名的有些嫉妒那个小女孩。
在弟弟快要和他擦肩而过的时候，他突然就开口叫住了他，虽然弟弟还是一副冷冰冰的样子，不怎么愿意搭理他，可他还是心满意足了。
后来有一次，弟弟不知道为何，在外出的时候受了很严重的伤，于是他便四处打听，又费尽心思的为他去买了几样对伤口恢复有效的药材，只是在站到弟弟院子门前的时候，他却突然有些退缩了，他想，弟弟应是不会想要见到他吧。
在他正打算转身离开的时候，他又见到了之前在弟弟身边的那个小女孩，小女孩叫住了他，那还是他在宁国公府，第一次被人叫哥哥，虽然是个表哥，但是他心里也十分的开心。后来他把药材给了那个小女孩，还嘱咐她不要告诉弟弟他来过，因为以他对弟弟的了解，若是弟弟知道药材是他送的，定是不会喝下这药了。
这次回来，父亲终于为他求得了母亲的同意，让他去参加秋闱，于是在他考完之后，他发现弟弟简直是个旷世奇才，因为弟弟高中了状元，而他虽然是个探花，但好歹是能站在弟弟的身边了。
而令他更加惊喜的便是，他和弟弟在同一个地方供职，可是直到那个时候，他才发现他的弟弟，再也不是他眼中的那个弟弟了。因为他心狠手辣，为达自己的目的不折手段，他甚至一度怀疑，这个人究竟是不是他的弟弟，可事实告诉他，那就是他的弟弟。
又过了一年多，弟弟娶了当年的那个小女孩为妻，他也再没像从前那般关心过弟弟，后来弟弟有了他自己的一双儿女，一家四口也过得其乐融融，他原本以为这样的日子会这般持续下去，可直到有一天，他知道了弟弟辞官离开了京城。
