荀攸见曹操果然按荀彧的推测要把枣祗派往幽州，于是抽身回府，让家人将消息递进荀彧府中。
荀彧接到消息之后，立即让家人收拾东西，准备返回颍川。他将曹操当初赏赐下来的金银珠宝和各种礼品全都装在箱子里面，上面还贴上了封条。
荀彧离开昌邑时，给曹操留下一封书信，大意是说自感身体越来越差，夜里常常从睡梦中惊醒，留在曹操身边也不过是尸位素餐，所以返回家乡颍川养病，希望曹操不要牵挂。
曹操接到消息时，荀彧已经带着家人离开了昌邑。曹操想到这些年荀彧殚精竭虑地辅助自己，心中有些后悔冷落了荀彧，急忙派曹仁出城来追荀彧，结果等到曹仁带人追上荀彧的车队时，却发现荀家人个个脸上挂着一个白色的罩子，显得十分紧张。曹仁询问之下，才知道荀彧染了疫病，因为不愿意让人知道，这才匆匆离去。
此时染上疫病可是不得了的事情，曹仁也不敢再拦荀彧，只好返回去向曹操复明。曹操听完之后，长叹一口气，自语说道：“若先生为了离开我，竟然如此自辱，难道我真得错了吗？”
前往颍川的马车内，荀彧虽然情绪低落，但看上去哪里像是染了疫病的样子，他正手持一卷由蔡邕和郑玄联手著述的新书，看的津津有味。
“父亲，为何要离开昌邑？”
“非如此，不能使曹公知错啊。”
“那若是曹公日后派人来颍川求父亲复出，父亲还回昌邑吗？”
“若是曹公真愿意跟着幽州推行新政，没有我一样可以做得很好。若是他依然固执己见，就算有我辅佐，又有何益？汝父有些倦了，这次回到颍川，闭门谢客，读书著述，岂不悠哉？”(。。)
