霍光有两延年为左膀右臂，风格相反，政见不同，但能力都极强，霍光执政期间，杜延年才是真正的丞相。后来田延年自杀而死，杜延年急流勇退，谁更聪明不必多言。
但杜延年可不是墙头草，十多年前，他发起盐铁之议，进贤良文学，十多年后，哪怕大将军霍光一意孤行想灭匈奴，杜延年也态度坚决地表示反对，最后竟让霍光改变了想法。
但这个人奇就奇在，倘若谏言不成，却也能尽力办事，为国事排忧解难，所以霍光才爱而信之，纳其忠言。
“杜幼公宰辅之才也，只可惜，是大将军的人。”
刘询颇为遗憾，他在用刘贺故吏王吉、龚遂时毫不担心，但对杜延年，多少有点膈应。虽然杜延年之子杜佗与他是好友，但杜幼公本人态度暧昧，若能在朝中留到倒霍之际，和丙吉一样明确站队，插霍氏一刀就好了，你提前跑了算几个意思？是要学伯夷叔齐，不食周粟么？
这点让刘询有些生气。
而且现在召回杜延年加以重用的话，等到来年，“竟宁”的真正用意暴露时，杜延年恐将成为朝中清流领袖，以其能力和威望，连西安侯任弘也不得不正视。
虽然异论相搅是好事，但刘询可不想战争的节骨眼上，再开一次盐铁之议。
但若不召也说不过去，于是刘询略加思索，露出了笑。
“倘若有杜延年和与赵充国、道远合力操办此事，何愁匈奴不灭？”
数日后，建章宫中，一道诏令下达，让魏相、萧望之等人面面相觑，真是哑巴吃黄连，有苦说不出。
“复召建平候杜延年，拜为西河郡太守！”
……
和魏相等人期盼的相反，也和刘询设想杜延年“以退为进”不同，杜延年一点重新出仕的心思都没有。
他年已近六旬，就想好好在家修律著述，让家学能传承于世，他父亲修了《大杜律》，他贡献《小杜律》，也算一是美谈了。
当长安诏书抵达时，杜延年推辞了第一次，但皇帝似乎是铁了心要他动身，当第二次诏令下达强征时，是杜延年的中子，在朝中做奉车都尉的杜佗来传。
杜延年的小儿子，有一只眼睛目盲但生性聪慧的杜钦也劝他道：“父亲倘若再不出仕，陛下或会以为你是对当朝不满，怀念大将军时了！”
他确实很怀念啊，倒不是说今上和西安侯之政不好，只是……
杜延年心中暗叹：“我忘不了大将军之恩。”
再推辞下去确实要惹怒天子了，对宗族不利，杜延年只好不情不愿地应征，接过太守冠带和印绶，只带了几个仆从，离开了南阳老家，前往西河郡赴任。
这一路可不容易，西河郡位于并州刺史部，横跨后世陕北、鄂尔多斯、晋西北，本是秦朝的“新秦中“一部分，楚汉时为冒顿单于所夺，置娄烦王，河南之战后，汉武帝元朔四年（公元前125年）分上郡北部和太原郡西部，置西河郡。
户十三万，口六十万，县三十六，比上不足比下有余，最关键的是，从长安沿着秦直道往北，经上郡过西河，可以通往朔方、五原、云中、定襄、雁门、太原诸郡，是当仁不让的“八郡通衢”。
杜延年在元霆年时，曾往返于西河朔方，迎刘询南下继位，对这里可不陌生，此地在后世干旱无比，到处都是光秃秃的黄土高塬，眼下却是沃野千里，谷稼殷积，牛马衔尾，群羊塞道，从各县的名字就能看出来富庶程度：“美稷、广田、谷罗、饶、富昌。”都是好地方呀。
元朔年后，西河郡成了汉朝历次对外用兵的后勤基地。
虽然皇帝定了”竟宁“之称，但杜延年却隐隐觉得，有任弘在朝，傅介子等用事，绝不会就此作罢，皇帝也态度暧昧，这项任命就透着不寻常。
但杜延年也无所谓了，他仕途之心已冷，最好的年华和才干，都献给了将军，曾登上二府御史大夫之位，如今再来做郡守，只感觉索然无味。
抵达西河后，杜延年既没有杀鸡儆猴立下马威，也没有勤勉劳碌希望做出政绩升迁入朝，只言：“孝武之世，征发烦数，今圣天子在位，当无为而治。”
然而就学起当年的曹参，自己整天痛饮美酒，跟他来的儿子和慕名来投的故吏见杜延年不理政事，想有言相劝，却被杜延年邀约一起痛饮。
