他立即采取种种有力措施整顿税务，堵塞漏洞，并设局抽取厘金。所谓“厘金”是清政府在财政极端困难时为镇压太平天国专设的捐税，郭嵩焘想整顿、减少其他易为官员中饱私囊税、费，而通过新设厘局使税收真正为政府所得。这些措施严重侵犯了当地大小官吏的利益，他们自然极为不满。而设局抽厘又增加了新的名目，因为在政治严重腐败的情况下，新任厘局绅董也一样贪婪。结果厘局刚成立不久，就发生了福山县商民怒捣厘局，打死新任绅董的骚乱。
尽管如此，这次税务整顿还是大有成效，查整了一批贪官污吏，增加了政府税收。但郭嵩焘万万没有想到，正当他自以为有功于朝廷的时候，突得朝廷以他在山东查办贸易不妥、交部议处的通知。
原来，书生气十足的郭嵩焘根本没有想到，李湘棻一直在暗中监视自己的举动，并随时向僧格林沁汇报。而他对僧格林沁派来的这位“会办”竟毫无防范，郭嵩焘开设厘局后，李即向僧报告说如此大事竟未与他这个会办商议便独自决定。这个报告使原本就认为郭嵩焘目中无人的僧格林沁大为光火，认为不与自己派去的“会办”商议实际是未把自己放在眼中，便在12月底以郭未与会办李湘棻同办、未与山东巡抚文煜面商便派绅士设局抽厘以致民变为由，上奏要求弹劾郭嵩焘。
以僧格林沁的地位之尊，他的意见当然深为朝廷所重。而且，迂气十足的郭嵩焘在处理山东沿海税务却与山东地方大员、山东巡抚文煜少有沟通协调，也使文煜大为不满，站在僧格氏一边反对他。1860年元月，郭嵩焘被迫离开山东返京，悲叹“虚费两月搜讨之功”，“忍苦耐劳，尽成一梦”。
返京途中他备受冷遇，与来时一路的隆重迎送恰成鲜明对照，使他饱尝世态炎凉，领略到官场的势利。回京后，他受到“降二级调用”的处分，虽仍回南书房，但实际已是闲人，被冷落一旁。1860年4月，郭松焘强烈反对僧格林沁撤北塘备但意见不被听从，被冷落一旁的郭嵩焘怀着孤愤郁闷的心情以回籍就医为由黯然返乡。
这位满怀爱国情怀的人才甚至曾力劝左棠堂、曾国藩等人出山办团练镇压太平天国，其实是大清极为重要的肱骨之臣，没有他劝动了曾左出山，恐怕粤匪已经可以跟僧格林沁进行总决战了，根本不用洋人打进北京大清就有亡国之危险。
倒不是肃顺身在樊笼也想到了这个人才，而是郭松焘看过大清新闻报之后非常激动，跟曾国藩、李鸿章一样感觉皇帝“开窍了”，所以又有了致仕的想法，他才四十岁出头，浑身都是干劲呢。
现在的湖南因为湘军的关系成了大清的战略要地，身在湖南的郭松焘与曾国藩等人是好友，可以利用唐宁在这个战略要地设立的中文电报机向肃顺发电报，这个时候，唐宁已经为肃顺等大臣开通了私人电报地址，并登在大清新闻上诏告天下。当然了，这些被软禁大臣的电报往来都是要被唐宁给他们安排的“助理”检查过的，免得他们打歪主意，破坏现在的安定团结局面。
郭松焘回到北京之后就斗胆向咸丰帝提出了几乎触及皇帝底线的建议——查办内务府的贪腐。
内务府是皇上的私家财政部，职官多达3000人，还没算普通匠役、军丁和太监。这比掌管全国疆土、田亩、户籍、钱谷的事务最繁的户部人数多十倍以上，可说是清朝规模最大的机关。
其实，谁都知道皇帝才是天下最贪腐之人，十全皇帝乾隆大帝造就了和绅这个攒了20亿两白银家资的古今第一贪，而和大人不过是乾隆大帝的一个奴才而已。由于乾隆大帝的十全享受，到了嘉庆、道光年间，两位皇帝都很节俭。乾隆驾崩时，他命人从新疆弄来的一块巨大的需要耗费大量人力才能运到京城的奇玉还在路上，嘉庆帝立即下旨负责这事儿的太监把它直接扔在路上不要了。
