为数不多的一次直谏失败，裴矩就此死心，为了避免将来可能的祸端，从此缄口不语，对手下的仆从杂役也和蔼可亲，一点架子没有。然而隋亡之前，这位裴大人还是干了件龌龊事。当时烽烟四起，随驾的御林军军心涣散，每天都有逃跑的。裴矩就怂恿杨广把逃难妇女中有姿色者配给骁果（作者注：隋御林军）将士为妻妾为营妓，连尼姑也不放过，妇女们的亲人恨得切齿。骁果军士抱着美女安下心来，有人问你怀里的美女是哪来的呀，军士皆答：“裴公之惠也。”裴矩这人精，做恶事亦有其明确目的，他以无辜女子为饵，钓得骁果将士的保护，不久宇文化及谋反，大隋旧臣多横死，裴矩毫发无伤。
裴矩保住身家性命的秘籍还有一个，就是不贪。隋炀帝征高丽时，裴矩和他的文友虞世基以及大将军宇文述把持朝政，由于皇上在辽东，官吏们没了约束，变节的变节，贪贿的贪贿，只有裴矩洁身自好，没留下案底。我想他这么廉洁的原因倒不是为了大隋，而是深知金银烫手，钱固然能通神，却也通向身败名裂。裴矩毕竟是文人，除了保命，对身后名也多少还是在乎的。
窦建德兵败，裴矩与魏征一起把山东献给李氏，踏上他在大唐的仕途。
李唐的初级阶段，裴矩隐隐观察朝廷风向，不动声色尽心办差，颇得李渊推重。他和魏征、王珪同为太子李建成门下，玄武门之变后，建成元吉两家被李世民杀了个干净，魏征王珪裴矩被这位所谓的千古明君罗致帐下。人事练达的裴矩又是安然无恙。
君观察臣，臣观察君，当裴矩发现李世民和杨广根本是两种人后，即对自己的为官之道做出泾渭分明的调整。李世民抢过李渊的龙椅后，唯恐重蹈隋王朝主奢臣贿的败国覆辙，想来一次肃贪严打行动。这位明君想了个阴暗的办法，派人把一匹上好的锦帛送给一个管城门的刑部小官，假托有事求这官开方便之门。后者收了礼，被李世民的秘密警察抓了个现行，准备择日处死。
裴矩听说了，就面君直谏，说此人收受贿赂按罪当诛，不过按《大唐律》行贿的受贿的应视为同罪问斩。李世民连忙解释，行贿的人是我派去试探他的，你想宰了我吗？裴矩闻言又道，这回就是直斥君非了：既然皇上是试探他的，也就是说有点构陷的意思了，这不厚道，让这糊涂小官死于一次试验，有点……缺德。这一小小不言的历史事件如今还时有发生，有上海闵行区一车主路遇求助，上车的人说自己的孩子遭遇车祸，想搭车赶去出事地点。车主好心，载上路人疾驶而去，到了目的地，不见车祸的孩子，却看见几个大盖帽汹涌而至，以黑车运营之罪名扣车罚款。
这种创收手段如今被称为“倒钩”或者“钓鱼”。
李世民到底比杨广明白些，觉得裴矩说得在理，就把那倒霉的司门令史放了。完事还召集群臣，当众表扬裴矩并顺便教育臣子，“裴矩遂能廷折，不肯面从。每事如此，天下何忧不治！”
武德九年（626年），军粮税赋压得百姓不得喘息，御史孙伏伽弹劾时任民部尚书的裴矩，言辞激烈，一点面子不留，“苟钓虚名，不知救恤百姓”，直接促成了唐朝的税法变革，原来以户为单位改为以人口为单位征收，百姓的日子好过了许多。
孙伏伽有魏征之风，有忠臣能臣之名，不大可能冤枉裴矩，那么从这件事可以让后人略窥裴矩当官哲学之一斑：谁给他官做，他就对谁负责。至于屁民，不在他考虑之列。
