怎么倒张呢？司法官员先从经济案入手。长安四年（704年），在自己的侄子梁王武三思的建议下，武则天在万安山修建兴泰宫。二张党羽揽下工程，由李迥秀主持修建。我们刚才说了，李迥秀没什么操守，为了当官，不惜给一个鸡皮鹤发的老太太当情夫，现在得到这么一个美差，有油水，能不利用吗？使用质次价高的建筑材料啊，收受承包商贿赂啊，弄一堆豆腐渣工程啊，今天我们能想象的问题，李迥秀都没少干。但出了经济问题谁也保不住，这一下就被司法部门抓到把柄了，弹劾他贪赃受贿。人赃俱在，李迥秀当即被罢相，到地方当刺史去了。倒张派搞掉李迥秀，一方面是敲山震虎，吓唬一下张家兄弟，取得心理攻势；另一方面，也确实剪除了他们的党羽，逐渐削弱了他们的势力。
但是，二张兄弟并没有收敛。相反，他们还顶风作案，又插手另一项大工程。当时，也是在武三思的建议下，武则天准备修建一尊巨佛。为此，国家财政部门还专门向天下的僧尼征收了十七万余贯的捐款。二张兄弟觉得这是个发财的机会，马上开始做起了木头生意，自己贩运木头，然后高价卖给工程方。这一票生意，终于把他们也给赚进去了。
长安四年（704年）七月，有人状告二张的三个弟弟张同休、张昌期、张昌仪贪赃受贿。于是，这小哥仨被收监候审，先进去了。审了一夜之后，二张兄弟就被兜出来了，张易之、张昌宗兄弟也被立案审查。几天之后，司刑正（大理正）的判决结果下来了，说张昌宗强买人田，按律可以罚铜二十斤抵罪。这个判决是轻还是重？轻，太轻了，是大事化小的做法。贪污受贿的大案审成了强买人田，而且只罚二十斤铜，这对于张昌宗算得了什么啊？武则天一想，这个司刑正很会办事，马上批准了，没当回事。但是倒张派的司法官员哪能善罢甘休啊？四天之后，御史台拿出了复核的意见：“张家兄弟贪污赃款合计四千余缗，数额巨大，不是罚款就能解决的，按照法律，张昌宗应当免官。”
四千余缗就是四千万钱，这可是一个大数字。张昌宗毕竟少不更事，一听就急了，说：“臣有功于国，犯这么一点错误不至于免官吧？”这是什么意思呢？唐朝的法律规定，如果一个人有功劳的话，即使犯了罪也可以减刑。张昌宗想要援引这项制度来保护自己。可是这话说得有点口不择言，你想想，一个靠色相侍人的男宠，哪怕真有什么功劳，也是讲不出口啊！武则天也觉得这个说法有点问题，就把这件事情推给大臣，问周围的宰相，说：“你们说说，张昌宗可有功于国？”宰相们也是面面相觑，不好说。要是说张昌宗把陛下您伺候得很高兴，所以有功，这个话听起来实在是不怎么样。正在为难的时候，宰相杨再思说话了，就是那个曾经厚着脸皮说过“莲花似六郎”的，他这一次说：“张昌宗为陛下合药，圣躬服之有验，此莫大之功。”武则天一听这话就笑了，赶紧顺坡下驴，就以这个名义赦免了张昌宗。这事儿她就想这么了结，但倒张派哪能善罢甘休呢？没过多久，两个重量级的人物，宰相韦安石和唐休璟，又介入进来，要求继续追查张家兄弟的罪行。这两个人为什么那么死心眼，一定要跟二张兄弟过不去呢？因为他们两个具有双重身份，是朝廷的宰相，同时也是太子府的官僚，一个是太子左庶子，一个是太子右庶子。我们刚才说了，太子府官员当时也是倒张派的主力。
他们穷追不舍，武则天怎么办呢？她这次也不想再费心跟大臣斗了，干脆，调虎离山，把他们调离算了。于是，武则天一纸调令，把韦安石派到扬州去做长史，又任命唐休璟为幽营都督、安东都护，把他支到东北去打契丹，让他们别管这件事了。这样一来，倒张派不仅没有扳倒二张兄弟，自己反倒损兵折将。怎么办呢？难道就任凭二张继续胡作非为？
