怎麽倒張呢？司法官員先從經濟案入手。長安四年（704年），在自己的侄子梁王武三思的建議下，武則天在萬安山修建興泰宮。二張黨羽攬下工程，由李迥秀主持修建。我們剛才說了，李迥秀沒什麽操守，為了當官，不惜給一個雞皮鶴發的老太太當情夫，現在得到這麽一個美差，有油水，能不利用嗎？使用質次價高的建築材料啊，收受承包商賄賂啊，弄一堆豆腐渣工程啊，今天我們能想象的問題，李迥秀都沒少幹。但出了經濟問題誰也保不住，這一下就被司法部門抓到把柄了，彈劾他貪贓受賄。人贓俱在，李迥秀當即被罷相，到地方當刺史去了。倒張派搞掉李迥秀，一方麵是敲山震虎，嚇唬一下張家兄弟，取得心理攻勢；另一方麵，也確實剪除了他們的黨羽，逐漸削弱了他們的勢力。
但是，二張兄弟並沒有收斂。相反，他們還頂風作案，又插手另一項大工程。當時，也是在武三思的建議下，武則天準備修建一尊巨佛。為此，國家財政部門還專門向天下的僧尼征收了十七萬餘貫的捐款。二張兄弟覺得這是個發財的機會，馬上開始做起了木頭生意，自己販運木頭，然後高價賣給工程方。這一票生意，終於把他們也給賺進去了。
長安四年（704年）七月，有人狀告二張的三個弟弟張同休、張昌期、張昌儀貪贓受賄。於是，這小哥仨被收監候審，先進去了。審了一夜之後，二張兄弟就被兜出來了，張易之、張昌宗兄弟也被立案審查。幾天之後，司刑正（大理正）的判決結果下來了，說張昌宗強買人田，按律可以罰銅二十斤抵罪。這個判決是輕還是重？輕，太輕了，是大事化小的做法。貪汙受賄的大案審成了強買人田，而且隻罰二十斤銅，這對於張昌宗算得了什麽啊？武則天一想，這個司刑正很會辦事，馬上批準了，沒當回事。但是倒張派的司法官員哪能善罷甘休啊？四天之後，禦史台拿出了複核的意見：“張家兄弟貪汙贓款合計四千餘緡，數額巨大，不是罰款就能解決的，按照法律，張昌宗應當免官。”