唐高宗和武則天矛盾公開化的第一個表現，就是李義府被貶官。前麵說過，李義府是第一個站出來支持立武氏為皇後的大臣，打響了廢王立武的第一槍，所以武則天對他一直青眼相加。在唐高宗和武則天聯手處理元老重臣的過程中，他也是得力幹將。帝後二人因此都視他為自己人。可是李義府的行為，實在令人不齒。
顯慶元年（656年），他有一次視察監獄，看上了一個姓淳於的女犯人。淳於氏長得很漂亮，所以李義府也不管她所犯何罪，是不是謀殺親夫，竟然指使大理寺丞把她給放出來，收到家裏做了小妾。沒想到這件事情沒做好，事先沒有跟大理寺的長官大理卿打招呼。大理卿一看監獄裏丟了一個犯人，馬上上報了。朝廷立即著手調查，李義府怕事情敗露，竟然逼那個幫他放人的大理寺丞自殺。大理寺丞一自殺，可就是人命案了，死者還是一名官員，朝廷更要調查。
唐高宗知道事情是李義府幹的，本來想要原諒他，不予追究。但是青天白日，朗朗乾坤，豈能人人都這麽沒有良知呢。有一位禦史叫王義方，他坐不住了。他回家稟報母親，說現在朝廷裏出了這麽一件事，而他是一名監察官員，如果不管呢，良心不安；如果管了，又怕皇上怪罪，連累母親。他的母親深明大義，對他說：自古忠孝不兩全，你既然當了這個官，就要舍孝全忠，報效國家。另外，你這樣做，還可以成就一生的大名。如果你因此獲罪，我雖死無恨！王義方受了母親一番鼓舞，馬上上書朝廷，要求嚴懲李義府，還死者一個公道。可是唐高宗當時正在對朝廷的幹部資源做優化組合呢，怎麽能自毀長城？他沒有懲辦李義府，反倒責怪王義方毀辱大臣，馬上貶他為萊州司戶。
這樣一來，大臣們一下子就知道了李義府在皇上心目中的分量，再也不敢輕易和他叫板了。可是偏偏有一個大臣不信邪，又和李義府鬧矛盾了。誰呢？杜正倫。這也是唐高宗提拔上來的一位宰相，他覺得自己資格比較老，很看不起李義府的那副輕狂樣子。李義府恃寵而驕，縱容兒子、女婿賣官鬻爵，搞得家裏門庭若市，影響很壞。這天，杜正倫就和李義府在朝堂上吵起來了。因為兩個人都是唐高宗提拔的，所以唐高宗以大臣之間不能和睦為名，各打五十大板，雙雙貶往地方讓他們反省去了。即便這樣，李義府還是技高一籌。轉過年來，他又在武則天的保護下回到了朝廷，官複原職，當了宰相。而杜正倫就倒黴了，死在了被貶的地方。李義府回到朝廷後，惡習不改，馬上又耀武揚威，把一個出身於趙郡李氏的五品官李崇德逼死了。