这是怎么回事呢？李义府原本门第很低，当了官之后，他就和赵郡李氏攀亲戚，说自己也是出身名门。当时他是宰相，出身赵郡李氏的李崇德也是个谄媚之徒，想要沾他点光，两人一拍即合，这多好，都是一家人，以后有个照应。李崇德就把李义府写到他家家谱上了。这种连宗本来就是出于利益的考虑，没什么亲情可言。所以，李义府一被贬官，短视的李崇德也就不客气地把李义府又从家谱中除名了。李义府那个气呀！官复原职之后，立刻给李崇德安了一个罪名抓起来了。李崇德被关进监狱之后便自行了断，撞墙死了。这可是李义府害的第二条人命。可皇帝还是没有治罪。当时的风气不是崇尚贵族吗，李义府自己冒充不成，就想要给儿子找个贵族媳妇，没想到所谓的“五姓七望”全不给他面子，瞧不起他，都婉言拒绝了。李义府又生了一肚子气。正好当时唐高宗和武则天修了《姓氏录》，也要压制旧贵族，抬高当朝权贵的地位，李义府就趁势要求皇帝下诏严禁“五姓七望”互相通婚。然而贵族内部联姻的风俗世代相传，根深蒂固，这样强行禁止一下子招致了他们的莫大反感。既然无法明里反抗，就暗里抵制。有的贵族就不举行婚礼，偷偷把女儿送到夫家去；还有的贵族女子非常骄傲，不愿意这样不明不白地偷偷结婚，宁可终身不嫁。贵族中的破落户甚至会以“禁婚家”自诩，向求亲者索要更多的钱财。可见，社会风气的扭转不是一纸命令就能解决的。但是从李义府的角度讲，皇帝对他言听计从，也算是帮他暂时出了一口恶气。
经过几番试探，李义府认定自己是拥立功臣，皇帝和皇后对自己百般维护，无论捅了多大的娄子，都有皇帝和皇后罩着，于是越发胡作非为了。可是他没有看明白，当年皇帝纵容他，是因为他有用，可以借他打击元老重臣，推行皇帝的意志。他也没有看明白，当年皇帝纵容他，是因为皇帝和皇后站在同一条战线上，两个人不分彼此。而这样的关系，从显庆五年（660年）武则天协理朝政后就出现了变化，皇帝的人和皇后的人不再是同一班人马了。在这种微妙变化中，李义府被划入了皇后一党。皇帝不想再罩着他了。
龙朔三年（663年），李义府改葬祖父，大肆张扬，让附近七个县都派人参加义务劳动。有一个县令不知是想巴结李义府，还是抓不到劳工，反正是亲自上阵了，没想到劳累过度，死在工地上了。这县令一死，又闹出一条人命来，人们都指指点点，说宰相把县令给逼死了。这件事情搞得李义府名声很坏，可是他还不知道收敛。同一年，他又主持铨选，就是选官，那可是个肥差。李义府可能真是出身低微，上辈子穷怕了，一有机会就卖官鬻爵，把个铨选搞得乌烟瘴气。高宗见他闹得太不像话，就找了他来谈心，想给他敲敲边鼓，说：“闻卿儿子、女婿皆不谨慎，多作罪过，我亦为卿掩覆，未即公言，卿可诫勖，勿令如此。”什么意思呢？我听说你儿子、女婿都闹得太不像话了，现在我替你们掩盖着，也没宣布出来，不过你要回家整顿一下家庭内部风气，不要让他们闹得满城风雨。李义府猖狂惯了，听了之后不但不认错，反而勃然变色，恶狠狠地问：“谁向陛下道此？”言下之意，看我不修理死他！质问到皇帝头上了，高宗听了之后，不禁也动了怒，说：“但我言如是，何须问我所从得耶！”一般人到这个时候就会赶紧谢罪，可是李义府被惯坏了，他一句话没说，转身扬长而去，把唐高宗给晾在那儿了。高宗也没想到李义府竟然如此狂妄，一下子气得是七窍生烟。此时，对于高宗来说，李义府的历史使命已经完成，他再也没有必要容忍下去了。如果皇帝想要除去大臣，找到理由是相当容易的，何况李义府又是这样一个爱惹是生非的人。
很快，李义府就出事了。李义府是个迷信的人，他请了个阴阳术士为自己望气，看看自己还有多少富贵可享。术士一看，就煞有介事地说李义府宅第之上有不祥之气，屋主必有牢狱之灾，必须积财二十万缗才压得住。到哪儿筹款呢？长孙无忌他们家虽说树倒猢狲散，但拔根寒毛还是比一般人腰粗吧。于是，李义府把脑筋动到了长孙家。我们知道，长孙无忌已经在显庆四年（659年）自杀了，他的儿子也死了，孙子都流放岭南。现在有一个孙子长孙延好不容易九死一生又回到长安来了，就是一个普通百姓，没有任何官职。李义府把长孙延找了来，跟他索要七百缗的贿赂，帮他谋得一个从六品的司津监之职。这件事情立刻被人弹劾了，说李义府和犯罪人家的子弟勾结。本来，这事情也没什么大不了的，但是，皇帝的心已经变了。此刻高宗正等机会发泄心头之恨，马上派人审理。审讯结果下来，数罪并罚，李义府被除名，流放巂州（今四川省西昌市），几个儿子和女婿也被搞了个天南海北，一家人再想相见，只能等来世了。
李义府是武则天的人，虽然惹是生非，但是对武则天一直忠心耿耿，所以武则天未必不想保他。但是，武则天是个聪明人，她能够看清形势。她明白，高宗的利益和她的利益已经不完全一致了，现在是唐高宗下定决心要除掉李义府，而且，李义府劣迹斑斑，官怒民怨，如果自己再去保他，可能就会引火烧身。权衡利弊，武则天决定放弃李义府这颗棋子。不过，李义府的倒台对初涉政坛的武则天来说是一个沉重打击。本来，李义府和许敬宗是武则天安插在朝廷的两颗棋子，他们一个在中书管出旨，一个在门下管封驳，共同为武则天效力，这样，武皇后的人事安排和各项旨意都可以得到有效推行。现在，李义府一倒台，这出双簧戏就很难演下去了。
如果说，李义府事件是唐高宗和武则天为争夺权力第一次斗法的话，那么在这一回合，武则天输了。可是，更大的打击还在后面呢。
