开元年间的盛世繁华让唐玄宗渐渐滋长了骄傲怠惰的情绪、追求起享乐的生活来。
宰相张九龄看到这种情况，心里挺着急，常常给唐玄宗提意见，让唐玄宗觉得很恼火，正好那时候有个大臣李林甫，是一个不学无术的人。他什么事都不会，专学了一套奉承拍马的本领。他和宫内的宦官、妃子勾结，探听宫内的动静。唐玄宗在宫里说些什么，想些什么，他都先摸了底。等到唐玄宗找他商量什么事，他就对答如流，简直跟唐玄宗想的一样。
唐玄宗觉得李林甫很能干，比张九龄强多了，就想把他提为宰相，他跟张九龄商量这件事，张九龄直截了当地说：“宰相的地位，关系到国家的安危。陛下如果拜李林甫为相，只怕将来国家要遭到灾难。”
这些话传到李林甫那里，李林甫把张九龄恨得咬牙切齿。
唐玄宗本来很尊重张九龄，但是到了后来，对张九龄的意见也听不进去了。对于张九龄的建议，唐玄宗越来越觉得讨厌，加上听信了李林甫的诽谤，终于借个因头撤了张九龄的职，让李林甫当宰相。
李林甫一当上宰相，第一件事就是要把唐玄宗和百官隔绝，李林甫知道自己在朝廷中的名声不好。凡是大臣中能力比他强的，他就千方百计地把他们排挤掉。他要排挤一个人，表面上不动声色，笑脸相待，却在背地里暗箭伤人。
有一次，唐玄宗在勤政楼上隔着帘子眺望，兵部侍郎卢绚骑马经过楼下。唐玄宗看到卢绚风度很好，随口赞赏几句。第二天，李林甫得知这件事，就把卢绚降职为华州刺史。卢绚到任不久，又被诬说他身体不好，不称职，再一次降了职。像卢绚这样遭到暗害的官员还真的不少。
李林甫当了十九年宰相，一个个有才能的正直的大臣全都遭到排斥，一批批钻营拍马的小人都受到重用提拔。但是，尽管李林甫装扮得怎么巧妙，他的阴谋诡计到底被人们识破。人们就说李林甫这个人是“嘴上像蜜甜，肚里藏着剑”。口蜜腹剑的成语就来源于此。！