依靠贿赂宦官嫔妃为相， 起用石小凡的劣徒张尧佐是为了巩固边疆。他读完奏章说：“臣忠愤所激， 鼎镬不避，何辞于谪。”
赵祯登时大怒，贬为春州别驾，也就是烟瘴之地的广南。后赵祯省悟，次日改置英州，又将文彦博、吴奎免职，并派专人护送唐介就职。
因唐介为官清廉，从小深明大义，德行高尚。后来被石小凡所保举，一路风生水起混到了宰相位置。当然这是后话，这是十几年以后的事了。
吕夷简召集家人，说明自己去意：“奉官家之命，我要去南诏大理国。我这一去，八成凶多吉少。趁我还能喘气，就把后事先料理了吧。”
家人一听，这还了得。自家相公这是风萧萧兮易水寒，壮士一去兮不复返了啊。
谁人不知岭南一带毒瘴害人，吕夷简一把老骨头，怎么经得起这份折腾。几个老婆孩子一听，登时哭天抢地。
吕夷简生四子，皆颖异。与夫人语，四儿它日皆显重，不知谁作宰相，吾将验之。一日，四子居外，夫人令小鬟击四宝器，贮茶而往，教令至门，故跌而碎之。三子皆失声，独公著凝然不动。夷简谓夫人曰：“此儿必作相。”
意思就是说：吕夷简生了四个儿子，都是是聪颖异常，有一天吕夷简和夫人说，这四个孩子长大以后都能官居高位地位显要，不知道谁能做宰相，我要检查一下他们，一天，四个儿子在外面，夫人让小丫鬟用四个很珍贵的器具，装茶往外走，告诉小丫鬟到门口的时候，故意的摔一跤把宝器摔碎，三个儿子都不受控制的叫了出来，只有吕公著一动不动，吕夷简对夫人说，这个不动的孩子肯定能当宰相。
吕夷简第三子吕公著站出来道：“父亲，父亲年事已高，怎可再旅途劳顿。孩儿不孝，愿代父亲出使大理！”
其长子吕公绰怒道：“父亲稍安勿躁，孩儿这便入宫吿御状去！找官家理论理论。”
另外两个儿子也怒火万丈，嚷嚷着一起闯宫告状。
“站住！”吕夷简厉声喝道：“你们想干什么，想让我吕氏一门灭族么！”
几个儿子一惊，只听吕夷简又怒道：“这是官家圣谕，你们几颗脑袋敢告状，那是驸马，官家的亲妹夫！”
人家是亲戚，咱们不过是个臣子。吕夷简无奈的叹了口气：“罢了罢了，用我一命换的一家老小平安，倒也值得。”
“相公，相公你可不能就这么走了啊！”
大夫人哭着道：“早叫你不去招惹那个败家子，你偏偏不听。如今惹祸上门，这可如何是好啊！”
几个妻妾哭做一团，吕夷简要是死了，吕府的辉煌就是过去式了。
“都给我闭嘴！”吕夷简一声暴喝，几个妻妾抽抽噎噎的住了嘴。
三子吕公著紧握拳头，咬牙切齿的道：“孩儿此生与那败家子不共戴天，总有一日，我会将他碎尸万段！”
“啪！”的一声，吕夷简扇了他一个耳光。
“父亲！”吕公著也是大吃一惊，不解的看着他爹。
吕夷简冷冷的道：“跪下，你们几个，都给我跪下！”
四个儿子不明就理，纷纷跟着跪了下来。
“你们几个给我听着，我若是有个三长两短，这一去不再回来。你们万万不可和驸马结仇，我死乃是为朝廷尽忠，与驸马无关，记住了没有”！