李遵勖，字公武，是李崇矩的孙子、李继昌的儿子。他几岁时，占卜的人说：“这孩子将因是皇亲国戚而富贵。”少年时学骑射，在冰雪上驰骋，马脱缰而跑，他掉到崖下，众人以为他死了，李遵勖慢慢起来，没受伤害。
等他长大后，好做文章，被推举参加进士考试。大中祥符年间，他被皇上召到便殿奏对，娶万寿长公主。开始他叫李勖，真宗给他加上“遵”字，升他的辈份为李崇矩的儿子。授予他左龙武将军、驸马都尉，赐府第永宁里。公主下嫁，但所住的房屋或井壁的砖瓦多是鸾凤的形状，李遵勖下令拆去；公主的衣服有龙的装饰，他就都藏起来。皇上很高兴。
李遵勖任澄州刺史，因私主乳母被贬为均州团练使，转到蔡州。第二年，皇上起用他为太子左卫率府副率，恢复他的左龙武军将军之职，为宏州团练使，实际为康州团练使，给他观察使的俸禄。当时李继昌是刺史，李遵勖请求自己的位序在他下面，皇上允许。后来李继昌为泾州守臣，暴染风眩，李遵勖不等皇上批准就赶紧去看望，皇上派使臣传令让他乘驿车前去。李遵勖回来后，上表自己弹劾自己，皇上让辅臣慰抚他。
李遵勖升任泽州防御使，又升为宣州观察使。他请求到地方任职，试试自己的能力。出京任澶州知州，皇上在长春殿给他赐宴。他在地方，正赶上黄河泛滥，将要毁坏桥梁，李遵勖监督工匠们，七天就修成了河堤。他被升为昭德军节度观察留后，任命为宁国军节度使，转到镇国军，任许州知州。多数水军不练习但却隶属军籍，李遵勖下令进行核实，有十分之七八的水军被去除。后来他因病请求用唐代韦嗣立的例子辞职，只求一个山林的封号，皇上不许。
当初在天圣年间，章献太后屏退左右问他“：人们有什么议论？”李遵勖不回答。太后坚持问他，李遵勖说：“臣没听到别的，只听人说天子已经成人，太后应该及时还政天子。”太后说“：我不留恋这个，只是皇上年少，内侍又多，恐怕皇上不能控制他们。”李遵勖曾献上三说五事来议论时政。晋国夫人林氏，因是太后的乳母多次干预国事，太后去世后，李遵勖暗中请求皇上把她安置到别的宫中，对她的行动进行探察，来压服众人的议论。他对朝政的辅助大多像这样。
李遵勖府中的花园、池塘是京城最好的。他嗜好奇石，募人运送，有从千里之外运来的。在园中建堂引水，用好的树木环绕在水边，延请当时的名人与他游乐。他跟杨亿学做文章，杨亿去世，他穿丧服。等他任许州知州时，祭奠杨亿之墓，痛哭而回。李遵勖还同刘筠友好，刘筠去世后，他抚恤刘筠的家属。李遵勖精通佛学，临死时，他与和尚楚圆做偈颂。他去世后，被赠官为中书令，谥号“和文”。他写有《间宴集》二十卷、《外馆芳题》七卷。他的儿子叫李端懿。