吕端，字易直，幽州安次人。太祖即位之后，吕端管理浚仪县，同判定州。吕端治理政务清正简约，远处的人也感觉到便宜。十年，出京管理蔡州，因为善于管理政事，官吏百姓排着队上奏请求朝廷让他留下来。时逢秦王赵廷美担任京城的府尹，太宗征讨河东，赵廷美将可能接到留守京城的命令，吕端对赵廷美说：“皇上不顾风雨辛苦奔波，慰问百姓，讨伐罪人，大王您处于皇上的亲人和贤臣的地位，应当上表奏请随从护驾。如果主持留守事务，是不合适的。”赵廷美因此恳请跟从随行。
太宗想任命吕端为宰相，有人说：“吕端为人糊涂。”太宗说：“吕端小事上糊涂，大事上不糊涂。”拿定主意要任命吕端为相。在这之前，寇准担任参知政事。吕端做了宰相后，他考虑与寇准同在朝班，而自己先居宰相之位，担心他内心不平，就奏请参知政事和宰相分开日期轮流统领群臣，主持朝政，一起登政事堂，太宗听从了他的建议。当时一般同事上朝奏对时，大多发表独特的意见，只有吕端很少有所倡议。一天，宫内传出皇帝的手书，命令说：“从今以后中书省的事务必须经过吕端详细斟酌，才能上奏皇帝。”吕端更加谦让不敢承当。
当初，李继迁骚扰西部边境，保安军奏报说捉住了李的母亲。此时太宗想处死李母，因为寇准任枢密副使，便单独召见，跟他商量此事。寇准回去时，经过宰相办公之处，吕端猜想是商议大事，便邀他说：“边境上的日常事务，我不必参与知晓。如果是军国大事，我位居宰相，不能不知道。”寇准就告诉了事情的原委。吕端说：“怎么处理这件事？”寇准说：“想要在保安军北门外将李母斩首，以此来惩戒凶贼逆臣。”吕端说：“如果一定要这样办，可真不是合适的办法。希望您暂缓办理，我将再去上奏。”进了朝堂，他就说：“从前项羽抓住了太公(刘邦之父)，想要烹煮他，高祖说：‘(如果你一定要烹他)希望能分给我一杯肉羹。’做大事的人是不会顾及他的亲属的，何况李继迁这种叛逆的人呢？陛下今日杀掉她，明天可以抓到李继迁吗？如果事情不是这样，白白地让他坚定反叛之心罢了。”太宗说：“那怎么办呢？”吕端说：“依照臣的愚见，应当在延州安置李母，让人优厚地服侍她，以便招降李继迁。即使不能立即招降他，最终可以牵住他的心，而他母亲的生死又掌握在我们手里。”太宗拍着大腿，连连称好，并说：“要不是爱卿，几乎误了我的大事。”就采用了他的计策。李母后来病死在延州，李继迁不久也死了，李继迁的儿子终于投诚，这是吕端的功绩啊。
宋太宗身体不好，宋真宗当时是皇太子，吕端每天都和太子一起入朝面圣。等到宋太宗的病情加剧，内侍王继恩畏惧皇太子的英明，私下里与参知政事李昌龄、殿前都指挥使李继勋、知制诰胡旦计划立先前的楚王元佐。宋太宗驾崩，李皇后让继恩把吕端叫来，吕端感觉不对，于是就把继恩锁在阁内，让人看着他然后才去见李皇后。皇后说：“皇帝已经晏驾，应立皇长子为继任皇帝，这是顺应天意的，(你说)现在该怎么办吧？”吕端说：“先帝立太子正是为了今天这种状况，现在皇帝才弃天下而去，怎么能急着违抗先皇遗命呢？”宋真宗登基后，垂帘引见诸位大臣，吕端请求皇上卷帘，走上前去仔细查看，然后走下台阶，率领群臣跪拜并高呼万岁。