张辽，字文远，是雁门郡马邑人。他本是聂壹的后代，因为躲避仇家才改了姓。他年轻的时候就当上了郡里的小官。到了汉末，当时的并州刺史丁原看中了他，觉得他武力过人，就召他来当从事，还让他带着兵去京都。后来，何进让他去河北招募士兵，他招到了一千多人。等他带着这些人回来的时候，何进已经死了，他只好把兵交给了董卓。董卓死后，他又带着兵投靠了吕布，还升任了骑都尉。吕布被李傕打败后，张辽跟着吕布逃到徐州，当了鲁相，那年他才二十八岁。
后来曹操在下邳打败了吕布，张辽就带着他的部下投降了曹操。曹操很赏识他，任命他为中郎将，还赐给他关内侯的爵位。他在曹操麾下屡立战功，很快就被升为裨将军。曹操打败袁绍后，派张辽去平定鲁国的几个县。有一次，张辽和夏侯渊一起在东海围攻昌豨。围了好几个月，粮草快没了，大家正商量着要不要撤军的时候，张辽说：“这几天我观察了一下，每次在营垒周围巡逻的时候，昌豨总是盯着我看。而且他射箭也越来越少了，这说明他心里犹豫不决，不想拼命。我想试着和他谈谈，说不定能把他劝降。”于是，张辽就派人对昌豨说：“曹公有命令，让我来传达。”昌豨果然下来和张辽说话。张辽就劝他说：“曹公神武英明，现在正用恩德招揽四方豪杰。谁先归附，谁就能得到重赏。”昌豨听了之后，就答应投降了。
张辽居然一个人上了三公山，进了昌豨的家，还拜见了他的妻子和孩子。昌豨很高兴，就跟着张辽去见曹操。曹操让昌豨回去，但责备张辽说：“你这样做可不符合大将的规矩。”张辽解释说：“我之所以敢这样做，是因为您的威信传遍了四海。我奉您的命令去办事，昌豨肯定不敢害我。”后来，张辽跟着曹操去黎阳攻打袁谭和袁尚，立了功，被任命为中坚将军。又跟着曹操去攻打袁尚的老巢邺城，袁尚死守城池，曹操只好先回许都。曹操让张辽和乐进去攻打阴安，把那里的百姓都迁到了河南。后来又跟着曹操去攻打邺城，邺城被攻破后，张辽又去赵国和常山招降了山里的贼寇，还有黑山的孙轻等人。接着，他跟着曹操去攻打袁谭，袁谭被打败后，张辽又去海滨攻打辽东的贼寇柳毅等人。回到邺城后，曹操亲自出来迎接张辽，还和他同车而行，任命他为荡寇将军。之后，张辽又去荆州攻打江夏的几个县，平定了那里，回来后驻扎在临颍，被封为都亭侯。后来，他又跟着曹操去柳城征讨袁尚，半路上和敌人遭遇了。张辽劝曹操出战，曹操觉得他很有气势，就把自己的指挥旗交给了他。结果，张辽大破敌军，还斩杀了单于蹋顿。
（注：文中还有一段傅子的记载，说曹操要征讨柳城的时候，张辽劝他说：“许都可是天子所在的地方。现在天子在许都，您要是远征北方，要是刘表派刘备去袭击许都，刘备要是占据了许都，然后号令四方，那您的势力可就没了。”曹操觉得刘表肯定不会重用刘备，所以还是出征了。）
当时荆州的局势还没有完全稳定，曹操又派张辽去长社驻扎。就在张辽准备出发的时候，军营里突然有人谋反，夜里惊动了整个军营，还起了火，搞得一片混乱。张辽对身边的人说：“别乱动！这肯定不是整个营的人都反了，肯定是有坏人故意搞破坏，想让大家乱起来。”于是，他下令让军营里没有参与谋反的人都安静地坐着别动。张辽带着几十个亲兵站在军营中间。过了一会儿，局势就稳定下来了，他们很快就抓到了带头闹事的人，把他杀了。
后来，陈兰和梅成在氐族的六个县发动叛乱。曹操派于禁、臧霸等人去讨伐梅成，让张辽带着张合、牛盖等人去讨伐陈兰。梅成假装向于禁投降，于禁就撤军了。结果梅成带着他的部下投奔了陈兰，他们一起逃到了灊山。灊山里有一座天柱山，山高二十多里，道路又险又窄，只能容一个人通过。陈兰他们在山上安营扎寨，准备抵抗。张辽想进攻，其他将领都说：“咱们兵少，路又这么险，很难深入啊。”张辽说：“这就叫一对一，谁勇敢谁就能冲在前面。”于是，他带着部队一直推进到山下，安营扎寨，然后发起进攻，最后斩杀了陈兰和梅成，俘虏了他们所有的部下。曹操评价众将的功劳时说：“爬天山，走险路，拿下陈兰和梅成，这是张辽的功劳。”于是增加了他的封地，还给了他节钺，让他有了更大的权力。
曹操从征讨孙权回来后，派张辽和乐进、李典等人带着七千多人驻扎在合肥。后来曹操去征讨张鲁，临走前给护军薛悌写了一封信，信封上写着“敌人来了再拆”。没过多久，孙权带着十万大军来围攻合肥。张辽他们拆开信一看，信上说：“如果孙权来了，张辽和李典将军出战，乐进将军守城，护军不要参战。”大家都觉得有点奇怪。张辽说：“曹操现在在外面打仗，等救兵到了，咱们肯定早就被孙权打败了。所以他才让我们趁敌人还没合围的时候先打他们一下，打掉他们的锐气，让大家心里安定下来，这样才能守住城。这一战是咱们成败的关键，大家还有什么可怀疑的？”李典也同意张辽的看法。于是，张辽在夜里招募了八百个敢死队队员，杀牛宰羊，犒劳将士们，准备第二天大战一场。第二天早上，张辽穿上铠甲，拿着战戟，带头冲进了敌阵，一下子杀了几十个人，还斩杀了两名敌将。他一边打一边大喊自己的名字，一直冲到了孙权的指挥旗下。孙权吓坏了，手下的士兵也不知道该怎么办，都跑到了一个高坡上，用长戟保护自己。张辽大声喊孙权下来单挑，孙权不敢动。他看到张辽带的人少，就让人把张辽围了好几层。张辽左右冲杀，带着几十个人冲出了包围。剩下的人喊道：“将军不要我们了吗？”张辽又冲回去，把剩下的人也救了出来。孙权的兵马都被张辽打得溃不成军，没人敢挡他的路。从早上打到中午，孙权的士兵都失去了斗志。张辽回到城里，加强了守备，大家的心也安定了下来，都佩服张辽的本事。孙权在合肥围了十多天，也没攻下城池，只好撤退。张辽带着部队追击，差点就抓住孙权了。曹操听说后，非常赞赏张辽，任命他为征东将军。
（注：孙盛评价说，打仗本来就是靠智谋的，奇正相辅相成。如果派将领出征，把权力都交给他们，他们要么靠地形的优势，要么靠互相配合。如果将领们不团结，那肯定要失败。合肥之战，魏军兵力少又没有援军，如果只靠勇猛的人，就会好战生祸；如果只靠胆小的人，又会害怕而难以自保。而且敌人多，肯定会轻敌；我们用拼命的士兵去打轻敌的敌人，肯定能赢。赢了之后再防守，防守就一定能成功。所以曹操精心挑选将领，让他们互相配合，还秘密安排了作战方案，根据情况灵活运用。事情发展得很顺利，就像符契一样契合，真是妙啊！）
建安二十一年，曹操又去征讨孙权，路过合肥的时候，他沿着张辽当年作战的地方走了一圈，感慨了很久。于是，他增加了张辽的兵力，多留了几支部队，还让张辽把驻地迁到了居巢。
关羽在樊城把曹仁给围住了。这时候，孙权表示愿意臣服于曹操，于是曹操就下令让张辽和其他部队都回去救曹仁。结果，张辽还没赶到，徐晃就已经打败了关羽，曹仁的包围也解除了。张辽和曹操在摩陂见面了。张辽的军队到了之后，曹操坐着轿子出来慰劳他们，之后张辽就回到陈郡驻扎。
后来，曹丕（文帝）继承了王位，张辽被任命为前将军。《魏书》里说，曹丕赏赐了张辽一千匹帛和一万斛谷子。张辽的哥哥张泛和他一个儿子都被封为列侯。孙权又反叛了，曹丕就派张辽回到合肥驻扎，并且提升他的爵位为都乡侯。曹丕还给张辽的母亲安排了豪华的车马，把张辽的家人都送到驻地去，并且下令说，张辽的母亲到了，要有人专门出去迎接。张辽手下那些将军和士兵们都排成队，在路边跪拜，围观的人都觉得这是非常荣耀的事情。曹丕正式登基后，封张辽为晋阳侯，增加了他的封地一千户，加上之前的总共是二千六百户。
黄初二年，张辽来到洛阳朝见曹丕。曹丕在建始殿接见了张辽，亲自询问他打败孙权军队的情况。曹丕听了之后，感叹着对身边的人说：“张辽这可也是像古代的召虎那样的名将啊！”于是，曹丕下令给张辽修建府邸，还特别为张辽的母亲修建了宫殿。张辽当年跟着他打败孙权的那些士兵，都被任命为虎贲武士。
后来，孙权又表示臣服。张辽就回到雍丘驻扎，结果生了病。曹丕派侍中刘晔带着御医去给张辽看病，一路上不断有虎贲武士来打听张辽的病情。张辽的病还没好，曹丕就把他接到自己所在的地方，亲自去看望他，握着他的手，还赐给他自己的衣服，让御膳房每天给他送吃的。张辽的病稍微好了一点之后，他又回到驻地。孙权又反叛了，曹丕就派张辽乘船，和曹休一起去海陵，到了长江边。孙权非常害怕张辽，他下令给自己的将领们说：“张辽虽然生病了，但是你们也别想对付他，一定要小心！”那一年，张辽和其他将领们打败了孙权的将领吕范。张辽的病越来越重，最后在江都去世了。曹丕知道后，非常伤心，流着眼泪，追封他为刚侯。张辽的儿子张虎继承了他的爵位。
六年后，曹丕想起张辽和李典在合肥的功劳，就下诏说：“合肥那一战，张辽和李典带着八百步兵，打败了孙权的十万大军，这在历史上都是从来没有过的。他们让孙权的军队到现在还心惊胆战，可以说是国家的栋梁之臣啊。现在我决定，把张辽和李典的封地各分出一百户，赐给他们各自的一个儿子关内侯的爵位。”张虎后来当了偏将军，也去世了。他的儿子张统继承了他的爵位。