在徐州地区，下邳的阙宣聚集了数千人，妄图称帝，自称天子。徐州牧陶谦竟与阙宣勾结在一起，共同举兵。他们率军攻占了泰山郡的华县、费县，还出兵攻略任城，一时间，徐州周边地区陷入动荡。
这年秋天，曹操决定征讨陶谦，以遏制其势力的扩张。曹操的军队一路势如破竹，接连攻下了十多座城池。陶谦被曹操的攻势所震慑，只能龟缩在城中，紧闭城门，不敢出战。
就在这一年，孙策受袁术的指派，渡江作战。在短短数年之间，孙策凭借着自己的军事才能与果敢决断，在江东地区开疆拓土，逐渐占据了江东大片土地，成为了一股不可忽视的势力。
兴平元年春，曹操从徐州回军。起初，曹操的父亲曹嵩在辞官之后回到谯县。董卓之乱爆发时，为躲避战乱，曹嵩前往琅邪避难。然而，不幸的是，曹嵩却在琅邪被陶谦杀害。这段血海深仇，曹操一直铭记在心，所以此次他志在东伐陶谦，为父报仇。
据《世语》记载，当时曹嵩住在泰山郡华县。曹操命令泰山太守应劭护送曹嵩一家前往兖州。可应劭的军队还未赶到，陶谦便秘密派遣数千骑兵前去截击。曹嵩一家以为是应劭前来迎接，毫无防备。陶谦的士兵赶到后，在曹府门中杀死了曹操的弟弟曹德。曹嵩惊恐万分，试图翻墙逃走，他先将妾室送出，但妾室身材肥胖，一时难以脱身。曹嵩无奈之下，躲进厕所，最终与妾室一同被陶谦的士兵杀害，全家上下无一幸免。应劭得知此事后，害怕曹操降罪，便弃官投奔袁绍。后来曹操平定冀州时，应劭已经去世。而按照韦曜所着《吴书》的说法，曹操派人去迎接曹嵩，曹嵩带着一百多辆辎重车辆启程。陶谦派遣都尉张闿率领二百骑兵护送，没想到张闿在泰山郡的华县、费县之间，为了抢夺财物，杀害了曹嵩，之后逃往淮南。曹操认定此事是陶谦的阴谋，因此对陶谦怀恨在心，决意兴兵讨伐。
这年夏天，曹操留下荀彧、程昱驻守鄄城，自己则再次率军征讨陶谦。曹操的军队士气高涨，在战场上英勇作战，接连攻克了五座城池，并一路向东海进军，攻城略地。在回军途中经过郯县时，陶谦的部将曹豹与刘备屯驻在郯县以东，试图截击曹操。曹操毫不畏惧，指挥军队果断反击，成功击破了曹豹和刘备的防线。随后，曹操乘胜攻下襄贲。然而，在此次征讨过程中，曹操的军队所过之处，多有残酷杀戮的行为。孙盛对此评论道：“讨伐有罪之人，安抚百姓，这是自古以来的正义之举。但因为怨恨陶谦，就对他的属下部众进行残酷杀戮，这实在是太过分了。”
正当曹操全力征讨陶谦之时，后方却突生变故。张邈与陈宫背叛曹操，迎接吕布进入兖州，一时间，兖州的众多郡县纷纷响应。这突如其来的背叛让曹操陷入了腹背受敌的困境，荀彧和程昱临危受命，坚守鄄城，范县和东阿县的百姓也齐心协力，顽强抵抗。曹操得知消息后，不得不放弃对陶谦的进攻，紧急率领军队回援。
吕布进入兖州后，直奔鄄城而来，试图一举攻克这座重镇。然而，荀彧和程昱凭借着出色的指挥和坚定的意志，带领城中军民顽强抵抗，吕布久攻不下，无奈之下，只能向西退往濮阳屯驻。曹操得知吕布的动向，心中暗自分析道：“吕布刚得到兖州，却不占据东平，切断亢父、泰山的通道，凭借险要地势来拦截我，反而屯兵濮阳，由此可见，他没什么大的能耐。”于是，曹操果断进军，向濮阳发起进攻。
双方在濮阳展开了激烈的战斗。吕布派出精锐骑兵，率先向曹操的青州兵发起冲击。青州兵面对吕布骑兵的凶猛攻势，阵脚大乱，纷纷奔逃。青州兵的溃败引发连锁反应，导致曹操的整个军阵陷入混乱。一时间，战场上局势危急，吕布的军队趁势猛攻，曹操的军队陷入苦战。曹操在混乱中奋力突围，却不幸坠马，左手掌也被火烧伤。关键时刻，司马楼异眼疾手快，迅速扶起曹操，让他重新上马，曹操这才在混乱中突出重围，脱离险境。
据《袁暐献帝春秋》记载，曹操围困濮阳时，濮阳的大姓田氏充当内应，曹操得以率军入城。进城后，曹操为了表示破釜沉舟的决心，下令烧毁东门。但在接下来的战斗中，曹操的军队遭遇惨败。吕布的骑兵在战场上四处搜寻曹操，抓住了曹操本人却浑然不知。他们向曹操问道：“曹操在哪里？”曹操急中生智，回答说：“骑着黄马逃跑的那个人就是。”吕布的骑兵信以为真，放过曹操，转而追击骑黄马的人。此时东门火势正猛，曹操拼尽全力，从火海中突围而出。
曹操一路奔逃，还未回到军营，众将还未见到曹操的身影，都心急如焚，惶恐不安。曹操回到军营后，尽管身负伤痛，却强撑着身体，亲自慰劳将士，鼓舞士气。他命令军中士卒迅速制造攻城器械，准备再次向吕布发起进攻。此后，曹操与吕布在濮阳对峙了一百多天。然而，祸不单行，这期间，蝗虫肆虐，大片农田遭到破坏，百姓陷入严重的饥荒之中。吕布的军队也面临着粮食短缺的困境，双方都难以支撑，最终各自引兵退去。
这年秋九月，曹操率军回到鄄城。吕布则退到乘氏，却在这里遭遇乘氏县人李进的袭击，被打得大败，无奈之下只能向东逃窜，屯驻在山阳。此时，袁绍见曹操处境艰难，便派人前来劝说曹操，希望能与曹操联合。曹操刚刚失去兖州，军中粮食也已告罄，在困境之下，他一度想要答应袁绍的提议。关键时刻，程昱极力劝阻曹操，曹操冷静思考后，听从了程昱的建议，拒绝了袁绍。冬十月，曹操率军来到东阿，暂时在此休整，积蓄力量，等待东山再起的机会。
兴平元年，这一年的兖州大地被灾难的阴影所笼罩，粮食价格飞涨，一斛谷竟卖到五十多万钱，百姓生活陷入绝境，甚至出现了人吃人的惨状。在如此艰难的情况下，曹操不得不裁撤掉新招募的吏兵，以缓解军中粮食短缺的压力。
与此同时，徐州牧陶谦因病去世，刘备顺势接管了徐州。
兴平二年春天，曹操决定对定陶发起突袭。当时，济阴太守吴资据守南城，曹操久攻不下。就在此时，吕布率军赶来救援，曹操果断迎战，再次击败了吕布。
夏天，吕布的部将薛兰、李封屯驻在钜野。曹操得知消息后，立即挥师进攻。吕布急忙出兵营救薛兰，然而在曹操的猛烈攻击下，薛兰战败，吕布见势不妙，仓皇逃走。曹操乘胜追击，斩杀了薛兰等人。吕布不甘心失败，他又从东缗与陈宫率领一万多人前来与曹操决战。当时曹操的兵力相对较少，但他足智多谋，提前设下埋伏，然后派出奇兵突袭。这一战，曹操大获全胜。据《魏书》记载，当时曹操的士兵大多外出收割麦子，留守的士兵不足千人，军营的防御也较为薄弱。曹操当机立断，让妇女们登上城墙守卫，自己则率领全部兵力出城迎敌。在军营西边有一道大堤，大堤南边树木繁茂，幽深静谧。吕布率军来到此处，心中起疑，担心有伏兵，于是对部下说：“曹操诡计多端，我们千万不要中了他的埋伏。”说罢，便率军在南边十多里处屯驻下来。第二天，吕布再次率军前来。曹操将士兵隐藏在大堤内，只派出一半兵力在堤外。吕布见状，继续进军。曹操先派轻装士兵上前挑战，双方交战不久，隐藏在大堤内的伏兵迅速杀出，步骑兵协同作战，向吕布的军队发起猛烈攻击。这一战，曹操不仅大破吕布的军队，还缴获了他们的战鼓和战车，一直追到吕布的军营才凯旋而归。
吕布在夜间趁乱逃走，曹操抓住战机，再次发起进攻，成功攻克定陶。随后，曹操分兵平定了定陶周边的各个县。吕布走投无路，只好向东投奔刘备。张邈追随吕布而去，他让弟弟张超带着家属退保雍丘。
这年秋八月，曹操率军包围了雍丘。冬十月，汉献帝正式任命曹操为兖州牧。到了十二月，雍丘城在曹操的长期围困下终于崩溃，张超见大势已去，自杀身亡。曹操下令将张邈的三族全部诛杀。张邈前往袁术处求救，却被袁术的部下所杀。至此，兖州之乱被彻底平定，曹操随后挥师东进，攻略陈地。
也是在这一年，长安城内陷入混乱，汉献帝被迫东迁。在东迁的途中，汉献帝的队伍在曹阳遭遇惨败，无奈之下只能渡河，前往安邑暂避。