没过多久，袁术就带兵来攻打刘备，刘备在盱眙、淮阴一带抵抗。这时候，曹操上表朝廷，封刘备为镇东将军，封宜城亭侯，这一年是建安元年。刘备和袁术对峙了一个多月，没想到吕布趁着下邳防守空虚，突然发动袭击。下邳守将曹豹也叛变了，偷偷打开城门，把吕布迎了进去。吕布把刘备的老婆孩子都抓走了，刘备没办法，只好带着军队转移到海西。《英雄记》里详细说，刘备留下张飞守下邳，自己带兵去淮阴石亭和袁术打仗，双方互有胜负。陶谦原来的部将曹豹在下邳，张飞因为一点矛盾想杀了他。曹豹赶紧带着手下人坚守营寨，还派人去请吕布。吕布趁机拿下下邳，张飞战败逃走。刘备听说后，急忙带兵往回赶，可等他到下邳的时候，军队已经溃散了。刘备只好收拾残兵，向东攻打广陵，和袁术再战，结果又打了败仗。
后来，杨奉、韩暹在徐州、扬州一带抢劫骚扰，刘备带着人半路拦截，把他们全给杀了。为了要回老婆孩子，刘备向吕布求和，吕布这才把人还给他，刘备就让关羽去守下邳。
刘备退回到小沛，这里面还有段曲折故事。《英雄记》记载，当时刘备的军队驻扎在广陵，处境极其艰难，粮草断绝，饥饿的士兵们陷入绝境，甚至出现了人吃人的惨状。在穷途末路之下，刘备实在走投无路，只好派手下官吏向吕布投降。吕布答应让刘备回到徐州，还打算和他联手去攻打袁术。吕布不仅给刘备准备了刺史规格的车马、童仆，还在泗水边上，将刘备的妻子儿女、部下及其家属都送还给他，并且设宴为他送行，表面上看起来一片和气。不过《魏书》里还有另一种说法，吕布手下的将领们纷纷劝他：“刘备这人反复无常，不好控制，不如早点除掉他，以绝后患。” 可吕布却没听进去，还把将领们说的这些话告诉了刘备。刘备听后心里十分不安，为了找个安稳的容身之所，他派人去劝说吕布，请求驻扎在小沛，吕布最后同意了，刘备这才前往小沛。
到了小沛之后，刘备慢慢又聚集了一万多士兵。吕布一看刘备的势力又壮大起来，心里很是忌惮，担心刘备威胁到自己，于是亲自带兵去攻打刘备。刘备根本抵挡不住吕布的进攻，大败而逃，只好去投奔曹操。曹操对刘备非常热情，不仅隆重地接待了他，还封他为豫州牧。曹操让刘备前往沛县收拢逃散的士兵，不仅供应给他军粮，还额外给他增派兵力，让他向东去攻打吕布。吕布派手下大将高顺迎战，曹操则派夏侯惇前去支援刘备，可夏侯惇没能抵挡住高顺的攻势，支援失败，刘备再次惨败，他的妻子儿女也被高顺俘虏，送给了吕布。
曹操见情况不妙，决定亲自东征。据《英雄记》记载，建安三年春天，吕布派人带着金子去河内买马，结果半路上被刘备的军队劫走了。吕布因此大为恼火，立刻派中郎将高顺、北地太守张辽等人去攻打刘备。同年九月，高顺等人攻破了沛城，刘备孤身一人狼狈逃走，他的妻子儿女又一次被吕布俘获。到了十月，曹操亲自率军征讨吕布，刘备在梁国境内与曹操相遇，随后便跟随曹操一同东征。最终，他们在下邳包围了吕布，并将吕布生擒活捉。刘备这才重新找回了妻子儿女，跟着曹操回到了许都。曹操上表朝廷，封刘备为左将军，对他的礼遇愈发隆重，外出时同坐一辆车，就座时同席而坐，关系看起来十分亲密。
后来，袁术打算经过徐州向北去投奔袁绍，曹操便派刘备率领朱灵、路招等人去半路截击袁术。可还没等刘备赶到，袁术就病死了。
在刘备还没出发去截击袁术之前，汉献帝的舅舅、车骑将军董承（臣松之考证：董承是汉灵帝母亲董太后的侄子，按辈分来说，他是汉献帝的岳父，只是古代没有 “丈人” 这个称呼，所以称他为 “舅”）收到了汉献帝藏在衣带中的密诏，密诏内容是让他们想办法诛杀曹操。刘备得知此事后，一开始并没有采取行动。有一天，曹操和刘备闲聊，曹操很随意地对刘备说：“当今天下称得上英雄的，只有你和我罢了，像袁绍之流，根本不值一提。” 刘备当时正在吃饭，听到曹操这话，吓得连手里的勺子和筷子都掉在了地上。好在他反应够快，当时正好打雷，刘备便借着这个机会对曹操说：“圣人说‘遇到剧烈的雷声和大风，一定要有所反应’，果然有道理啊，这雷声的威力，竟然能把我吓成这样！” 就这样，刘备暂时掩饰住了自己的惊慌。之后，刘备便和董承以及长水校尉种辑、将军吴子兰、王子服等人一起谋划诛杀曹操的事情。可就在他们还没来得及动手的时候，刘备就接到了截击袁术的命令，离开了许都。后来，他们密谋的事情泄露，董承等人都被曹操处死了。
刘备占据下邳后，朱灵等人返回许都。刘备当机立断，杀掉了徐州刺史车胄，留下关羽镇守下邳，自己则回到小沛。关于刘备离开许都还有另一种说法，据《胡冲吴历》记载，曹操经常派亲信暗中监视手下将领，一旦发现谁宴请宾客，就找借口将其杀害。刘备察觉到了曹操的猜忌，为了打消曹操的怀疑，他整天闭门不出，带着手下人在院子里种芜菁。有一次，曹操派人来窥探他的动静，等人走后，刘备对张飞、关羽说：“我怎么可能是甘心种菜的人呢？曹操肯定已经对我起疑心了，我们不能再留在这里了。” 当天夜里，刘备就打开后营栅门，和张飞等人骑着快马连夜逃走，曹操之前赏赐给他的衣服等物品，他全都封存好留下，然后前往小沛重新招兵买马。不过臣松之认为，曹操派刘备率领众将去截击袁术，郭嘉等人都曾劝谏曹操不要这么做，曹操却没有听从，这件事很清楚，刘备并不是因为种菜才逃走的。《胡冲吴历》里的说法，实在是太过离谱了。
刘备到了小沛之后，东海的昌霸起兵反叛曹操，很多郡县也纷纷响应，投靠了刘备，刘备的队伍一下子扩充到了几万人。他还派孙乾去和袁绍结盟，试图壮大自己的势力。曹操得知后，派刘岱、王忠去攻打刘备，却没能取胜。建安五年，曹操亲自东征刘备，刘备这次遭遇惨败。据《魏书》记载，当时曹操正忙着在官渡和袁绍对峙，形势紧张，但他还是分出一部分兵力留守官渡，自己亲自率领精锐部队去征讨刘备。刘备一开始以为曹操正和袁绍大战，抽不出身来攻打自己，可突然有侦察骑兵来报，说曹操亲自带兵来了。刘备大惊失色，一开始还不敢相信，亲自带着几十名骑兵出去查看，远远看到曹操军队的军旗，立刻吓得丢下部众，仓皇逃走。曹操这次大获全胜，不仅收编了刘备的全部军队，还俘虏了刘备的妻子儿女，连关羽也被生擒，带回了许都。
刘备在接连遭遇失败后，慌不择路地逃向青州。当时的青州刺史袁谭，曾经被刘备举荐为茂才，这份知遇之恩袁谭一直记在心里。得知刘备来投，袁谭二话不说，亲自带着一队步兵和骑兵前去迎接，一路护送刘备到平原。到了平原，袁谭不敢耽误，赶紧派人快马加鞭去给袁绍报信。袁绍一听刘备来了，也特别重视，不仅派手下将领在沿途迎接，自己还亲自走出邺城二百里地，就为了能见刘备一面。《魏书》里记载，刘备归附袁绍后，袁绍父子对他那是真心实意地敬重，礼遇十分周到。
刘备在袁绍这儿待了一个多月，之前打仗失散、逃亡的士兵，听说老大在袁绍这儿，又陆陆续续地找了过来。这边刘备刚缓过一口气，那边曹操和袁绍就在官渡对峙，局势一触即发。汝南的黄巾军首领刘辟瞅准机会，带着手下人造反，背叛曹操响应袁绍。袁绍一看，觉得是个好机会，就让刘备带着兵，和刘辟他们一起去攻打许昌周边地区。巧的是，关羽也在这个时候摆脱曹操，一路奔波，重新回到了刘备身边。曹操哪能容忍刘备在自己眼皮子底下捣乱，立马派曹仁带着大军去攻打刘备。刘备敌不过曹仁，只好又退回袁绍的军营。
在袁绍这儿待久了，刘备心里也不踏实，一直琢磨着找机会离开。他瞅准时机，跟袁绍说：“咱们可以往南联络荆州牧刘表，和他结盟，这样咱们的势力就能更大，也能更好地对付曹操。” 袁绍觉得有道理，就又让刘备带着自己原来的部队，回到汝南，和当地的山贼龚都等人会合，队伍一下子扩充到了几千人。曹操知道后，气得不行，派蔡阳去攻打刘备。没想到，蔡阳根本不是刘备的对手，反倒被刘备给杀了。