盱眙、淮阴相持一个多月，各有胜负。这时，张飞欲杀陶谦旧将曹豹，曹豹率众自守，并引吕布偷袭下邳，击破张飞，俘虏了刘备的妻小。刘备得知后引军退还，到下邳时，军队溃散，乃收余军东取广陵，为袁术所败，转军海西，困顿至极，吏士大小相食。赖东海麋竺以家财相助才得以脱困。[164]刘备打算回到小沛，于是向吕布求和，吕布以刘备为豫州刺史，让他回到豫州，与自己并力攻击袁术，又将刘备的妻小以及部曲家属归还，在泗水上为刘备送行，刘备回到小沛。[11][162-165]袁术又命纪灵率三万人攻打小沛，刘备向吕布求救。吕布屯在小沛外，派人招刘备、纪灵前来，以“辕门射戟”化解此事。
不久后，刘备再度召募了万余人的军队，吕布于是率军进攻小沛。刘备战败，前往许都投奔曹操。曹操手下的程昱、郭嘉皆称刘备有雄才，向曹操建议趁早对刘备动手，曹操不从，给与刘备兵马粮草，让刘备做豫州牧。其后，人称刘备为“刘豫州”。