不料，这一仗，赤眉军却被刘嘉打的大败，廖湛本人也被骁勇无比的刘嘉亲手砍下了脑袋。遭此大败，樊崇恨的咬牙切齿，本想回兵西向，将刘嘉碎尸万段，以解心头之恨。但是，由于大雪不息，缺乏粮草，他只能是暂且咽下这口窝囊气。他不顾刘嘉在身后，率领主力继续沿着渭水东进。
九月中，樊崇在率部挖掘盗取了西汉帝后的九座陵墓之后，赤眉军获取了价值连城的无尽宝藏，士气大振。于是，樊崇勒兵渭河北岸，准备攻击长安。其实，他并不知道，渭河对岸的长安城里，早已没有西征军的一兵一卒了。
早十几天前，邓禹已经率部撤出了长安。原来，邓禹接到郁夷方面的败报，心情异常郁闷。
此刻，困守长安危城的邓禹和他所率领的西征军数万人，已经陷入了极其危险的境地。由于屡战屡败，西征军的士气更加低落。如果出城作战，人马太少，又缺少粮食，无异于送死。如果固守城池，就这么点兵马，如何守的住？
邓禹得到樊崇在四处挖掘帝陵的消息，知道他们肯定很快会前来攻击长安。他自忖不敌，觉得实在无法固守。于是，邓禹下令：“放弃长安，退守云阳！”
从此，邓禹率领西征军残部数万人，连夜逃出城去，取道西北官道北上，入驻云阳（今陕西省淳化县西北），前去搜寻粮食。实际上，昔日那支骁勇善战的西征军，已经基本上丧失战斗力了。
九月末，赤眉军渡过渭水，进入了空城长安。此刻，天寒地冻，长安城又是残破不堪。樊崇等人心中也在暗自后悔：“早知如此，何必当初！要是知道现在这副狼狈样，当初放那把火干吗？真是的！唉！”
当时，长安城中皇宫九成以上被毁，只有未央宫之北的桂宫，还勉强可以住人。于是，樊崇把刘盆子请进了这里，暂且住下。
就这样，樊崇率领全军开进了长安，打算好好休整一下。不过，现在的赤眉军的情况，经过这次折腾，已经大大不如八个月以前那么强悍。尤其是在陈仓道口一战，被刘嘉消灭了接近十万人，简直跟打断了樊崇一根肋骨差不多。虽然樊崇此时还有几十万人马，但是战斗力却明显不如以前。
原来，此前的赤眉军士兵，都是穷的丁当响的“泥腿子”，前来投奔樊崇的目的很简单：只要总瓢把子给口吃的就行了！不饿死就成！因此，他们为了一口饭，打仗不怕死，勇猛无畏，战斗力异常剽悍。正应了那句古话：“光脚不怕穿鞋的”。可是，自从挖了皇陵，获取了无尽的宝藏，赤眉军士兵哪个不是穿金戴银？荷包里揣的满满的，都成了“土财主”。他们的思想也发生了变化，很多老兵离开青、徐州家乡已经好几年了，他们一心想着带着盗掘的财宝，回家过自己的太平日子去，都不想再打仗了。
这种观点，不仅是普通士兵们，就是在徐宣、逢安、谢禄、杨音等高级官员们的思想中也流露出东归的情绪。对于部下们的心思，樊崇当然比谁都清楚。对此，他当然也是同意的。然而，由于时值隆冬，冰天雪地，道路不通，士卒们也非常疲惫。因此，他打算让赤眉军这头巨熊在长安“冬眠”一阵再走不迟。对于邓禹，樊崇早就看透了。在他看来，邓禹根本就是个草包，自己只用一根小手指头，轻轻一碰，就可以将他打倒了。因此，他根本没把邓禹放在心上，打算安安心心地长安过冬。
正如同蛇鼠关系一样，夏天蛇吃老鼠，到了冬天，老鼠就要吃冬眠的蛇了。樊崇想安安生生地过冬，并没那么滋润，有人偏偏要找他的麻烦。吓破了胆的邓禹不敢打赤眉，有人却跳了出来，要和关中的赤眉一决雌雄，这个人就是延岑。
延岑这个人真是奇怪，作为一名将军，确实异常勇猛顽强，但是他好像更喜欢流动作战。能打就打，打不过就跑。当初，他连刘嘉区区几万人都打不过，现在却要跑到杜陵去和实力最强的赤眉军作对，真是让人匪夷所思。樊崇见居然有人敢到这里和他抢食吃，简直是在老虎头上拍苍蝇，真是胆大包天，就想狠狠地教训他一下。
于是，他命令大将逄安率领十余万人为先锋，直奔杜陵。自己则亲率主力出城南下，以为后援。
出乎樊崇意料的是，退守云阳的邓禹却想乘机大捞一把。他得知逄安率领赤眉精兵南下杜陵，认为长安城里只有刘盆子和羸弱残兵守城，是一个偷袭的好机会。这一次，邓禹又犯了“冒险主义”的错误。
这天，邓禹亲率西征军数万人星夜南下。他们渡过了渭河桥，准备趁虚而入，反攻长安。这天夜里，邓禹率军向长安城发起了攻击。
在夜袭长安之战中，又是偏将军张宗身先士卒，率领敢死队杀进城去，打开长安城门，放汉军入城，与城内的赤眉军展开激烈的巷战。张宗在阵中勇不可挡，所向披靡。在肉搏的过程中，张宗被赤眉军长矛刺中，穿透了肩胛骨。张宗犹如一头受伤的狮子，勇猛无比，背插长矛，杀伤敌军无数。在张宗的突袭之下，汉军眼看就要拿下长安城了。
但是，杜陵距离长安实在是太近了，它在长安城的东南方，距离城池只有几十里路。因此，赤眉军的援兵很快就赶到了。赤眉军主将樊崇得到西征军偷袭的消息，急令右大司马谢禄率兵回援。谢禄立即率领骑兵紧急启程北归，乘夜杀回城中。赤眉援军的到来，使得战局急转直下。这天夜晚，在长安城中，双方再次展开血战。昔日繁华的栆街之中，顿时变成了战场，化为一片狼藉血海。由于邓禹没有想到赤眉的援军来得如此之快，促不及防，仓促迎战。结果，邓禹被谢禄杀得大败，退出长安，狼狈不堪地率领残部数千人逃回云阳。
这一仗，邓禹本来想奇兵偷袭，不想却弄巧成拙，损失惨重，简直跟那个试图“火中取栗”却被大火烧伤了爪子的的猢狲差不多。自从偷袭长安失败之后，西征军人数下降到不足一万人。
西征军败回云阳，邓禹的能力也遭到了诸将的怀疑。对此，邓禹的精神感到十分痛苦。他坐在营中，长吁短叹。回想起当年出征之时刘秀对自己说过的那些话，再看看如今的局面，深感耻辱。不过，他还是书生性格，太好强了。屡战屡败的他，心态已经严重失衡。
此刻，他就像是一个输光了本钱的赌徒，眼睛都急红了，一心想翻本。于是，他不顾士卒饥饿，严令将士们主动向赤眉军发起攻击。然而，敌众我寡，西征军这么点人，怎么是人家的对手呢？结果当然是可想而知，多次遭到惨败。到了建武二年的十月底，西征军的人数已经下降到不足五千人了。
至此，刘秀集团在关中的形势，一天比一天严重，日益恶化，陷入了无可救药的败局之中……
（十五）穷途末路
建武元年九月末，在击败了邓禹之后，樊崇开始腾出手来全力对付南线的延岑、李宝。这天，延岑与李宝合兵数万人，与赤眉军逄安部会战于杜陵。结果，延岑大败，一万余人被杀。延岑见识不妙，他再次发挥了善于逃跑的特长，带着残部飞速向西逃窜。而李宝的“腿短”，逃的不够快，被逢安团团围住。李宝无奈，只好举旗投降。不过，李宝跟着延岑做搭档，也学了不少本事。逃跑的绝招没学会，诈降的技术却学到了家。
他率部投降于逄安之后，用甜言蜜语把逢安哄的团团转，令其对自己深信不疑。此后，李宝又开始了积极的努力。他得知延岑带领残部西去，李宝急忙写了一封信，派密使骑快马西行，火速追赶延岑。他在信上说：“延岑将军！不要泄气！我等应当继续努力！赶快回来继续战斗，我做内应，我们里应外合，可以将匪徒们一举击溃！” 延岑得信大喜，立即停止逃跑，掉头回来挑战。
逄安得报，悉发大兵十余万出寨迎战。李宝乘逄安倾巢出营、内部空虚之机，立即命令部下撤掉赤眉的旗帜，换上自己的旗号。逄安战疲回营，看到大营的旗帜全部变成白色，不禁大惊失色，以为自己的老巢被延岑攻破，军心大乱，部下四散奔逃。延岑、李宝趁机率军掩杀，逄安军大溃，相互践踏而死，跌落山谷摔死，以及被延岑、李宝联军杀掉的，总数不下十余万。最终，逄安只率了数千轻骑逃回长安。经过这一仗，赤眉的主力遭到沉重打击，总数下降到不足四十万。从此，赤眉军伤了元气，走上了下坡路，逐渐衰落。
到了十月，由于关中饥荒严重，刘嘉、延岑的军队也断了粮。于是，刘嘉、李宝率军也到云阳寻找粮食，恰好在此遇到了邓禹的西征军。对于邓禹，李宝内心是一万个看不起。他劝刘嘉说：“天下事未可知，大王应拥兵自守，且坐观成败，不要理睬邓禹。”因此，刘嘉对邓禹不闻不问，自己征自己的粮，双方两不相干。
邓禹得报后，感到很是奇怪。立即派人东奔洛阳，将此情况迅速上报在河北的刘秀，刘秀命邓禹设法招降刘嘉等人。刘秀知道后，派使者告诉邓禹：“刘孝孙为人，素来谨慎善良，是朕少年时期亲如手足之人。他现在这样做，必定是长安轻薄之人误导他造成的。”
邓禹得报后，感到很是奇怪。立即派人东奔洛阳，将此情况迅速上报在河北的刘秀，刘秀命邓禹设法招降刘嘉等人。刘秀知道后，派使者告诉邓禹：“刘孝孙为人，素来谨慎善良，是朕少年时期亲如手足之人。他现在这样做，必定是长安轻薄之人误导他造成的。”
邓禹得到刘秀的旨意，立即派人与刘嘉联络。刘嘉派李宝、来歙为代表，到云阳拜谒邓禹。于是，邓禹派人与刘嘉联系，刘嘉命丞相李宝、内兄来歙作为代表去见邓禹。
此时，李宝看到邓禹对赤眉军连吃败仗，自己却将赤眉军主力十多万杀得片甲不留，因此李宝根本看不起邓禹，说话之时，显得有些傲慢。邓禹此刻正没好气，一见李宝如此模样，心中大怒：“来人，将李宝推出斩首！”左右急忙劝谏，盛怒之下的邓禹如何能够听的进去？很快，李宝的人头被送到了邓禹的帐前。这一次，邓禹再次闯下了大祸。
再说刘嘉，他得到李宝被邓禹无故杀死的消息，非常愤怒，震惊无比。他立即下令：“全军集合，给本王把邓禹往死里打！”他派李宝之弟为先锋，纠集部队反攻西征汉军。这一仗中，邓禹再次大败，赤眉将军、着武侯耿欣战死。耿欣是耿纯的堂兄，也是一员勇将。虽然战死沙场，却为耿氏一门增添了荣耀。纵然如此，耿欣还是死的太可惜了。他没有死在赤眉军的刀下，却莫名其妙地被友军杀死。这一仗之后，刘嘉与邓禹成了不共戴天的死敌，誓不两立。不仅如此，他还对刘秀产生了怨恨之心，彻底断绝了与洛阳方面的政治联络。
这一突发事件中，邓禹为了一己之私怨，将友军将领杀死而破坏了统一战线。可见，邓禹的眼光、胸襟是何等的短浅、狭隘！究其本源，责任完全在邓禹，正是由于他不顾大局，一意孤行地生生制造出来的。说到底，这一切，都是邓禹的过错造成的。
此后，邓禹由于频遭大败，士气低迷，不得不率领残部撤出云阳，向南奔窜，逃往高陵驻扎。
三年多来，长安三辅地区由于连年兵燹，无人耕种庄稼，农业生产遭到了毁灭性的破坏。曾经富甲天下的关中三辅地区，在一年多的时间里变成了一个白骨蔽野，城郭皆空的世界。
本来，老百姓对于邓禹的西征军抱着极大的希望；当年听说邓禹挥师入境，他们箪食壶浆，杀牛酿酒，千里迢迢地送到邓禹军中，前来犒劳将士们。但是，一年多以来，邓禹迟迟不动，坐失良机，使得赤眉军得以任意驰骋，肆意抢粮，各地民众的财产被席卷殆尽，历年的存粮又都被赤眉军抢掠一空。老百姓饿死的到处都是，剩余的人为了活命，发生了人相食（即人吃人的事件）。
侥幸苟活下来的老百姓们，除了对赤眉军恨之入骨以外，也对西征军产生了怨恨：你们吃了我们的粮食，到底为我们做了些什么？既然你们不管我们的死活，我们就自救！没有被饿死的人们，纷纷聚居在一起组成营保，拿起武器抵御赤眉的侵袭。不仅如此，老百姓们也拒绝向西征军提供任何形式的援助。可以说，他们的心伤透了。
此刻，关中各地的民众对各路势力都不相信了。包括邓禹的西征军在内，老百姓对他们也是一样，毫无信任之感。他们为了自救，自发地组织民团，修筑城堡，几十个村寨的人聚集起来，把粮食、财产、妇女老幼都安排住进城堡、营寨。他们内心寒透：无论是谁，都不开门！敢有来犯者！杀！
完全可以这样说，正是因为这个原因，邓禹才陷入了没有粮食吃的境地之中的。
由于找不到粮食，邓禹又打不过赤眉军。无奈之下，他只好咬牙下令：进攻营寨、堡垒，为全军征粮！
真是“一将无谋，累死千军”。从邓禹在关中的表现看，他硬是把一支由河北健儿为骨干组成的虎狼之师，折腾成了一个人见人欺的“软柿子”。这还不算，邓禹犯下的更大过错还在后头。这支军队，很快就要从历史的记忆中消失了。
由于邓禹在关键时刻，逡巡犹豫，畏敌如虎，不仅断送了一举收取长安，彻底平定三辅地区的大好时机，反倒使得关中地区的人民遭受了空前的苦难，导致无数老百姓惨遭赤眉军杀害，大量的平民也因饥饿而死。关中郡县，不闻鸡鸣之声，不见炊烟之起。十室九空，白骨遍野。同时，邓禹在军事上的平庸无能，也使得关中形势日益恶化，西征军自身也面临着全军覆没的绝境。
其实，在关中的各路势力，日子都不好过。邓禹的对头赤眉军，他们的处境也一样糟糕。自从杜陵之战以后，主力损失不小。多次攻打各个村寨，都无法攻破。由于找不到足够的粮食，赤眉军中也开始出现粮荒。樊崇对此也是无计可施，他作出了一个决定：大军东归！
建武二年十一月，得知西征军的困境之后，刘秀终于作出了一个至关重要的决定：召还邓禹，令其率领余部撤