激战一日，郑军死两千多人，不得不退；次日郑军使用冲车，被城楼上准备好的巨石砸坏，撞木尽数被烧。郭士衡熟悉虎牢的布置，在护城河浅的地方运土填壕，准备挖掘地道进关，没想到河西军在城中又挖了一道横截的沟壕，冲进去的郑军全被弓箭射死；郭士衡无奈架梯强攻，在密如骤雨的箭矢下，丢下上千具尸体而归。
郑军昼夜相攻，一连十余日，阵亡了七千郑军，虎牢关还在河西军的手中，王世充无奈，只好派朱粲率一万郑军来援；可是面对坚城死守，郑军连战七日，死掉四千多人，还是没有站上虎牢关城。
荥阳方面，李靖派索延寿率八千骑为前锋，统大将三万北援，索延寿先在汴州郊外伏击了夏军的粮队，斩敌两千人，活捉夏军大将张青特；随后索延寿在朱仙镇全歼孟海公、徐圆朗联军三万人，孟海公被擒，徐圆朗率一千多人逃走。尉氏守将时德睿原本有些犹豫，此刻再无担心，答应调拨一万军队随同李靖北上。
夏军连续失利，人心惊恐不安，上到董康买、刘雅，下到士卒，一路抢掠物资无数，都想暂时退回洺州。刘彬提议说：“我军可行围魏救赵之计，渡河北上，利用还在郑军手中的河阳中城，攻入河内郡，再调曹湛、高雅贤十万大军南下；如果徐世绩还在荥阳不动，我就占据河内郡后跨越太行，开进长平郡，惊扰蒲津，威胁河东，弃河南而取并州。”
窦建德闻言大喜，下令按计进行，通知黎阳的曹湛、邢州的高雅贤，王世充的使者长孙安世听说大急，这么一来，杨崇肯定打下洛阳，再和窦建德决战；好在王世充准备了大量的宫中的珍宝，长孙安世连夜奔走，私下送金银珠宝给董康买等人，许下重金酬谢。董康买、殷秋、石瓒都劝谏窦建德说：“刘彬不过是个书生，怎能跟他谈打仗呢？”
窦建德的妻子曹氏听说，来找窦建德建议：“刘彬的意见您为什么不采纳呢？沿着滏口那条路，乘着河西军兵力空虚，集中兵力便可夺取山北的土地，再联合突厥的力量攻下太原，向西包抄关中，河西军必然撤退，洛阳的包围自然解除。如今部队滞留在荥阳城外，时间拖得长了，恐怕空费兵力，一事无成。”
窦建德最后问计刘雅，刘雅斟酌着说：“郑国命在旦夕，等待我们援救，倘若我们碰上困难就退走，如何向天下表明交代；再说，宋金刚的数万大军在河内郡，一旦我们被牵制住，洛阳又被攻占，士气肯定备受打击。”
窦建德因此犹豫，最后采取齐善行的计策，各攻一面，派殷秋、石瓒领三万军回陈留，阻挡李靖大军。殷秋、石瓒听从齐善行的建议，不在外围与李靖较量，只守陈留郡的郡治浚仪县，可是夏军做梦都没想到是，王要汉在浚仪县预先挖了一条通往城外的地道。
李靖白天在城外佯攻一日，用尽手段骚扰夏军，晚上派遣向善志率两千精兵，穿着夏军的盔甲，偷偷地通过地道进城，出口就在郡守府后院马槽旁僻静处；向善志、李客师带人摸出地道，杀死了马槽附近的夏军士兵，解开马槽的两百匹马，直接在郡守府放起火来。
迎面遇见殷秋、石瓒喝得醉醺醺，带着三十多名亲卫出来，有人认得殷秋两人，向善志、李客师立即挥军掩杀，生擒两人，放出烟花。郡守府火起，城中放出烟花，南面河西军开始攻城，夏军士兵一片混乱，向善志带着两百骑簇拥着殷秋、石瓒直奔西门，去骗开城门；李客师指挥其余士兵分成十队，满城放起火来。
夏军士兵仓皇中听说主将从西门逃了，都慌不迭地跑向西门，果然是城门大开，人头攒动，于是没命地往城外挤，一旦出城，丢了兵器没命地跑；到最后东门和北门的守将干脆开了城门，直接逃走。河西军的一万两千骑早在沿途埋伏，见状四处追杀，三万夏军死掉六千多人，被捕投降的人数高达两万。
在平城的徐圆朗被王薄说服，再次显示变色龙的本色，杀了唐军杞州刺史李公逸倒戈，唐军河南道招慰使夏侯端抵挡不住，两千败军坠崖溺水无数，沿途离队者不断，逃到宋城县身边只剩二十多人，个个鬓发脱落，没有半点人样。
板渚大营接到陈留战报是满营哀嚎，几天时间，战局就发生了天翻地覆的变化，李靖的四万大军在身后，和徐世绩、王要汉的军队加起来已经超过夏军，再加上夏军的粮草只够十日支用，前景暗淡无比。窦建德同样是满腹的郁闷，但还是振作精神问：“虎牢的战况如何？”
长孙安世尴尬地说道：“郑王又派张童仁率一万军来援，可是虎步营是河西军起家的精锐之一，器械充沛，我军还是未能攻克虎牢关。”
四万大军打不下一座虎牢关，难怪杨崇那么放心地带着五万雄师回到长安，刘雅忽然问道：“郑军伤亡情况如何？”
长孙安世不敢隐瞒，夏军的细作即使不清楚详细数字，大致情况还是知道的，长孙安世如实说道：“我军阵亡人数已经过万。”
董康买出列向窦建德进言说：“大王，这种情况说明，郑军与河西军战斗力差得太多，纵然打下虎牢关，对荥阳的战局也帮助不大。而我军撤到河北，抢占两岸渡口，最起码需要四日军粮，不如趁早过了黄河，还可以稳住阵脚，向河内郡进攻，从北面打开一条援助洛阳的道路。”
窦建德明白，董康买的话就是一个台阶，至于怎么办，还是得看渡过黄河以后的情况，窦建德立即拍板说：“就按董将军所说，刘雅一军先行，占领渡口，调集船只过河，在对岸布下大寨，通知曹湛前来接应。”