激战一日，郑军死两千多人，不得不退；次日郑军使用冲车，被城楼上准备好的巨石砸坏，撞木尽数被烧。郭士衡熟悉虎牢的布置，在护城河浅的地方运土填壕，准备挖掘地道进关，没想到河西军在城中又挖了一道横截的沟壕，冲进去的郑军全被弓箭射死；郭士衡无奈架梯强攻，在密如骤雨的箭矢下，丢下上千具尸体而归。

郑军昼夜相攻，一连十余日，阵亡了七千郑军，虎牢关还在河西军的手中，王世充无奈，只好派朱粲率一万郑军来援；可是面对坚城死守，郑军连战七日，死掉四千多人，还是没有站上虎牢关城。

荥阳方面，李靖派索延寿率八千骑为前锋，统大将三万北援，索延寿先在汴州郊外伏击了夏军的粮队，斩敌两千人，活捉夏军大将张青特；随后索延寿在朱仙镇全歼孟海公、徐圆朗联军三万人，孟海公被擒，徐圆朗率一千多人逃走。尉氏守将时德睿原本有些犹豫，此刻再无担心，答应调拨一万军队随同李靖北上。

夏军连续失利，人心惊恐不安，上到董康买、刘雅，下到士卒，一路抢掠物资无数，都想暂时退回洺州。刘彬提议说：“我军可行围魏救赵之计，渡河北上，利用还在郑军手中的河阳中城，攻入河内郡，再调曹湛、高雅贤十万大军南下；如果徐世绩还在荥阳不动，我就占据河内郡后跨越太行，开进长平郡，惊扰蒲津，威胁河东，弃河南而取并州。”

窦建德闻言大喜，下令按计进行，通知黎阳的曹湛、邢州的高雅贤，王世充的使者长孙安世听说大急，这么一来，杨崇肯定打下洛阳，再和窦建德决战；好在王世充准备了大量的宫中的珍宝，长孙安世连夜奔走，私下送金银珠宝给董康买等人，许下重金酬谢。董康买、殷秋、石瓒都劝谏窦建德说：“刘彬不过是个书生，怎能跟他谈打仗呢？”

窦建德的妻子曹氏听说，来找窦建德建议：“刘彬的意见您为什么不采纳呢？沿着滏口那条路，乘着河西军兵力空虚，集中兵力便可夺取山北的土地，再联合突厥的力量攻下太原，向西包抄关中，河西军必然撤退，洛阳的包围自然解除。如今部队滞留在荥阳城外，时间拖得长了，恐怕空费兵力，一事无成。”

窦建德最后问计刘雅，刘雅斟酌着说：“郑国命在旦夕，等待我们援救，倘若我们碰上困难就退走，如何向天下表明交代；再说，宋金刚的数万大军在河内郡，一旦我们被牵制住，洛阳又被攻占，士气肯定备受打击。”

窦建德因此犹豫，最后采取齐善行的计策，各攻一面，派殷秋、石瓒领三万军回陈留，阻挡李靖大军。殷秋、石瓒听从齐善行的建议，不在外围与李靖较量，只守陈留郡的郡治浚仪县，可是夏军做梦都没想到是，王要汉在浚仪县预先挖了一条通往城外的地道。

李靖白天在城外佯攻一日，用尽手段骚扰夏军，晚上派遣向善志率两千精兵，穿着夏军的盔甲，偷偷地通过地道进城，出口就在郡守府后院马槽旁僻静处；向善志、李客师带人摸出地道，杀死了马槽附近的夏军士兵，解开马槽的两百匹马，直接在郡守府放起火来。

迎面遇见殷秋、石瓒喝得醉醺醺，带着三十多名亲卫出来，有人认得殷秋两人，向善志、李客师立即挥军掩杀，生擒两人，放出烟花。郡守府火起，城中放出烟花，南面河西军开始攻城，夏军士兵一片混乱，向善志带着两百骑簇拥着殷秋、石瓒直奔西门，去骗开城门；李客师指挥其余士兵分成十队，满城放起火来。

夏军士兵仓皇中听说主将从西门逃了，都慌不迭地跑向西门，果然是城门大开，人头攒动，于是没命地往城外挤，一旦出城，丢了兵器没命地跑；到最后东门和北门的守将干脆开了城门，直接逃走。河西军的一万两千骑早在沿途埋伏，见状四处追杀，三万夏军死掉六千多人，被捕投降的人数高达两万。