1869年4月，关保部从安徽宁国进入浙江，攻杭州，闽浙总督马新贻不顾浙江提督胡中和反对，留杭州知府孙丕震带少数绿营兵守城，执意带所募一百二十营浙勇在杭州城下布阵要与关保决战，胡中和与浙江布政使杨昌濬只得跟随出战。关保以见状，也令第一旅三卒分左、中、右三翼开挖简易战壕于前，清兵先发起攻击，一通炮火乱炸，多数落于太平军阵前，少数在太平军壕内外爆炸，太平军间隔不密、又多伏于壕中，因此杀伤不大。炮火一停，清军左路三十营由胡中和带领，右路四十营由杨昌濬带领，马新贻自领中路五十营，一齐向太平军阵地冲击。太平军炮火轰鸣，先打垮了清兵万国造炮兵阵地，又用步枪射击清兵，密集的弹雨袭去，清兵成片倒下，后面的忙忙后退，却碰上了督战队的大刀，只得转身回攻。当冲到太平军壕沟前五十步时，专为第一野战师第一旅配备的火箭筒发射火箭，一片弹雨火海，清兵前队全部丧命。接着，关保命令第二旅在左，第三旅在右，一齐给枪上了刺刀冲了上去。快近清兵，前排士兵一排排手榴弹扔了过去，清兵立时大乱，杨昌濬先逃，带少数亲兵逃回，太平军就从左翼包抄清军中路军。马新贻正在指挥后队清兵上前抵抗，不防杨昌濬逃过来大叫：“大帅，太平军太厉害了，顶不住了，撤吧。”马新贻气不打一处来，也不搭话，拔枪对着杨昌濬胸口就是一枪，然后举枪大叫：“今日有死无生，胆敢后退者这就是下场，冲上去，杀！”清兵见状又回身如潮冲去。太平军见清兵踩着同伴尸体又冲过来，先是一排排步枪射击，然后是一顿手榴弹狂砸，最后，步枪上刺刀在短枪兵掩护下杀了上去。正战间，太平军骑兵卒绕到清军从胡中和左路侧后，张开两翼在野炮掩护下杀了过去。胡中和部大乱，胡中和还想挣扎，被几个太平军骑兵冲到近前，一马刀砍倒在地。清兵左路很快溃散，太平军一齐向中路杀来，关保也亲率第一旅冲出战壕发起攻击。马新贻见事不可为，欲举枪自尽，被护卫夺下，亲兵拥护着逃回杭州城。此战，清兵一百二十营六万多人被歼灭，阵亡三万余人，二万多人被俘，少数逃脱。太平军围了杭州城，马新贻见城内兵少，发城内库藏军械，命所有丁壮上城守卫。入夜，天道教杭州教士杜兰特指挥教徒杀了清兵守卫，开了东门，太平军一拥而入。马新贻夜不能寐，正在烦愁，听外面喊声大起，孙丕震跌跌撞撞进来道：“太平军入城了。”马新贻狰狞一笑，挥刀乱砍，死了好几个侍卫，孙丕震待劝时，左臂中了一刀，忙和其他人一齐逃走，投降太平军去了。马新贻收起刀，北向拜了几拜，横刀自刎而死。太平军付出伤亡一万余人的代价，占了杭州城，然后分兵四处攻占浙江各州府，又从教导营抽调人手组建各级地方政权机构和部队。魏宣武也任命唐训方为浙江省刺史，阮七为浙江省总教，覃炳贤为浙江省统制。
李鸿章的淮军分布于各处，江西布政使刘秉璋带着记名总兵程孔德、副将吴秉权等四十营从江西饶州府景德镇攻太平军安徽省徽州府婺源县，山东布政使潘鼎新带署徐州镇总兵董凤高等四十营入山东协助沈葆桢守山东，署江苏按察使吴毓芬及署江苏布政使吴毓兰带记名提督聂士成、记名总兵周世臣等四十营与柏郎洋枪队在上海攻太平军江苏嘉定县及青浦县，署湖北提督郭松林带记名总兵腾嗣相等四十营守在浙江严州府，李鸿章带记名提督唐定奎等六十营与黄翼升长江水师驻于江西南昌。魏宣武发书给李鸿章，要求他派人来京师谈判。李鸿章自恃淮军兵强马壮，武器精良，要求魏宣武放回两宫太后和同治帝，方才可谈。魏宣武见状，先拨黄呈忠第七野战师第二十旅入山东，协助吴如孝第五野战师在山东菏泽李家庄包围了山东布政使潘鼎新和署徐州镇总兵董凤高的四十营淮军，沈葆桢忙带曹州镇总兵保德、参将章高元、兖州府都司李楹等抚标、绿营、武卫营三万人往援，被第七野战师教导旅阻于巨野。吴如孝派骑兵卒和探子卒趁夜袭击了沈葆桢的中军抚标，击伤生俘章高元，沈葆桢只穿了一只袜子逃脱，潘鼎新、董凤高突围不成，粮弹两缺，只好降了太平军。太平军骑兵卒继续追击，追上俘虏了沈葆桢，击毙了保德。1869年5月，吴如孝的第五野战师攻取山东全境，共计十府二直隶州，太平军抽教导营人员充作骨干在山东建立各级地方政权机构和部队，实行天国土地政策，魏宣武任命杨翰为山东省刺史，刘义城为山东省总教，潘垲为山东省统制。
1869年6月11日，英国大使来京师见魏宣武，魏宣武要求英国停止给淮军提供军火，大使表示回去会认真考虑天国的要求。