3月23日法军展开了大规模的军事行动，西线的法军发动了对临洮的攻势，而负责东线的尼格里率领第一旅主力一千余人，趁着大雾偷偷潜进镇南关。
到上午十点半之后，关内大雾消散，法军见此情形，决定兵分两路：其中主力沿东岭前进，另一路沿关前隘谷地前进，目标是在主力夺取大青山顶峰大堡之后，两路前后夹击，攻占关前隘清军阵地。除了这一路之外，法军还有一部近千人配置于镇南关东南高地，作为预备队，并向油隘方向担任警戒。
“报，法军来袭……”
冯子材虽然之前来了出引蛇出洞，但是法军因为利用了大雾，所以来的有些突然，于是立刻吩咐道：“立刻请苏将军前来接应，然后让王将军率部从侧后截击敌人。”苏将军是驻于幕府的苏元春，而王将军是王德榜。
“通知孝祺，随老夫一同出击迎敌！”
“是！”
虽然冯子材有了心理准备，但是形势远比想象中还要恶劣。法军的炮火十分猛烈，炮声震天，远闻七八十里外，山谷皆鸣。因为东岭上的五座城堡尚未完工，因此防御能力低下，即便冯子材赶到，法军依然顺利攻取下了五座城堡中的三座。
“将军，法军炮火猛烈，我们快抵挡不住了！”
法军的炮弹在阵地上落下，沙土纷飞，硝烟弥散，士兵损失惨重。
冯子材见形势逐渐危急，高呼道：“弟兄们，我知道战斗艰苦，但若是在让法人突行入关，我们将有何面目再见广西的父老乡亲。老百姓养我们这帮人到底有何用？……誓与阵地共存亡！”
“誓与阵地共存亡！”见冯子材亲自督阵，士兵们也不管那么多了，一个个奋不顾身，十分英勇。
在冯子材正面抗敌的同时，王孝祺率部按照冯子材之前的吩咐，沿小路绕到了敌人的背后，旋即开始发动攻击。不过因为地势的关系，攻击效果并不明显，但还是很大程度上牵制了法军在正面上的火力，使冯子材部压力大减，获得了难得的喘息之机。
不过眼下情形依然十分凶险，冯子材却无兵可调。后来绞尽脑汁，才想起，总兵陈嘉还有几营人驻扎在凭祥。冯子材便写了一张请帖，要陈嘉前来商量。陈嘉正在养伤，但是见情势紧急，也不敢耽搁，立即征求部下意见。
“你们对出战有什么想法？”
手下副将不同意，道：“大人，我们又不是他冯子材的部属，这仗打到现在，当然是可去可不去。况且您现在有伤在身……”
有不同意的，当然就有同意的，一时间军帐内，你一言我一语的，十分吵乱。
陈嘉低头深思不语，经过仔细考虑后，才道：“不去不好，冯邦办有调动全军之权，现在他不是下命令来调我，而是下贴子请我，这已经很给我面子了。要知道，这脸是人给的，别到时给脸不要脸！传我将令，全军出发！”
下午4时许，苏元春、陈嘉等率部赶来增援。不久，蒋宗汉、方友升部也闻讯赶来。其中陈嘉率部进驻尚未被攻取的四号和五号堡垒，接着再猛攻东岭。其余各部情形也差不多，奋力抵抗，战斗甚为激烈。清法双方势均力敌，死伤相当。
王德榜此时也率部自油隘夹击法军右翼，同时攻击文渊城，与敌人鏖战了数个小时，成功牵制了敌预备队的机动，并一度切断敌人运送军火、粮食的交通线，有力地配合了东岭的战斗。
入夜之后，冯子材利用时机，进一步调整部署。由苏元春部协助冯军守长墙，王孝祺部守西岭，陈嘉部守东岭，蒋宗汉、方友升部扼守大青山顶峰。冯子材还派人持大令飞调驻扣波的五营冯军前来抄袭法军左翼。
3月24日晨，憋了一肚子气的尼格里指挥法军分三路再次发起冲击，此时他把副手艾尔明佳中校叫道身旁道：“中校，现在大青山再次起雾，你带领一部士兵，趁着大雾突袭大青山峰顶大堡。若是能够将此制高点拿下，我们就可以取得战役的胜利。”
艾尔明佳听完有些犹豫，不过还是答应了尼格里的命令。
等上了大青山艾尔明佳才发现这根本是不可能的事情，此处地形险峻，易守难攻，而且冯子材怕此地有失，所以部署了蒋宗汉和方友升两部在此。
艾尔明佳也不好违背尼格里的命令，所以还是发动了偷袭，结果可想而知。不得已撤退下来。
等到上午11时，尼格里发现大青山毫无动静，还以为艾尔明佳中校已经得手，于是心中暗喜，立刻发布命令，以猛烈炮火轰击清军正面防御工事，企图掩护沿谷地前进的法军接近长墙，配合东岭法军一举突破关前隘阵地。
一时间炮弹如雨落下，将长墙变成一片火海。法军猛扑而来，清军顽强抵抗。
负责防守的苏元春看着部下伤亡惨重，心中焦急，便对一个部将道：“你快去请示冯大人，能否先行撤退。”
部将一听就是苦瓜脸，不过还是硬着头皮前去请示，只是话语变得很委婉，道：“大人，苏提督请问老前辈，此地已经很难在守下去，能够退到凭祥再战？”
冯子材一瞪眼，怒道：“呸！这里有一道长墙，尚有险可守，退到凭祥靠什么来守呢？这次打败了，老夫自认没脸回去见两广百姓！你回去转告你家苏提督，你们年轻，前途远大，要退就偷偷地退走，不要动摇军心。我老了，死也要和士兵们死在这道墙上。”
这部将见冯子材态度坚决，知道规劝不成，只得回去见苏元春，把话一说，苏元春虽然不高兴，可也只能跟着一起留下来防守。
法军攻势越来越猛烈，炮弹不时在冯子材身边落下，他子侄觉得很危险，便道：“大帅，您稍微退后一些吧。”
“退什么退，怕炮弹还打什么仗？你要是再敢说动摇军心的话，我宰了你！”冯子材此时传令各部统领：“有退者，无论何将何军，皆诛之！”并于各路设卡，堵截逃兵。冯子材和王孝祺说到做到，敢逃跑者，无论官阶皆以斩首论处。一时间军心大震，士气大升。
法国人的攻势一直很猛烈，有时已经接近长墙，甚至攀上长墙。见此情形，冯子材老当益壮，持矛大呼，率领两个儿子跃出长墙，冲入敌阵，展开白刃格斗。全军将士见主帅身先士卒，一齐大开栅门，向敌人冲去。法国人如遇棒击，开始退败，被打下了山谷。
中午，从扣波赶来增援的五营冯军在游击杨瑞山、都司麦凤标等率领下，由摩沙村冲进龙门关，突然出现在法军侧后，给进攻之敌以意想不到的打击。经过一场激烈的殊死战斗，中路法军狼狈退回谷地。在关前隘长墙激战的同时，陈嘉、蒋宗汉相继率部反复争夺被法军占领的东岭三座堡垒，期间七上七下，陈嘉自己身受四伤。直到傍晚，王德榜部在击溃敌之增援部队及消灭其运输队后，从关外夹击法军右侧后，配合东岭守军夺回了全部敌占堡垒。
这时，王孝祺部也已击退沿西岭进攻之敌，并由西岭包抄敌后。法军三面被围，伤亡甚众，后援不及，弹药将尽，开始全线溃散。于是，尼格里不得不下令撤退，法军丢下数百具尸体，狼狈逃回文渊。
镇南关大捷，共毙伤敌军精锐近千人，缴获大批枪炮、干粮。同日，西线清军在岑毓英的指挥下，在临洮取得胜利，北圻战局发生了根本转变。
东线法军经镇南关惨败之后，人数不满二千，在文渊稍事休整。尼格里觉得不保险，随即命令主力仓卒撤至谅山，和已经到达那里的援兵会合，总数增加到四千五百人左右。
冯子材根本不给溃败之敌以喘息机会，于3月26日亲率所部及王孝祺部出关进攻文渊，并通知王德榜部由小路抄袭敌之右翼。文渊守敌倾巢出战，战不多时，守敌头目中弹落马，余众溃逃，清军立将文渊收复。受命于冯子材的越难义军此时也加大了谅山通往那阳、屯梅等交通线上的袭扰，给法军后方以很大威胁。
尼格里企图坚守谅山，等待更多援兵到达后再次进犯镇南关，做了三项部署：第一，主力扼守驱驴北面的一个高地，以确保驱驴，屏蔽谅山。第二，一部兵力配置于淇江南岸，分守通向谷松、屯梅的交通要道。第三，将老弱残兵编成“城堡班”，驻守谅山城垣碉堡。
冯子材鉴于谅山为越南北部军事要地，若不急先攻取，实难成破竹之势，并且认为，法军连战皆败，心胆已寒，与其明攻多损士卒，不如暗取更易见功。因此，在文渊与苏元春等人密商，最后决定，以正兵明攻驱驴，出奇兵暗取谅山。
3月27日，冯子材派杨瑞山率所部绕道而进，乘夜渡过淇江，于次日黄昏潜至谅山，散伏城外各处。
3月28日，冯子材、苏元春、王德榜、王孝祺各部次第向前挺进，分三路逼攻驱驴：冯子材、苏元春率主力进攻正面；王孝祺部和冯军一部进攻西面；王德榜部进攻东面。法军依托驱驴北面高地的坚固工事，负隅顽抗，阻止了清军的进攻。尼格里鉴于其左翼和正面阵地工事坚固，而东面地形较难防守，决定由艾尔明佳率军一部，向东面的王德榜部发起反击。
下午2时许，冯、苏两部趁敌人调动兵力、正面防御力量有所减弱之机，再次发起猛烈攻击。激战中，尼格里胸部中弹重伤，接替指挥的艾尔明佳随即下令向淇江南岸撤退。谅山守敌在慌乱中砍断浮桥，致使部分法军在溃逃中落水溺死。之后，法军退入谅山城，并立即部署分两路向南撤退。
3月29日拂晓，清军主力徒涉淇江，向谅山挺进。在此之前，埋伏于城外的杨瑞山部乘法军熟睡之机，突然发起攻击。城中法军仓皇应战，一片混乱。杨瑞山等督率各营员弁、勇丁，蚁附而上，劈开城门，与法军展开白刃肉搏。法军仓促应战，因此死伤累累，残部向南逃窜。清军追击二十余里，并边进边搜山，从山谷中俘获不少敌人。
清军在克复谅山的过程中，共毙伤法军近千人，并缴获大量军械物资，仅杨瑞山部就夺获大小火炮三十余门。谅山既克，清军乘胜分东西两路向南追击。
3月31日，东路陈嘉部及王德榜部攻克谷松，西路冯军一部克复屯梅，进逼郎甲。法军犹如惊弓之鸟，一口气逃到郎甲、船头一带。
见到眼前形势一片大好，原本观望的越南义军开始加入进来，而本来就受命于冯子材的义军则活动更加频繁。
北宁总督黄廷经集合各路义民二万余人，建冯军旗号，自愿挑浆饭，作向导，随军助剿，或分道进攻。河内、海阳、太原、西贡等地人民也纷纷酝酿起义，盼望清军早日挥戈南下，赶走法国侵略者。
冯子材决定于4月中旬亲率东线全军进攻北宁、河内。唐景崧部也准备出牧马，攻太原。广东方面，准备派兵出钦州，沿北圻东海岸进攻广安。会办云南军务鲍超所部三十余营生力军正向龙州前进，随时准备入越。西线滇军也已克复广威等地，正向兴化发展进攻。
3月27日晚，在巴黎的法国总理茹费理有些焦躁不安，秘书脸色惨白地走了进来。
“战况如何？”茹费理问道，心中已经有了一个极度不好的预感。
“战败……”
茹费理不能置信，似乎一瞬间失去了所有的力气，瘫坐在椅子上，毫无办法。
“总理先生……”秘书呼唤着。
好半天，已经精神涣散的茹费理终于有了一丝反应，声音嘶哑道：“我们该怎么办？”