八月，刘裕共分兵五路征讨后秦，其中王镇恶为咨议参军，龙骧将军，领前锋。出发前，前将军刘穆之在积弩堂见到王镇恶，语重心长地对他说：“你现在的情况，让我想起了晋国灭蜀时的邓艾，能不能攻克关中就看你了，希望王将军能不孚众望。”
王镇恶说：“承蒙将军提拔，如果攻不下长安，我决不回江东。您就等着好消息吧！”
九月，王镇恶进入后秦境内，一路势如破竹，秦军望风而逃，一直到洛阳没有遇到太大的抵抗。
洛阳作为黄河流域东部最大的平原和交通枢纽，在当时战略意义重大。后秦方面派姚兴的儿子征南将军姚洸负责镇守。
姚洸一看东晋军队人多势众抵挡不住，慌忙求救于长安。后秦主姚泓紧急派骑兵三千人、步兵一万人前往助战。
姚洸命赵玄率千余人南守柏谷坞，石无讳东守巩城。但是由于成皋、虎牢守军投降，王镇恶与檀道济、沈林子等长驱直入。石无讳退还洛阳，赵玄战死。姚洸无奈出城来投降，秦军四千余人被俘。
王镇恶首战告捷，意气风发。行军到渑池，路过恩人李方家，专程前去拜访，见了他的母亲，厚加酬赏，任命李方到渑池县令去上任。
原来二十多年前，王镇恶十三岁时前秦统治瓦解，长安兵荒马乱，王镇恶流落在外避难，曾寄食于渑池的李方家里，被照顾得很周到。
王镇恶对李方家扶危济困雪中送炭的行为很是感激，便对许诺说：“如果将来有幸能建功立业，一定要厚报您的恩德。”
李方顺口回答说：“你出身高贵，德才出众，将来富贵是很自然的事。小小年纪就有这这雄心壮志很难得，到时候你封我当个县令就好了。”李方的一句笑话，王镇恶却当真了，今天行军途中特地登门拜访来了此心愿。
按刘裕原先的部署，前锋到了洛阳以后，要原地休整，等候主力大军的到来，集结齐了以后再考虑攻打长安事宜。
但王镇恶精通兵法，知道“将在外，君命有所不受”的道理。他观察到后秦正发生内乱，潼关守备空虚，他害怕战机稍纵即逝，便当机立断，马不停蹄，乘胜进击渑池，遣司马毛德祖攻蠡吾城，引兵快速向潼关进发。
后秦大将军姚绍是军事名将，负责镇守长安的门户——潼关，他看出王镇恶虽然年轻气盛锐不可当，但有劳师袭远，孤军深入的弱点，便凭借潼关天险，深沟高垒坚守不出。
王镇恶长途跋涉走了几个月才到了这里，士兵疲惫不堪，后备粮草供应不足，最害怕就是拖延时间。他急忙派人火速向刘裕求救。
当时刘裕的水军准备逆黄河西上，但沿途受到强大的北魏军队的阻挠袭扰，行军异常缓慢，自顾犹不暇，根本无力驰援王镇恶。
王镇恶只得自己想办法筹集粮草，由于巧妙消除了当地老百姓敌对情绪，获得了他们的理解支持，顺利解决了粮草危机。姚绍拖延了一段时间，认为时机已到，引兵出战，结果损兵千余，又退回到定城里，无论怎样叫骂都不再出来了。
姚绍暗中派遣长史姚洽等人率2000士兵，到了黄河以北的九原，设立河防，以断绝王镇恶的粮道，结果被沈林子半路拦住杀了个精光。姚绍听说姚洽战死，气得当场吐血而亡。姚瓒接替了姚绍后，主动引兵偷袭沈林子也失败了。
五个月后，刘裕率领大军才到了潼关。王镇恶请求带领水军从黄河入渭水，直逼长安，刘裕同意了。后秦恢武将军姚难听说长安有危险，赶忙自香城回救长安。王镇恶率兵追击。姚泓从灞上引兵回屯石桥支援姚难。镇北将军姚强也赶来汇合，三支部队共同与王镇恶交战。
王镇恶派毛德祖强力进击。姚强战死，姚难逃往长安。姚瓒退守郑城。战争基本结束后，刘裕带着军队到了。
姚泓急遣姚丕守渭桥，辅国将军胡翼度守石积，姚瓒守灞东。
王镇恶军所乘的都是艨艟战舰，整个由牛皮包覆，两舷各开数个桨孔供橹手划船。甲板以上有船舱三层，每层船舱四面皆开有弩窗矛孔可作攻击各方向敌人之用。秦人见船舰溯水而进，船外看不到划船的人，都纷纷称奇。
船行动轻快灵活，进攻性强。王镇恶军很快到达渭桥，弃舟上岸。这时渭水水流湍急，一顿饭的功夫，船舰都漂走了，当时姚泓在长安城还有几万兵马虎视眈眈。
王镇恶对士兵说：“大家都住在江南，而这里是长安城北门外，船队所载的衣物钱粮都被河冲走了，我们没有退路了！唯有死战，可以立下大功，才有一条活路，否则我们都会死在这里。”
于是身先士卒，骑着马握着槊向秦军扑去，众人跟着冲了上去。后秦军一触即溃，大败而逃。姚泓与姚瓒引兵来救，遇姚丕部败退，自相践踏，死伤无数。姚泓单骑跑回了宫里，王镇恶自平朔门攻入长安。
第二天，姚泓带妻子儿女文武百官出城投降，后秦灭亡了。长安城内有百姓六万多户，王镇恶积极抚慰民心，由于军队纪律严明，百姓恐慌的心逐渐安定下来。
刘裕将到了长安，王镇恶去灞上迎接，刘裕对他十分满意说：“果然是你成就了我的大业啊！”王镇恶拜了两拜，谦虚地说：“这是依靠明公您的威势，各位将官的奋勇杀敌才有今日，哪里是我的功劳？！”刘裕笑着说：“哈哈哈，你真是我的冯异啊，就不要再谦虚了。”
此时，关中仓库里堆满了粮食棉帛各种器物，王镇恶放纵部下哄抢了许多。王镇恶通过这种方式来鼓舞士气，已经不是第一次了。在平定司马休之时，因为等待部下抢物资，还耽误了回援一事。
刘裕因他的功劳大，也没有追究此事，还给他加了称号叫征虏将军。