中国人民解放军第２军的前身是土地革命战争时期的湘东独立第１师，红军长征时期为红二方面军第６军团。抗日战争时期为国民革命军第八路军第120师第359旅，解放战争时期西北野战军第2纵队。

　　1930年9月，中央红军第一次反"围剿"前夕，由莲花、万载、浏阳、茶陵、醴陵、萍乡等县游击队组成的湘东独立第1师，在湘赣苏区（井冈山革命根据地）萍乡县大安里诞生，共800余人，刘沛云任师长，谭思聪任政治委员。

　　1932年11月，湘东独立第1师在江西永新划入红8军序列，番号为中国工农红军第8军第22师。

　　1933年6月15日，红8军于江西永新县列宁场改编为红军第17师，下辖第49、第50、第51、第52团。6月，奉中革军委命令，湘赣苏区的红军组成红6军团。8月12日，红6军团在湖南省桂东县正式成立。任弼时任红6军团军政委员会主席，萧克任军团长，王震任政治委员，李达任参谋长，张子意任政治部主任。

　　1934年10月24日，红6军团在黔东印江县木黄与红3军胜利会师。会师后，红3军恢复红2军团番号，贺龙任军团长，任弼时任政治委员，关向应任副政治委员，并以红2军团总指挥部统一领导和指挥红2军团和红6军团。1936年7月5日，红2、红6军团及红32军组成红二方面军。

　　1937年8月，红二方面军改编为八路军第120师，红6军团和红32军改编为第359旅。陈伯钧任旅长，王震任副旅长，唐子奇任参谋长，袁任远任政治部主任。下辖第717、第718团。9月3日，第359旅以第718团留陕甘宁边区的任务。从1940年开始，第350旅开展了著名的南泥湾大生产运动。1944年7月，中共中央决定以第359旅组织南征兵团（简称南下支队），约5000人，王震任司令员，王首道任政治委员，王恩茂任副政治委员，朱早观任参谋长，刘型任政治部主任。从1944年11月9日至1945年10月5日历时一处，跋涉1.5万多华里，转战陕、晋、豫、鄂、湘、赣、粤等7省回到鄂豫皖解放区，编入中原军区第2纵队。

　　1946年6月27日，第359旅随中原军区主力由中原突围，转战鄂、豫、陕、甘4省。越过平汉、陇海铁路，进入秦岭、六盘山，抢渡唐河、白河、丹河、渭河、泾河诸河流，跋涉5000余里，经历大小战斗90余次。11月，在山西省离石地区，与吕梁军区机关之一部、独立第4旅组成晋绥军区第2纵队，王震任司令员兼政治委员，彭绍辉、马佩勋任副司令员，罗贵波任副政治委员，张希钦任参谋长，王恩茂任政治部主任，共8600余人。纵队成立后，配合月31日，编入西北野战军。8月下旬，参加沙家店战役，会同第1、第3纵队歼灭国民党整编第36师。接着沿咸榆公路追击南撤之国民党军，攻占九里山、骆驼铺、大小劳山等据点。10月初，出击黄龙山区，会同第4纵队，攻克石堡（今黄龙）、韩城、宜川，俘宜川河防中将指挥官许用修。下旬，东渡黄河至晋南，解放吉县，尔后进到河津、闻喜地区休整。12月中旬，以第359旅部分干部和部队在山东省渤海地区扩陈（赓）谢（富治）纵队进行晋西南战役和汾孝战役，解放永和、大宁、隰县、中阳、石楼及孝义、文水等县城。

　　1947年3月中旬，第2纵队由晋中经永和西渡黄河，执行保卫陕甘宁解放区的作战任务。至7月下旬，先后参加青化砭、羊马河、蟠龙、三边、榆林等战役，歼灭国民党军5400余人，并收复三边。7月31日,编入西北野战军.8月下旬，参加沙家店战役，会同第1、第3纵队歼灭国民党军整编第36师。接着沿咸榆公路追击南撤之国民党军，攻占九里山、骆驼铺、大小劳山等据点。10月初，出击黄龙山区，会同第4纵队，攻克石堡（今黄龙）、韩城、宜川，俘宜川河防中将指挥官许用修。下旬，东渡黄河至晋南，解放吉县，尔后进到河津、闻喜地区休整。12月中旬，以第359旅部分干部和部队在山东省渤海地区扩建之教导旅回到山西省，划归第2纵队，改称独立第6旅。下旬，第2纵队会同晋冀鲁豫军区第8纵队和第3纵队独立第3旅，解放支城、安邑。1948年初，在山西省曲沃地区，开展也以诉苦（诉旧社会和反动派所给予劳动人民之苦）、三查（查阶级、查工作、查斗志）为主要内容的新式整军运动。2月下旬，经禹门口再次西渡黄河，参加宜川战役。3月初，挺进渭北，收复石堡、白水、韩城,并一度攻克部阳(今合阳)、澄城。4月中旬出击西府,攻克扶风、岐山,于26日会同第1纵队攻占宝鸡。之后,在凤翔西北地区抗击国民党援军,掩护主力向北转进。,继而转战陇东,又在荔镇、肖金镇抗击国民党军的反扑,掩护主力向东转进。8月至11月,参加澄部、荔北、冬季战役,俘第76军军长李日基及第20、第24师师长。

　　1949年2月1日,根据中央军委关于统一全军编制及部队番号的命令,第2纵队改称中国人民解放军第2军,隶属第7野战军建制。王震任军长兼政治委员,郭鹏、顿星云任副军长,王恩茂任副政治委员,张希钦任参谋长,左齐任,政治部主任.独立第4旅改称第4师,杨秀山任师长兼政治委员;第359旅改称第5师,徐国贤任师长,李锥任政治委员;独立第6旅改称第6师,张仲瀚任师长,曾涤任政治委员。全军共3.4万余人。随即参加春季战役和陕中战役,解放咸阳、武功、扶凤、凤翔、眉县、周至等县城。6月中旬,国民党军胡宗南和马步芳、马鸿逵部,联合向西安反扑,第2军在金渠镇地区进行阻击,歼其师长以下2200余人。6月17日,编入第1兵团。7月,参加扶眉战役,会同第1军歼国民党军第90军及第36军一部。下旬,向甘肃、青海进军,相继解放清水、甘谷、武山、和政、临夏等县城,尔后由循化、永靖强渡黄河,9月10日抵西宁与第1军会师。接着挺进甘肃河西走廊,攻占民乐、张掖、酒泉等县城。10月中旬进军新疆,至1950年3月,先后进驻南疆之喀什、疏附、阿克苏、焉耆等地区。5月,抽调部队组建独立骑兵师。此后,第2军担负保卫国防,巩固治安,参加生产建设等任务。1953年3月,第2军番号撤销,军部整编为南疆军区;第4师整编为步兵第4师;第5、第6师整编为新疆农业建设第1、第2师。

　　第２军在解放战争时期，转战山西、陕西、甘肃、青海、新疆等省广大地区，作战200余次。涌现出杜立海、范绍通、陈才德、张福祥、杨文赞、郭仰森、杜根照等英雄模范人物。