中国人民解放军第12军的前身是中原野战军第6纵队。

　　中原野战军第6纵队是以太行军区6分区机关及直属队、韦（杰）支队、石（志本）支队、秦（基伟）向（守志）支队于1945年11月5日在河北省磁县马头镇组建。司令员王宏坤，政治委员段君毅，参谋长张廷发，政治部主任鲍先志。下辖第16、17、18旅。共1.3万余人。纵队成立后未及整训，即参加在峭河、白晋、安北等地区作战，先后歼敌4000余人。

　　1946年8月，该纵队出击陇海线，首战兰封告捷。接着参加定陶战役。10月，参加巨野战役。此次战役中，第52团第1连班长王克勤成为全军闻名的战斗英雄。11月，参加滑县战役，全歼国民党军第104旅。接着回师鲁西南，参加巨金鱼战役，全歼敌整编第4纵队。1947年3月，王近山任司令员，杜义德任政治委员。下旬，参加豫北反攻，一举攻克汤阴，歼敌8000余人，生俘敌中将司令孙殿英。6月30日，突破国民党黄河防线，参加鲁西南战役，歼敌4000余人。随后，挺进大别山。在危急关头，以"狭路相逢勇者胜"的英雄气概，强渡汝河，护卫中原局，战胜敌人围追堵截，直插大别山。10月下旬，参加高山铺战役，歼敌第40师和第82旅。

　　1948年5月9日，晋冀鲁豫野战军第6纵队改称中原野战军第6纵队。改编后随即参加宛东战役。11月16日，参加淮海战役。战前在豫南一带执行牵制任务。敌黄维兵团东援后，同友邻部队一道将黄维兵团围困于双堆集地区。12月6日，在友邻部队的协同下，从西直取敌人核心阵地，打烂指挥中枢，歼敌近万人。

　　1949年2月9日，根据中央军委命令，中原野战军第6纵队改称中国人民解放军第12军，隶属第二野战军第3兵团。兵团副司令员王近山兼任军长和政治委员。萧永银任副军长兼参谋长，李震任副政委，李开湘任政治部主任。全军共2.5万人。第16旅改称第34师，尤太忠任师长，邵子言任政委；第17旅改称第35师，李德生任师长，李如海任政委；第18旅改称第36师，邢荣杰任师长，刘昌任政委。随后，12军参加渡江战役。4月8日，攻占铁板洲，4月21日强渡长江，随即展开千里追击，挺进浙赣线，解放县城18座，歼敌3.5万余人。10月，向大西南进军，在友邻部队配合下，解放重庆及川东地区。12月，参加成都战役，歼敌3.6万余人。

　　1951年1月，第11军31师编入12军建制，原第36师（欠第106团）及第3师第102团脱离本军建制，留在西南。3月，第12军入朝参加抗美援朝战争。4月17日，参加第五次战役，11月，参加金城防御作战，进行大小战斗400余次，圆满完成防御任务。1952年11月底，作为预备队参加上甘岭战役。第12军入朝参战期间，涌现了一大批英雄模范人物，其中杨春增、伍先华、胡修道荣获"朝鲜民主主义人民共和国英雄"称号。1954年4月，第12军从朝鲜回国。