国民党军第3师是蒋介石的嫡系部队之一，1946年6月，蒋介石全面挑起内战后，第3师奉命参加了阻击中原解放军突围的作战。9月，该师在师长赵锡田（顾祝同外甥）的带领下开往山东，参加定陶战役。

解放军晋冀鲁豫野战军各部在刘伯承的指挥下，对国民党第3师坚决阻击，逐步缩小包围圈。刘伯承见时机已成熟，遂于9月5日夜，召集纵队首长开会，随后下令向赵锡田发起攻击，王近山赶往大杨湖村前线指挥。

战至6日上午，王近山、陈锡联、杨勇、陈再道等率解放军各纵队，以排山倒海之势，冲入敌阵，3师大部被解放军晋冀鲁豫野战军围歼，师长赵锡田被俘，只有500人侥幸逃走。经过教育，解放军将赵锡田和被俘虏的3000余名第3师官兵全部释放。

此次被歼后，国民党又于1947年2月在豫北重建整编第3师，李楚瀛任师长。下辖第3旅、第20旅。1947年下半年，全国解放战争由战略防御转入战略进攻。解放军华东野战军和陈赓所部分别沿平汉、陇海铁路展开大规模破袭战，将国民党第3师牵制在河南省西平县境。

12月24日，国民党军3师被解放军包围在祝王寨、金刚寺一带。12月25日下午7时，祝王寨、金刚寺战役打响。经一天一夜的激战，国民党第5兵团团部和第3师被歼灭，3师两个旅长被击毙，副师长路可贞、参谋长饶亚伯连同属下8300人被俘。

1948年1月，国民党军在湖北第三次重建了第3师，任命陈诚“土木系”的覃道善任师长，还将原来属于十八军的王牌部队“威武团”“英雄团”等部队调入，以增加战斗力。1948年10月，国民党当局又把第3师扩编为第10军，调往淮海前线参加淮海战役。

在淮海战役第二阶段中，由3师改编而成的10军被中原野战军围歼于安徽宿县双堆集地区，军长覃道善及其主要将领被俘，逃出重围的只有数百人。