1947年3月初，老蒋调集了45万重兵对山东解放区进行重点进攻。这45万人被分成了三个机动兵团，司令官分别为汤恩伯、王敬久和欧震。其中汤恩伯的第一兵团实力最为强大，总兵力高达20余万人。顾祝同吸取了莱芜战役的教训，采取了“稳扎稳打，滚筒前进”的作战方针。虽然推进速度慢了点，但却避免了被我军各个击破的危险。

由于敌人过于密集，我军一直找不到歼敌良机，同时由于兵力和武器装备都处于劣势，又不能和敌人硬拼，因此只能不断后退，形势非常困难。此时老蒋产生了错误的判断，认为华野已经无力再战，命令顾祝同放胆追击。于是数十万国军纷纷开足马力，向前飞奔，其中张灵甫的整编74师最为迅猛，成了突出的孤军。粟裕敏锐地抓住了这一战机，集中了5个纵队的兵力将张灵甫包围在了孟良崮地区。

经过三天激战，74师全军覆没，张灵甫也兵败身亡。战后老蒋指定专人对孟良崮战役失败的原因进行检讨，1947年5月27日，也就是孟良崮战役结束后的第10天，保密局的毛定邦提交给了老蒋一份报告，名为《整编七十四师鲁中孟良崮战役失败之原因检讨》，其中列举了陈诚、顾祝同和汤恩伯等人在指挥上的失误和张灵甫自身的一些问题，报告结尾处毛定邦写了这么一句话“咸认为失败如此之速诚属意外”！

整编74师作为国军的头号王牌，在孟良崮上仅仅坚守了三天就全军覆没，败得这样惨这样快，让国军中的许多将领都深感意外。有人认为74师之所以败得这样快，是因为孟良崮上没有水源，74师的水冷机枪无法冷却，因而影响了战斗力；还有人认为是张灵甫在指挥上出了问题，不该把74师带入这个绝地。但其实74师全军覆没的祸根早在7个多月前就已经埋下了，而且是因为一场胜仗引起的。

这场胜仗就是涟水战役。涟水是苏北地区的重要门户，也是联系山东解放区与苏中地区的枢纽，具有重要的战略地位。当时淮安和淮阴已经被国民党军攻占，如果涟水再守不住，华中野战军就只能退往山东了。正因为涟水如此重要，所以我军才集中了重兵来守卫涟水，张灵甫指挥74师连攻了8天，不仅没能拿下涟水，还付出了7000多人的伤亡代价。一个月后，张灵甫卷土重来，苦战了12天，付出了8000多人的伤亡代价，才攻占了涟水。

涟水战役，张灵甫虽然最终取胜，但却付出了将近15000多人的伤亡代价，这些人都是经过抗日战争洗礼的老兵，战斗力强悍，作战经验丰富。虽然战后老蒋迅速给74师补足了缺额，但这些新兵大都来自日本投降后的伪军部队，还有一些是抓来的壮丁，这些人的战斗力和那些身经百战的74军老兵根本没法比。

张灵甫也意识到了这一点，所以才在临沂编练了三个团。孟良崮战役爆发时，这三个团还在后方未能参战。而补充的新兵战斗力十分有限，根本就打不了这样的硬仗，这就是74师仅仅在孟良崮上坚守了三天就全军覆没的重要原因。孟良崮战役结束后，被俘的74师官兵们都认为涟水之战重创了该部“涟水战后，本师元气亏损，一蹶不振。”