1915年1月4日生於湖北黃安(今紅安)高橋陡山彭家村。1929年在家鄉參加(黃)陂(黃)安南遊擊隊,同年秋編入中國工農紅軍第11軍。1930年加入中國共産主義青年團,同年轉入中國共産黨。1931年在紅四方面軍任連政治指導員,參加了鄂豫皖蘇區歷次反“圍剿”。1933年起任紅30軍第88師263團營政治委員、團政治委員,紅4軍第10師副師長、第11師政治委員,參加了開闢川陜蘇區和反“三路圍攻”、反“六路圍攻”作戰。在歷次作戰中屢建戰功,曾被李先念稱讚為“打仗數第一”。長征中,曾率部擔負掩護紅四方面軍北上和籌集糧秣的任務。後任紅4軍第10師師長、第11師政治委員。
抗日戰爭爆發後,任八路軍第129師385旅769團團長。1937年10月率部夜襲陽明堡日軍機場,炸毀日軍戰機24架。此次戰鬥是129師出兵第一仗,使日軍一時喪失進攻忻口、太原的空中支援力量,並且被迫回調大批部隊守備後方,有力配合了國民黨軍對日作戰,提高了八路軍的威望,受到八路軍總部嘉獎。後率部參加神頭嶺、響堂鋪、晉東南反“九路圍攻”等戰役戰鬥。1938年起任第129師385旅副旅長、旅長,太行軍區第3分區司令員。1940年在129師破襲白晉鐵路作戰中,率部採取“腹地開花”、內外結合的戰法,迅速殲滅南關鎮日軍。在“百團大戰”第一階段作戰中,率部在獅垴山頑強阻擊日軍進攻,給日軍以重大殺傷,牽制了大量日偽軍,為129師在正太路的破襲行動創造了有利條件。1943年到延安,入中共中央黨校學習。抗日戰爭勝利後,任晉冀魯豫軍區和晉冀魯豫野戰軍(後為中原野戰軍)第3縱隊司令員,先後參加上黨、邯鄲、魯西南諸戰役。1947年參加進軍大別山戰役,率3縱跨過隴海路,越過黃泛區,以交替前進的部署,率先搶渡淮河,到達大別山北麓,半個月解放宛西9個縣城及大片地區,打開宛西新局面。1947年4月在豫北戰役中,採取避其鋒芒、誘其深入、陷其孤立,然後聚而殲之的戰法,全殲國民黨軍第2快速縱隊,創造了以劣勢裝備殲滅一個機械化旅的範例。隨後協同兄弟部隊攻取豫北重鎮湯陰,活捉國民黨第12縱隊司令孫殿英。淮海戰役開始後,率中原野戰軍第1、第3縱隊和華東野戰軍第13縱隊組成西線集團,受命攻佔宿縣。在作戰中親率各級指戰員抵近前沿勘查,做出週密部署,研究攻堅戰法。總攻發起後經一晝夜激戰,全殲宿縣守敵1.2萬餘人,使徐州劉峙集團完全陷入孤立。後協同兄弟部隊在雙堆集殲滅國民黨軍黃維兵團。1949年2月任第二野戰軍第3兵團司令員,率部參加渡江戰役,突破江防防線後截斷浙贛線,迂迴大西南,殲滅宋希濂集團,攻佔國民黨“陪都”重慶,兼任中共重慶市委第一書記、市長和川東軍區司令員。
新中國成立後,1950年調任人民解放軍炮兵司令員,後兼任炮兵學院院長,主持制定炮兵發展規劃,組織部隊改裝,進口和研製炮兵裝備,為新中國炮兵的發展做了大量開創性工作。到50年代末期,炮兵達到了隊伍壯大、編制合理、配套齊全、訓練正規的要求,在抗美援朝、炮擊金門作戰中發揮了重要作用。在為我國第一個導彈試驗基地選址過程中,帶領專家組乘飛機穿越戈壁沙漠,多次出入無人區,掌握了大量第一手資料,為人民解放軍戰略導彈部隊的創建做出重要貢獻。1959年起任瀋陽軍區司令員、中共中央東北局書記處書記、北京軍區司令員、中共中央軍委常務委員、國務院副總理。
是第一至第三屆國防委員會委員,中共第八屆中央候補委員、中央委員(1968年遞補),第九至第十一屆中央委員和中央政治局委員。1980年1月被免去中共中央政治局委員、國務院副總理和北京軍區司令員職務。1982、1987年被選為中共中央顧問委員會常務委員。
1955年被授予上將軍銜,獲一級八一勳章、一級獨立自由勳章和一級解放勳章。1988年獲一級紅星功勳榮譽章。
1999年6月10日在北京逝世。