1901年生,原名徐象謙,字子敬。山西五台縣人。黃埔軍校第一期畢業。曾任國民軍第二軍第六混成旅教導營教官、參謀、副團長。1927年任武漢中央軍事政治學校隊長,同年加入中國共産黨。廣州起義中任工人赤衛隊第六聯隊長。土地革命戰爭時期,歷任工農革命軍第四師第十團黨代表、師參謀長、師長,中國工農紅軍第三十一師副師長,紅一軍副軍長兼第一師師長,紅四軍參謀長、軍長,紅四方面軍總指揮,紅軍右路軍總指揮、西路軍軍政委員會副主席。參加了長征。抗日戰爭時期,歷任八路軍一二九師副師長,八路軍第一縱隊司令員,陜甘寧晉綏聯防軍副司令員兼參謀長,中國人民抗日軍政大學代校長。解放戰爭時期,歷任晉冀魯豫軍區副司令員,華北軍區副司令員兼第一兵團(後改為第十八兵團)司令員兼政委。
建國後,歷任中央人民政府人民革命軍事委員會(中央軍委)總參謀長,人民革命軍事委員會副主席,中共中央軍委副主席,國務院副總理兼國防部部長,第一至三屆國防委員會副主席,第三、四屆全國人大副委員長。是中共第七、九、十屆中央委員,第八、十一、十二屆中央政治局委員。
1955年被授予元帥軍銜。
1990年9月在北京逝世,終年88歲。