１９５６年下半年，中央提出了《關於改進國家行政體制的決議（草案）》。這是第二次較大規模的體制改革和機構改革。這次改革以中央向地方下放權力為主要內容，通過國務院精簡所屬工作部門，下放權力，以達到擴大地方自主權的目的。這次改革一直持續到１９６０年。１９５８年，撤銷合併了國家建設委員會等１０多個單位。經過調整，國務院部委減少８個，直屬機構減少５個。到同年底，國務院設６８個工作部門。１９５９年，國務院工作部門又作了進一步調整和撤並，到同年底，國務院設３９個部委，２１個直屬機構和辦事機構，機構總數達６０個，比１９５６年減少２１個。