Để có một Chính phủ tinh gọn, yêu cầu đặt ra đối với Chính phủ ở nước ta là phải tiếp tục kiện toàn bộ máy của Chính phủ theo hướng tinh gọn, hiệu lực, hiệu quả. Sắp xếp lại cơ cấu Bộ, cơ quan ngang Bộ, cơ quan thuộc Chính phủ, thành các Bộ quản lý đa ngành, giảm bớt đầu mối trực thuộc Chính phủ, tập trung vào sắp xếp các cơ quan thuộc Chính phủ, hướng là đưa một số cơ quan làm chức năng quản lý Nhà nước thuộc Chính phủ về các Bộ quản lý hoặc tạo thành một số Bộ mới, chỉ để lại cơ quan trực thuộc Chính phủ hết sức hạn chế. Phải tách khỏi Chính phủ những cơ quan không có chức năng làm chính sách, bắt đầu bằng những thiết chế cung cấp dịch vụ thuần túy như đào tạo, phát thanh, truyền hình, tiếp tới là các dịch vụ công như đăng ký, quản lý công sản, bảo tồn, kiểm dịch. Ví dụ như khi các trường Đại học dần tự chủ về tài chính, được quyền tự xây dựng chương trình, quyết định tuyển sinh và cấp tới học vị tiến sỹ, được quyền phong chức danh giáo sư, thì công việc của Bộ Đại học sẽ thu hẹp về hoạch định chính sách giáo dục và việc sáp nhập Bộ này với các vấn đề giáo dục thanh thiếu niên là có thể hiểu được; cũng như vậy, nếu đăng ký kinh doanh được tách thành dịch vụ độc lập, chức năng quy hoạch và xây dựng chiến lược của Bộ Kế hoạch và Đầu tư có thể thực hiện bởi Bộ tài chính bởi người nào xây dựng kế hoạch tài chính thì cũng có thể điều tiết phát triển kinh tế xã hội quốc gia. Như vậy, Bộ chỉ tập trung làm tốt chức năng chủ yếu là xây dựng thể chế, luật pháp, cơ chế, chính sách, chiến lược, quy hoạch, kế hoạch phát triển đối với các lĩnh vực được phân công; tổ chức chỉ đạo việc thực hiện và đôn đốc kiểm tra, thanh tra việc chấp hành. Cơ cấu bên trong của các Bộ phải được sắp xếp hợp lý, bỏ cấp trung gian, giảm tầng nấc, thủ tục, xác định rõ chức năng, nhiệm vụ, trách nhiệm, tránh chồng chéo, nâng cao trách nhiệm của từng bộ phận và đề cao trách nhiệm cá nhân trong thực hiện công việc. Phải xác định được những nhiệm vụ cơ bản của chính quyền, thiết lập những cơ cấu tổ chức gắn kết một cách hợp
lý để thực thi những nhiệm vụ này. Có quá nhiều Bộ sẽ làm tăng tổng chi phí nhân sự và hạ tầng cơ sở liên quan đến việc thành lập các Bộ mới. Mỗi Bộ đều cố gắng tìm cho mình những nhiệm vụ mới nhằm gây sức ép hành chính cho việc mở rộng bộ máy, việc điều phối sẽ trở nên khó khăn hơn khi có quá nhiều Bộ trong một Chính phủ. Tuy nhiên, ngược lại nếu có một quy mô quá ít các Bộ thì hiệu quả của bộ máy hành chính cũng có thể kém.
Soát xét lại tổ chức, chức năng của cơ quan phối hợp do Thủ tướng quyết định thành lập (các Ủy ban, Hội đồng, Ban chỉ đạo…). Cần sắp xếp, giảm đến mức thấp nhất loại tổ chức này và đưa cơ quan thường trực, giúp việc vào Bộ tương ứng. Về tổ chức, cơ quan giúp việc của Bộ trưởng, Thủ trưởng cơ quan quản lý vĩ mô (Vụ, Cục…), của Ủy ban nhân dân tỉnh, thành phố trực thuộc Trung ương (Sở, Ban…) cần có sự chuẩn hóa, sắp xếp, tinh giảm; ngăn chặn xu hướng gia tăng đầu cơ quan quản lý hiện nay.
Song song với việc kiện toàn bộ máy của Chính phủ phải kiện toàn bộ máy chính quyền các cấp trên cơ sở xác định rõ phân cấp trách nhiệm và thẩm quyền giữa Trung ương và địa phương, theo hướng tăng cường quản lý tập trung của Trung ương trên các lĩnh vực bảo đảm chủ quyền, an ninh quốc gia, pháp luật kỷ cương thống nhất và sự phát triển công bằng, ổn định, đồng thời phân cấp mạnh mẽ cho các địa phương về các lĩnh vực khác kết hợp hài hòa lợi ích toàn cục với lợi ích cục bộ. Để việc phân cấp thẩm quyền và trách nhiệm giữa Trung ương và các cấp chính quyền địa phương được rành mạch, cần xác định rõ nội dung cụ thể của quản lý Nhà nước theo ngành dọc và theo lãnh thổ. Xác định những lĩnh vực Trung ương cần tập trung quản lý theo ngành dọc và những lĩnh vực có thể và cần phải phân cấp cho các cấp chính quyền địa phương. Và việc phân cấp phải theo nguyên tắc “việc nào, cấp nào giải quyết sát với thực tế, có điều kiện thực hiện tốt hơn, hiệu quả hơn thì phân cấp cho cấp đó” để phát huy tính chủ động, sáng tạo của mỗi cấp. Vấn đề phân định phân cấp rõ thẩm quyền, trách nhiệm cũng như chức năng,
nhiệm vụ giữa các ngành, các cấp, các cơ quan là vấn đề cơ bản, là điều kiện tiên quyết của việc cải cách xây dựng bộ máy hành chính Nhà nước tinh gọn, thông suốt, hoạt động có hiệu lực, hiệu quả.
Xây dựng và đưa vào thực hiện quy hoạch tổng thể đơn vị hành chính các cấp, trên cơ sở đó ấn định cơ bản các đơn vị hành chính ở cả 3 cấp tỉnh, huyện, xã. Xác định rõ vị trí, trách nhiệm của chính quyền địa phương trong hệ thống cơ quan nhà nước. Chính quyền địa phương được xây dựng, tổ chức và hoạt động theo nguyên tắc nhà nước đơn nhất, quyền lực Nhà nước là thống nhất. Kiện toàn thống nhất hệ thống các cơ quan chuyên môn của các cấp chính quyền. Tổ chức hợp lý chính quyền địa phương, phân biệt rõ những khác biệt giữa chính quyền nông thôn và chính quyền đô thị. Thực hiện thí điểm việc không tổ chức Hội đồng nhân dân ở cấp huyện, quận, phường. Thực hiện nguyên tắc tập trung dân chủ, chế độ tập trung dân chủ và chế độ thủ trưởng trong các cơ quan hành chính.
Cần tiếp tục kiện toàn tổ chức chính quyền cơ sở (cấp xã, thị trấn). Cấp xã là cộng đồng dân cư tự quản, phải tôn trọng truyền thống làng xã Việt Nam. Cần phát huy dân chủ trực tiếp ở cấp xã, nghiên cứu để dân bầu trực tiếp Chủ tịch Ủy ban nhân dân xã và quyết định những vấn đề có liên quan đến quyền lợi, nghĩa vụ thiết thực của người dân và phát triển của cộng đồng dân cư làng xã.
Bảo đảm tính thống nhất, tập trung của hệ thống hành chính, phát huy tính năng động, sáng tạo của địa phương. Điều chỉnh cơ cấu tổ chức, tinh giản bộ máy hành chính các ngành, các cấp hành chính trên cơ sở xác định rõ chức năng, nhiệm vụ, thẩm quyền và trách nhiệm của mỗi tổ chức và mối quan hệ công tác giữa các tổ chức ấy. Nói chung, Chính phủ và cơ quan hành chính các cấp cần được sắp xếp tinh gọn, giảm đầu mối, tập trung làm tốt công tác quản lý Nhà nước trên các lĩnh vực. Khắc phục tình trạng bộ máy cồng kềnh,
trùng lặp và tính cục bộ trong hệ thống hành chính ở cả Trung ương và địa phương.