Trong hệ thống các cơ quan nhà nước có thẩm quyền QLNN về giáo dục đại học, Bộ Giáo dục và Đào tạo đóng vai trò chủ chốt. Bộ vừa là cơ quan tư vấn cho Quốc hội về các dự án luật liên quan đến giáo dục, vừa là cơ quan ban hành văn bản pháp quy hướng dẫn thi hành luật về giáo dục, tổ chức chỉ đạo đưa pháp luật về giáo dục nói chung và pháp luật về giáo dục đại học nói riêng vào thực tiễn cuộc sống.
Sự hình thành và phát triển của Bộ Giáo dục và Đào tạo gắn liền với lịch sử của nền giáo dục Việt Nam, đặc biệt là trong công tác QLNN trong lĩnh vực này. Nói cách khác, lịch sử của Bộ Giáo dục và Đào tạo cũng là lịch sử hình thành hệ thống bộ máy quản lý nhà nước về giáo dục ở nước ta.
Theo Hiến pháp đầu tiên năm 1946, Chính phủ do Chủ tịch nước đứng đầu, trong Chính phủ có Thủ tướng và nội các gồm các bộ trưởng, trong đó có Bộ trưởng Bộ Quốc gia giáo dục. Bộ Quốc gia giáo dục được thành lập theo Sắc lệnh số 119 ngày 9/7/1946. Khi Hiến pháp năm 1959 được ban hành, Chính phủ gồm có Thủ tướng, các phó thủ tướng và các bộ trưởng (trong đó có Bộ trưởng Bộ Giáo dục). Bộ Giáo dục được tổ chức và hoạt động theo Nghị định số 198/CP ngày 7/11/1961 (trong Nghị định này đã quy định quyền hạn và nhiệm vụ cụ thể về tổ chức bộ máy của Bộ Giáo dục). Trong thời kỳ
chức: đó là việc Quốc hội tách Bộ Giáo dục làm 2 bộ là Bộ Giáo dục và Bộ Đại học và Trung học chuyên nghiệp. Sau đó, Chính phủ ban hành Nghị định số 242/CP ngày 13/12/1965 quy định nhiệm vụ, quyền hạn của Bộ Đại học và Trung học chuyên nghiệp. Trong giai đoạn này, nội dung QLNN đối với giáo dục đào tạo tách biệt thành 2 lĩnh vực khác nhau và giáo dục đại học trở thành một lĩnh vực QLNN riêng biệt. Việc phân định chức năng quản lý đối với giáo dục đào tạo trong thời kỳ này, theo quan điểm chuyên môn sâu, là một định hướng của cải cách hành chính nói chung và cải cách giáo dục nói riêng, nhưng cuộc cải cách nói trên lại không chú ý và tập trung vào cải cách theo hướng giảm nhẹ cơ cấu hành chính nhà nước. Do đó, việc phân tách cơ cấu Bộ Giáo dục đòi hỏi phải quy định lại bộ máy, quyền hạn, nhiệm vụ của các cơ quan mới được thành lập sau đó. Cũng trong thời kỳ này, Tổng cục dạy nghề đã được thành lập trực thuộc Hội đồng Chính phủ theo Nghị quyết 216- NQ/QHK6 ngày 17/4/1978 của Uỷ ban Thường vụ Quốc hội và hoạt động theo Nghị định 216/CP ngày 17/10/1978. Khi Hiến pháp năm 1980 ra đời, để thực hiện sự thống nhất trong quản lý nhà nước về giáo dục đào tạo, Tổng cục dạy nghề được sáp nhập vào Bộ Đại học và Trung học chuyên nghiệp theo Nghị quyết số 782/NQ/HĐNN 7 ngày 16/2/1987 của Hội đồng nhà nước (Hiện nay, Tổng cục dạy nghề là một cơ quan trực thuộc Bộ Lao động, Thương binh và xã hội). Để thống nhất quản lý công tác giáo dục, đào tạo trong phạm vi cả nước và để thống nhất cơ quan QLNN về giáo dục đào tạo, theo đề nghị của Hội đồng bộ trưởng, Hội đồng nhà nước đã ra quyết định số 224/NQ/HĐNN 8 ngày 31/3/1990 thành lập Bộ Giáo dục và Đào tạo trên cơ sở hợp nhất Bộ Giáo dục và Bộ Đại học và Trung học chuyên nghiệp. Ngày 7/12/1990, Hội đồng Bộ trưởng ban hành Nghị định số 418/HĐBT quy định chức năng, nhiệm vụ và quyền hạn của Bộ Giáo dục và Đào tạo.
Hiến pháp năm 1992 ra đời đánh dấu bước chuyển từ cơ chế quản lý kế hoạch hoá tập trung sang cơ chế thị trường có sự quản lý của nhà nước theo định hướng xã hội chủ nghĩa. Bộ Giáo dục và Đào tạo cũng đã có những cải cách cho phù hợp với tình hình mới. Ngày 30/3/1994, Chính phủ đã ban hành Nghị định 29/CP thay thế cho Nghị định 418/HĐBT. Khi Luật Giáo dục năm 1998 ra đời, Bộ Giáo dục và Đào tạo một lần nữa được sắp xếp lại về tổ chức bộ máy và có một số thay đổi về quyền hạn, nhiệm vụ nhằm đáp ứng yêu cầu của giai đoạn hiện nay. Nghị định 418/HĐBT đã được thay thế bởi Nghị định số 85/2003/NĐ-CP của Chính phủ ngày 18/7/2003 quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Bộ Giáo dục và Đào tạo.
Bộ Giáo dục và Đào tạo đã từng bước sắp xếp tại cơ cấu tổ chức nhằm giảm bớt đầu mối, tinh giản bộ máy hành chính theo tinh thần Nghị định số 85/2003/NĐ-CP của Chính phủ. Vụ Đại học và Vụ Sau đại học được hợp nhất lại thành Vụ Đại học và Sau đại học. Vụ Pháp chế được thành lập mới với chức năng giúp Bộ trưởng Bộ Giáo dục và Đào tạo thực hiện việc QLNN bằng pháp luật trong lĩnh vực giáo dục nói chung và giáo dục đại học nói riêng. Bên cạnh đó, Thanh tra chuyên ngành của Bộ cũng được kiện toàn về cơ cấu để thực hiện quyền thanh tra trong lĩnh vực giáo dục, bảo đảm thi hành pháp luật trong lĩnh vực này
Tuy nhiên, thực tế còn cho thấy số lượng nhân sự trong các vụ nói trên rất ít, lại phải đảm đương khối lượng công việc khổng lồ, phạm vi quản lý trải rộng trên toàn quốc. Lực lượng mỏng cũng là một điểm yếu trong công tác QLNN, gây khó khăn trong việc bố trí công tác. Chẳng hạn như một nhân viên có khi phải “ôm đồm” quá nhiều việc, có những việc vượt quá khả năng của mình. Trong khi đó, việc sắp xếp nhân sự theo chức năng công việc cũng khó thực hiện, không đủ cán bộ để thành lập bộ phận công tác chuyên môn.
chuyên ngành của đội ngũ nhân sự trong các vụ chức năng này cũng là một vấn đề đáng bàn. Những yếu tố này là những bất cập cần được Bộ giáo dục và Đào tạo sớm khắc phục để nâng cao hiệu quả QLNN của mình.