Thứ nhất, tổ chức của KTNN chưa đảm bảo tính độc lập tương đối cần thiết (điều kiện quan trọng để một cơ quan kiểm toán nhà nước hoạt động hiệu quả). Hiện nay, vai trò và địa vị pháp lý của KTNN chưa tương xứng để đảm bảo tính độc lập và khách quan trong hoạt động kiểm toán việc thu - chi Ngân sách Nhà nước, quản lý và sử dụng nguồn tài sản quốc gia. Chức năng của KTNN chỉ mới được giới hạn trong kiểm toán báo cáo tài chính và kiểm toán tuân thủ, hiệu lực thực hiện các kết luận và kiến nghị kiểm toán vẫn còn hạn chế.
Thứ hai, trong tổ chức của KTNN nảy sinh tình trạng chồng chéo và không rõ thẩm quyền, chức năng, nhiệm vụ giữa Kiểm toán nhà nước trung ương và khu vực, giữa Vụ Kiểm toán Ngân sách Nhà nước và các bộ phận khác trong Kiểm toán nhà nước. Và đặc biệt là tình trạng chồng chéo, trùng lặp về chức năng, nhiệm vụ giữa KTNN với các cơ quan thanh tra, kiểm tra tài chính nhà nước. Cho đến thời điểm này ngoài KTNN còn bao gồm các cơ quan có chức năng quản lý tài chính như: Thanh tra của nghành Tài chính; Thanh tra Nhà nước; Viện Kiểm sát; Công an.
Các cơ quan này có nhiệm vụ thanh tra, kiểm tra theo từng chuyên đề hoặc các vụ việc phát sinh trong quản lý kinh tế tài chính. Trong khi hạch toán kế toán, với tư cách là một công cụ quan trọng trong quản lý kinh tế, có chức năng tổ chức và cung cấp thông tin phục vụ công tác quản lý kinh tế, tài chính cho các cơ quan chức năng của Nhà nước. Để thông tin kế toán thực sự hữu ích cho các nhà quản lý ra qyết định đúng đắn thì các thông tin này phải thực sự tin cậy,
trung thực và hợp pháp. Theo thông lệ quốc tế thì các thông tin này đều do kiểm toán chứng thực. Đối với nước ta trong quá trình chuyển đổi cơ chế kinh tế trong điều kiện vẫn giữ nguyên thể chế chính trị, do đó còn tồn tại các thiết chế về quản lý và bộ máy quản lý hành chính công của cơ chế cũ đồng thời lại phát sinh thêm các cơ quan hành chính mới của Nhà nước.
Thực tế hiện nay các cơ quan thanh tra, kiểm tra tài chính, tuy mỗi cơ quan đều có chức năng, nhiệm vụ khác nhau nhưng nội dung hoạt động kiểm tra tài chính lại có nhiều điểm trùng lặp, dẫn đến có những đơn vị trong một năm phải tiếp và làm việc với nhiều đoàn thanh tra, kiểm tra tài chính, nội dung làm việc giống nhau nhưng kết quả đưa ra lại có nhiều nội dung không thống nhất dẫn đến khó kết luận. Đây là một hạn chế mà dư luận xã hội đang rất quan tâm và mong muốn giải quyết để giảm bớt những khó khăn cho các đơn vị cơ sở.
Thứ ba, bộ máy kiểm toán nhà nước còn chưa hoàn chỉnh, đặc biệt các đơn vị chức năng ở trung ương và các kiểm toán nhà nước khu vực còn rất thiếu (chỉ có 5 kiểm toán nhà nước khu vực trong khi cả nước có đến 64 tỉnh, thành phố).
Thứ tư, quy mô và năng lực của đội ngũ kiểm toán viên còn chưa tương xứng với yêu cầu công việc, chức năng và nhiệm vụ được giao. Hiện Kiểm toán nhà nước chỉ có chưa đến 700 cán bộ, kiểm toán viên trên quy mô dân số trên 80 triệu người, còn quá khiêm tốn so với các nước trong khu vực và trên thế giới (Trung Quốc có trên 80.000 kiểm toán viên, Malaysia là 3.500 và Thái Lan là 2.300...). Các cán bộ, kiểm toán viên cũng chưa hoàn toàn được đào tạo đầy đủ về chuyên môn, ngoại ngữ, tin học, quản lý nhà nước...
Thứ năm, cơ sở trang thiết bị vật chất vẫn còn thiếu và chưa hiện đại.
Những khó khăn và tồn tại trên đây trong tổ chức của Kiểm toán nhà nước, nhất là những tồn tại phát sinh từ địa vị pháp lý của Kiểm toán nhà nước một phần đã được giải quyết trong Luật Kiểm toán Nhà nước, có hiệu lực vào ngày 01/01/2006.