Cũng như cơ quan giám sát ngân hàng các nước, thanh tra Việt Nam có nhiệm vụ cơ bản là đảm bảo các tổ chức tín dụng chịu sự giám sát tuân thủ các quy định của pháp luật, hạn chế rủi ro trong hệ thống các tổ chức tín dụng, bảo vệ người gửi tiền góp phần ổn định và phát triển nền kinh tế quốc dân
Hệ thống thanh tra ngân hàng đang được tổ chức theo hai cấp: thanh tra NHNN và thanh tra NHNN chi nhánh tỉnh, thành phố trực thuộc trung ương. Thanh tra chi nhánh chịu sự chỉ đạo về mặt nghiệp vụ của tránh thanh tra NHNN, đồng thời chỉ đạo của giám đốc chi nhánh NHNN trong phạm vi trách nhiệm quản lý của chi nhánh NHNN.
Với mô hình tổ chức hai cấp như vậy. Thanh tra chi nhánh NHNN bị hạn chế về tính độc lập, bởi họ còn chịu sự chỉ đạo của giám đốc chi nhánh NHNN, trong khi về nguyên tắc, tính độc lập của thanh tra ngân hàng càng được đảm bảo thì hiệu quả giám sát càng cao. Bên cạnh đó, ngày 30/7/2009, NHNN đã tổ chức công bố thành lập Cơ quan Thanh tra giám sát ngân hàng theo Quyết định số 83/2009/QĐ-TTg ngày 27/5/2009. Cơ quan Thanh
tra giám sát ngân hàng được thành lập dựa trên cơ sở tổ chức lại 4 đơn vị trực thuộc NHNN bao gồm: Thanh tra, Vụ các ngân hàng, Vụ các TCTD hợp tác và Trung tâm phòng chống rửa tiền. Thành lập Cơ quan Thanh tra, giám sát ngân hàng được coi là một công cuộc cải tổ đáng kể của NHNN nhằm tăng cường khả năng thanh tra, giám sát của hệ thống tài chính ngân hàng. Theo quyết định này, cơ quan thanh tra, giám sát ngân hàng gồm 6 vụ chuyên ngành, Văn phòng và Cục phòng, chống rửa tiền.
Trên thực tế, cơ cấu tổ chức hoạt động của thanh tra, giám sát ngân hàng đã có sự cải cách nhưng các chức năng thanh tra giám sát ngân hàng còn bị phân tán và được thực hiện bởi các Vụ, Cục khác nhau trong NHNN Việt Nam, thể hiện như sau:
Chức năng giám sát từ xa và thanh tra tại chỗ thuộc trách nhiệm của thanh tra NHNN, nhưng các Vụ khác trong NHNN cũng thực hiện chức năng giám sát từ xa. Cụ thể, Vụ Kế toán Tài chính, Vụ Tín dụng, Vụ Quản lý Ngoại hối, Vụ Chính sách Tiền tệ đều yêu cầu các TCTD phải báo cáo về tình hình hoạt động của TCTD theo nội dung thuộc quyền quản lý của mình;
Nhiệm vụ phát hiện các vi phạm, sai phạm của các NHTM là nhiệm vụ của Cơ quan thanh tra giám sát Ngân hàng, trong khi nhiệm vụ xử lý các sai phạm lại do các Vụ, Cục khác trong NHNN đảm nhiệm, nên hiệu lực của hoạt động thanh tra, giám sát còn hạn chế. Một số vụ việc tuy đã có kết luận và kiến nghị, nhưng việc thực hiện các biện pháp khắc phục của đối tượng thanh tra còn chậm, trong khí đó việc xử phạt theo thẩm quyền, một số nơi còn né tránh, nể nang và đùn đẩy trách nhiệm.
Các Vụ, Cục chức năng thuộc NHNN chịu trách nhiệm ban hành các quy định về chính sách và quy định an toàn cho hoạt động ngân hàng theo chức năng của đơn vị mình. Thanh tra NHNN chịu trách nhiệm giám sát thực hiện các quy định an toàn. Do cơ quan ban hành các quy định an toàn và cơ quan giám sát là hai đơn vị độc lập, vì thế đôi khi có những bất đồng giữa việc hiểu và áp dụng các quy định giữa đơn vị ban hành quy ñịnh và đơn vị thanh tra giám sát;
Cơ chế phối hợp giữa cơ quan thanh tra, giám sát Trung ương với cơ quan Thanh tra tại các địa phương chưa được hoàn toàn thực hiện theo cơ chế chiều dọc. Chưa có sự phân định trách nhiệm một cách rõ ràng về phạm vi hoạt động,
chương trình làm việc, các kênh thông tin báo cáo, chia sẻ thông tin, những vấn đề về thanh tra giám sát ngân hàng trên cơ sở hợp nhất;
Ngoài ra, cho đến nay, NHNN vẫn chưa có cơ chế phối hợp, sử dụng kết quả thanh tra tại chỗ và giám sát từ xa, vì vậy, vừa gây lãng phí nguồn lực vừa giảm tính hiệu quả trong thanh tra, giám sát.