Giám sát hoạt động của hệ thống Ngân hàng là một việc rất quan trọng mà không một Quốc gia nào coi nhẹ. Do đó, các nước trên thế giới đã có nhiều cách thức tổ chức việc giám sát này: họ thành lập riêng một tổ chức trực thuộc Nghị viện, trực thuộc Tổng thống, có vị trí và vai trị độc lập, hoặc giao cho Ngân hàng Trung ương (NHTW) đảm nhận nhưng với vị trí và vai trị đặc thù, độc lập. Những nước giao cho NHTW thực hiện nhiệm vụ giám sát các Ngân hàng thì Thanh tra Ngân hàng là một công cụ quản lý khơng thể xem nhẹ đối với q trình thực hiện chức năng của một NHTW. Thanh tra, giám sát hoạt động của các Ngân hàng là một chức năng tất yếu và được pháp luật của các nhà nước quy định rõ ràng. Điều đó xuất phát từ vai trị trung gian tài chính của Ngân hàng trong nền kinh tế thị trường.
Ở nước ta, Thanh tra Ngân hàng đã tồn tại dưới nhiều hình thức khác nhau, kể từ khi thành lập NHNN năm 1951. Trong bối cảnh của nền kinh tế kế hoạch hoá tập trung, hoạt động của Thanh tra NHNN chủ yếu tập trung giải quyết vụ việc phát sinh trong quá trình hoạt động, tất yếu hình thành một tổ chức thanh tra mà theo đó hoạt động của nó mang tính chất hành chính, theo mệnh lệnh và yêu cầu của Thủ trưởng ngành.
Chuyển sang nền kinh tế thị trường, hoạt động Thanh tra Ngân hàng có sự thay đổi về mục tiêu, cơ cấu và thực hiện việc giám sát, phòng ngừa với mục đích theo dõi sự lành mạnh của hệ thống Ngân hàng, nhằm đảm bảo an toàn cho người gửi tiền và Ngân hàng cho vay. Chính vì vậy phải tổ chức lại
hệ thống Thanh tra Ngân hàng để thực hiện việc thanh tra, giám sát hoạt động của các TCTD trong phạm vi cả nước và quản lý công tác thanh tra đối với các cơ quan, đơn vị thuộc NHNN.
Theo định hướng và yêu cầu phát triển đó, Cơ quan TTGS ngân hàng chính thức hoạt động từ ngày 1/8/2009 theo Quyết định số 83/2009/QĐ-TTg của Thủ tướng Chính phủ ngày 27/5/2009 trên cơ sở hợp nhất 4 đơn vị của NHNN Việt Nam gồm: Thanh tra Ngân hàng, Vụ Các Ngân hàng, Vụ Các Tổ chức tín dụng hợp tác, Trung tâm phịng chống rửa tiền. Với việc thành lập Cơ quan TTGS ngân hàng, NHNN đã có một tổ chức thanh tra, giám sát thực hiện đủ 4 khâu của quá trình quản lý nhà nước đối với TCTD gồm: Ban hành cơ chế, chính sách, quy chế; cấp phép và thu hồi giấy phép; thanh tra, giám sát; xử lý sau thanh tra; đồng thời thực hiện nhiệm vụ thanh tra hành chính; giải quyết khiếu nại tố cáo, phịng chống tham nhũng và phòng chống rửa tiền. Đây là bước đột phá, một nỗ lực nhằm nâng cao hiệu quả, hiệu lực của hoạt động thanh tra, giám sát; và tiến gần hơn tới thông lệ quốc tế về thanh tra, giám sát ngân hàng.
Từ ngày chính thức hoạt động đến nay, mơ hình Cơ quan Thanh tra, giám sát ngân hàng trực thuộc NHNN đang ngày càng khẳng định vai trị, vị trí của mình trong nhiệm vụ đảm bảo sự an toàn hoạt động cho hệ thống ngân hàng. Đang từng bước phát huy hiệu quả và có đóng góp to lớn vào thành tựu chung của ngành ngân hàng.