Giai đoạn từ tháng 5/1994 đến tháng 2/2010
- Tổ chức bộ máy của Ban Thanh tra Viện kiểm sát nhân dân tối cao được cơ cấu gồm 02 tổcông tác: Tổ Tổng hợp- văn thư và Tổ Chuyên trách thanh tra.
- Tổ chức bộ máy của Ban Thanh tra Viện kiểm sát nhân dân tối cao được cơ cấu gồm 02 tổcông tác: Tổ Tổng hợp- văn thư và Tổ Chuyên trách thanh tra. 1998, được giao thêm nhiệm vụ Kiểm tra việc thực hiện Quy chế dân chủ trong hoạt động của Viện kiểm sát nhân dân các cấp.
Đến năm 2008, được giao thêm nhiệm vụ Kiểm tra việc thực hành tiếtkiệm, chốnglãng phí và Thanh tra nghiệp vụ về án đình chỉ, án tạm đình chỉ.
Giai đoạn từ tháng 3/2010 đến tháng 3/2014
- Tổ chức bộ máy của Ban Thanh tra Viện kiểm sát nhân dân tối cao được cơ cấu gồm 03phòng: Phòng Tổng hợp, quản lý thông tin; Phòng Thanh tra nghiệp vụ; Phòng Thanh tra phòng: Phòng Tổng hợp, quản lý thông tin; Phòng Thanh tra nghiệp vụ; Phòng Thanh tra xét khiếu tố; bổ nhiệm các Trưởng phòng và Phó Trưởng phòng. Tháng 8/2012được đổi tên là Thanh tra Viện kiểm sát nhân dân tối cao.
- Hoạt động: Giải quyết đơn khiếu nại, tố cáo liên quan đến cán bộ trong ngành; Kiểm traviệc thực hiện Quy chế dân chủ trong hoạt động của Viện kiểm sát nhân dân các cấp; Kiểm việc thực hiện Quy chế dân chủ trong hoạt động của Viện kiểm sát nhân dân các cấp; Kiểm tra việc thực hành tiết kiệm, chống lãng phí và Thanh tra một số hoạt động nghiệp vụ về công tác thực hành quyền công tố và kiểm sáthoạt động tư pháp.
Giai đoạn từ tháng 4/2014 đến nay
- Tổ chức bộ máy của Thanh tra Viện kiểm sát nhân dân tối cao được cơ cấu gồm 04 phòng:Phòng Tham mưu tổng hợp; Phòng Thanh tra nghiệp vụ; Phòng Thanh tra hành chính; Phòng Tham mưu tổng hợp; Phòng Thanh tra nghiệp vụ; Phòng Thanh tra hành chính; Phòng Thanh tra xét khiếu tố; bổ nhiệm các Trưởng phòng và Phó Trưởng phòng.
Từ tháng 4/2014 thành lập Thanh tra Viện kiểm sát nhân dân cấp tỉnh tại 08 tỉnh, thành phố (Hà Nội, Hải Phòng, Quảng Ninh, Thanh Hoá, Nghệ An, Đồng nai, Đắk Lắk, tp Hồ Chí Minh) và bộ phận Thanh tra chuyên trách thuộc Phòng tổ chức cán bộ của VKSND các tỉnh, thành phố còn lại.
- Hoạt động: Giải quyết đơn khiếu nại, tố cáo liên quan đến cán bộ trong ngành; Thanh travề công tác nghiệp vụ thực hành quyền công tố và kiểm sát hoạt động tư pháp; Thanh tra về công tác nghiệp vụ thực hành quyền công tố và kiểm sát hoạt động tư pháp; Thanh tra hành chính (Thanh tra công vụ và kỷ luật nội vụ).