Bài viết này mô tả quy trình đánh giá chất lượng thống kê của Viện Thống kê Quốc gia Ý. Quy trình hiện đang được thử nghiệm trên 7 quy trình tác nghiệp thống kê cụ thể. Mời các bạn tham khảo!
THỐNG KÊ QUỐC TẾ VÀ HỘI NHẬP ĐÁNH GIÁ CHẤT LƯỢNG THƠNG QUA KIỂM TỐN VÀ TỰ ĐÁNH GIÁ Marina Signore, Riccardo Carbini, Marcello D‟Orazio, Giovanna Brancato, Giorgia Simeoni, Viện Thống kê Quốc gia Ý Tóm tắt: Bài viết mơ tả quy trình đánh giá chất lượng thống kê Viện Thống kê Quốc gia Ý Quy trình thử nghiệm quy trình tác nghiệp thống kê cụ thể Từ khóa: Kiểm tốn chất lượng; tự đánh giá; công cụ đánh giá Đánh giá chất lượng: Mục đích tính Viện Thống kê Quốc gia Ý (Istat) bắt đầu làm việc có hệ thống chất lượng năm 90 Chính sách chất lượng Istat xác định theo khung chất lượng châu Âu (EU), đặc biệt theo khuyến nghị chất lượng Quy tắc thực hành thống kê EU Các tính cơng việc ban đầu chất lượng liên quan đến tiêu chuẩn hóa giám sát chất lượng q trình Với mục đích này, Istat phát triển hệ thống thơng tin SIDI cho tài liệu điều tra quản lý lý lịch liệu tham chiếu số quy trình chuẩn cho quy trình thống kê (Brancato cơng sự, 2004; Brancato cộng sự, 2006) hệ thống điều hướng SIQual có sẵn tiếng Ý tiếng Anh trang web Istat Gần đây, Istat phát triển quy trình để đánh giá chất lượng quy trình thống kê Một quy trình nhằm mục đích đánh giá cải thiện chất lượng điều tra có điều tra Đối với điều tra mới, mục đích 22 để đảm bảo điều tra đáp ứng yêu cầu tối thiểu để giới thiệu Với mục đích này, quy trình bảng hỏi để đánh giá yêu cầu xây dựng thử nghiệm thực cho hai điều tra Việc đánh giá dựa tài liệu có sẵn từ giai đoạn lập kế hoạch khơng bao gồm công việc bổ sung cho nhà quản lý điều tra Thật vậy, bị giới hạn việc kiểm tra khía cạnh sau xem xét cẩn thận: - Tính phù hợp việc điều tra liên quan đến nhu cầu người dùng tiềm ẩn rõ ràng; - Thiết kế kiểm tra câu hỏi đầy đủ; - Giảm gánh nặng trả lời; - Lập kế hoạch hệ thống đảm bảo chất lượng điều tra nhằm ngăn ngừa, giảm thiểu đánh giá sai số phi chọn mẫu Quy trình chưa thực coi bước hướng tới ghi nhãn chất lượng lần điều tra Istat Quy trình cho điều tra bao gồm: - Giám sát thường xun q trình chất lượng sản phẩm thơng qua phân tích số chất lượng tiêu chuẩn thu thập hệ thống SIDI; - Tự đánh giá chất lượng trình thực nhà quản lý điều tra; - Kiểm toán quy trình thống kê thực nhóm kiểm tốn nội Các số chất lượng tiêu chuẩn Istat, hài hòa với tiêu chuẩn Eurostat (Eurostat, 2009), tính tốn nhà quản lý điều tra tải lên hệ thống SIDI tập trung Các dịch vụ chịu trách nhiệm chất lượng có nhiệm vụ phân tích chúng chuẩn bị báo cáo cho quản lý cấp cao Istat Thật vậy, hệ thống SIDI cho phép giám sát chất lượng thường xun rộng Nó hữu ích cho việc phân tích xu hướng chất lượng hoạt động “chng báo động” vấn đề tiềm ẩn cần nghiên cứu thêm Mặc dù phân tích chất lượng dựa SIDI nhằm mục đích giám sát thường xuyên sở liên tục phần lớn điều tra, mục đích việc tự đánh giá kiểm toán để thúc đẩy cải tiến Báo cáo cuối tự đánh giá kiểm toán bao gồm danh sách hành động cải tiến với thời gian biểu để thực nguồn lực cần thiết Một khía cạnh quan trọng quy trình điều tra thực đánh giá nhận nguồn lực hỗ trợ cho việc thực hành động cải tiến Hoạt động đánh giá cần xác định thủ tục áp dụng quy trình đánh giá phổ biến chúng Istat Đây cách khác để thúc đẩy cải tiến quy trình thống kê Việc kiểm tốn thực nhóm gồm ba kiểm tốn viên nội có chun mơn khác phải vấn người quản lý điều tra đánh giá mức độ tuân thủ điều tra với nguyên tắc mô tả Hướng dẫn chất lượng Cuộc vấn cấu trúc dọc theo bảng câu hỏi kiểm tốn Nhóm kiểm tốn phải lập báo cáo cuối với đánh giá cho nguyên tắc tóm tắt chung điểm mạnh điểm yếu quy trình, người quản lý điều tra phải đề xuất hành động cải tiến Việc tự đánh giá thực người quản lý điều tra phải điền vào danh sách kiểm tra tự đánh giá chuẩn bị báo cáo tương tự báo cáo kiểm toán Báo cáo phân tích nhóm nhà đánh giá phụ trách để đánh giá mức độ đầy đủ hành động cải tiến phù hợp chúng với tiêu chuẩn nội Ủy ban Chất lượng, chủ trì Giám đốc Cục Sản xuất thống kê đồng chủ trì Trưởng phòng Dịch vụ kiểm tốn chất lượng, thành lập với nhiệm vụ xếp tất hoạt động đánh giá thúc đẩy cải tiến chất lượng Ủy ban Chất lượng, đặc biệt, chịu trách nhiệm phân tích báo cáo cuối từ việc kiểm toán tự đánh giá báo cáo cho quản lý cấp cao Istat định Như mô tả Sổ tay Phương pháp công cụ đánh giá chất lượng liệu (DatQAM), (Eurostat, 2007), phương pháp đánh giá chất lượng quan trọng số chất lượng, đo lường biến quy trình, điều tra người dùng, tự đánh giá, kiểm toán, ghi nhãn chứng nhận Chúng chia thành ba lớp việc giám sát biến quy trình, số chất lượng điều tra người dùng lớp đầu tiên; tự đánh giá kiểm toán lớp thứ hai ghi nhãn chứng nhận lớp cuối Hơn nữa, 23 quy trình tài liệu sản phẩm việc đo lường tiền đề để đảm bảo chất lượng Bản đồ DatQAM cung cấp trình bày đồ họa công cụ đánh giá mối quan hệ chúng Hình 1: Bản đồ DatQAM Mơi trường bên ngồi DatQAM Các u cầu người dùng Các tiêu chuẩn Dán nhãn Chứng nhận (ISO 20252) Tự đánh giá Các biến trình Các điều kiện tiên DatQAM Kiểm toán Chỉ tiêu chất lượng Đo lường Các báo cáo chất lượng quy trình Hiện tại, khung đảm bảo chất lượng Istat bao gồm sở hạ tầng chắn để đánh giá chất lượng thể biện pháp chất lượng tiêu chuẩn hệ thống tài liệu SIDI kinh nghiệm lâu năm, đạt 10 năm qua, đánh giá liệu quy trình sử dụng cơng cụ lớp Quy trình kiểm tốn tự đánh giá dựa kinh nghiệm có từ trước đến công cụ triển khai tạo sở cho việc phát triển quy trình Chiến lược Istat kết nối tốt với hai cấp độ Phạm vi tác động tài liệu việc đo lường thực thập kỷ qua Cấp độ thứ hai, việc đánh giá, bắt đầu vào tháng năm 2010 cách sử dụng quy trình tự đánh giá kiểm tốn Từ “Cuốn Cẩm nang phương pháp công cụ đánh giá chất lượng liệu”, Eurostat 2007 24 Điều tra người dùng sản phẩm Công cụ đánh giá 2.1 Hướng dẫn chất lượng Hướng dẫn chất lượng coi tài liệu tham khảo để thiết kế, thực kiểm sốt quy trình sản xuất số liệu thống kê Các hướng dẫn chia thành hai phần: Phần liên quan đến chất lượng quy trình phần sau lại nói chất lượng sản phẩm Phần chia thành phần: A Mục tiêu quy trình sản xuất; B Thiết kế quy trình sản xuất; C Đăng ký tổng thể đơn vị điều tra; E Thu thập liệu; F Công bố kết tài liệu Mỗi phần chia thành tiểu mục Mỗi tiểu mục bắt đầu định nghĩa nguyên tắc hướng dẫn cho giai đoạn định quy trình sản xuất Định nghĩa nguyên tắc sau theo sau văn xác định mô tả hành động xem xét để thực nguyên tắc Những hành động chung chung cố gắng tính đến khác biệt quy trình sản xuất khác Ý tưởng cung cấp dẫn chung chung mà không sâu vào chi tiết tránh công thức Rõ ràng, xử lý nguyên tắc phức tạp (ví dụ: Thiết kế kiểm tra bảng hỏi chỉnh sửa cắt bỏ), tham chiếu đến tài liệu kỹ thuật vào chi tiết cung cấp Cấu trúc nội dung hướng dẫn định ghi nhớ quy trình kiểm tốn tính đến cấu trúc nội dung hướng dẫn phát triển Istat khứ (Fortini, 2000) quy trình NSI khác châu Âu phát triển (Thống kê Phần Lan, 2007; FSO Đức, 2005; ONS, 2007) bên châu Âu (Thống kê Canada, 1998; Nhà trắng, 2006) Phần thứ hai hướng dẫn chia thành năm phần theo định nghĩa chất lượng châu Âu (Eurostat, 2009): (1) Tính phù hợp; (2) Tính xác; (3) Tính kịp thời hạn; (4) Khả tiếp cận tính rõ ràng; (5) Tính chặt chẽ khả so sánh Phần thực ngắn (chỉ vài trang) cung cấp mô tả ngắn gọn thành phần định nghĩa chất lượng (định nghĩa Eurostat thành phần chất lượng cung cấp Phụ lục I Phụ lục II sâu vào chi tiết liên quan đến độ xác độ tin cậy số liệu thống kê, cung cấp mô tả tất sai số điều tra (chọn mẫu phi chọn mẫu) Phiên hướng dẫn bao gồm 50 trang (chỉ có sẵn tiếng Ý) Việc trình bày dự thảo đòi hỏi nhóm làm việc gồm năm nhà nghiên cứu, có chuyên gia chất lượng chuyên gia phương pháp thống kê Cụ thể, người ta định thành lập nhóm nhỏ gồm 1-2 chuyên gia chịu trách nhiệm viết hướng dẫn cho nguyên tắc, sau chuyên gia khác nhóm (và bên ngồi nhóm) tham gia vào q trình xem xét Tồn q trình tháng làm việc toàn thời gian 2.2 Bảng câu hỏi Kiểm toán Tự đánh giá Hai bảng câu hỏi xây dựng: Một bảng hỏi gửi vấn cá nhân kiểm toán bảng hỏi lại để tự quản lý quy trình tự đánh giá Hai bảng câu hỏi xử lý chủ đề thiết kế để cung cấp cho kiểm toán viên trường hợp định, nhà quản lý điều tra (và giai đoạn sau, người đánh giá) trường hợp khác, với thơng tin đồng cần thiết để hồn thành nhiệm vụ họ Các câu hỏi xếp làm ba phần: I Chất lượng quy trình; II Chất lượng sản phẩm; III Quản lý chất lượng quy trình Phần I tuân theo giai đoạn thông thường quy trình thống kê điển hình, từ việc xác định nhu cầu người dùng đến việc phổ biến kết thông qua thiết kế điều tra, thu thập liệu, xử lý liệu, v.v… Bản đồ giai đoạn xác định với số mục cấp cấp hai có Mơ hình quy trình sản xuất thống kê chung (GSBPM) (Unece, 2008) Đối với tiểu mục Phần I, nguyên tắc tương tự nêu “Hướng dẫn chất lượng” báo cáo, số câu hỏi hữu ích để đánh giá liệu quy trình có đáp ứng tiêu chuẩn làm sở cho nguyên tắc hay không Việc tự đánh giá bảng câu hỏi kiểm toán khác chỗ trước tùy chọn trả lời chi tiết so với câu hỏi sau Mục II tổ chức theo thước đo chất lượng Eurostat Đối với thành phần chất 25 lượng, định nghĩa cung cấp, theo sau số câu hỏi hỗ trợ hiểu biết chất lượng liệu cho thành phần chất lượng cụ thể Mục III bao gồm câu hỏi nhằm đánh giá cách trì liệu, số vấn đề liên quan đến quản lý nhân viên, hệ thống kiểm soát chất lượng áp dụng đánh giá hiệu chi phí quy trình Các câu hỏi thiết kế với mục đích cho phép người hành động thủ tục thực hoạt động họ cách tốt nhất, tức lấy thông tin cần thiết để đưa kết luận quy trình chất lượng sản phẩm quản lý điều tra Khi phác thảo câu hỏi, phân tích cách chủ đề phải đối mặt câu hỏi tự đánh giá bảng câu hỏi danh sách kiểm tra khác thực Cụ thể, danh sách kiểm tra tự đánh giá châu Âu dành cho nhà quản lý điều tra (DESAP) Danh sách kiểm tra chất lượng cho hoạt động thống kê OECD coi tài liệu tham khảo Khi có thể, từ ngữ câu hỏi giữ tương tự với câu hỏi tương ứng bảng câu hỏi DESAP OECD Cuối cùng, bảng câu hỏi tự đánh giá Istat chứa 121 câu hỏi phần mục I 26 18 tương ứng mục II III Không phải tất câu hỏi trả lời, số mục phụ thuộc vào loại quy trình, ví dụ: Mục người vấn khơng áp dụng cho tất quy trình Số lượng câu hỏi nhỏ chút bảng câu hỏi kiểm toán Khoảng nửa số câu hỏi bảng câu hỏi phù hợp với nhiều câu hỏi DESAP Tỷ lệ tăng lên xem xét mục II III chất lượng sản phẩm quản lý điều tra câu hỏi bảng hỏi OECD có bảng câu hỏi tự đánh giá Istat 26 2.3 Hướng dẫn thực Hướng dẫn thực dành cho người tham gia vào thủ tục kiểm toán tự đánh giá Đó hướng dẫn thực liên quan đến hoạt động (và thời hạn liên quan) thực nhóm đánh giá, nhóm kiểm tốn viên người quản lý điều tra quy trình liên quan đến thủ tục đánh giá Hơn nữa, hướng dẫn chứa mô tả công cụ sử dụng thủ tục đánh giá, chia thành mục: 1) Giới thiệu 2) Mục tiêu 3) Quy trình 4) Người thực vai trò 5) Cơng cụ Phần Mục tiêu mơ tả mục tiêu quy trình đánh giá điều tra thống kê, phân chia điểm yếu điều tra hành động cải tiến liên quan đến điểm yếu tìm thấy Hơn nữa, nhấn mạnh hoạt động đánh giá phải thực theo cách hợp tác nhà quản lý điều tra, người đánh giá kiểm tốn viên Phần tiếp theo, thủ tục, mơ tả giai đoạn hai quy trình, kiểm tốn tự đánh giá Hơn nữa, đưa lịch trình hoạt động thực Phần thứ ba, Người thực vai trò, chia thành tiểu mục: Ủy ban chất lượng, dịch vụ kiểm toán chất lượng, nhóm phản biện, nhóm kiểm tốn Ủy ban người dùng Trong phần này, vai trò thực người thực tham gia vào hai thủ tục mô tả, tương ứng với quy trình tự đánh giá thủ tục kiểm tốn Phần cuối dành riêng cho việc mô tả công cụ sử dụng quy trình: Tài liệu tiêu chuẩn, bảng câu hỏi tự đánh giá bảng câu hỏi kiểm toán, hướng dẫn chất lượng báo cáo cuối Cụ thể, tài liệu tiêu chuẩn bao gồm hai tài liệu (báo cáo quy trình báo cáo chất lượng), biên dịch trước phần cách sử dụng thông tin SIDI Một số ví dụ báo cáo quy trình báo cáo chất lượng có sẵn Phụ lục tài liệu hướng dẫn Mẫu đề xuất cách chuẩn bị báo cáo cuối cung cấp Phiên sổ tay thực bao gồm 13 trang (chỉ có sẵn tiếng Ý) Giai đoạn thử nghiệm Các thủ tục công cụ mô tả thử nghiệm Thử nghiệm bắt đầu vào tháng Một năm 2010 kéo dài tháng Mục đích giai đoạn thử nghiệm đa dạng Mục đích xác định điểm yếu có cơng cụ quy trình, để cải thiện chúng trước áp dụng rộng rãi so sánh hai quy trình khác nhau, kiểm toán tự đánh giá, để đánh giá liệu thực tiễn kép coi giải pháp tốt hoặc, không, giới hạn việc thực để có giải pháp hiệu Thứ hai, cần phải đánh giá khối lượng công việc bao hàm, để đưa kế hoạch trung hạn có khả bền vững để thực quy trình đánh giá cho tất quy trình Istat Cuối cùng, thử nghiệm thể đánh giá thực tế cho điều tra liên quan, dẫn đến việc xác định hành động cải tiến thực giai đoạn Thử nghiệm hoạt động, đó, khơng có kết sơ hiển thị, nhiên, sau đây, hoạt động thực trình bày hoạt động lên lịch Cho đến bây giờ, thời gian biểu tuân thủ Vào đầu tháng năm 2010, Ủy ban Chất lượng kêu gọi điều tra việc kiểm toán gửi đến quy trình tự đánh giá Câu trả lời cho gọi sở tự nguyện, tầm quan trọng mục tiêu quy trình đánh giá xác định rõ ràng hỗ trợ quản lý hàng đầu dẫn đến thành công sáng kiến Ba điều tra ứng cử viên cho kiểm toán tự đánh giá Ủy ban Chất lượng chọn hai điều tra kiểm toán tự đánh giá Cùng với lời kêu gọi điều tra, Ủy ban Chất lượng yêu cầu Ban giám đốc sản xuất cung cấp hai chuyên gia vấn đề cho vai trò kiểm toán viên người đánh giá Hơn nữa, Ban giám đốc Phương pháp luận yêu cầu cung cấp nhà phương pháp luận cho nhiệm vụ Cuối cùng, nhóm gồm mười chuyên gia xác định với chuyên gia chất lượng Dịch vụ kiểm tốn chất lượng, nhóm khai thác để tạo thành nhóm kiểm tốn viên người đánh giá thành lập Thật vậy, rút từ nhóm đề cập, hai nhóm kiểm tốn viên ba nhóm đánh giá thành lập phù hợp với điều tra lựa chọn Ủy ban Chất lượng Mỗi đội gồm ba chuyên gia Trưởng nhóm nhà nghiên cứu Dịch vụ kiểm toán chất lượng, hỗ trợ nhà phương pháp học chuyên gia khu vực Sự phối hợp đội điều tra thực có tính đến chun mơn thành viên nhóm tránh việc chuyên gia thuộc Ban giám đốc cụ thể tham gia vào việc đánh giá điều tra thực Ban giám đốc 27 Trong nửa cuối tháng 2, họp tất người tham gia thử nghiệm tổ chức để giải thích quy trình thời gian biểu xác thử nghiệm, để thu thập ý kiến đề xuất để làm rõ nghi vấn Cuộc họp tỏ hữu ích Ví dụ, xuất cần phải có người đánh giá để có số quy tắc rõ ràng loại nhận xét mà họ đưa báo cáo đánh giá, để thực hoạt động theo cách đồng Hơn nữa, tất người tham gia thử nghiệm không yêu cầu đóng góp cho đánh giá điều tra, mà để kiểm tra quy trình cơng cụ kiểm toán tự đánh giá cuối để đánh giá khối lượng công việc, nên định chuẩn bị danh sách kiểm tra mục cần tính đến để đánh giá, ví dụ: Tính hữu ích bảng câu hỏi đánh giá điền đầy đủ để phân tích báo cáo thời gian dành cho việc phân tích tài liệu Tháng dành cho việc chuẩn bị tài liệu tiêu chuẩn (báo cáo quy trình chất lượng) nhà quản lý điều tra nhóm kiểm tốn/đánh giá có họp sơ để xếp cơng việc tương lai Theo thời gian biểu thử nghiệm, tháng định cho việc đánh giá thực tế Hai kiểm toán thực tháng 5, báo cáo với hành động cải tiến chuẩn bị Liên quan đến việc tự đánh giá, nhà quản lý điều tra gửi tới đội người đánh giá nhóm câu hỏi tự đánh giá điền vào báo cáo cuối với hành động cải tiến đề xuất vào tháng Một phiên thảo luận thẩm vấn với tất người tham gia vào giai đoạn thử nghiệm lên kế hoạch vào đầu tháng 6, Ủy ban Chất lượng họp trước cuối tháng để đánh giá báo cáo cuối kết thử nghiệm Kết luận Giai đoạn thử nghiệm cần thiết để đánh giá tồn quy trình đánh giá Đối với cơng cụ có liên quan, thử nghiệm cho phép điều chỉnh tất công cụ phát triển để đánh giá Một ảnh hưởng lớn đến câu hỏi dự kiến Trong thực tế, thử nghiệm liên quan đến quy trình sản xuất khác chun gia có trình độ khác nhau, số khiếm khuyết thiếu sót bảng câu hỏi có khả xuất Điều ngụ ý điều chỉnh thực hướng dẫn Theo hướng dẫn, thay đổi nhỏ dự kiến, chúng trải qua trình xem xét rộng so với bảng câu hỏi Cuối cùng, giai đoạn thử nghiệm cung cấp thơng tin hữu ích để xác định ưu điểm nhược điểm việc tự đánh giá so với kiểm toán truyền thống Khối lượng công việc thời gian dành cho việc thực kiểm toán - theo quan điểm kiểm toán viên quy trình kiểm tốn - thể thông tin quan trọng để định cách thực đánh giá chất lượng tương lai Istat Hoàng Linh (dịch) Nguồn: Assessing Quality through Auditing and Self-Assessment; https://q2010.stat.fi/media/presentations/session-7/brancato-et-l_signore-assessing-qualitythrough-auditing-and-self-assessment_paper.pdf 28 ... điều tra ứng cử viên cho kiểm toán tự đánh giá Ủy ban Chất lượng chọn hai điều tra kiểm toán tự đánh giá Cùng với lời kêu gọi điều tra, Ủy ban Chất lượng yêu cầu Ban giám đốc sản xuất cung cấp... DatQAM Kiểm toán Chỉ tiêu chất lượng Đo lường Các báo cáo chất lượng quy trình Hiện tại, khung đảm bảo chất lượng Istat bao gồm sở hạ tầng chắn để đánh giá chất lượng thể biện pháp chất lượng. .. lường thực thập kỷ qua Cấp độ thứ hai, việc đánh giá, bắt đầu vào tháng năm 2010 cách sử dụng quy trình tự đánh giá kiểm toán Từ “Cuốn Cẩm nang phương pháp công cụ đánh giá chất lượng liệu”, Eurostat