Tiêu chuẩn Quốc gia TCVN 4548:2009 thay thế cho TCVN 4548-1988 quy định quy tắc đánh giá tính bất thường của các kết quả quan trắc và được sử dụng để xử lý số liệu quan trắc của các biến ngẫu nhiên có phân bố chuẩn. Mời các bạn cùng tham khảo nội dung chi tiết.
TIÊU CHUẨN QUỐC GIA TCVN 4548 : 2009 THỐNG KÊ ỨNG DỤNG – LOẠI BỎ CÁC GIÁ TRỊ BẤT THƯỜNG Applied statistics – Rejection of outliers Lời nói đầu TCVN 4548 : 2009 thay cho TCVN 4548-1988; TCVN 4548 : 2009 Ban kỹ thuật tiêu chuẩn quốc gia TCVN/TC 69 Ứng dụng phương pháp thống kê biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học Công nghệ công bố THỐNG KÊ ỨNG DỤNG – LOẠI BỎ CÁC GIÁ TRỊ BẤT THƯỜNG Applied statistics – Rejection of outliers Phạm vi áp dụng Tiêu chuẩn quy định quy tắc đánh giá tính bất thường kết quan trắc sử dụng để xử lý số liệu quan trắc biến ngẫu nhiên có phân bố chuẩn Quy định chung 2.1 Giá trị quan trắc bất thường lệch cách đáng kể so với giá trị lại 2.2 Giá trị bất thường tạo mắc phải sai số thơ ghi chép, tính tốn Trong trường hợp này, khơng thuộc tổng thể với giá trị khác Do phải loại bỏ ước lượng tham số tổng thể (trung bình, phương sai ) Khi gặp giá trị bất thường, phải xem xét thận trọng trước tiên phải tìm hiểu điều kiện thu giá trị 2.3 Các quy tắc dùng tiêu chuẩn cần đến giả thuyết phân bố chuẩn biến ngẫu nhiên xét Do cần kiểm tra giả thuyết phân bố chuẩn 2.4 Các quy tắc Điều 3, 4, giống nhau, khác chỗ biết chưa biết giá trị trung bình độ lệch chuẩn tổng thể Quy tắc nêu Điều quy tắc dựa vào tỉ số độ lệch, khơng đòi hỏi tính giá trị trung bình độ lệch chuẩn Quy tắc đánh giá tính bất thường giá trị quan trắc khơng biết trung bình độ lệch chuẩn tổng thể Với mẫu thứ tự: y1 tính trung bình mẫu: độ lệch chuẩn mẫu: y2 yn Tính: Với cỡ mẫu n xác suất , dùng Bảng tra giá trị h Nếu Un h (U1 h) giá trị nghi ngờ coi bất thường cần phải loại bỏ Nếu ngược lại giá trị coi bình thường Nếu n > 25 dùng Bảng Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn giá trị trung bình chưa biết Với mẫu thứ tự: y1 y2 yn tính trung bình mẫu: đại lượng: Cho trước cỡ mẫu n xác suất Nếu tn h (t1 dùng Bảng để tra giá trị h Nếu n > 25, dùng Bảng h) giá trị yn (y1) bất thường Ngược lại chúng bình thường Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn trung bình Với mẫu thứ tự: y1 y2 yn Tính: Giá trị Vn (V1) so với giá trị h tra Bảng ứng với cỡ mẫu n xác suất Nếu Vn h (V1 h) yn (y1) xem bất thường loại khỏi mẫu Ngược lại chúng xem bình thường Quy tắc đánh giá tính bất thường giá trị quan trắc theo mô đun độ lệch chúng so với trung bình 6.1 Trong số trường hợp xử lý kết quan trắc, cần phải đánh giá tính bất thường chúng dựa vào độ lệch so với trung bình lớn h hay nhỏ h với xác suất * cho trước, khơng biết thay hs (-hs) 6.2 Trong trường hợp độ lệch chuẩn chưa biết, cần xác định: U* = max |Uk} đó: Đại lượng U* so với giá trị h tra Bảng với cỡ mẫu n xác suất * Nếu U* h yk tương ứng với U* bất thường bỏ Trường hợp ngược lại, bình thường 6.3 Khi biết độ lệch chuẩn chưa biết trung bình, xác định: t* = max |tk| đó: Đại lượng t* so với h tra Bảng với cỡ mẫu n xác suất * * Nếu t > h yk xem bất thường loại bỏ Trong trường hợp ngược lại, bình thường 6.4 Nếu độ lệch chuẩn trung bình biết, cần xác định: V* = max |Vk| đó: Đại lượng V* so với h tra Bảng tương ứng với cỡ mẫu n xác suất Nếu V* h giá trị yk bất thường loại bỏ Trường hợp ngược lại, bình thường 6.5 Vì * nên để đánh giá tính bất thường kết theo độ lệch so với trung bình, Bảng Bảng 2, giá trị xác suất * phải đọc từ phía bảng Quy tắc Dixon Với mẫu thứ tự: y1 y2 … yn Tính thống kê: Với xác suất cỡ mẫu n, tra bảng để tìm giá trị tới hạn h Nếu R1i h giá trị nghi ngờ y1 bất thường Ngược lại, bình thường Trường hợp giá trị nghi ngờ yn thống kê cần tính có dạng: Nếu nghi ngờ đồng thời có y1 yn tính: Trong trường hợp ta có quy tắc hai phía nên xác suất * = Bảng – Giá trị tới hạn h trường hợp độ lệch chuẩn Cỡ mẫu Giá trị tới hạn h với xác suất n 0,100 0,075 0,050 0,025 1,15 1,15 1,15 1,15 1,42 1,44 1,46 1,48 1,60 1,64 1,67 1,72 1,73 1,77 1,82 1,89 1,83 1,88 1,94 2,02 1,91 1,96 2,03 2,13 1,98 2,04 2,11 2,21 10 2,03 2,10 2,18 2,29 11 2,09 2,14 2,23 2,36 12 2,13 2,20 2,29 2,41 13 2,17 2,24 2,33 2,47 14 2,21 2,28 2,37 2,50 15 2,25 2,32 2,41 2,55 16 2,28 2,35 2,44 2,58 17 2,31 2,38 2,48 2,62 18 2,34 2,41 2,50 2,66 19 2,36 2,44 2,53 2,68 20 2,38 2,46 2,56 2,71 Cỡ mẫu 0,200 0,150 0,100 0,050 n * xác suất để Giá trị tới hạn h với xác suất * y y1 hay y n y lớn h s s Bảng – Giá trị tới hạn h trường hợp biết độ lệch chuẩn bình chưa biết Cỡ mẫu giá trị trung Giá trị tới hạn h với xác suất n 0,100 0,050 0,010 0,005 1,497 1,738 2,215 2,396 1,696 1,941 2,431 2,618 1,835 2,080 2,574 2,764 1,939 2,184 2,679 2,870 2,022 2,267 2,761 2,952 2,091 2,334 2,828 3,019 2,150 2,392 2,884 3,074 10 2,200 2,441 2,931 3,122 11 2,245 2,484 2,973 3,163 12 2,284 2,523 3,010 3,199 13 2,320 2,557 3,043 3,232 14 2,352 2,589 3,072 3,261 15 2,382 2,617 3,099 3,287 16 2,409 2,644 3,124 3,312 17 2,434 2,668 3,147 3,334 18 2,458 2,691 3,168 3,355 19 2,480 2,712 3,188 3,375 20 2,500 2,732 3,207 3,393 21 2,519 2,750 3,224 3,409 22 2,538 2,768 3,240 3,425 23 2,555 2,784 3,255 3,439 24 2,571 2,800 3,269 3,453 Cỡ mẫu 0,200 0,100 0,020 0,010 n Giá trị tới hạn h với xác suất Bảng – Giá trị tới hạn h trường hợp độ lệch chuẩn Cỡ mẫu * trung bình biết Giá trị tới hạn h với xác suất n 0,100 0,050 0,010 0,005 0,001 1,282 1,645 2,326 2,576 3,090 1,632 1,955 2,575 2,807 3,290 1,818 2,121 2,712 2,935 3,403 1,943 2,234 2,806 3,023 3,481 2,036 2,319 2,877 3,090 3,540 2,111 2,386 2,934 3,143 3,588 2,172 2,442 2,981 3,188 3,628 2,224 2,490 3,022 3,227 3,662 2,269 2,531 3,057 3,260 3,692 10 2,309 2,568 3,089 3,290 3,719 15 2,457 2,705 3,207 3,402 3,820 20 2,559 2,799 3,289 3,480 3,890 25 2,635 2,870 3,351 3,539 3,944 30 2,696 2,928 3,402 3,587 3,983 40 2,792 3,015 3,480 3,662 4,054 50 2,860 3,082 3,541 3,716 4,108 100 3,076 3,285 3,723 3,892 4,263 250 3,339 3,534 3,946 4,108 4,465 500 3,528 3,703 4,108 4,263 4,607 Bảng – Giá trị tới hạn h trường hợp độ lệch chuẩn Cỡ mẫu trung bình Giá trị tới hạn h với xác suất chưa biết * n 0,500 0,200 0,100 0,050 0,020 0,010 0,002 0,001 0,674 1,281 1,646 1,964 2,327 2,577 3,089 3,292 1,052 1,619 1,949 2,239 2,577 2,806 3,292 3,480 1,261 1,801 2,111 2,388 2,711 2,934 3,399 3,588 1,410 1,929 2,226 2,489 2,806 3,022 3,480 3,662 1,518 2,017 2,313 2,570 2,873 3,089 3,541 3,716 1,605 2,091 2,381 2,624 2,934 3,143 3,588 3,764 1,673 2,152 2,435 2,648 2,981 3,190 3,629 3,804 1,733 2,206 2,482 2,725 3,022 3,224 3,662 3,838 1,787 2,246 2,522 2,765 3,065 3,258 3,689 3,868 10 1,835 2,286 2,556 2,799 3,089 3,292 3,716 3,892 15 2,003 2,435 2,698 2,927 3,204 3,399 3,818 3,986 20 2,118 2,543 2,792 3,015 3,285 3,480 3,892 4,054 25 2,206 2,617 2,867 3,082 3,352 3,541 3,946 4,108 30 2,273 2,678 2,921 3,157 3,399 3,587 3,986 4,148 40 2,381 2,772 3,008 3,224 3,480 3,662 4,054 4,214 50 2,462 2,846 3,076 3,285 3,534 3,716 4,108 4,263 100 2,698 3,055 3,278 3,474 3,728 3,892 4,263 4,418 250 2,995 3,325 3,528 3,710 3,939 4,108 4,465 4,607 500 3,197 3,514 3,703 3,878 4,108 4,263 4,607 4,755 Bảng – Giá trị tới hạn ứng với quy tắc Dixon Thống kê R10 R11 Cỡ mẫu Xác suất n 0,10 0,05 0,01 0,005 0,886 0,941 0,988 0,994 0,679 0,765 0,889 0,926 0,557 0,642 0,780 0,821 0,482 0,560 0,698 0,740 0,434 0,507 0,637 0,680 0,479 0,554 0,683 0,725 R21 R22 0,441 0,512 0,635 0,677 10 0,409 0,477 0,597 0,639 11 0,517 0,576 0,679 0,713 12 0,490 0,546 0,642 0,675 13 0,467 0,521 0,615 0,649 14 0,492 0,546 0,641 0,674 15 0,472 0,525 0,616 0,647 16 0,454 0,507 0,595 0,624 17 0,438 0,490 0,577 0,605 18 0,424 0,475 0,561 0,589 19 0,412 0,462 0,547 0,575 20 0,401 0,450 0,535 0,562 21 0,391 0,440 0,524 0,551 22 0,382 0,430 0,514 0,541 23 0,374 0,421 0,505 0,532 24 0,367 0,413 0,497 0,524 25 0,360 0,406 0,489 0,516 0,20 0,10 0,02 0,01 Xác suất * Phụ lục A (tham khảo) Ví dụ ứng dụng quy tắc đánh giá tính bất thường kết quan trắc A.1 Ví dụ 1: Minh họa Điều Độ cứng cầu tháp cho sau: HB với 180 182 183 = 0,05, giá trị HB 196 có phải bất thường khơng? Ta có: 184 196 Với n = = 0,05, tra Bảng ta tìm h = 1,67 Vì Un > h nên giá trị HB 196 bất thường loại bỏ Kết luận rút với xác suất cao vì: n = = 0,025 ta có h = 1,72 A.2 Ví dụ 2: Minh họa Điều Độ cứng chi tiết cho sau: HB 178 180 184 186 197 Ta có: Do đó: Trong trường hợp Un < h (h = 1,67 với n = coi bất thường = 0,05) giá trị HB 1976 khơng thể A.3 Ví dụ 3: Minh họa Điều Người ta cho chạy thử 10 lốp ô tô mòn ghi lại số km sau: 65 000, 66 160, 65 700, 65 800, 66 500, 67 000, 64 700, 65 000, 64 000, 60 200 Độ lệch chuẩn Với mức = 970 km = 0,005 giá trị 60 200 km coi bất thường hay khơng? Ta tính: Với n = 10 = 0,005 ta có h = 3,122 t1 > h nên coi y10 = 60 200 km bất thường loại bỏ A.4 Ví dụ 4: Minh họa Điều Xét 12 van có đường kính tính milimet là: 40,00; 40,02; 39,99; 39,98; 40,00; 40,03; 39,99; 39,98; 40,01; 40,08; 40,04; 39,97 Giả sử độ lệch chuẩn = 0,024 trung bình = 40,00 Giá trị 40,08 mm có coi bất thường hay khơng? Ta có: Bằng cách nội suy tuyến tính, nhờ Bảng với n = 12 = 0,005 ta tìm h = 3,335 Vì Vn < h nên giá trị yn = 40,08 mm coi bình thường A.5 Ví dụ 5: Minh họa 6.2 Khi xác định mật độ tích điện, thu kết sau: 215, 210, 201, 217, 215, 214, 209, 217, 228 Các giá trị 201 228 bị nghi bất thường Cần đánh giá theo mô đun độ lệch so với trung bình Tính: Suy Tra Bảng 1, với n = 11 ta tìm h = 2,36 h = 2,23 ứng với xác suất 0,1 * = 0,05 * = Sau nội suy, ta có * = 0,092 với h = 2,25 Do khơng thể coi y = 228 bất thường Điều tương tự cho y = 201 A.6 Ví dụ 6: Minh họa 6.3 Ta có kết đo sau: 3,68 5,08 1,81 4,45 3,11 2,95 4,65 3,43 4,76 6,35 3,27 3,26 2,75 3,78 4,08 2,48 4,15 4,49 4,51 4,84 Độ xác phép đo đặc trưng 1,81 6,35 Ta có: = 1,00 Hãy xét tính bất thường giá trị Tra Bảng với n = 20 ta thấy t* = 2,46 ứng với xác suất giá trị 6,35 Với giá trị y1 = 1,81 kết luận tương tự > 0,20, khơng có sở để loại A.7 Ví dụ 7: Minh họa Điều Ta có giá trị quan trắc sau: 23,2 23,4 23,5 24,1 25,5 Giá trị 25,5 có phải bất thường không? Mẫu theo thứ tự tăng dần Do đó: Tra Bảng với n = 5, = 0,05 ta có h = 0,642, R10 < h = 0,642 nên giá trị 25,5 bất thường với xác suất 0,05 MỤC LỤC Lời nói đầu Phạm vi áp dụng Quy định chung Quy tắc đánh giá tính bất thường giá trị quan trắc khơng biết trung bình lệch chuẩn tổng thể độ Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn giá trị trung bình chưa biết Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn bình trung Quy tắc đánh giá tính bất thường giá trị quan trắc theo môđun độ lệch chúng so với trung bình Quy tắc Dixon Phụ lục A (tham khảo) Ví dụ ứng dụng quy tắc đánh giá tính bất thường kết quan trắc ... lệch chuẩn tổng thể độ Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn giá trị trung bình chưa biết Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn. .. thường Ngược lại chúng bình thường Quy tắc đánh giá tính bất thường giá trị quan trắc biết độ lệch chuẩn trung bình Với mẫu thứ tự: y1 y2 yn Tính: Giá trị Vn (V1) so với giá trị h tra Bảng ứng với... lớn h hay nhỏ h với xác suất * cho trước, khơng biết thay hs (-hs) 6.2 Trong trường hợp độ lệch chuẩn chưa biết, cần xác định: U* = max |Uk} đó: Đại lượng U* so với giá trị h tra Bảng với cỡ mẫu