1. Trang chủ
  2. » Kinh Tế - Quản Lý

Tiêu chuẩn Quốc gia TCVN 7113-3:2011

14 55 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Tiêu chuẩn Quốc gia TCVN 7113-3:2011 cung cấp thông tin cho việc lựa chọn các phương pháp phù hợp và thông tin về những khía cạnh của việc đo và đánh giá gánh nặng tâm thần nhằm tăng cường trao đổi thông tin giữa các bên liên quan. Mời các bạn cùng tham khảo nội dung chi tiết.

TIÊU CHUẨN QUỐC GIA TCVN 7113-3:2011 ISO 10075-3:2004 ECGÔNÔMI – NGUYÊN LÝ ECGÔNÔMI LIÊN QUAN ĐẾN GÁNH NẶNG TÂM THẦN – NGUYÊN LÝ VÀ YÊU CẦU LIÊN QUAN ĐẾN CÁC PHƯƠNG PHÁP ĐO VÀ ĐÁNH GIÁ GÁNH NẶNG TÂM THẦN Ergonomic principles related to mental workload – Principles and requirements concerning methods for measuring and assessing mental workload Lời nói đầu TCVN 7113-3:2011 hoàn toàn tương đương với ISO 10075-3:2004 TCVN 7113-3:2011 Ban kỹ thuật tiêu chuẩn quốc gia TCVN/TC 159 Ecgônômi biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học Công nghệ công bố Bộ tiêu chuẩn TCVN 7113 bao gồm tiêu chuẩn sau: - TCVN 7113:2003 (ISO 10075:1991), Nguyên lý ecgônômi liên quan đến gánh nặng tâm thần – Thuật ngữ định nghĩa chung; - TCVN 7113-2:2002 (ISO 10075-2:1996), Nguyên lý ecgônômi liên quan đến gánh nặng tâm thần – Phần 2: Nguyên tắc thiết kế; - TCVN 7113-3:2011 (ISO 10075-3:2004) Nguyên lý ecgônômi liên quan đến gánh nặng tâm thần – Nguyên lý yêu cầu liên quan đến phương pháp đo đánh giá gánh nặng tâm thần Lời giới thiệu Tiêu chuẩn quy định thơng tin kỹ thuật có liên quan nội dung việc xây dựng, tính tốn lựa chọn dụng cụ đo phục vụ việc đánh giá gánh nặng tâm thần định nghĩa đề cập TCVN 7113 (ISO 10075) TCVN 7113-2 (ISO 10075-2) Để hiểu rõ tiêu chuẩn này, cần tìm hiểu kỹ khái niệm đưa hai tiêu chuẩn TCVN 7113 (ISO 10075) TCVN 7113-2 (ISO 10075-2) Do gánh nặng tâm thần phần gánh nặng tổng thể, nên người sử dụng tiêu chuẩn cần tìm hiểu làm quen với khái niệm điều khoản trình bày TCVN 7437 (ISO 6385) Tiêu chuẩn chủ yếu cung cấp thông tin phục vụ việc phát triển dụng cụ đo mà đặc điểm kỹ thuật cần xét tới nhằm đánh giá quy trình sẵn có liên quan đến khả sử dụng dụng cụ đo phục vụ việc đánh giá gánh nặng tâm thần Tiêu chuẩn đề cập đến yêu cầu dụng cụ đo khía cạnh khác gánh nặng tâm thần, không rõ dụng cụ nên sử dụng, ví dụ: xác định thang bậc tâm lý hay phương pháp tâm sinh lý Việc lựa chọn dụng cụ sử dụng dễ dàng cung cấp thông tin phù hợp xác ECGƠNƠMI – NGUN LÝ ECGÔNÔMI LIÊN QUAN ĐẾN GÁNH NẶNG TÂM THẦN – NGUYÊN LÝ VÀ YÊU CẦU LIÊN QUAN ĐẾN CÁC PHƯƠNG PHÁP ĐO VÀ ĐÁNH GIÁ GÁNH NẶNG TÂM THẦN Ergonomic principles related to mental workload – Principles and requirements concerning methods for measuring and assessing mental workload Phạm vi áp dụng Tiêu chuẩn thiết lập nguyên lý yêu cầu việc đo đánh giá gánh nặng tâm thần, đồng thời quy định yêu cầu dụng cụ đo Tiêu chuẩn cung cấp thông tin cho việc lựa chọn phương pháp phù hợp thơng tin khía cạnh việc đo đánh giá gánh nặng tâm thần nhằm tăng cường trao đổi thông tin bên liên quan Tiêu chuẩn chủ yếu phục vụ chuyên gia thuộc lĩnh vực ecgônômi nhà tâm lý học, chuyên gia sức khỏe nghề nghiệp và/hoặc nhà sinh lý học trang bị kiến thức phù hợp, có khả sử dụng phương pháp đề cập tiêu chuẩn, việc diễn giải kết đo Các nhà chuyên mơn thuộc lĩnh vực ecgơnơmi tìm thấy thơng tin cần thiết tiến hành triển khai tính toán phương pháp đánh giá gánh nặng tâm thần Với người chuyên gia Ecgônômi người sử dụng lao động, người lao động đại diện họ, nhà quản lý nhà thiết kế hệ thống quan quản lý cơng cộng tìm thấy thơng tin hữu ích giúp định hướng việc đo đánh giá gánh nặng tâm thần, ví dụ: phương pháp sẵn có gì, tiêu chí phù hợp việc đánh giá dụng cụ đo, loại thông tin cần yêu cầu theo dõi đưa định dụng cụ phù hợp dụng cụ áp dụng CHÚ THÍCH Báo cáo kỹ thuật với thông tin chi tiết thuật ngữ cách áp dụng tiêu chuẩn có sẵn cho đối tượng người sử dụng khơng phải chuyên gia lĩnh vực ecgônômi Tiêu chuẩn cung cấp thông tin làm sở phục vụ việc lựa chọn phương pháp phù hợp tình khác Có nhiều phương pháp phù hợp dành cho mục đích khác nhau, tình mức độ chuẩn xác khác Tuy nhiên, cần phải có phương pháp đo hiệu hiệu suất Thông tin đưa tiêu chuẩn cho phép người sử dụng đánh giá phương pháp tiếp cận đo phù hợp phục vụ cho mục đích đặc biệt Sự phù hợp với điều khoản tiêu chuẩn cần phải lập thành tài liệu Tài liệu viện dẫn Các tài liệu viện dẫn sau cần thiết cho việc áp dụng tiêu chuẩn Đối với tài liệu viện dẫn ghi năm cơng bố áp dụng phiên nêu Đối với tài liệu viện dẫn không ghi năm cơng bố áp dụng phiên nhất, bao gồm sửa đổi, bổ sung (nếu có) TCVN 7437:2010 (ISO 6385:2004), Nguyên lý ecgônômi việc thiết kế hệ thống làm việc; TCVN 7113:2003 (ISO 10075:1991)1), Nguyên lý ecgônômi liên quan đến gánh nặng tâm thần – Phần 1: Các thuật ngữ định nghĩa chung; TCVN 7113-2:2002 (ISO 10075-2:1996), Nguyên lý ecgônômi liên quan đến gánh nặng tâm thần – Phần 2: Các nguyên lý thiết kế Thuật ngữ định nghĩa Tiêu chuẩn sử dụng thuật ngữ định nghĩa có TCVN 7437:2010 (ISO 6385:2004), TCVN 7113:2003 (ISO 10075:1991), TCVN 7113-2:2002 (ISO 10075-2:1996) thuật ngữ sau: 3.1 Độ khách quan (objectivity) Mức độ mà kết thu từ việc áp dụng dụng cụ độc lập với người sử dụng dụng cụ, phân tích diễn giải số liệu 3.2 Độ tin cậy (reliability) Độ xác mà phương pháp dụng cụ đo mà cần đo 1) Nếu TCVN 7113:2003 (ISO 10075:1991) sửa đổi, tiêu chuẩn sốt xét CHÚ THÍCH Độ tin cậy đánh độ đồng nhất, tính quán độ ổn định phương pháp đo, trường hợp có từ hai hay nhiều người đánh giá, xem độ tin cậy người tham gia đánh giá Độ tin cậy có liên quan mật thiết đến độ khái quát 3.2.1 Độ đồng (homogeneity) Mức độ mà tất phần mục quy trình đo đặc tính 3.2.2 Độ quán (consistency) Mức độ mà phần khác hình thức song song dụng cụ đo dẫn tới kết tương đồng, ví dụ: cách chia nhỏ tỷ lệ làm hai hay nhiều phần áp dụng lúc hai nhiều hình thức song song dụng cụ 3.2.3 Độ ổn định (stability) Mức độ mà (thời gian thường bị trễ) tái lập quy trình đo cho kết tương đồng 3.2.4 Độ tin cậy người đánh giá (inter-rater-reliability) Mức độ mà hai hay nhiều người đánh giá cho kết tiến hành đo đặc tính 3.3 Độ (validity) Mức độ mà phương pháp hay dụng cụ đo theo dự định CHÚ THÍCH Độ đánh giá thơng qua tính đắn thừa nhận lúc (ví dụ: việc cơng nhận kết với kết quy trình biết áp dụng đồng thời để đo khía cạnh dự định), thẩm định tính đắn liên quan theo tiêu chí (ví dụ: việc thiết lập mối liên hệ với tiêu chí liên quan), tính đắn theo hệ số (ví dụ: cách minh họa quy trình đo đánh giá khía cạnh cụ thể kết cấu) 3.4 Độ nhạy (sensitivity) Mức độ mà phương pháp dụng cụ có khả phân biệt mức độ khác đối tượng đo, ví dụ: mức độ khác căng thẳng mệt mỏi tâm thần 3.5 Độ chẩn đoán (diagnosticity) Mức độ mà phương pháp dụng cụ có khả phân biệt loại nguồn gây gánh nặng tâm thần khác nhau, ví dụ: yêu cầu giác quan ảnh hưởng nó, ví dụ: phân biệt mệt mỏi, buồn tẻ, chán nản giảm tỉnh táo 3.6 Độ khái quát (generalizability) Mức độ mà điểm đo (đơn vị đo) khái quát thành tập hợp tình xác định (các điều kiện căng thẳng/stress) và/hoặc quần thể công nhân lao động 3.6.1 Độ khái quát tương đối (relative generalizability) Mức độ mà thứ bậc điều kiện gánh nặng cơng việc/con người, ví dụ: từ thấp đến cao, tái lập (như định liên quan đến vị trí tương đối) 3.6.2 Độ khái quát tuyệt đối (absolute generalizability) Mức độ mà stress/căng thẳng tuyệt đối liên quan đến điều kiện làm việc/con người cụ thể không liên quan đến stress/căng thẳng gắn với điều kiện làm việc/con người khác tái lập (tương tự định liên quan đến giá trị tuyệt đối) CHÚ THÍCH Xem Phụ lục A để tìm hiểu rõ độ khái quát 3.7 Độ hữu dụng (usability) Chừng mực mà người sử dụng sản phẩm nhằm đạt mục tiêu định với phù hợp, hiệu hài lòng điều kiện định [ISO 9241-11:1998, định nghĩa 3.1] CHÚ THÍCH Trong tiêu chuẩn này, sản phẩm coi dụng cụ 3.8 Các giá trị tới hạn (critical values) Tiêu chuẩn tham khảo để ước lượng điểm đo và/hoặc định đạt hay khơng đạt CHÚ THÍCH Việc thiết lập giá trị tới hạn hàm ý điểm đo dụng cụ đo quan tâm làm cho định hồn tồn mang độ xác cao Ngồi ra, cần nói rõ điều kiện giá trị tới hạn đắn (ví dụ: phương pháp đo sau thử nghiệm v.v ) Đo đánh giá gánh nặng tâm thần 4.1 Nguyên lý chung Gánh nặng tâm thần khái niệm đơn đơn chiều, việc đánh giá đo gánh nặng tâm thần quy trình cố định Khơng có cách thức riêng biệt tốt để áp dụng cho việc đánh giá gánh nặng tâm thần cách phù hợp để tiến hành đo đánh giá gánh nặng tâm thần lại phụ thuộc vào mục đích đánh giá, mà mục đích u cầu đánh giá khía cạnh khác gánh nặng tâm thần, áp dụng kỹ thuật đánh giá mức độ xác khác Do đó, mơ hình đánh giá gánh nặng công việc tiêu chuẩn cấu trúc ba chiều có tính đến: – Các khía cạnh khác gánh nặng lao động tâm thần, ví dụ: stress tâm thần, căng thẳng tâm thần, mệt mỏi tâm thần v.v – Các kỹ thuật đo khác nhau, ví dụ: phân tích nhiệm vụ, đánh giá thực hiện, đánh giá chủ quan đo số tâm sinh lý, – Các mức độ xác khác nhau, ví dụ: đo theo mục đích, sàng lọc mức chuẩn xác phương pháp đo Theo TCVN 7113:2003 (ISO 10075:1991), khía cạnh cần phân biệt stress tâm thần, căng thẳng tâm thần ảnh hưởng căng thẳng tâm thần cá thể Việc đánh giá đo phải thực theo bước khác theo quy trình stress-căng thẳng ảnh hưởng, điều có nghĩa là: – Đánh giá điều kiện làm việc gây stress tâm thần, tương tự việc thiết kế đánh giá hệ thống làm việc; – Đánh giá đo căng thẳng tâm thần tạo stress tâm thần, ví dụ: để đánh giá khả chịu đựng căng thẳng; – Đo ảnh hưởng căng thẳng xuất người lao động, ví dụ: mệt mỏi, buồn tẻ, chán nản giảm tập trung; Có thể ảnh hưởng tới sức khỏe an toàn, phúc lợi, khả làm việc suất người lao động Các mục đích khác yêu cầu hướng tiếp cận và/hoặc mức độ xác khác nhau, ví dụ: phân tích rủi ro cơng nghệ nguy hiểm ngược lại với khảo sát nhằm mục đích đưa nhìn tổng quan hệ thống làm việc khác Tiêu chuẩn không quy định mức độ xác phải áp dụng thực chất vấn đề mục đích đo điều kiện đo, phụ thuộc vào yếu tố quy định pháp luật quy định trí thơng qua, xem xét chi phí-lợi ích Các phương pháp áp dụng cho việc đo đánh giá gánh nặng tâm thần, không phụ thuộc vào kỹ thuật áp dụng, phân loại tiêu chuẩn theo mức độ xác thấp, trung bình cao: – Mức độ 1: cho mục đích đo xác Mục đích việc đánh giá gánh nặng tâm thần mức độ xác cao thu thơng tin đáng tin cậy đắn chất nguồn gây gánh nặng tâm thần mức tải nhằm đánh giá cách tối ưu hóa điều kiện làm việc Các phương pháp áp dụng mức độ chủ yếu sử dụng chuyên gia như: nhà tâm lý học, ecgônômi, chuyên gia sức khỏe nghề nghiệp và/hoặc nhà sinh lý học đào tạo kiến thức tương ứng, có khả sử dụng phương pháp đề cập tiêu chuẩn, việc diễn giải kết – Mức độ 2: cho mục đích đo sàng lọc Phép đo thực mức độ đưa độ xác trung bình hầu hết sử dụng cho mục đích sàng lọc mục đích đòi hỏi độ xác cao so với phương pháp đo mang tính định hướng, ví dụ: vấn đề gánh nặng tâm thần lường trước nơi mà nguyên nhân gánh nặng tâm thần khơng phù hợp phải xác định Các quy trình sử dụng mức độ có độ tin cậy giá trị giải thích cao hơn, nên rõ cần sử dụng tới phép đo nơi để chỉnh sửa – Mức độ 3: cho mục đích định hướng Các phương pháp mức độ cho phép người sử dụng thu thập thông tin liên quan đến gánh nặng tâm thần độ xác thấp Các phương pháp cung cấp thông tin chung điều kiện làm việc, trạng thái chủ quan tâm sinh lý người lao động liên quan đến gánh nặng tâm thần, mà không tập trung mức vào nguyên nhân Thông tin mức độ cho phép ngăn chặn ảnh hưởng tiêu cực thông qua việc đưa định quản lý mức thực thay đổi công việc và/hoặc phương pháp làm việc điều kiện làm việc Việc đo mức độ thường bị giới hạn phép đo theo định hướng, ví dụ: liên quan đến việc đo thơ (với độ xác tin cậy mức vừa phải) việc phân tích cơng việc, đánh giá chủ quan khả chấp nhận điều kiện làm việc trạng thái chủ quan khía cạnh gánh nặng tâm thần Để làm rõ mức độ xác dụng cụ sử dụng, cần xác định rõ đối tượng đo Cần rõ đối tượng đo người đặc trưng Nếu đối tượng dự định đo cá nhân, thuộc tính tâm lý phải đánh giá xác định rõ việc đánh giá người Trường hợp đối tượng chủ định đo đặc trưng mang tính chất tình thuộc tính tâm lý liên quan đến việc đánh giá điều kiện Điều mơ tả chi tiết tình đánh giá độ khái quát (xem 4.2.7) Để làm rõ mức độ xác dụng cụ sử dụng, cần có phân biệt dựa phương pháp đo vào điểm số/lần quan sát đơn lẻ hay điểm số/lần quan sát trung bình Tất quy trình đánh giá chắn tạo lỗi đo lỗi giảm thiểu cách lấy mức trung bình lượng điểm số/lần quan sát Một dụng cụ đạt yêu cầu mức định hướng cho điểm số/quan sát đơn lẻ đạt yêu cầu mức sàng lọc dành cho điểm/quan sát trung bình số điểm thích hợp sử dụng Điểm số/lần quan sát yêu cầu để đạt mức độ xác cao cần xác định Một dụng cụ yêu cầu đánh giá gánh nặng tâm thần phải chứng minh độ việc đánh giá khía cạnh mà độ yêu cầu phạm trù đo có yêu cầu độ phải xác định rõ (ví dụ: mệt mỏi tâm thần đơn điệu) Nếu độ yêu cầu bao gồm nhiều khía cạnh đánh giá tài liệu độ phải bao gồm chứng cho lĩnh vực đo Nhiều kỹ thuật khác áp dụng việc đánh giá gánh nặng tâm thần, với kỹ thuật phù hợp dành riêng cho số phạm trù đo định Các kỹ thuật sau áp dụng trường hợp riêng biệt: – Đo sinh lý: phương pháp cung cấp thông tin trạng thái sinh lý người lao động điều kiện làm việc định; – Đánh giá chủ quan theo thang điểm: phương pháp cung cấp thông tin việc làm người lao động đánh giá cách chủ quan mặt khác gánh nặng tâm thần vị trí làm việc, ví dụ: sử dụng thang đo tâm lý họ cảm thấy điều kiện làm việc mình; – Đánh giá thực hiện: phương pháp đưa khả đánh giá tâm thần người hoạt động tâm trí điều kiện lao động định, ví dụ: để đánh giá cản trở biến đổi hoạt động ảnh hưởng gánh nặng tâm thần; – Phân tích cơng việc nhiệm vụ: phương pháp đánh giá yếu tố công việc, điều kiện lao động thể lực tâm lý xã hội, điều kiện môi trường cách thức tổ chức quy trình làm việc coi nguồn gây gánh nặng tâm lý Các phương pháp khác cần phải đạt mức độ tin cậy khác nhau, ví dụ: bảng hỏi ngắn phù hợp phương pháp đo mức độ định hướng, ngược lại để chứng minh hệ thống thiết kế khơng gây tình trạng đơn điệu, cần yêu cầu tỷ lệ với độ tin cậy phù hợp với mục đích đề Để đảm bảo cho hệ thống tới hạn an toàn hệ thống có nguy chống lại ảnh hưởng tiêu cực gánh nặng tâm thần, cần có độ tin cậy độ cao Những dụng cụ đo không đảm bảo hợp lệ cần phải cải tiến Từ đó, phương pháp với tiêu đo tâm lý cao áp dụng phục vụ mục đích kể Tính xác không xác định kỹ thuật đo mà đặc điểm mở rộng đo thuộc tính tâm lý, ứng dụng tương ứng phương pháp dụng cụ Nếu phương pháp đo phải áp dụng không đáp ứng hết u cầu, cần tham khảo ý kiến chun mơn phép đo liên quan tới lĩnh vực gánh nặng tinh thần: – Để đánh giá rủi ro liên quan đến việc sử dụng dụng cụ không thực hoàn chỉnh, – Để đạt đánh giá kết hợp lý Tuy nhiên, việc chọn lựa dụng cụ phù hợp chịu ảnh hưởng quy định luật pháp quy định thông qua, cân nhắc chi phí-lợi ích 4.2 Các u cầu quy trình 4.2.1 Khái quát Việc đánh giá độ khách quan, độ tin cậy, độ đúng, độ nhạy độ chẩn đoán phương pháp đo thực phương pháp phù hợp mang tính khoa học chấp nhận Tiêu chuẩn không cách thức coi phù hợp để tuân theo Tuy nhiên, cần đưa báo cáo rõ ràng chiến lược áp dụng phục vụ việc đánh giá đặc tính tâm lý phương pháp đo nhằm cho phép đánh giá tương xứng quy trình chọn lựa kết đạt Trong thực tế, q trình cơng nhận độ dựa vào mơ hình đo cơng nhận, ví dụ: giả sử mơ hình đo xác suất u cầu đo đặc tính tâm lý xác suất, ngược lại phương pháp tiếp cận độ khái quát u cầu ước lượng tính tốn cấu phần khác tính tốn hệ số độ khái quát (xem 4.2.7) Không tồn phương thức coi tối ưu việc đánh giá đặc tính tâm lý dụng cụ, điều phụ thuộc vào phần ngun lý cấu tạo bên dụng cụ Tuy vậy, hướng tiếp cận độ khái quát tính đến phù hợp hiệu quy trình tính tốn thông số độ khách quan, độ tin cậy, tính hợp lệ, độ nhạy độ chẩn đốn với nỗ lực phù hợp Trong trường hợp nào, quy trình cần mơ tả theo cách cho phép lặp lại việc đánh giá đặc điểm đo nghiệm tinh thần 4.2.2 Độ khách quan Để dẫn chứng tài liệu độ khách quan phương pháp đo phải cung cấp chứng người thực việc đánh giá đo không gây ảnh hưởng tới điểm số/các quan sát Kết tốt đạt có nhiều hai người sử dụng phương pháp đo thực phép đo đồng thời phân tích liệu phương pháp phân tích theo phương sai thích hợp (ANOVA) ảnh hưởng chủ yếu tương tác người sử dụng dụng cụ Kết ảnh hưởng tương ứng không tồn tại, thành phần khác tính tốn khơng lệch nhiều so với điểm Khi tiến hành kiểm tra diện ảnh hưởng này, cần đảm bảo ảnh hưởng thực tế tồn người tiến hành việc đánh giá/đo khơng bị bỏ sót Do đó, xác suất sai lệch nên đặt mức 0,05 xác suất sai lệch nên đặt mức tối thiểu 0,20 Nếu ảnh hưởng người tiến hành đánh giá/đo khơng loại bỏ phương pháp đo không coi mang độ khách quan 4.2.3 Độ tin cậy Độ tin cậy đánh giá phương pháp tương quan, người lao động và/hoặc tình xem đối tượng hoạt động đo, việc xác định vị trí tương đối (trong nhóm đo tổng thể) phải mơ lại xác Hệ số tương quan không cung cấp thông tin khác biệt liệu thiết lập mức độ tuyệt đối Có thể thu thập thơng tin cách sử dụng phương pháp ANOVA, đồng thời cho phép tính tốn hệ số qn, ví dụ: thơng qua hệ số tương quan bên lớp Tính tốn mối tương quan, ví dụ: người đánh giá cho danh mục dẫn tới mối tương quan cao người tham gia đánh giá trí nhận xét mang tính tương đối tương tự ước lượng mang tính xác độ tin cậy, người đánh giá đưa giá trị hồn tồn khác trình tiến hành đánh giá Sử dụng phương pháp tiếp cận ANOVA thu mối tương quan lại ảnh hưởng người tham gia đánh giá Sự đồng và/hay quán dụng cụ đo thường đánh giá thông qua mối tương quan cá thể tồn cá thể, thơng qua mối tương quan hình thức tương đương phương pháp đo Các mơ hình chặt chẽ phép đo yêu cầu bước kiểm tra nghiêm ngặt hơn, ví dụ: phép phân tích theo biểu đồ thang bậc (scalogram) Các phép phân tích nhân tố, cho thấy phương pháp đo đơn chiều, sử dụng để chứng minh cho đồng dụng cụ 4.2.4 Độ Độ quy trình đo cần chứng minh độ đồng thời với quy trình khác có độ chứng minh cho việc sử dụng có mục đích Nếu khơng có quy trình kể trên, độ cần chứng minh thử nghiệm cách thay đổi điều kiện/nhiệm vụ giao để dẫn tới tượng/những ảnh hưởng đo, ví dụ: thay đổi số lượng stress công việc nguyên nhân dẫn tới mức độ mệt mỏi khác nhau, mệt mỏi đối tượng việc đo Trong trường hợp này, cường độ stress lao động (ví dụ: độ khó thao tác lao động) khoảng thời gian phơi nhiễm phải thay đổi, khác biệt đơn cường độ hay thời gian tiến hành không đủ để minh họa cho độ Một loạt nhiệm vụ phù hợp (cả điều kiện thực tế hay phòng thí nghiệm) cần áp dụng, với số lần thực nhiệm vụ tương ứng nhằm tạo ảnh hưởng phụ tương tác lẫn CHÚ THÍCH Tập hợp nhiệm vụ tương ứng tham khảo AGARD 2) STRES (tập hợp nhiệm vụ tiêu chuẩn hóa dùng cho nghiên cứu yếu tố gây stress môi trường) [1], CTS (tập hợp nhiệm vụ tiêu chuẩn) [4] Nếu căng thẳng cảm xúc ảnh hưởng gây căng thẳng thuộc phạm vi đo nhóm với mức độ khác stress cơng việc liên quan đến cảm xúc áp dụng để chứng minh cho độ 4.2.5 Độ nhạy Độ nhạy dụng cụ cần chứng minh cách thử nghiệm tái lại biến đổi có kiểm sốt gánh nặng tâm thần có tính đến cường độ, thời gian kéo dài tương tác chúng, ví dụ: số đề mục ghi nhớ, số thao tác tâm thần thực giới hạn thời gian nhiệm vụ phải thực Ở điều kiện thực tế, khác biệt tạo cách chọn lựa điều kiện chứng minh đánh giá số chuyên gia với trí cao nhằm tạo mức độ khác biệt stress tâm thần liên quan đến công việc Các cấp độ áp dụng nghiên cứu độ nhạy đại diện cho tình sử dụng định dụng cụ đo 4.2.6 Độ chẩn đoán Độ chẩn đoán dụng cụ cần chứng minh thông qua phân biệt dạng gánh nặng tâm thần khác nhau, ví dụ: phạm vi hiệu căng thẳng tâm thần phân biệt 2) Nhóm tư vấn nghiên cứu phát triển vũ trụ mệt mỏi, buồn tẻ, nhàm chán cảnh giác Tương tự áp dụng có tính đến u cầu điều kiện stress công việc đặc thù Việc kiểm tra độ chẩn đốn tiến hành thử nghiệm thông qua điều kiện khác điều kiện thực tế khác cách chọn lựa điều kiện biết tạo dạng khác stress tâm thần liên quan đến công việc chuyên gia giàu kinh nghiệm tiến hành phương pháp phân tích nhiệm vụ đánh giá phù hợp Các dạng gánh nặng áp dụng nghiên cứu độ chẩn đốn cần đại diện cho tình chủ định sử dụng dụng cụ đo 4.2.7 Độ khái quát Nếu phương pháp tiếp cận khái quát hóa áp dụng, độ khái quát cần chứng minh thông qua việc sử dụng phương pháp tiếp cận thử nghiệm giống thử nghiệm, điều kiện phòng thí nghiệm và/hoặc thực địa, với thay đổi điều kiện khác nhau, biến đổi điển hình lĩnh vực quan tâm phép đo (ví dụ: điểm đo stress tâm thần liên quan đến công việc), điều kiện biết đến nhằm mục đích đại diện góp phần tạo sai số tiềm tàng phép đo liên quan, ví dụ: thời gian ngày, số người tham gia, điều kiện trước chịu gánh nặng, kinh nghiệm Việc đánh giá độ khái quát thường bao gồm việc ước tính thành phần biến đổi phép phân tích phương sai, tùy vào mơ hình cấu trúc điểm số, ví dụ: phân chia thành nguồn biến đổi khác Do vậy, mơ hình đo trước tiên phải xác định coi sai số biến động mục tiêu Các hệ số độ khái quát sau tính tốn cách liên hệ biến động mục tiêu với biến động sai số liên quan 4.2.8 Độ hữu dụng 4.2.8.1 Khái quát Các phương pháp đo phải phù hợp có hiệu quả, đáp ứng nhu cầu người sử dụng, có nghĩa đạt mức độ xác phạm vi đo dự định, với nguồn lực tối thiểu yêu cầu lực hướng đến kết mong đợi 4.2.8.2 Sự phù hợp Sự phù hợp dụng cụ đo xác định thơng qua phép đo thuộc tính tâm lý, đặc biệt độ tin cậy, độ đúng, độ nhạy độ chẩn đốn dụng cụ 4.2.8.3 Độ hiệu Độ hiệu quy trình đo khái niệm mang tính tương đối, phụ thuộc vào độ hiệu nguồn lực cần thiết để tiến hành phép đo, phân tích diễn giải kết Các quy trình đo với độ hiệu so sánh phải so sánh theo nỗ lực yêu cầu để thực phép đo theo quy trình Theo khơng có yêu cầu định lượng chung quy định 4.2.8.4 Sự thỏa mãn Ngoài việc phải phù hợp độ hiệu quy trình đo phải thỏa mãn yêu cầu người sử dụng Những phàn nàn quy trình đo dấu hiệu khơng thỏa mãn khơng có phàn nàn chưa hẳn hiểu thỏa mãn Do đó, việc đánh giá quy trình đo quan trọng yêu cầu người sử dụng để lưu hồ sơ kết với mục đích bước hồn thiện dụng cụ đo Tuy nhiên, xác định yêu cầu định lượng chúng phụ thuộc vào mong muốn người sử dụng (khác nhau) tình khác 4.3 Các yêu cầu định lượng dụng cụ đo 4.3.1 Khái quát Nói chung, dụng cụ phải lựa chọn để thỏa mãn tiêu chuẩn đo thuộc tính tâm lý thiết lập tiêu chuẩn với mục đích cho trước nhu cầu sử dụng định 4.3.2 Các yêu cầu liên quan đến độ khách quan Kết đo phải hoàn toàn độc lập với tác động đáng kể người tiến hành đo, phân tích báo cáo kết thực đánh giá Điều phải chứng minh nghiên cứu độ đúng, ví dụ: phép phân tích phương sai khơng có tác động có ảnh hưởng qua lại người tiến hành đánh giá 4.3.3 Các yêu cầu liên quan đến độ tin cậy Ít phải đạt hệ số đồng nhất quán (ví dụ: xác định hệ số Cronbach α độ đồng tương quan dạng thức song song cho tính quán) Bảng mức độ khác phép đo CHÚ THÍCH Yêu cầu độ tin cậy 0,7 (khi đo hệ số tương quan) tương đương với tỷ lệ khoảng 50% sai số 50% biến động mục tiêu, đặt yêu cầu tối thiểu quy trình đo đủ tin cậy Độ tin cậy người tiến hành đánh giá yêu cầu giá trị độ tin cậy đồng Độ ổn định phụ thuộc vào khoảng thời gian tạm ngưng phép đo kiện/chuyển biến xen kẽ Do độ ổn định phép đo khoảng thời gian đo phải so sánh với yêu cầu nêu độ đồng quán (ngoại trừ thang điểm chủ quan, yêu cầu áp dụng cho dạng song song) 4.3.4 Các yêu cầu liên quan đến độ Trong việc xác định độ đồng thời (có nghĩa hai nhiều cách đo song song độc lập, ví dụ: hai thang đo tâm lý khác nhau) phải đạt hệ số hợp lệ đưa Bảng Những giá trị liên quan đến số liệu đo bước trình ảnh hưởngcăng thẳng-stress (xem TCVN 7113 :2003 [ISO 10075 :1991]) kỹ thuật đo Việc tính tốn hệ số hợp lệ qua bước trình ảnh hưởng-căng thẳng-stress hình thức độ dự báo cho kết hệ số hợp lệ thấp so với việc tính bước Tuy nhiên, áp dụng giới hạn độ Nếu yêu cầu độ yếu tố (factorial) dụng cụ đa chiều tương quan yếu tố/thang yếu tố phải < 0,4 Nếu độ yêu cầu nhiều bước quy trình ảnh hưởng-stress-căng thẳng, phải chứng minh cho toàn bước kể với giá trị hợp lệ riêng biệt cho trước 4.3.5 Các yêu cầu độ nhạy Các phương pháp đo phải có khả phân biệt nhiều tốt mức độ khác gánh nặng công việc thuộc phạm vi dự định quy trình ảnh hưởng-stress-căng thẳng, ví dụ: mức độ khác độ khó nhiệm vụ từ CTS [4] hay dụng cụ AGARD STRES [1], không trạng thái cực đoan Một quy trình phân biệt số lượng lớn mức phạm vi đo dự định cho độ nhạy cao (có nghĩa độ nhạy cao cho phép phân biệt nhiều trạng thái hơn) Bảng cho thấy số mức phân biệt độ xác 4.3.6 Các u cầu độ chẩn đốn Các phương pháp đo phải có khả phân biệt nguồn stress khác loại tác động khác căng thẳng tâm thần, ví dụ: nhiệm vụ khác dụng cụ AGARD STRES Do vậy, quy trình đo phải đặc trưng cho phạm vi đo dự định không bị ảnh hưởng phạm vi khác Tương quan với phạm vi khác phải mức thấp (ví dụ: mệt mỏi chán nản) Các tương quan > 0,40 cho thấy chồng chéo đáng kể thiếu độ chẩn đốn Bảng cho thấy tương quan yêu cầu cho mức độ xác Đối với việc chứng minh độ chẩn đoán, dụng cụ phải áp dụng trường hợp có nhiều loại gánh nặng lao động khác (ví dụ: nhiều loại điều kiện gây stress khác nhau, nhiều loại ảnh hưởng khác nhau), phải cho thấy dụng cụ khía cạnh gánh nặng lao động dự định áp dụng Một quy trình phổ biến để chứng minh độ chẩn đốn phép tiếp cận đa đặc điểm, đa phương pháp, gồm nhiều phương pháp đo áp dụng cho phạm vi đo đa dạng độ chẩn đoán thể mối tương quan cao phạm vi đo so với tương quan phạm vi đo khác 4.3.7 Các yêu cầu liên quan đến độ khái quát Nếu sử dụng cách tiếp cận lý thuyết–G, nghiên cứu độ khái quát (các nghiên cứu-G) phải đại diện cho tình sử dụng dự định, có nghĩa tất điều kiện có liên quan đến tình đo phải đại diện nghiên cứu phép ước tính sai lệch liên quan tương tự độ khái quát điểm số mục tiêu Độ tin cậy theo phương pháp quan điểm-G đòi hỏi độ khái quát cao cho điểm số tổng thể, có tính đến điều kiện đo khác (về thời gian, hạng mục, tính lặp lại ) Do vậy, hệ số G đưa Bảng cho điểm tổng thể phải đạt cho mức tương ứng từ mức đến mức Sự xác nhận tính đắn đồng thời sử dụng phương pháp khác dự định đo đối tượng theo phương pháp quan điểm-G, yêu cầu chứng minh hệ số tải cao tất dụng cụ với đối tượng đo (điểm số tổng thể và/hoặc điểm số hỗn hợp) phép phân tích đa biến Tính đắn giả định chứng minh hệ số -G cao, áp dụng cách tiếp cận thử nghiệm nghiêm ngặt Các hệ số G thể Bảng phải đạt mục tiêu Để chứng minh độ nhạy, phải phân biệt số lượng mức cho Bảng Điều đòi hỏi độ khái quát cao tất mức độ phân biệt Ngoài ra, phải chứng minh mức độ phân biệt cách xác (khơng mức độ cực đoan, từ mức độ trở lên tiến hành phân biệt) cách đưa khoảng tin cậy 95% cho mức độ Đối với việc chứng minh độ chẩn đoán, dụng cụ đo nên áp dụng theo nhiều tình đa dạng khác điều kiện khác dạng gánh nặng lao động riêng biệt Sẽ phải có hệ số G xác định Bảng dụng cụ đo áp dụng tình hay điều kiện thí nghiệm dạng gánh nặng lao động mà dụng cụ đo Nếu dụng cụ áp dụng điều kiện khác hệ số G phải thấp (ví dụ: gần điểm 0) Sử dụng thiết kế đa phương pháp phép phân tích đa chiều, đạt gánh nặng hệ số cao phạm vi dự định đo tất dụng cụ dự định biết để đo phạm vi này, ngược lại đạt gánh nặng gần điểm dụng cụ dự định để đo phạm vi khác dụng cụ liên quan đến phạm vi mà khơng dự định sử dụng để đo 4.3.8 Tóm tắt yêu cầu định lượng Bảng đưa tóm tắt yêu cầu định lượng, sử dụng lý thuyết kiểm tra kinh điển Bảng đưa thông tin yêu cầu cho cách tiếp cận lý thuyết -G Bảng – Yêu cầu định lượng quy trình đo mức xác khác sử dụng cách tiếp cận mang tính lý thuyết kiểm tra kinh điển Mức xác phục vụ mục đích đo xác Độ khách quan Độ tin cậy Độ Độ nhạy Độ chẩn đốn Khơng có tác động ≥ 0,9 ≥ 0,5 ≥ mức < 0,10 phục vụ mục đích sàng Khơng có tác động lọc ≥ 0,8 ≥ 0,4 ≥ mức < 0,20 phục vụ mục đích định Khơng có tác động hướng ≥ 0,7 ≥ 0,3 ≥ mức < 0,40 Bảng – Yêu cầu định lượng quy trình đo mức xác khác sử dụng cách tiếp cận - G mang tính lý thuyết Các hệ số G Mức xác Độ khách quan Độ tin cậy Độ Độ nhạy Độ chẩn đốn phục vụ mục đích đo xác ≥ 0,9 ≥ 0,9 ≥ mức ≥ 0,90 phục vụ mục đích sàng lọc ≥ 0,8 ≥ 0,8 ≥ mức ≥ 0,80 phục vụ mục đích định hướng ≥ 0,7 ≥ 0,7 ≥ mức ≥ 0,70 Trường hợp sẵn dụng cụ đo đạt tiêu chí trên, cần phải nghiên cứu phát triển dụng cụ Trước đó, phương pháp bảo đảm tiêu đo tâm lý cao cần sử dụng (xem 4.1) Trong trường hợp nào, dụng cụ với độ tin cậy < 0,5 khơng sử dụng CHÚ THÍCH u cầu Bảng Bảng không áp dụng cho hoạt động đánh giá rủi ro theo quy định 4.4 Các yêu cầu hồ sơ tài liệu 4.4.1 Các yêu cầu hồ sơ tài liệu việc xây dựng (thiết kế) dụng cụ đo gánh nặng tâm thần Hồ sơ tài liệu đề cập đến việc xây dựng dụng cụ nhằm mục đích đo gánh nặng tâm thần phải bao gồm thông tin sau: - Năm xây dựng; - Tên tư cách người xây dựng (thiết kế) dụng cụ; - Phạm vi đo dự kiến (ví dụ: stress tâm thần, căng thẳng tâm thần, mệt mỏi tâm thần, xem TCVN 7113 :2003 [ISO 10075 :1991]); - Mức độ xác dụng cụ tiêu liên quan đến độ tin cậy, độ đúng, độ nhạy độ chẩn đoán; - Cơ sở lý thuyết phương pháp tiếp cận đo; - Số người tham gia/điều kiện/những vấn đề chung mà phương pháp đo dự định thực hiện; - Số người tham gia/điều kiện/những vấn đề chung mà tiêu đo tâm lý xác định; - Các đặc điểm đo tâm lý dụng cụ, ví dụ: độ tin cậy, hợp lệ, hệ số-tính khái quát; - Thiết kế nội dung nghiên cứu để xác định đặc tính đo tâm lý; - Các nhiệm vụ/điều kiện (và biến đổi chúng) áp dụng để xác định độ đúng; - Quá trình làm việc nghỉ giải lao (và trình tự chúng) sử dụng để xác định độ đúng; - Các yêu cầu/bắt buộc liên quan đến điều kiện tiến hành đo; - Các yêu cầu/bắt buộc liên quan đến thiết bị sử dụng; - Các yêu cầu/bắt buộc liên quan đến việc đào tạo trình độ nhân lực tiến hành đo (ví dụ: nhà tâm lý học, ecgônômi, sinh lý học, người quản lý, chuyên gia sức khỏe nghề nghiệp v.v…); - Các tiêu chuẩn viện dẫn, có, dành cho người tham gia, nhiệm vụ toàn điều kiện; - Các quy trình/điều kiện phải tuân theo tiến hành đo; - Các quy trình/điều kiện phải tuân theo phân tích liệu; - Các quy trình/điều kiện phải tuân theo diễn giải liệu; - Ước tính nguồn lực (thời gian, người, thiết bị) cần thiết để tiến hành phép đo; - Tỷ lệ trả lời mẫu thử bảng hỏi ; - Mơ tả quy trình phát triển, bao gồm kết từ việc đánh giá nghiên cứu hiệu suất dụng cụ thỏa mãn người sử dụng dụng cụ đó; - Cung cấp thơng tin u cầu điền đầy đủ vào danh mục kiểm tra Phụ lục A 4.4.2 Các yêu cầu hồ sơ tài liệu báo cáo số liệu đo đánh giá gánh nặng tâm thần Báo cáo đo phải bao gồm thơng tin sau: - Mục đích đo; - Mô tả dụng cụ đo [bao gồm mô tả tóm tắt sở lý thuyết, phạm vi đo (ví dụ: stress tâm thần, căng thẳng tâm thần, mệt mỏi tâm thần), mức độ xác]; - Tên cấp thức người chịu trách nhiệm tiến hành đo; - Ngày, tháng tiến hành đo; - Số lượng, độ tuổi, giới tính kinh nghiệm người tham gia người lao động đối tượng coi điều kiện hoạt động đo (mô tả mẫu kiểm tra); - Mô tả tỷ lệ trả lời đại diện (các) nhóm trả lời bảng hỏi; - Các biện pháp đảm bảo độ khách quan quy trình đo; - Các biện pháp đảm bảo giấu tên/giữ bí mật (khi áp dụng được); - Các biện pháp để phép công bố thơng tin; - Hồn thiện danh mục kiểm tra Phụ lục B; - Mơ tả quy trình đo; - Mô tả điều kiện gánh nặng lao động (nơi làm việc, nhiệm vụ v.v…); - Những bắt buộc liên quan đến phép đo; - Nhận xét từ người tham gia người lao động; - Những khác thường trình đo; - Mơ tả kết quả, áp dụng với dụng cụ; - Thảo luận giải thích kết kết luận cho hoạt động tiếp theo; - Chữ ký ngày tháng PHỤ LỤC A (tham khảo) Thông tin bổ trợ liên quan đến độ khái quát Độ khái quát đề cập đến độ tin cậy mà phép đo khái quát để áp dụng cho nhóm người và/hoặc hay nhiều điều kiện tổng thể Một nhóm tổng thể bao gồm tất điều kiện mà phép đo xem có liên quan (ví dụ: khoảng thời gian khác ngày, phương án thiết kế thông số hiển thị), điều kiện có thiết kế nơi làm việc coi mẫu đại diện Điển hình số đo dụng cụ phương pháp sử dụng để đưa định chất lượng thiết kế nơi làm việc cần thiết hồn thiện phương pháp hiệu chỉnh Có thể tồn hai loại định, định tương đối định tuyệt đối Quyết định tương đối dự đoán nghiên cứu so sánh, ví dụ: trình bày thiết kế khác Trong trường hợp này, định theo vị trí thứ bậc tương đối phương án thiết kế Điều có nghĩa giải thích mang tính tương đối đưa định việc phương án thiết kế tốt so với phương án thiết kế khác Nếu khơng có thiết kế khác tồn tại, có nghĩa có giải pháp, định đưa dựa mức độ tuyệt đối của số đo Do vậy, diễn giải tuyệt đối đưa định chỗ làm việc thiết kế tốt liên quan đến gánh nặng tâm thần, khơng tính tới phương án thiết kế khác Lý thuyết độ khái quát cung cấp hai hệ số xác thực tương tự, mơ tả tính xác loại định, gọi là: a) b) hệ số G- tương đối; hệ số G- tuyệt đối Các hệ số G mơ tả xác mà với ta khái quát hóa từ kết đo mẫu đo thành kết tổng thể Lý thuyết độ khái quát vượt lý thuyết kiểm tra thông thường a) Khả xử lý lỗi nguồn phức tạp sai số đo; b) Khả xử lý yếu tố có tính hệ thống sai số đo; c) đề xuất hệ số tin cậy điều chỉnh cho dự kiến sử dụng số liệu đo; d) Phân biệt định tương đối định tuyệt đối Ngồi ra, nhiều thơng số đề cập trên, tính quán nội tại, ổn định độ khách quan, xác định nghiên cứu, thiết kế phù hợp sử dụng chẳng hạn đầu mục thời điểm tiến hành đo người thực việc đo xem nhân tố mang tính thử nghiệm Tương tự vậy, lý thuyết độ khái quát áp dụng để điều tra độ nhạy độ chẩn đoán dụng cụ đo, thiết lập thử nghiệm, tính đến loại mức độ gánh nặng lao động khác PHỤ LỤC B (tham khảo) Danh mục kiểm tra cho việc chọn lựa dụng cụ Khi tiến hành chọn lựa dụng cụ, danh mục kiểm tra Bảng B.1 hỗ trợ việc đưa định có Điền thơng tin u cầu từ thông tin cung cấp từ sách hướng dẫn sử dụng ấn phẩm liên quan đến dụng cụ Khoanh tròn yêu cầu liên quan kiểm tra xem u cầu có thỏa mãn khơng Khi khơng có yêu cầu định lượng, kiểm tra phù hợp mục đích dự định đo Bảng B.1 - Danh mục kiểm tra cho việc chọn lựa dụng cụ Điều tiêu chuẩn Mục Lý thuyết kiểm tra Yêu cầu TCVN Mức độ Mức độ Mức độ 7113-3 xác xác xác (ISO 10075-3) u cầu thỏa mãn Có Khơng Khơng Nhận phù xét hợp kinh điển 1.1 Độ khách quan 4.3.2 Khơng có Khơng có Khơng có tác động tác động tác động 1.2 Độ tin cậy 4.3.3 ≥ 0,9 ≥ 0,8 ≥ 0,7 1.3 Độ 4.3.4 ≥ 0,5 ≥ 0,4 ≥ 0,3 1.4 Độ nhạy 4.3.5 ≥ mức ≥ mức ≥ mức 1.5 Độ chẩn đoán 4.3.6 < 0,10 < 0,20 < 0,40 Độ khái quát 4.3.7 2.1 Độ khách quan 0 2.2 Độ tin cậy ≥ 0,9 ≥ 0,8 ≥ 0,7 2.3 Độ ≥ 0,9 ≥ 0,8 ≥ 0,7 2.4 Độ nhạy ≥ mức ≥ mức ≥ mức 2.5 Độ chẩn đoán ≥ 0,90 ≥ 0,70 Độ hữu dụng 4.2.8 3.1 Độ hiệu 4.2.8.2 3.2 Hiệu 4.2.8.3 3.3 Độ thỏa mãn 4.2.8.4 ≥ 0,80 THƯ MỤC TÀI LIỆU THAM KHẢO [1] AGARD, Human performance assessment methods, AGARD-AGARDograph-308, Neuilly sur Seine: NATO-AGARD, 1989; [2] BRENNAN, R.L., Generalizability theory, New York, Springer, 2001; [3] CROCKER, L., & ALGINA, J., Introduction to classical and modern test theory Chicago, III.: Holt, Rinehart and Winston, 1986; [4] Shingeldecker, C.A., A task battery for applied human performance assessment research AFAMRL Techniacal Report 84-071; Dayton: Air Force Aerospace Medical Research Laboratory, 1984; [5] ISO 9241-11:1998, Ergonomic requirement for office work with visual display terminals (VDTs) – Part 11: Guidance on usability ... kỹ thuật với thông tin chi tiết thuật ngữ cách áp dụng tiêu chuẩn có sẵn cho đối tượng người sử dụng chuyên gia lĩnh vực ecgônômi Tiêu chuẩn cung cấp thông tin làm sở phục vụ việc lựa chọn phương... mục tiêu định với phù hợp, hiệu hài lòng điều kiện định [ISO 9241-11:1998, định nghĩa 3.1] CHÚ THÍCH Trong tiêu chuẩn này, sản phẩm coi dụng cụ 3.8 Các giá trị tới hạn (critical values) Tiêu chuẩn. . .Tiêu chuẩn thiết lập nguyên lý yêu cầu việc đo đánh giá gánh nặng tâm thần, đồng thời quy định yêu cầu dụng cụ đo Tiêu chuẩn cung cấp thông tin cho việc lựa

Ngày đăng: 06/02/2020, 09:11

Xem thêm:

TỪ KHÓA LIÊN QUAN