CHƯƠNG 1 CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU VẤN ĐỀ
1.5.Công cụ đo lường năng lực giải quyết vấn đề
OECD (2013) yêu cầu công cụ đo lường NL GQVĐ tập trung vào từng nhiệm vụ, trong đó mỗi nhiệm vụ đo lường sẽ tập trung vào một quá trình GQVĐ đơn giản. Đối với một số nhiệm vụ, thể hiện sự xác nhận các vấn đề sẽ là đủ; ở những nhiệm vụ khác, cần mơ tả phương pháp, quy trình của giải pháp; và trong nhiều nhiệm vụ, các giải pháp thực tế sẽ được yêu cầu với hiệu quả và sự linh hoạt nhất định; hoặc nhiệm vụ là đánh giá các giải pháp đề xuất và quyết định giải pháp thích hợp nhất cho các vấn đề đặt ra.
Đối với một số vấn đề phức tạp hơn, thường có nghĩa là khó khăn lớn hơn. Bảng 1.7 tóm tắt đặc điểm các nhiệm vụ để đảm bảo bao phủ phạm vi khó khăn thích hợp.
Bảng 1.7. Đặc điểm của các nhiệm vụ đánh giá năng lực giải quyết vấn đề
Đặc điểm Ảnh hưởng độ khó nhiệm vụ
Lượng thơng tin Càng nhiều thông tin phải được xem xét, các nhiệm vụ có thể khó khăn hơn
Tính đại diện của thông tin
Đại diện không quen thuộc và nhiều đại diện (đặc biệt là nếu các thông tin liên quan với nhau), có xu hướng gia tăng khó khăn
Cơng bố thơng tin Các thơng tin có liên quan khơng được tiết lộ ngay từ đầu và do đó phải được phát hiện dần (ví dụ như hiệu quả của các hoạt
động, trở ngại khơng lường trước được), có khả năng làm cho nhiệm vụ đó khó khăn hơn
Phức tạp bên trong
Phức tạp nội bộ của một tình huống vấn đề tăng lên khi số lượng các biến phụ thuộc tăng. Các nhiệm vụ mà mức độ phức tạp nội bộ cao có thể sẽ khó khăn hơn so với những nhiệm vụ có độ phức tạp nội bộ thấp
Khoảng cách đến mục tiêu
Nhiệm vụ có nhiều bước cần thiết để giải quyết một vấn đề, càng khó hơn nhiệm vụ khác
Yêu cầu về kỹ năng suy luận
Vấn đề cần áp dụng một số kỹ năng lý luận (ví dụ tổ hợp ý tưởng) là khó khăn hơn so với những nhiệm vụ khơng yêu cầu như vậy
Trong q trình xây dựng bộ cơng cụ đo lường NL GQVĐ cho PISA tổ chức vào năm 2012, OECD (2013) sử dụng các kết quả đánh giá là để đưa ra ước tính về trình độ HS trong mối quan hệ với một biến ẩn (là NL GQVĐ). Một thang đo được xác định, từ mức rất thấp đến mức rất cao để ước tính khả năng của HS tại một vị trí nhất định trên thang đo. HS này sẽ có khả năng cao để hồn thành các nhiệm vụ ở vị trí bằng hoặc thấp hơn, nhưng ít có khả năng hồn thành nhiệm vụ phía trên và càng hiếm có khả năng hồn thành nhiệm vụ ở điểm cao dần lên phía trên thang đo.
Hình 1.5 mơ tả thang đo kéo dài từ mức tương đối thấp của NL ở dưới cùng và mức độ tương đối cao phía trên cùng của thang. Sáu nhiệm vụ khác nhau về độ khó được đặt dọc theo thang đo cũng như ba HS có mức độ khả năng khác nhau. Các mối quan hệ giữa khả năng của các HS và độ khó của các nhiệm vụ được mơ tả.
Hình 1.5. Mối quan hệ giữa nhiệm vụ và HS trên cùng một thang đo
Bộ công cụ của OECD (2013) về mức độ thành thạo NL GQVĐ của HS được xây dựng thông qua một quá trình gồm 6 giai đoạn. Các giai đoạn được mơ tả ở đây theo cách tuyến tính, nhưng trong thực tế q trình này được thực hiện đan xen giữa hướng tới trước (forwards) và giật lùi (backwards).
Giai đoạn 1: Xác định thang đo có thể có
Giai đoạn đầu tiên trong q trình này là dự kiến/ mô phỏng một thang đo NL GQVĐ. Giai đoạn này cần sự tham gia của các chuyên gia trong từng lĩnh vực có thể có ở NL này. Ví dụ, một lĩnh vực được lựa chọn là đánh giá tài chính, ở đó một lượng khá hạn chế về dữ liệu có sẵn dựa trên một số các câu hỏi test, mô tả mức độ thành thạo của NL tổng thể.
Giai đoạn 2: Thiết kế ma trận nhiệm vụ/ câu hỏi dọc theo thang đo
Giai đoạn thứ hai sẽ xem xét, kết hợp mỗi câu hỏi test được sử dụng trong bảng phân phối theo từng mức độ của thang đo tổng thể (subscale).
Sau đó chuyên gia các lĩnh vực (bao gồm cả các thành viên của nhóm chuyên gia mơn học có liên quan, các nhà phát triển test và thành viên các nhà thầu quốc tế) cùng đánh giá đặc tính các câu hỏi test trong mối kiên quan đến ma trận nêu trên.
Giai đoạn 3: Biên soạn hoặc lựa chọn nhiệm vụ/ câu hỏi
Giai đoạn tiếp theo liên quan đến việc chuyên gia phân tích chi tiết từng câu hỏi trắc nghiệm khách quan và từng tiêu chí chất lượng trong câu hỏi tự luận trên cơ sở mã hóa khả năng thực hiện ở mỗi câu hỏi và định nghĩa từng mức độ của thang đo (subscale), cũng như các kỹ năng và kiến thức cần thiết để đạt được từng câu hỏi đó.
Giai đoạn 4: Phân tích dữ liệu thử nghiệm
Các dữ liệu câu hỏi đã thử nghiệm được phân tích bằng kỹ thuật IRT để ước tính độ khó cho từng ngưỡng thành tích của mỗi câu hỏi. Trong đó, ngưỡng thành tích là một giá trị trên thang đo NL mà tại đó tạo nên sự chuyển đổi phản ứng của HS đối với từng câu hỏi.
Đối với những câu hỏi dạng trắc nghiệm khách quan chỉ có một ngưỡng thành tích duy nhất (phân biệt các HS phản ứng chính xác và khơng chính xác). Đối với những câu hỏi tự luận, có nhiều hơn một ngưỡng thành tích, được tính tốn từ các nhóm phản áng khác nhau khi thực hiện câu hỏi (tức là các mức điểm chấm).
Các ngưỡng thành tích được đặt liên tục dọc theo độ khó của nhiệm vụ trong mối liên quan trực tiếp đến khả năng của HS. Phân tích này cho thấy cơng dụng của từng tiêu chí chất lượng của mỗi hành vi trong từng thành tố trong cấu trúc NL.
Giai đoạn 5: Xác định các chiều đo, mức độ phát triển NL qua thực nghiệm
Đây là giai đoạn kết hợp cả thơng tin từ các phân tích của chuyên gia từng lĩnh vực cụ thể (giai đoạn 3) và thơng tin từ phân tích thống kê qua thực nghiệm (giai đoạn 4).
Đối với thang đo đang xem xét, tập hợp nhiệm vụ/ câu hỏi được sắp xếp theo độ khó tăng dần và sau đó liên kết với các mơ tả về kiến thức và kỹ năng liên quan, tạo ra một hệ thống các kiến thức và kỹ năng được xác định cho từng chiều đo của NL (chính là các hợp phần hoặc thành tố). Cụm kỹ năng ở mỗi chiều sẽ cung cấp nền tảng hiểu biết về mỗi chiều và mô tả các mức độ phát triển khác nhau của NL.
• Có khả năng lập kế hoạch và thực hiện các giải pháp liên quan có nhiều bước, và áp dụng một loạt các kỹ năng suy luận.
• Có khả năng đối phó với các tình huống liên quan đến nhiều biến phụ thuộc lẫn nhau hoặc một số lượng lớn các điều kiện cho các biến.
• Có khả năng hiểu và liên hệ thơng tin được trình bày trong một loạt các đại diện quen thuộc hoặc khơng quen thuộc
• Có khả năng tương tác với các vấn đề để tìm ra thơng tin trung gian, ẩn hoặc xử lý những trở ngại bất ngờ.
Mức độ thành tích thấp nhất được kỳ vọng có các đặc điểm sau:
• Có thể lên kế hoạch và thực hiện các giải pháp mà chỉ liên quan đến một vài bước đơn giản.
• Khơng thể hiểu thơng tin được trình bày trong đại diện khơng quen thuộc hoặc đại diện quen thuộc.
• Ít khả năng hoặc khơng có tiến bộ trong việc giải quyết một vấn đề trừ khi nó liên quan đến chỉ một hoặc hai biến phụ thuộc.
• Chỉ có thể khám phá thơng tin được rõ ràng nếu được hướng dẫn hoặc cung cấp cho các hoạt động trực tiếp
Giai đoạn 6: Điều chỉnh với dữ liệu khảo sát chính thức
Khi dữ liệu khảo sát chính đã có sẵn, các thơng tin phát sinh từ các phân tích thống kê về những độ khó tương đối của các câu hỏi sẽ được cập nhật. Điều này cho phép xem xét và sửa đổi kết quả của giai đoạn 5. Các mô tả và mức độ sau đó đã được xem xét và sửa đổi để trở thành thang đánh giá mức độ phát triển NL GQVĐ một cách chính thức trên tồn cầu.