Rasch đã đề xuất mơ hình xác suất để một người có NL trả lời đúng một câu hỏi có độ khó b là 𝑝(θ) = 1
1+e−(θ−b) . Bằng cơng thức này, có thể xác định vị trí NL của HS trong mối tương quan với độ khó các câu hỏi test trên cùng một thang đo
chí độ khó, độ phân biệt, độ tin cậy, độ giá trị và sự phù hợp theo mơ hình IRT (Bảng 1.6).
Bảng 1.6. Tiêu chí đánh giá chất lượng câu hỏi và bài kiểm tra theo mơ hình IRT
1. Độ khó - Độ khó câu hỏi tính theo cơng thức: 𝑝(𝜃) = 1
1+𝑒−(𝜃−𝑏), trong đó
𝑝(𝜃)là hàm xác suất của đối số năng lực 𝜃, b là độ khó câu hỏi
- Yêu cầu: các câu hỏi cần đủ khó để những thí sinh khơng đáp ứng chuẩn sẽ trả lời sai, nhưng đủ dễ để những thí sinh đáp ứng chuẩn sẽ trả lời đúng (-2.5 ÷ 2.5)
- Câu hỏi rất dễ và rất khó khơng giúp phân biệt được khả năng của học sinh; câu hỏi có độ khó trung bình (0 ±SD) đánh giá tối đa năng lực tiềm ẩn của học sinh
2. Độ
phân biệt
- Độ phân biệt câu hỏi là độ chênh % số câu trả lời đúng giữa hai nhóm học sinh có năng lực cao và thấp, tính theo cơng thức: 𝑝(𝜃) =
1
1+𝑒−𝑎(𝜃−𝑏), a là độ phân biệt
- Yêu cầu: tỷ lệ phân biệt càng gần 1 càng tốt: lý tưởng là 0.5; từ 0.35 chấp nhận được; dưới 0.2 thì cần chỉnh sửa; < 0 thì cần loại bỏ
3. Độ tin cậy
- Độ tin cậy thể hiện sự nhất quán giữa các câu hỏi trong đề và không ảnh hưởng bởi yếu tố bên ngoài.
- Độ tin cậy được tính theo Cronback anpha: ∝= 𝑛
𝑛−1(1 − 𝑆12+𝑆22+⋯+𝑆𝑛2
𝑆𝑡ổ𝑛𝑔 đ𝑖ể𝑚2 ), n là tổng số câu hỏi, 𝑆𝑖2 là phương sai câu hỏi i,
𝑆𝑡ổ𝑛𝑔 đ𝑖ể𝑚2 là phương sai tổng điểm bài test.
Hệ số Cronbach Alpha xem xét tương quan của việc thực hiện 1 câu hỏi với toàn bài thi: trả lời đúng câu hỏi này có khả năng trả lời đúng các câu hỏi khác
- Yêu cầu: : < 0.5 không nhất quán; 0.5 0.6 thấp; 0.6 < 0.7 chấp nhận được; 0.7 0.9 tốt; ≥ 0.9 rất cao
- Những yếu tố ảnh hưởng độ tin cậy: tính rõ ràng; phù hợp với nội dung kiến thức và độ khó; số lượng câu hỏi nhiều; độ phân biệt tăng; độ phổ rộng về năng lực; và sự đồng nhất các câu hỏi cao;
- Các tham số về độ giá trị cần xem xét:
biến ẩn (năng lực): tường minh khi thiêt kế bài thi nội dung: đủ đại diện và bao phủ các mục đích thi
kết quả: đáp ứng mục đích thi qua hàm thông tin 𝐼(𝜃) = ∑ 𝑃′(𝜃)
𝑝(𝜃)𝑞(𝜃) 𝑛
𝑛=1 ,
p’() là đạo hàm của p(), q(+ = 1- p()
phỏng đoán điểm thực qua bài test: 𝑟 = ∑𝑁 𝑝𝑖(𝜃) 𝑛=1
5. Phù hợp với mơ hình
- Với câu hỏi cần đáp ứng: người có năng lực cao sẽ có xác suất trả lời đúng cao hơn người có năng lực thấp; Với một thí sinh cần đáp ứng: câu khó có xác suất trả lời đúng thấp hơn câu dễ’
- Chỉ số: MNSQ (Mean Square) càng gần 1 càng tốt; và |T| ≤ 2
1.5. Công cụ đo lường năng lực giải quyết vấn đề
OECD (2013) yêu cầu công cụ đo lường NL GQVĐ tập trung vào từng nhiệm vụ, trong đó mỗi nhiệm vụ đo lường sẽ tập trung vào một quá trình GQVĐ đơn giản. Đối với một số nhiệm vụ, thể hiện sự xác nhận các vấn đề sẽ là đủ; ở những nhiệm vụ khác, cần mơ tả phương pháp, quy trình của giải pháp; và trong nhiều nhiệm vụ, các giải pháp thực tế sẽ được yêu cầu với hiệu quả và sự linh hoạt nhất định; hoặc nhiệm vụ là đánh giá các giải pháp đề xuất và quyết định giải pháp thích hợp nhất cho các vấn đề đặt ra.
Đối với một số vấn đề phức tạp hơn, thường có nghĩa là khó khăn lớn hơn. Bảng 1.7 tóm tắt đặc điểm các nhiệm vụ để đảm bảo bao phủ phạm vi khó khăn thích hợp.
Bảng 1.7. Đặc điểm của các nhiệm vụ đánh giá năng lực giải quyết vấn đề
Đặc điểm Ảnh hưởng độ khó nhiệm vụ
Lượng thơng tin Càng nhiều thơng tin phải được xem xét, các nhiệm vụ có thể khó khăn hơn
Tính đại diện của thơng tin
Đại diện không quen thuộc và nhiều đại diện (đặc biệt là nếu các thơng tin liên quan với nhau), có xu hướng gia tăng khó khăn
Cơng bố thơng tin Các thơng tin có liên quan khơng được tiết lộ ngay từ đầu và do đó phải được phát hiện dần (ví dụ như hiệu quả của các hoạt
động, trở ngại khơng lường trước được), có khả năng làm cho nhiệm vụ đó khó khăn hơn
Phức tạp bên trong
Phức tạp nội bộ của một tình huống vấn đề tăng lên khi số lượng các biến phụ thuộc tăng. Các nhiệm vụ mà mức độ phức tạp nội bộ cao có thể sẽ khó khăn hơn so với những nhiệm vụ có độ phức tạp nội bộ thấp
Khoảng cách đến mục tiêu
Nhiệm vụ có nhiều bước cần thiết để giải quyết một vấn đề, càng khó hơn nhiệm vụ khác
Yêu cầu về kỹ năng suy luận
Vấn đề cần áp dụng một số kỹ năng lý luận (ví dụ tổ hợp ý tưởng) là khó khăn hơn so với những nhiệm vụ khơng yêu cầu như vậy
Trong q trình xây dựng bộ cơng cụ đo lường NL GQVĐ cho PISA tổ chức vào năm 2012, OECD (2013) sử dụng các kết quả đánh giá là để đưa ra ước tính về trình độ HS trong mối quan hệ với một biến ẩn (là NL GQVĐ). Một thang đo được xác định, từ mức rất thấp đến mức rất cao để ước tính khả năng của HS tại một vị trí nhất định trên thang đo. HS này sẽ có khả năng cao để hồn thành các nhiệm vụ ở vị trí bằng hoặc thấp hơn, nhưng ít có khả năng hồn thành nhiệm vụ phía trên và càng hiếm có khả năng hồn thành nhiệm vụ ở điểm cao dần lên phía trên thang đo.
Hình 1.5 mô tả thang đo kéo dài từ mức tương đối thấp của NL ở dưới cùng và mức độ tương đối cao phía trên cùng của thang. Sáu nhiệm vụ khác nhau về độ khó được đặt dọc theo thang đo cũng như ba HS có mức độ khả năng khác nhau. Các mối quan hệ giữa khả năng của các HS và độ khó của các nhiệm vụ được mơ tả.
Hình 1.5. Mối quan hệ giữa nhiệm vụ và HS trên cùng một thang đo
Bộ công cụ của OECD (2013) về mức độ thành thạo NL GQVĐ của HS được xây dựng thông qua một quá trình gồm 6 giai đoạn. Các giai đoạn được mơ tả ở đây theo cách tuyến tính, nhưng trong thực tế q trình này được thực hiện đan xen giữa hướng tới trước (forwards) và giật lùi (backwards).
Giai đoạn 1: Xác định thang đo có thể có
Giai đoạn đầu tiên trong q trình này là dự kiến/ mơ phỏng một thang đo NL GQVĐ. Giai đoạn này cần sự tham gia của các chuyên gia trong từng lĩnh vực có thể có ở NL này. Ví dụ, một lĩnh vực được lựa chọn là đánh giá tài chính, ở đó một lượng khá hạn chế về dữ liệu có sẵn dựa trên một số các câu hỏi test, mô tả mức độ thành thạo của NL tổng thể.
Giai đoạn 2: Thiết kế ma trận nhiệm vụ/ câu hỏi dọc theo thang đo
Giai đoạn thứ hai sẽ xem xét, kết hợp mỗi câu hỏi test được sử dụng trong bảng phân phối theo từng mức độ của thang đo tổng thể (subscale).
Sau đó chuyên gia các lĩnh vực (bao gồm cả các thành viên của nhóm chuyên gia mơn học có liên quan, các nhà phát triển test và thành viên các nhà thầu quốc tế) cùng đánh giá đặc tính các câu hỏi test trong mối kiên quan đến ma trận nêu trên.
Giai đoạn 3: Biên soạn hoặc lựa chọn nhiệm vụ/ câu hỏi
Giai đoạn tiếp theo liên quan đến việc chuyên gia phân tích chi tiết từng câu hỏi trắc nghiệm khách quan và từng tiêu chí chất lượng trong câu hỏi tự luận trên cơ sở mã hóa khả năng thực hiện ở mỗi câu hỏi và định nghĩa từng mức độ của thang đo (subscale), cũng như các kỹ năng và kiến thức cần thiết để đạt được từng câu hỏi đó.
Giai đoạn 4: Phân tích dữ liệu thử nghiệm
Các dữ liệu câu hỏi đã thử nghiệm được phân tích bằng kỹ thuật IRT để ước tính độ khó cho từng ngưỡng thành tích của mỗi câu hỏi. Trong đó, ngưỡng thành tích là một giá trị trên thang đo NL mà tại đó tạo nên sự chuyển đổi phản ứng của HS đối với từng câu hỏi.
Đối với những câu hỏi dạng trắc nghiệm khách quan chỉ có một ngưỡng thành tích duy nhất (phân biệt các HS phản ứng chính xác và khơng chính xác). Đối với những câu hỏi tự luận, có nhiều hơn một ngưỡng thành tích, được tính tốn từ các nhóm phản áng khác nhau khi thực hiện câu hỏi (tức là các mức điểm chấm).
Các ngưỡng thành tích được đặt liên tục dọc theo độ khó của nhiệm vụ trong mối liên quan trực tiếp đến khả năng của HS. Phân tích này cho thấy cơng dụng của từng tiêu chí chất lượng của mỗi hành vi trong từng thành tố trong cấu trúc NL.
Giai đoạn 5: Xác định các chiều đo, mức độ phát triển NL qua thực nghiệm
Đây là giai đoạn kết hợp cả thơng tin từ các phân tích của chun gia từng lĩnh vực cụ thể (giai đoạn 3) và thơng tin từ phân tích thống kê qua thực nghiệm (giai đoạn 4).
Đối với thang đo đang xem xét, tập hợp nhiệm vụ/ câu hỏi được sắp xếp theo độ khó tăng dần và sau đó liên kết với các mơ tả về kiến thức và kỹ năng liên quan, tạo ra một hệ thống các kiến thức và kỹ năng được xác định cho từng chiều đo của NL (chính là các hợp phần hoặc thành tố). Cụm kỹ năng ở mỗi chiều sẽ cung cấp nền tảng hiểu biết về mỗi chiều và mô tả các mức độ phát triển khác nhau của NL.
• Có khả năng lập kế hoạch và thực hiện các giải pháp liên quan có nhiều bước, và áp dụng một loạt các kỹ năng suy luận.
• Có khả năng đối phó với các tình huống liên quan đến nhiều biến phụ thuộc lẫn nhau hoặc một số lượng lớn các điều kiện cho các biến.
• Có khả năng hiểu và liên hệ thơng tin được trình bày trong một loạt các đại diện quen thuộc hoặc khơng quen thuộc
• Có khả năng tương tác với các vấn đề để tìm ra thơng tin trung gian, ẩn hoặc xử lý những trở ngại bất ngờ.
Mức độ thành tích thấp nhất được kỳ vọng có các đặc điểm sau:
• Có thể lên kế hoạch và thực hiện các giải pháp mà chỉ liên quan đến một vài bước đơn giản.
• Khơng thể hiểu thơng tin được trình bày trong đại diện khơng quen thuộc hoặc đại diện quen thuộc.
• Ít khả năng hoặc khơng có tiến bộ trong việc giải quyết một vấn đề trừ khi nó liên quan đến chỉ một hoặc hai biến phụ thuộc.
• Chỉ có thể khám phá thơng tin được rõ ràng nếu được hướng dẫn hoặc cung cấp cho các hoạt động trực tiếp
Giai đoạn 6: Điều chỉnh với dữ liệu khảo sát chính thức
Khi dữ liệu khảo sát chính đã có sẵn, các thơng tin phát sinh từ các phân tích thống kê về những độ khó tương đối của các câu hỏi sẽ được cập nhật. Điều này cho phép xem xét và sửa đổi kết quả của giai đoạn 5. Các mô tả và mức độ sau đó đã được xem xét và sửa đổi để trở thành thang đánh giá mức độ phát triển NL GQVĐ một cách chính thức trên tồn cầu.
1.6. Đề xuất mơ hình nghiên cứu
Phạm vi nghiên cứu của đề tài chỉ ĐG NL GQVĐ của cá nhân thông qua bài đo lường NL GQVĐ của HS cuối cấp tiểu học đã được thực hiện với sự tài trợ của Quỹ phát triển khoa học và công nghệ quốc gia (NAFOSTED) trong đề tài mã số VII.2-2011.06 (xem Phụ lục 1). Chuyên khảo về khoa học GD (Nguyễn Lộc và cộng sự, 2016) đã tóm lược tồn bộ tiến trình xây dựng chuẩn ĐG NL GQVĐ qua mơn
đó xây dựng bộ cơng cụ đo NL GQVĐ và tiến hành đo lường sự phát triển NL này trên HS. Đường phát triển NL và chuẩn ĐG NL GQVĐ trong cuốn chuyên khảo là kết quả cuối cùng, với các mẫu hồ sơ phản ứng của HS thuộc mẫu thử nghiệm.
Cùng với mô tả cụ thể về từng chỉ số hành vi ứng với từng câu hỏi của bài kiểm tra, tác giả đề tài này đề xuất bốn kỹ năng của việc GQVĐ cá nhân của HS tiểu học tạo thành một ma trận gồm 10 kĩ năng nhỏ hơn (có thể coi như là chỉ số hành vi) được tổng hợp trong Hình 1.4. Căn cứ theo độ tuổi của HS tiểu học, đề tài đề xuất những chỉ số hành vi trong từng thành tố ở mức độ tương đối đơn giản, phù hợp với đặc điểm phát triển tâm lý của đối tượng HS này. Đa số HS tiểu học (cuối lớp 5) phù hợp với các vấn đề đơn giản, tĩnh, thuộc cuộc sống hàng ngày. Các em có thể: nhận dạng các thành tố trong tình huống vấn đề và giải thích một số thơng tin ban đầu; nhận thức được một mơ hình hoặc cấu trúc nhưng chưa am hiểu bản chất, bước đầu biết thu thập thông tin từ nguồn khác (theo gợi ý của người khác) nhưng chưa có khả năng đánh giá chúng, sử dụng cách thức hành động và chiến lược giải quyết quen thuộc trong khơng gian vấn đề đóng; có thể thực hiện các giải pháp đơn giản (có 1, 2 hành động) nhưng chưa đầy đủ; chưa có khả năng đánh giá giá trị của giải pháp.
Hình 1.6. Đề xuất cấu trúc NL GQVĐ theo 4 kỹ năng thành phần và 12 chỉ số hành vi
Năng lực GQVĐ Nhận biết và tìm hiểu vấn đề Nhận dạng, phát biểu vấn đề Xác định, giải thích thơng tin Thống nhất hành động tìm hiểu vấn đề Thiết lập khơng gian vấn đề
Trao đổi hiểu biết thông tin
Thu thập, đánh giá thông tin
Xác định cách thức, chiến lược GQVĐ Thống nhất cách thức thiết lập kế hoạch vấn đề Lập kế hoạch và thực hiện giải pháp Xây dựng, thống nhất kế hoạch giải quyết Trình bày giải pháp, các kết quả Cách thức hành động; điều chỉnh Đánh giá và phản ánh giải pháp Phản ánh giá trị giải pháp Thể thức hóa kiến thức mới để đưa ra giải pháp cho vấn đề tương tự
Hình 1.6 mới mơ tả các chỉ số hành vi ở dạng khái quát hóa, các chỉ số hành vi sẽ được mô tả cụ thể hơn trong ma trận bài kiểm tra được trình bày ở phần sau; mỗi chỉ số hành vi sẽ ứng với ít nhất một hoặc nhiều hơn một câu hỏi trong bài kiểm tra.
1.7. Tiểu kết chương 1
Qua việc nghiên cứu về khái niệm và tổng quan tài liệu trong nước và quốc tế liên quan đến cấu trúc và ĐG NL GQVĐ, cùng với việc phân tích một số đặc điểm của mơ hình VNEN liên quan đến NL GQVĐ, có thể đưa ra một số kết luận ở chương này như sau:
(1) Toàn bộ hoạt động của nhà trường trong mơ hình VNEN gồm phương pháp dạy, phương pháp học, tổ chức lớp học,… đều được thay đổi theo một mơ hình trường học mới, nhằm phát huy tối đa NL, bao gồm cả NL GQVĐ của HS.
(2) Khơng có sự thống nhất chung trên thế giới về cấu trúc NL GQVĐ, mà có thể dựa vào kinh nghiệm quốc tế và trong nước, kết hợp với đặc điểm phát triển của HS, các yếu tố bối cảnh cụ thể để đề xuất cấu trúc NL GQVĐ một cách phù hợp;
(3) Cấu trúc chung về NL GQVĐ sẽ gồm các thành tố, chỉ số hành vi, mức độ đa tầng của các thành tố tùy thuộc vào sự phức tạp về định nghĩa NL;
(4) Chuẩn ĐG NL GQVĐ sẽ mô tả các mức độ phát triển NL từ thấp đến cao, trong mỗi cấp độ mô tả những hành vi cụ thể về việc HS có thể viết, đọc, làm và tạo ra khi thực hiện hành vi GQVĐ;