• Kiểm chứng độ tin cậy: trong điều kiện không có phương tiện CNTT có thể sử dụng các phương pháp đơn giản như kiểm tra nhiều lần, sử dụng dạng đề tương đương….. 45[r]
(1)1
Nghiên cứu KHSPƯD
(2)B3 Đo lường - Thu thập liệu
1 Thu thập dữ liệu
2 Độ tin cậy độ giá trị
(3)3
Thu thập liệu
• Dữ liệu cần thu thập: Dữ liệu thô:Điểm số của kiểm tra trước sau tác
động.
• Thí dụ Bảng điểm kiểm tra lớp TN lớp đối chứng thiết kế 2.
• Kết phiếu hỏi.
(4)1 Thu thập liệu
Có dạng liệu cần thu thập nghiên cứu:
1 Kiến thức Biết, hiểu, áp dụng…
2 Hành vi/kĩ năng Sự tham gia, thói quen, thục thao tác…
(5)5
Các phương pháp thu thập liệu
Đo ? Thang đo (Đo cách ?)
1.Kiến thức Thiết kế sử dụng kiểm tra thông thường kiểm tra thiết kế đặc biệt
2 Hành vi/ kĩ năng
Thiết kế sử dụng thang đo xếp hạng bảng kiểm quan sát
(6)Đo kiến thức
• Sử dụng thi cũ, kiểm tra thông thường lớp phù hợp với mục đích đo
Vì: khơng công xây dựng chấm điểm
kiểm tra
(7)7
Đo kiến thức
• Với số NC, cần có kiểm tra
được thiết kế riêng (Nội dung NC khơng có trong SGK, chương trình phương
pháp mới…).
• Thí dụ: Đề kiểm tra đánh giá kĩ tiến hành thí nghiệm nghiên cứu HS lớp trước tác động sau tác động.
(8)Đo kiến thức
• Bài kiểm tra có thể:
- Chỉ gồm câu dạng tự luận.
(9)9
Đo hành vi
Có thể đo hành vi học sinh như:
• Đi học giờ
• Sử dụng ngơn ngữ lịch. • Ăn mặc phù hợp
• Giơ tay trước phát biểu • Nộp tập hạn
(10)Đo kĩ thao tác
Thí dụ số kĩ thao tác học
sinh như:
• Sử dụng dụng cụ, hóa chất. • Kĩ vẽ đồ.
• Chơi nhạc cụ
(11)11
Đo hành vi/kĩ thao tác Collect data on student’s performance or behavior
Rating scales Observation Checklists
Thu thập liệu
hành vi/kĩ học sinh
(12)Đo hành vi: Ví dụ
Thang đo Ví dụ
1 Thang xếp hạng
Tần suất mượn sách thư viện nhà trường HS tháng vừa
qua nào?
Rất thường xuyên Thường xuyên Thỉnh thoảng Hiếm
Không
2 Bảng kiểm
quan sát Học sinh thường xuyên xung phong lên bảng giải tập Toán lớp.
(13)13
Đo hành vi
Observation
Obtrusive Unobtrusive
Quan sát
Công khai Khơng cơng khai Học sinh biết
được quan sát
Học sinh khơng biết quan sát
Có thể ảnh hưởng
đến hành vi HS, giảm độ giá trị liệu; hành vi quan sát khơng phải hành vi tiêu biểu HS
Quan sát
(14)Đo thái độ
• Gồm 8-12 câu hỏi theo dạng thang Likert • Mỗi câu hỏi gồm:
- Một mệnh đề mô tả/ đánh giá liên quan đến đối tượng đo thái độ
- Thang đo với mức độ sử dụng phổ biến • Các dạng phản hồi sử dụng:
đồng ý, tần suất, tính tức thì
tính cập nhật, tính thiết thực
(15)15
Đo thái độ
• Các dạng phản hồi:
Thang đo thái độ
Đồng ý Hỏi mức độ đồng ý
Tần suất Hỏi tần suất thực nhiệm vụ
Tính tức
Hỏi thời điểm bắt đầu thực nhiệm vụ
Tính
cập nhật
Hỏi thời điểm thực nhiệm vụ gần
Tính
thiết thực
(16)Ví dụ câu hỏi dạng phản hồi thang đo thái độ
Đồng ý
Tần suất
Tơi thích đọc sách làm số hoạt động khác.
Hồn tồn đồng ý Đồng ý Bình thường Khơng đồng ý Hồn tồn khơng đồng ý
Tơi đọc truyện.
Hằng ngày Hầu hết ngày
(17)17
Tính tức thì
Tính cập nhật
Bạn bắt đầu làm tập nào?
Ngay ngày, … , Cho đến tơi
có thời gian Lần cuối bạn đọc sách nào?
Tuần này, …., Hai tháng trước
Tính thiết thực
Nếu cho 200.000đ, bạn sử dụng tiền để mua sách?
(18)Đo thái độ: Ví dụ
Thang đo thái độ mơn Tốn
Mệnh đề khẳng định (Câu 1, 2, 3), Mệnh đề phủ định (Câu 4,5) Mỗi mức độ tương ứng với điểm số (1 đến 5) Lưu ý: Đồng ý với
Rất không đồng ý
Khơng
đồng ý thường Bình Đồng ý Rất đồng ý
1 Tôi chắn có khả
năng học tốn.
2 Cô giáo quan tâm đến
tiến học tốn tơi.
3 Kiến thức tốn học sẽ
giúp tơi kiếm sống.
4 Tơi khơng tin giải
tốn nâng cao.
5 Tốn học khơng quan trọng
(19)19
Đo thái độ: Ví dụ
1 Khoa học kỹ thuật giúp người sống khoẻ mạnh, thuận lợi tiện nghi
2 Chúng ta lệ thuộc nhiều vào khoa học
3 Khoa học khiến sống thay đổi nhanh Việc am hiểu khoa học không quan trọng
cuộc sống ngày
Thang đo thái độ khoa học
Câu mang nghĩa tích cực (câu 1), Câu mang nghĩa khơng tích cực (câu 2,3,4)
(20)Lưu ý xây dựng thang đo
• Mỗi mệnh đề nên diễn đạt ý tưởng/ khái niệm.
• Sử dụng ngôn ngữ đơn giản.
(21)21
Lưu ý xây dựng thang đo
• Nêu đầy đủ mức độ phản hồi, đặc biệt thang đo sử dụng với đối tượng nhỏ tuổi kinh nghiệm
• Sử dụng điều chỉnh lại thang sẵn có cho phù hợp; xây dựng thang đo trường hợp thực cần thiết
(22)Xây dựng thử nghiệm
thang đo ( Phiếu hỏi, phiếu điều tra, bảng
kiểm quan sát, kiểm tra…)
• Khi điều chỉnh xây dựng thang đo mới, cần thử nghiệm thang đo
• Số lượng mẫu thử khơng cần nhiều, khoảng từ 10 đến 20 đủ
• Mẫu thử phải tương đương với nhóm NC
(23)23 Khi thu thập liệu, phải đảm bảo
dữ liệu có độ tin cậy độ giá trị cao.
(24)Độ tin cậy
(25)25
Ví dụ
Đo cân nặng bạn A
Ngày Cân nặng (kg)
1 58
2 65
3 62
Có điều bất ổn cân nặng khơng thể thay đổi
nhanh vậy!
Các số liệu khơng đáng tin cậy khơng ổn định/
(26)Độ giá trị
Độ giá trị tính xác thực liệu
thu thập Các liệu có giá trị phản ánh trung thực kiến thức/hành vi/thái độ
(27)27
Ví dụ
Vấn đề nghiên
cứu Thái độ học sinh với mơn Tốn có tiến triển khơng? Các mệnh đề
trong thang đo Tơi thích làm tập nhà2 Mơn Tốn thú vị
3 Tơi thích học Tiếng Anh
(28)Nhận xét:
Trong câu để thu thập liệu, có câu 2 thu thập liệu cho câu hỏi nghiên
cứu Trong trường hợp này, liệu thu được từ câu khơng có giá trị
(29)29
• Độ tin cậy độ giá trị phản ánh chất lượng của liệu, không phải công cụ để thu
thập liệu.
• Độ tin cậy độ giá trị có liên hệ với nhau.
(30)Độ tin cậy giá trị
Tin cậy
Không có giá trị
Giá trị
Khơng tin cậy
Không tin cậy
(31)31
3 Kiểm chứng độ tin cậy liệu
1 Kiểm tra nhiều lần
2 Sử dụng dạng đề tương đương 3 Chia đôi liệu
(32)1 Kiểm tra nhiều lần
Một nhóm HS làm một bài kiểm tra hai lần hai thời điểm khác nhau
Dữ liệu đáng tin cậy khi: điểm số hai lần kiểm tra phải tương đương có độ tương quan cao
(33)33 Sử dụng dạng đề tương đương
Thiết kế hai dạng đề khác nhau cùng
một nội dung kiểm tra Cùng nhóm thực hai kiểm tra thời điểm Tính độ tương quan điểm số kiểm tra hai kiểm tra để xác định tính quán hai dạng đề
Hai đề coi tương đương hệ số tương quan lớn
(34)• Chia điểm số kiểm tra nhóm thành phần (theo câu hỏi số chẵn: Câu 2,4,6,8,10 câu hỏi số lẻ: Câu 1,3,5,7,9) • Kiểm tra tính qn hai phần
• Áp dụng cơng thức tính độ tin cậy Spearman-Brown 3 Chia đôi liệu:
rSB = * rhh / (1 + rhh)
rSB: Độ tin cậy Spearman-Brown rhh: Hệ số tương quan chẵn lẻ
(35)35
Ví dụ: Chúng ta có điểm số 15 học
(36)Độ tin cậy Spearman-Brown: Ví dụ
Bảng ví dụ thang đo với 15 học sinh (A-O) trả lời 10 câu hỏi (Q1-Q10)
Kết trả lời câu hỏi biểu thị số từ
Tổng
(37)37
Độ tin cậy Spearman-Brown: Ví dụ
Tổng cộng cột lẻ (Q1 + Q3 + Q5 + Q7 + Q9)
rhh = 0.92 = CORREL (M2:M16, N2:N16)
RSB = * rhh / (1 + rhh) = 0.96
Hệ số tương quan chẵn lẻ Độ tin cậy Spearman-Brown
(38) Sau tính hệ số tương quan chẵn
lẻ (rhh) theo cơng thức bảng tính Excel: rhh = CORREL (array 1,array 2)
(array 1: cột lẻ, array 2: cột chẵn)
Theo ví dụ ta có:
rhh = CORREL (M2:M16, N2:N16) = 0.92
Với giá trị r
hh 0.92, dễ dàng tính
được độ tin cậy Spearman-Brown (rSB) công thức:
(39)39
So sánh kết với bảng đây:
Trong trường hợp này, độ tin cậy có giá trị cao
vì rSB = 0.96 cao giá trị 0.7 Chúng ta kết luận liệu thu đáng tin cậy
Ghi chú: Xem phần hướng dẫn chi tiết cách sử dụng công thức tính tốn phần mềm Excel Phụ lục 1
rSB ≥ 0,7 Dữ liệu đáng tin cậy
(40)4. Kiểm chứng độ giá trị liệu
Có cách kiểm chứng độ giá trị:
(41)41
Kiểm chứng độ giá trị liệu
1 Độ giá trị nội dung( đề kiểm tra/ thang đo)
• Xem xét liệu câu hỏi có phản ánh vấn đề, khái niệm hành vi cần đo
trong nghiên cứu hay không.
• Có tính chất mơ tả nhiều thống kê.
• Có thể lấy nhận xét GV/CBQL có
(42)Kiểm chứng độ giá trị liệu
2 Độ giá trị đồng quy
• Về mặt logic, điểm số đạt trong nghiên cứu phải có độ tương quan cao với điểm số có của môn học.
(43)43
Kiểm chứng độ giá trị liệu
3 Độ giá trị dự báo
• Tương tự độ giá trị đồng quy có định hướng tương lai.
• Các điểm số đạt nghiên cứu
(44)Một số lưu ý áp dụng
• Thiết kế thang đo/cơng cụ đo/thu thập liệu bảo đảm để đo vấn đề cần NC
• Độ tin cậy độ giá trị chất lượng liệu, công cụ thu thập liệu
(45)45
Hệ số tương quan chẵn lẽ Độ tin cậy Spearman-Brown
Tổng Lẻ Chẵn Học sinh
1 Tính hệ số tin cậy Spearman-Brown Các liệu có đáng tin cậy không?
(46)2.1 Hệ số tương quan chẵn - lẻ thang đo 0,50 Độ tin cậy Spearman-Brown tương ứng bao nhiêu?
2.2 Để kiểm chứng độ giá trị liệu thu từ thang đo hứng thú đọc, theo bạn sử dụng kết kiểm tra nào?