Mô hình TOPSIS-AHP sử dụng bộ tiêu chí ICT Newhouse đánh giá bài giảng với trợ giúp ra quyết định thông minh

Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Mơ hình TOPSIS-AHP sử dụng tiêu chí ICT Newhouse đánh giá giảng với trợ giúp định thông minh Phạm Văn Hải*,1, Nguyễn Thị Mỹ Lộc2 Viện Công nghệ Thông tin-Truyền Thông, Trường Đại học Bách khoa Hà Nội Trường Đại học Giáo dục, Đại học Quốc Gia Hà Nội Nhận ngày 22 tháng năm 2014 Chỉnh sửa ngày 29 tháng năm 2014; chấp nhận đăng ngày 26 tháng năm 2015 Tóm tắt: Trong năm gần đây, với phát triển nhanh chóng khoa học công nghệ kết hợp đào tạo truyền thống, E-learning phổ biến trường đại học Trong trình nghiên cứu giảng dạy, việc đánh giá giảng giảng điện tử mạng theo phương pháp truyền thống cách xác định tiêu chí đánh giá có trọng số thường gặp hạn chế tiêu chí có mức độ quan trọng khác Theo phương pháp đánh giá giảng truyền thống, số liệu thống kê từ chuyên gia đưa dạng thống kê trung bình kết chuyên gia bị hạn chế Nghiên cứu đưa phương pháp tích hợp định để đánh giá giảng trực tuyến với mơ hình nhiều chuyên gia tham gia đánh giá giảng đồng thời Mơ hình đề xuất sử dụng kĩ thuật tích hợp định TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) AHP (Analytic Hierachy Process) dựa tiêu chí ICT Newhouse kết hợp tri thức từ chuyên gia để đưa quy trình đánh giá giảng Để đánh giá mơ hình trên, chúng tơi biểu diễn ví dụ minh họa cài đặt chương trình với thực nghiệm thực tiễn để đánh giá giảng trực tuyến Kết thực nghiệm cho thấy mơ hình đề xuất để đánh giá giảng với đánh giá động thể tác động đa chiều ảnh hưởng độ tích cực chuyên gia mơ hình đánh giá giảng Đánh giá giảng theo mơ hình đề xuất giúp cho người quản lí định đắn với đa tiêu chí mục đích Từ khóa: TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution), AHP (Analytic Hierachy Process), đánh giá giảng, trợ giúp định Giới thiệu ∗ trợ giúp định hỗ trợ nhóm chuyên gia kết hợp với kĩ thuật định TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) [12,13] AHP (Analytic Hierachy Process) [7,9-11] Với kết cơng trình nghiên cứu tác giả Alya năm 2014 nhóm tác giả cơng bố năm 2013-2014 [18-21], mơ hình TOPSIS-AHP áp dụng để đánh giá sở giáo dục quản lí giáo dục Hầu hết Trong giảng dạy đào tạo, đánh giá giảng trở thành yếu tố quan trọng trình đánh giá chất lượng học tập Để trợ giúp cho công tác đánh giá chất lượng giảng, nhóm nghiên cứu xây dựng hệ _ ∗ Tác giả liên hệ ĐT: 84-1293727555 Email: haipv@soict.hust.edu.vn 13 14 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 nghiên cứu chưa đề cập đến mức độ đánh giá ảnh tích cực hay tiêu cực từ chủ thể Điểm mơ hình TOPSIS-AHP mơ hình tích hợp TOPSIS AHP để đánh giá giảng trợ giúp định nhóm cho phép nhiều chuyên gia tham gia đánh giá tích hợp với kỹ thuật AHP với tiêu chí ICT Newhouse cho phép người định cuối xác định mức độ đánh giá tích cực chuyên gia Các nghiên cứu truyền thống thường dựa kinh nghiệm chun gia giảng dạy, nhà quản lí giáo dục có nhiều yếu tố ảnh hưởng, tác động đến việc nâng cao chất lượng giảng [3, 16] Đối với chuyên gia người có kinh nghiệm giảng dạy, việc đánh giá giảng tư vấn nhằm nâng cao chất lượng giảng trực tuyến thách thức lớn Các giảng điện tử ngày giáo viên nhà trường sử dụng công cụ nhằm nâng cao hiệu giảng dạy [14] Xây dựng hệ thống trợ giúp đánh giá giảng đưa gợi ý lời khuyên hợp lý nhằm nâng cao chất lượng giảng phục vụ cho công tác biên soạn giảng cho trường đại học trung học phổ thông Với phương pháp đánh giá truyền thống giảng, kết chuyên gia thường cộng trung bình sử dụng phương pháp thống kê Đây nhược điểm cá phương pháp đánh giá truyền thống người định khơng phân biệt rõ mức độ ảnh hưởng tích cực chuyên gia tham gia đánh giá giảng Mặt khác tiêu chí đánh giá giảng theo phương pháp đánh giá truyền thống thơng thường có điểm đánh giá trọng số coi Nghiên cứu đề xuất mơ hình TOPSIS-AHP đưa đánh giảng dựa vào yếu tốt đánh giá tích cực khơng tích cực chuyên gia Bộ tiêu chí đánh giá giảng - ICT Newhouse xếp theo cấu trúc AHP giúp cho người định đánh giá giảng có cân nhắc so sánh dựa theo trọng số tiêu chí để đánh giá giảng để định đắn Đối với nghiên cứu nước ngồi, nhóm tác giả Edward L [2] nhóm tác giả Nadzeya Kalbaska [5] đưa luận điểm nhận xét, đánh giá giảng đào tạo trực tuyến Tuy nhiên nghiên cứu đặc điểm, nội dung tổng quan trình đánh giá, nhận xét giảng trực tuyến Trong năm 2013, nhóm tác giả Elaine Yasira [3, 4] nêu tiêu chí đặc điểm thiết kế, xây dựng giảng trực tuyến Các nghiên cứu giúp cho học liệu thiết kế giảng hướng tiếp cận E-learning Trong nghiên cứu gần đây, Tiến sĩ Paul Newhouse [1] Trường Đại học Tây Úc mối quan hệ tác động cơng nghệ thơng tin (Bộ tiêu chí ICT Newhouse) đến công tác giảng dạy trường học nước Úc Theo quan điểm ông, việc đánh giá phân loại tác động tích cực ICT đến học tập cải thiện kết học tập sinh viên Dựa vào tiêu chí này, chúng tơi xây dựng mơ hình nghiên cứu tích hợp kĩ thuật trợ giúp định để đánh giá giảng, nâng cao chất lượng giảng trực tuyến trường đại học, trung học chuyên nghiệp phổ thơng trung học Tác giả có kết nghiên cứu sử dụng kĩ thuật tích hợp định AHP (Analytic Hierachy Process) [15,17] giải vấn đề khơng có cấu trúc Khả tích hợp kĩ thuật mơ hình đánh giá giảng hướng giải Bài báo đưa mơ hình sử dụng thuật tốn TOPSIS AHP dựa tiêu chí ICT Newhouse kết hợp tri thức từ chuyên gia để đưa quy trình đánh giá giảng kết hợp với việc sử dụng tri thức chuyên gia Để đánh giá mơ hình trên, chúng tơi áp dụng mơ hình thơng qua ví dụ cài đặt P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 chương trình để đánh giá giảng trực tuyến Mơ hình đề xuất cài đặt thử nghiệm thống kê kết chuyên gia đánh giá Kết thực nghiệm cho thấy mơ hình đề xuất để đánh giá giảng với đánh giá động thể tác động đa chiều ảnh hưởng độ tích cực chun gia mơ hình đánh giá giảng Cấu trúc báo gồm phần sau: Phần giới thiệu tiêu chí ICT Newhouse cho đánh giá giảng trực tuyến Đề xuất mơ hình tích hợp TOPSIS-AHP đưa phần Ví dụ dựa vào mơ hình đề xuất trình bày vào phần Phần trình bày số kết thực nghiệm với số dự liệu mô để minh họa cho mơ hình Kết luận định hướng phát triển thảo luận phần Bộ tiêu chí ICT Newhouse với kĩ thuật TOPSIS AHP đánh giá giảng trực tuyến Tiến sĩ Paul Newhouse [1] - Trường Đại học Tây Úc mối quan hệ tác động cơng nghệ thơng tin (Bộ tiêu chí ICT Newhouse) đến công tác giảng dạy trường học nước Úc Theo quan điểm ông, việc đánh giá phân loại tác động tích cực ICT đến học tập thông qua giảng trực tuyến để cải thiện kết học tập sinh viên Theo ơng, có chín tác động tích cực mà ICT mang đến cải thiện rõ rệt phương pháp học tập sinh viên, là: Khả khảo sát thực tế xây dựng kiến thức Thúc đẩy học tập tích cực đánh giá xác thực Thu hút sinh viên động lực thách thức 15 Cung cấp công cụ để tăng suất học Cung cấp cơng cụ hỗ trợ tư cao Tăng tính độc lập người học Tăng cường hợp tác cộng tác Thiêt kế chương trình học cho người học Khắc phục khuyết điểm thể chất Với tác động ICT Newhouse này, lựa chọn số tiêu chí kết hợp với kĩ thuật trợ giúp định suy diến dựa vào sở tri thức để đánh giá tác động giảng thơng qua thuật tốn: 1) Tạo định nhóm, chọn lựa đánh giá tốt từ chuyên gia; 2) Đánh giá giảng loạt tác động ICT Mục tiêu chung nhà quản lí giáo dục để nâng cao chất lượng giảng, báo cáo đưa phương pháp đánh giá giảng, từ đưa tư vấn, gợi ý giúp nâng cao chất lượng giảng phục vụ tốt công tác giảng dạy trường đại học trung học phổ thông Hệ hỗ trợ định - Decision Support Systems (DSS) hệ thống hỗ trợ máy tính thích nghi, linh hoạt tương tác lẫn nhau, đặc biệt phát triển để hỗ trợ giải vấn đề quản lí khơng có cấu trúc nhằm cải tiến việc định đắn [6,8] Nghiên cứu đưa phương pháp đánh giá giảng dựa tiêu chí ICT New house Hướng tiếp cận nghiên cứu bao gồm bước: Tích hợp thuật tốn TOPSIS AHP kết hợp ý kiến tham khảo từ chuyên gia để xây dựng mơ hình đánh giá chung cho toán [11-13] Vận dụng kĩ thuật trợ giúp định đánh giá tư vấn giảng Bảng so sánh việc đánh giá chất lượng giảng phương pháp truyền thống với sử dụng công nghệ thông tin: 16 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Bảng So sánh phương pháp đánh giá truyền thống với phương pháp sử dụng CNTT So sánh Phương pháp truyền thống Sử dụng CNTT Cách thức đánh giá Đánh giá trực tiếp dựa vào chủ quan người Cho điểm, lấy kết trung bình hội đồng để đánh giá Dễ dàng thực theo phương pháp truyền thống Dựa tập luật, kiện liệu thống kê Dựa thuật tốn tính tốn, định có cấu trúc Cho kết đầu với tập liệu đầu vào lớn, phức tạp Giải so sánh tiêu chí với trọng số khác Có mơ hình đánh giá chun gia tiếp cận phù hợp, nhanh thực mạng công cụ phần mềm Cần phải xây dựng chương trình phần mềm cơng cụ đánh giá mạng Ưu điểm Nhược điểm Ảnh hưởng tâm lí tính chủ quan người tham gia đánh giá Các trọng số tiêu chí đánh giá Các kết đánh giá, thống kê dựa vào tính trung bình việc xem tiêu chí mạnh chuyên gia phù hợp không thực Mơ hình TOPSIS-AHP sử dụng tiêu chí ICT Newhouse đánh giá giảng Mơ hình TOPSIS-AHP sử dụng tiêu chí ICT Newhouse đánh giá giảng Hình 1: Cơ sở liệu (2) Bộ tiền xử lí Dữ liệu đầu vào (Bài giảng) (1) Bộ ghi nhận số liệu từ chun gia (3) Bộ tính tốn (TOPSIS) (4) Dữ liệu đầu (Kết đánh giá) (7) Bộ đánh giá Bộ chuyển đổi mức độ quan trọng (5) Bộ đánh giá đối tượng (AHP) (6) Hình Mơ hình TOPSIS-AHP sử dụng đánh giá giảng trực tuyến P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Mơ tả bước mơ hình đề xuất sau: • Bước 1: Xem hiển thị giảng trực tuyến hệ thống Bài giảng trực tuyến tệp tài liệu dạng văn word, Excel, text, pdf, multimedia, ppt…v.v, biên soạn giảng viên/ giáo viên • Bước 2: Thu thập đánh giá chuyên gia đối tượng (Bài giảng), đánh giá mức độ tác động ICT đến giảng • Bước 3: Tiền xử lí liệu nhằm lấy đánh giá thích hợp từ chuyên gia Sử dụng giải thuật TOPSIS để tìm đánh giá tối ưu từ danh sách chuyên gia tham gia đánh giá giảng • Bước 4: Chuyển đổi thành mức độ quan trọng từ số liệu đánh giá thu chuyên gia chọn • Bước 5: Áp dụng thuật tốn AHP để đưa mức độ phù hợp với giảng xem xét (mức độ đánh giá giảng) Trong đó: Dữ liệu đầu vào: bao gồm giảng Online Offline cần đánh giá Cơ sở tri thức: thu thập tri thức chuyên gia, giảng viên có kinh nghiệm Bộ ghi nhận số liệu từ chuyên gia: Nhận số liệu giá trị nhập vào - tương ứng với tiêu chí sở liệu từ chun gia Bộ tính tốn TOPSIS: Giải thuật tính tốn TOPSIS để đưa thứ tự xếp đánh giá số liệu nhập vào chuyên gia Bộ chuyển đổi mức độ quan trọng: Tính tốn chuyển đổi số liệu từ “cơ chế nhận số liệu từ chuyên gia” thành mức độ quan trọng tương ứng 17 Thuật toán đánh giá đối tượng (bài giảng) AHP: Sử dụng thuật toán AHP để đánh giá giảng Dữ liệu đầu ra: đánh giá phù hợp cho giảng Chuyên gia tham gia đánh giá giảng người có kinh nghiệm giảng dạy Để thu thập số liệu đánh giá từ chuyên gia tham gia đánh giá giảng, người định dựa vào tiêu chí ICT Newhouse đề cập để chọn tiêu chuẩn đánh giá Các chuyên gia xem xét tiêu chí đưa đánh giá cá nhân tiêu chí Mỗi tiêu chí tham gia đánh giá nhận giá trị số (Thang điểm 9) Ví dụ minh họa mơ mơ hình TOPSIS-AHP đánh giá giảng Các bước sau mơ tả q trình xử lí mơ hình đề xuất đánh giá giảng: Bước 1: Xác định liệu đầu vào liệu giảng cần đánh giá Đầu vào: Bài giảng môn học cần đánh giá Các tiêu chí tiêu chí tác động ICT Newhouse Bảng 2.a để sử dụng đánh giá giảng Bước 2: Thu thập ý kiến đánh giá từ chuyên gia Trường hợp có chuyên gia tham gia đánh giá giảng số liệu đánh giá chun gia đồng thời số liệu chuẩn (Bỏ qua bước tiền xử lí liệu) Trường hợp có từ chuyên gia trở lên, ta tiến hành thêm bước tiền xử lí liệu để lấy số liệu đánh giá tốt Giả sử ta có chuyên gia A1, A2, A3, A4, A5 tiêu chí tác động ICT X1, X2, X3… X9 18 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Điểm số đánh giá cho theo thang điểm Tức là: ứng với tiêu chí tác động ICT, mức độ (kém) cao độ tác động, điểm số chấm cho tiêu chí gần đến ● Mức độ tác động tiêu chí 2: Thúc đẩy học tập tích cực đánh giá xác thực Ví dụ: Chuyên gia A1 sau xem xét giảng đánh giá điểm số sau: A1 (6/5/5/4/3/5/4/3/2) tức là: ● Mức độ tác động tiêu chí 9: Khắc phục khuyết điểm thể chất • Mức độ tác động tiêu chí 1: Khả khảo sát thực tế xây dựng kiến thức ● … Các ý kiến từ chuyên gia thu thập bảng số liệu mô tả Bảng 2.b sau: Bảng 2.a Bộ tiêu chí ICT Newhouse Kí hiệu X1 X2 X3 X4 X5 X6 X7 X8 X9 Ý nghĩa Khả khảo sát thực tế xây dựng kiến thức Thúc đẩy học tập tích cực đánh giá xác thực Thu hút sinh viên động lực thách thức Cung cấp công cụ để tăng suất học Cung cấp công cụ hỗ trợ tư cao Tăng tính độc lập người học Tăng cường hợp tác cộng tác Thiêt kế chương trình học cho người học Khắc phục khuyết điểm thể chất Bảng 2.b Bộ số liệu thu thập từ chuyên gia đánh giá mức độ (kém) tác động ICT A1 A2 A3 A4 A5 Trọng số X1 6 0.2 X2 5 0.2 X3 5 0.2 X4 5 0.1 g Bộ trọng số trên, chuyên gia phân tích đưa ra, họ định xem số tác động ICT - tác động có ảnh hưởng mạnh mẽ đến việc học tập sinh viên Tổng giá trị trọng số cho tiêu chí tác động ICT Bước 3: Xử lí liệu thu từ bảng phương pháp TOPSIS Chuẩn hóa giá trị (Bảng 3) Tính giá trị theo trọng số (Bảng 4) Các giải pháp lí tưởng: X5 3 0.1 X6 4 3 0.05 X7 4 3 0.05 X8 3 4 0.05 X9 3 0.05 = (0.0087, 0.0094, 0.0102, 0.0051, 0.0073, 0.0033, 0.0033, 0.0034, 0.0043) = (0.0058, 0.0063, 0.0068, 0.0041, 0.0044, 0.0020, 0.0020, 0.0025, 0.0029) Tính khoảng cách đến giải pháp lí tưởng = (0.0042, 0.0039, 0.0059, 0.0039, 0.0045) = (0.0040, 0.0043, 0.0022, 0.0051, 0,0040) Độ đo tương tự đến giải pháp lí tưởng = (0.4878, 0.5244, 0.2716, 0.5667, 0.4706) P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 19 Bảng Chuẩn hóa giá trị sử dụng TOPSIS A1 A2 A3 A4 A5 Trọng số X1 0.0435 0.0362 0.0290 0.0435 0.0362 0.2 X2 0.0394 0.0472 0.0394 0.0315 0.0394 0.2 X3 0.0424 0.0424 0.0339 0.0508 0.0339 0.2 X4 0.0408 0.0510 0.0408 0.0510 0.0408 0.1 X5 0.0441 0.0441 0.0441 0.0588 0.0735 0.1 X6 0.0667 0.0533 0.0533 0.0400 0.0400 0.05 X7 0.0533 0.0533 0.0667 0.0400 0.0400 0.05 X8 0.0508 0.0508 0.0508 0.0678 0.0678 0.05 X9 0.0571 0.0857 0.0571 0.0857 0.0857 0.05 X8 0.0025 0.0025 0.0025 0.0034 0.0034 0.05 X9 0.0029 0.0043 0.0029 0.0043 0.0043 0.05 Bảng Giá trị tiêu chí ICT tính theo trọng số A1 A2 A3 A4 A5 Trọng số X1 0.0087 0.0072 0.0058 0.0087 0.0072 0.2 X2 0.0079 0.0094 0.0079 0.0063 0.0079 0.2 X3 0.0085 0.0085 0.0068 0.0102 0.0068 0.2 X4 0.0041 0.0051 0.0041 0.0051 0.0041 0.1 X5 0.0044 0.0044 0.0044 0.0059 0.0073 0.1 X6 0.0033 0.0027 0.0027 0.0020 0.0020 0.05 X7 0.0027 0.0027 0.0033 0.0020 0.0020 0.05 f Theo kết mức độ đánh giá tích cực (từ tốt đến nhất) chuyên gia A4 > A2 > A1 > A5 > A3 (0.5567 > 0.5244 > 0.4878 > 0.4706 > 0.2716) đánh giá chuyên gia A1 (đánh giá ảnh hưởng tiêu chí tác động ICT mức độ vừa phải) Dễ thấy, lấy kết đánh giá chuyên gia A4 cho ta đánh giá tích cực Nhưng khơng phải lúc tích cực tốt Để tốn hợp lí phù hợp với đa số đánh giá từ chuyên gia, ta chọn a/Thiết lập ma trận ảnh hưởng yếu tố với Bước 4: Thiết lập ma trận ảnh hưởng Từ số liệu thu chuyên gia A1 ta có sau: Bảng Bộ số liệu đánh giá tác động ICT chuyên gia A1 A1 X1 X2 X3 X4 X5 X6 X7 X8 X9 Chuyển thành mà trận so sánh tiêu chí (tác động ICT) sau: Bảng Ma trận so sánh tiêu chí ICT X1 X2 X3 X4 X5 X6 X7 X8 X9 g X1 1 1/2 1/2 1/2 1/2 1/3 X2 1 1 1/2 1 1/2 1/3 X3 1 1 1/2 1 1/2 1/3 X4 1 1 1 1/2 X5 2 1 1/2 1/3 X6 1 1 1/2 1 1/2 1/3 X7 1 1 1 1/2 X8 2 2 1 X9 3 3 1 20 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Công thức chuyển đổi mức độ quan trọng từ số liệu đánh giá aij = với si, sj điểm số đánh giá tiêu ● Tốt: ● Khá tốt: ● Bình thường : chí Xi, Xj Với giá trị ma trận tính sau: Bảng Ví dụ cách đổi mức độ quan trọng từ số liệu đánh giá X1 X2 X3 X4 X5 ● Rất tốt: X1 1 1/2 1/2 X2 1 1 1/2 X3 1 1 1/2 X4 1 1 X5 2 1 Giá trị hàng X3 cột X4 thương số X3/X4 = 5/4 = 1,25 ~ ● Kém: Áp dụng công thức chuyển đổi độ quan trọng, ta có ma trận sau: Bảng Ma trận so sánh mức đánh giá Tiêu chí X1 Tiêu chí X1 M1 M2 M1 1 M2 1 M3 M4 3 M5 M3 M4 M5 1/3 1/7 1/2 1/3 1/5 1/2 1/3 1/2 (Theo giải thuật AHP Satty [9] đề xuất, mức độ so sánh độ quan trọng tiêu chí số nguyên - nghịch đảo số nguyên nên giá trị làm tròn) Để đảm bảo với tiêu chí khác nhau, ma trận so sánh đưa kết thiết lập độ quan trọng với tiêu chí cịn lại Các ma trận kết trình bày bảng sau: b/Thiết lập ma trận ảnh hưởng lựa chọn mức đánh giá với tiêu chí: Bước 5: Sử dụng thuật toán AHP để giải toán Mức đánh giá bao gồm có mức: Bảng Mức đánh giá chất lượng giảng Mức đánh giá Kí hiệu Rất tốt M1 Tốt M2 Khá tốt M3 Bình thường M4 Kém M5 Ý nghĩa Đánh giá chất lượng cao Đánh giá chất lượng cao Đánh giá giảng Đánh giá giảng chấp nhận Đánh giá giảng chưa So sánh ma trận kết đánh giá yếu tố ICT (tổng cộng ta phải thiết lập ma trận ứng với tiêu chí ICT) Với tiêu chí thứ (X1), chuyên gia đánh giá cho điểm độ quan trọng sau: Áp dụng cơng thức tính vector riêng (9) ta tìm vector riêng ứng với 10 ma trận vừa thiết lập Vector riêng ma trận so sánh tiêu chí (tác động ICT) w (0.1613, 0.1382, 0.1382, 0.1049, 0.0941, 0.1382, 0.1049, 0.0714, 0.0488) Vector riêng ma trận so sánh lựa chọn (mức đánh giá) tương ứng với tác động ICT (Bảng 11) Vector độ ưu tiên W = [w][w1 w2 w3 … w9] = (0.252, 0.258, 0.239, 0.160, 0.091) Tức khả giảng đánh giá mức tốt 25%, mức tốt 26%, mức tốt 24%, mức bình thường 16%, mức 9% Như ta đánh giá giảng mức độ tốt P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Bảng 10 Ma trận so sánh mức đánh giá tiêu chí Xi Tiêu chí tác động ICT X1 Khả khảo sát thực tế xây dựng kiến thức Ma trận X1 M1 M2 M3 M4 M5 M1 1 1/3 1/7 M2 1 1/2 1/3 1/5 M3 1/2 1/3 M4 3 1/2 M5 X2 Thúc đẩy học tập tích cực đánh giá xác thực X2 M1 M2 M3 M4 M5 M1 1 1/2 1/3 1/5 M2 1 1/2 1/2 1/3 M3 2 1/2 1/3 M4 2 1/2 M5 3 X3 Thu hút sinh viên động lực thách thức X3 M1 M2 M3 M4 M5 M1 1 1/3 1/5 M2 1 1/3 1/3 M3 1 1/3 1/5 M4 3 1 M5 5 1 X4 Cung cấp công cụ để tăng suất học X4 M1 M2 M3 M4 M5 M1 1 1 1/2 M2 1 1 1/2 M3 1 1/2 1/2 M4 1 1 M5 2 1 X5 Cung cấp công cụ hỗ trợ tư cao X5 M1 M2 M3 M4 M5 M1 1 1/2 M2 1 1 1/3 M3 1/2 1 1/3 M4 1 1 1/2 M5 3 X6 Tăng tính độc lập người học X6 M1 M2 M3 M4 M5 M1 1 1 1/2 M2 1 1 1/2 M3 1 1/2 1/2 M4 1 1 M5 2 1 X7 Tăng cường hợp tác cộng tác X7 M1 M2 M3 M4 M5 M1 1 2 M2 1 1 1/2 M3 1/2 1 1/2 M4 1/2 1 1/3 M5 2 21 22 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 X8 Thiêt kế chương trình học cho người học X8 M1 M2 M3 M4 M5 M1 1 1 1/2 M2 1 1 1/3 M3 1 1 1/3 M4 1 1 1/3 M5 3 X9 Khắc phục khuyết điểm thể chất X9 M1 M2 M3 M4 M5 M1 1 1/2 1/2 1/3 M2 1 1/2 1/3 1/3 M3 2 1/2 1/3 M4 1 M5 3 1 Bảng 11 Giá trị vector riêng ứng với ma trận so sánh đánh giá w1 w2 w3 w4 w5 w6 w7 w8 w9 0.3041, 0.3266, 0.2060, 0.1066, 0.0568 0.3399, 0.2830, 0.1867, 0.1203, 0.0700 0.2899, 0.2618, 0.2899, 0.0873, 0.0711 0.2232, 0.2232, 0.2563, 0.1691, 0.1282 0.1882, 0.2344, 0.2693, 0.2162, 0.0919 0.2232, 0.2232, 0.2563, 0.1691, 0.1282 0.1439, 0.2182, 0.2506, 0.2718, 0.1155 0.2152, 0.2334, 0.2334, 0.2334, 0.0844 0.2916, 0.3163, 0.1924, 0.1079, 0.0918 f Kết thực nghệm 5.1 Thực nghiệm Chương trình thực nghiệm với mơ hình thử nghiệm đánh giá giảng giảng viên, sinh viên Sư phạm Kỹ thuật, Công nghệ Thông tin Trường Đại học Bách khoa Hà Nội từ tháng năm 2013 đến tháng năm 2014 Trong trình đánh giá giảng, chuyên gia/giảng viên lựa chọn học phần - giảng bao gồm text, html, pdf, ppt,…v.v Hình mơ tả bước thực nghiệm đánh giá giảng Hệ thống phân tích tính tốn, đưa xếp hạng (hoặc đánh giá) số liệu thu thập được, nhằm tìm chun gia có mức độ đánh giá tích cực có số đánh giá d tốt Hình mơ tả trọng số đánh giá tích cực chuyên gia Đối với đánh giá đa chiều theo mức độ tích cực tiêu cực chuyên gia, người chuyên gia có số đánh giá tốt lựa chọn sau: ● Chun gia có đánh giá tích cực (bộ số liệu cao nhất) ● Chuyên gia có đánh giá mức trung bình (giá trị trung bình xếp hạng) Người định lựa chọn kết chuyên gia có ảnh hưởng đánh giá tích cực trung bình để tiếp tục đánh giá giảng theo giải thuật AHP mô tả kết Hình P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Hình Giao diện chọn giảng để đánh giá Hình mơ tả 06 chun gia tham gia vào hệ thống đánh giá giảng Hình Đánh giá giảng sử dụng mơ hình TOPSIS 23 24 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 Hình Giao diện xếp hạng chuyên gia theo TOPSIS Hình Giao diện hiển thị kết đánh giá giảng 5.2 Kết thảo luận Trong q trình thực nghiệm với mơ hình đề xuất trên, năm chuyên gia giảng viên, giáo viên tham gia đánh giá giảng trực tuyến mạng vào tháng năm 2014 Trường Đại học Bách khoa Hà Nội Kết mơ hình TOPSISAHP đánh giá giảng biểu diễn theo Hình Kết mơ mơ hình TOPSISAHP đề xuất đánh giá giảng cho học phần môn học triển khai Trường Đại học Bách khoa Hà Nội tác động tích cực khơng tích cực chuyên gia dựa tiêu chí ICT Newhouse Hình cho thấy chun gia có mức độ ảnh hưởng tích cực đến học phần hệ trợ giúp định phân tích-thiết kế hệ thống thơng tin Trong đó, chuyên gia phản ánh cách đánh giá khơng tích cực học phần mơn học: Hệ sở tri thức, hệ trợ giúp định phân tích TKHTTT Đồng thời, chuyên gia ảnh hưởng khơng tích cực học phần hệ sở tri thức chuyên gia học phần trí tuệ nhân tạo Kết đánh giá giúp người định lựa chọn chun gia có cách đánh giá tích cực để thực mô đun đánh giá AHP đưa giảng đánh giá cấp độ: tốt, khá, trung bình, không đạt So sánh với cách đánh giá truyền thống, kết đánh giá sử dụng mơ hình TOPSIS-AHP đưa đánh giá tích cực khơng tích cực chuyên gia mà theo cách đánh giá truyền thống khơng có Mặt khác, tiêu chí đánh giá giảng - ICT Newhouse xếp theo cấu trúc AHP giúp cho người định đánh giá giảng có cân nhắc so sánh P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 thông qua sử dụng trọng số tiêu chí để đánh giá giảng đắn Với cách đánh giá này, kết nghiên cứu đưa 25 mơ hình đánh giá kết hợp với đánh giá truyền thống để đưa khuyến cáo giảng trực tuyến để nâng cao chất lượng dạy học Ư Hình Kết đánh giá chuyên gia với học phần giảng Kết luận Lời cám ơn Bài báo đưa mơ hình TOPSISAHP dựa tiêu chí ICT Newhouse kết hợp tri thức từ chuyên gia để đưa quy trình đánh giá Kết thực nghiệm cho thấy mơ hình đề xuất để đánh giá giảng với đánh giá động thể tác động đa chiều ảnh hưởng độ tích cực chun gia mơ hình đánh giá giảng Phương pháp đánh giá kết hợp với đánh giá truyền thống đưa đánh giá đắn cho giảng trực tuyến - nguồn học liệu mở cho hệ E-learning Công trình nghiên cứu hỗ trợ tài từ đề tài mã số: QGTĐ.13.15 ĐHQGHN Nhóm tác giả trân trọng cám ơn chuyên gia phản biện, Ban biên tập có đóng góp để nâng cao chất lượng báo Đồng thời, nhóm tác giả xin cám ơn giảng viên, giáo viên sinh viên Trường Đại học Bách khoa Hà Nội, Trường Đại học Giáo dục, Đại học Quốc gia Hà Nội tham gia lấy số liệu, thực nghiệm cho chương trình thử nghiệm - nghiên cứu Mở rộng mơ hình nghiên cứu này, chúng tơi tiếp tục mở rộng mơ hình TOPSIS-AHP kết hợp với suy diễn tự động bán tự động để tư vấn cho giảng viên, giáo viên chuẩn bị nội dung giảng tốt cho phương thức đào tạo truyền thống đào tạo trực tuyến Cơ sở tri thức xây dựng để lưu trữ tri thức chuyên gia nhằm giảm thiểu chi phí dịch vụ nâng cao chất lượng tư vấn cho giảng dạy học tập Tài liệu tham khảo [1] Paul Newhouse, A Framework to Articulate the Impact of ICT on Learning in Schools - Western Australian Department of Education December, 2002 [2] Edward L Meyen, Ronald J Aust, Yvonne N Bui, Eugene Ramp, Sean J Smith, The Online Academy formative evaluation approach to 26 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 evaluating online instruction, The Internet and Higher Education, Vol.5, No (2012) 89 [3] Elaine Huber, Marina Harvey, Time to participate: Lessons from the literature for learning and teaching project evaluation in higher education, Studies in Educational Evaluation, December, Vol 39, No (2013) 240 [4] Yasira Waqar, The Impact of Learning Design on Student Learning in Technology Integrated Lessons, Article Procedia - Social and Behavioral Sciences, October, Vol 93, No 21 (2013) 1795 [5] Nadzeya Kalbaska, Hee Andy Lee, Lorenzo Cantoni, Rob Law, UK travel agents’ evaluation of eLearning courses offered by destinations : An exploratory study, Article Journal of Hospitality, Leisure, Sport & Tourism Education, April, Vol 12, No (April 2013) [6] S.L Alter, Decision Support System: Current Practices and Continuing Challenges, Reading, MA: Addison-Wesley, 1980 [7] Bruce L Golden, Edward A.Wasil, Patrick T.Harker (Eds.) “The Analytic Hierarchy Process: Applications and Studies”, Springer Verlad Berlin Heidelberg, 1989 [8] E.Turban, E.A Jay, T.P Liang, “Decision Support Systems and Intelligent Systems”, Decision Support Systems: An overview, 2007 [9] T.L Saaty, “The Analytic Hierarchy Process”, Mc Graw Hill New Jork, 1980 [10] Saul L.Gass “Decision Making Model Algorithms”, John Wiley & Son, Inc ISBN 0471-80963-2, 1985 [11] Thomas L Saaty, Decision making with the analytic hierarchy process, University of Pittsburgh, Pittsburgh, PA 15260, USA Int J Services Sciences, Vol 1, No (2008) 83–98 [12] Alberto Vega, Juan Aguarón, Jorge GarcíaAlcaraz, José María Moreno-Jiménez, Notes on Dependent Attributes in TOPSIS, Procedia Computer Science, Vol 31 (2014) 308 [13] Ibrahim A Baky, Interactive TOPSIS algorithms for solving multi-level non-linear multi-objective decision-making problems, Applied Mathematical Modelling, Vol 38, No (2014) 1417 [14] Tiêu chuẩn đánh giá giảng E-learning - Sở giáo dục đào tạo Hà Nội, ngày hội công nghệ thông tin - Tháng 12, 2011 [15] Hai Van Pham, Vatcharaporn E., A WebBased Decision Support System for the Evaluation and Strategic Planning using ISO 9000 Factors in Higher Education, Journal of Sciences: Mathematics, September, Vol 24, No.4 (2008) 189 [16] P.G.W, Keen, M.S Scott-Morton, “Decision Support Systems”, An Organizational Perspective Reading MA: Addison_Wesley, 1978 [17] Hai Van Pham, Khang D Tran, Katsuari Kamei, Application s using Hybrid Decision Support Systems for selection of alternatives under uncertainty and risk, International Journal of Innovative Computing, Information and Control, Feb, Vol 10, No (2014) 39 [18] Mohammed F Alya, Hazem A Attiab Ayman M Mohammed, Prioritizing Faculty of Engineering Education Performance by Using AHP-TOPSIS and Balanced Scorecard Approach International Journal of Engineering Science and Innovative Technology (IJESIT), January, Volume 3, Issue (2014) 11 [19] Dipendra Nath Ghosh, Analytic Hierarchy Process and TOPSIS Method to Evaluate Faculty Performance in Engineering Education, UNIASCIT, Vol (2) (2011) 63 [20] H S Hota, L K Sharma, S Pavani (2013) Fuzzy TOPSIS Method Applied for Ranking of Teacher in Higher Education ICACNI 2013: 1225-1232 [21] Payam Paslari, Saeid Kalantari and Seyed Farshad Forghani, Prioritizing And Ranking Educational Classes Using Ahp And Fuzzy Topsis (Case Study: Mehrpuyan Institute of Higher Education, Mashhad) Indian Journal of Fundamental and Applied Life Sciences, Vol (S1) April-June (2014) 426 P.V Hải, N.T.M Lộc / Tạp chí Khoa học ĐHQGHN: Nghiên cứu Giáo dục, Tập 31, Số (2015) 13-27 27 Using ICT Newhouse Factors based TOPSIS-AHP Model to Evaluation Lectures with Intelligent Decision Supports Phạm Văn Hải1, Nguyễn Thị Mỹ Lộc2 School of Information Technology and Communication, Hanoi University of Science and Technology University of Education, Vietnam National University Hanoi Abstract: In recent years, with the rapid development of science and technology combined with conventional training, E-learning has been recently become common In research and teaching, evaluation lectures and online lectures based on the conventional evaluation method have some limitations in indentifion of factor’s weights Based on the conventional evaluation, all statistic data collected from experts and calculated in an average are limited This study aims to offer integrated decision support system (DSS) techniques in order to evaluate online lectures using a goup of experts The propsed model uses an integatted DSS including TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) AHP (Analytic Hierachy Process) based on ICT Newhouse factors, combined with knowledge-based experts to figure out a procedure of online lectures’ evaluation To confirm the proposed model, we demonstrated an example and implemented experiments for the proposed model Experimental results show that the propsed model has a variety of positive impact of experts participated in the evaluation To evaluate lectures by using the proposed model, it is neccessary to make right decisions in multicriterial factors and for multipel purposes Keywords: TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution), AHP (Analytic Hierachy Process), lecture evaluation, Decision Support Systems  ... thực Mơ hình TOPSIS-AHP sử dụng tiêu chí ICT Newhouse đánh giá giảng Mơ hình TOPSIS-AHP sử dụng tiêu chí ICT Newhouse đánh giá giảng Hình 1: Cơ sở liệu (2) Bộ tiền xử lí Dữ liệu đầu vào (Bài giảng) ... giá từ chuyên gia tham gia đánh giá giảng, người định dựa vào tiêu chí ICT Newhouse đề cập để chọn tiêu chuẩn đánh giá Các chuyên gia xem xét tiêu chí đưa đánh giá cá nhân tiêu chí Mỗi tiêu chí. .. đầu vào liệu giảng cần đánh giá Đầu vào: Bài giảng mơn học cần đánh giá Các tiêu chí tiêu chí tác động ICT Newhouse Bảng 2.a để sử dụng đánh giá giảng Bước 2: Thu thập ý kiến đánh giá từ chuyên