Xây dựng hệ thống thu thập và phân tích ý kiến phản hồi của sinh viên luận văn thạc sĩ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** ĐỖ SĨ TRƢỜNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ PHÂN TÍCH Ý KIẾN PHẢN HỒI CỦA SINH VIÊN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai - Năm 2011 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** ĐỖ SĨ TRƢỜNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ PHÂN TÍCH Ý KIẾN PHẢN HỒI CỦA SINH VIÊN Chuyên ngành : CÔNG NGHỆ THÔNG TIN Mã số : 60.48.05 Luận văn thạc sĩ công nghệ thông tin NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ ĐỨC LUNG Đồng Nai – Năm 2011 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu thân Các số liệu nghiên cứu, kết trình bày luận văn trung thực Những tư liệu sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Học viên Đỗ Sĩ Trƣờng LỜI CẢM ƠN o0o -Để hoàn thành luận văn phấn đấu, nỗ lực thân, may mắn nhận nhiều nguồn động viên, giúp đỡ từ thầy cơ, gia đình, bạn bè đồng nghiệp Đây nguồn động lực to lớn giúp tơi hồn thành khóa học thực thành cơng luận văn Với lịng biết ơn sâu sắc tơi xin gửi lời cảm ơn đến: Thầy TS Vũ Đức Lung – người truyền đạt cho kiến thức chuyên môn quý báu, định hướng cho phương pháp nghiên cứu khoa học chuyên sâu tạo điều kiện tốt cho suốt q trình làm đề tài Các thầy khoa Cơng Nghệ Thơng Tin Phịng Sau Đại Học trường Đại Học Lạc Hồng tận tình giúp đỡ tạo điều kiện cho học tập thực đề tài Các anh chị bạn công tác Trung Tâm Thông Tin Tư Liệu – Trường Đại Học Lạc Hồng tạo điều kiện cho nghiên cứu giúp đỡ nhiều vấn đề chun mơn Gia đình bạn bè nguồn động viên chỗ dựa tinh thần vững cho tơi suốt q trình thực đề tài Biên Hòa, Tháng 06 Năm 2011 MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iv DANH MỤC HÌNH VẼ - SƠ ĐỒ - BẢNG v LỜI NÓI ĐẦU CHƢƠNG TỔNG QUAN 1.1 Tổng quan công tác đảm bảo chất lượng 1.2 Các mô hình triển khai giới 1.2.1 Chuẩn AUN-QA (ASEAN University Network - Quality Assurance) 1.2.2 Mô hình EFQM (European Foundation for Quality Management) 1.3 Các mơ hình triển khai Việt Nam 1.3.1 Tự đánh giá theo tiêu chuẩn KĐCL trường ĐH 1.3.2 Công tác thu thập ý kiến phản hồi từ sinh viên 1.4 Mục đích đề tài 1.5 Mục tiêu đề tài 10 1.6 Lợi ích hướng nghiên cứu 10 1.7 Đối tượng nghiên cứu 11 1.8 Phạm vi nghiên cứu 11 1.9 Tính đóng góp đề tài 11 1.10 Kết dự kiến đạt 12 CHƢƠNG CƠ SỞ LÝ THUYẾT 13 2.1 Các khái niệm 13 2.1.1 Khái niệm kiểm định chất lương đào tạo: 13 2.1.2 Xử lý ngôn ngữ tự nhiên (Natural Language processing - NLP): 18 2.1.3 Từ đồng nghĩa 20 2.1.4 Từ trái nghĩa: 26 2.2 Phương pháp thực 31 2.2.1 Tách câu Tiếng Việt 31 2.2.2 Phân tích cú pháp 39 2.2.3 Chuẩn hóa ý kiến 48 2.2.4 Đơn giản hóa ý kiến 53 2.2.5 Nhận biết chủ đề đánh giá ý kiến 55 2.2.6 Nhận biết tính chất ý kiến 57 2.2.7 Thống kê – Tổng hợp ý kiến đánh giá 62 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 67 3.1 Thiết kế chương trình 67 3.2 Xây dựng chương trình 68 3.2.1 Module 1: Đánh giá chất lượng đào tạo 68 3.2.2 Module 2: Cập nhật thư viện từ 69 3.2.3 Module 3: Cập nhật từ đồng nghĩa – từ trái nghĩa 70 3.2.4 Module 4: Phân tích ý kiến mẫu 71 3.2.5 Module 5: Phân tích – Báo cáo kết đánh giá 72 3.3 Thực nghiệm – đánh giá hệ thống 73 3.3.1 Cài đặt 73 3.3.2 Đánh giá 74 KẾT LUẬN 77 TÀI LIỆU THAM KHẢO vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt Nội dung ĐBCL Đảm bảo chất lượng CSDL Cơ sở liệu Bộ GD&ĐT Bộ Giáo dục Đào tạo ISO International Organization for Standardization EFQM European Foundation for Quality Management KDCL Kiểm định chất lượng ĐH Đại học DANH MỤC HÌNH VẼ - SƠ ĐỒ - BẢNG Hình 3.1 Module đánh giá chất lượng đào tạo 68 Hình 3.2 Module cập nhật thư viên từ 69 Hình 3.3 Module cập nhật từ đồng nghĩa – từ trái nghĩa 70 Hình 3.4 Module phân tích ý kiến mẫu 71 Hình 3.5 Module phân tích – báo cáo kết 72 Hình 3.6 Kết thống kê 74 Bảng 2.1 Bảng liệt kê thư viện từ 45 Bảng 3.1 Thống kê kết đánh giá 75 LỜI NÓI ĐẦU Đảm bảo chất lượng vấn đề ưu tiên hàng đầu trường đại học Việt Nam Một phương pháp nh m nâng cao chất lượng thu thập ý kiến phản hồi từ sinh viên để từ xem sinh viên mong muốn gì, Thầy giảng dạy nào, sở vật chất trường sao, Tuy nhiên việc thu thập tổng hợp lại ý kiến hàng ngàn sinh viên hàng năm cơng việc khó khăn tốn nhiều công sức Để khắc phục việc này, đề tài tập trung nghiên cứu để đưa phương pháp giúp thu thập tổng hợp ý kiến phản hồi nhiều sinh viên đưa Phương pháp đề tài chia làm phần Đầu tiên phân tích ý kiến sinh viên từ phức tạp thành câu đơn giản Tiếp đến ứng dụng k thuật BNF để phân tích ý nghĩa ý kiến phản hồi b ng ngôn ngữ tự nhiên sinh viên lĩnh vực đánh giá chất lượng giảng dạy trường đại học Cuối c ng so sánh ý nghĩa ý kiến để tìm ý kiến sinh viên phản ánh nhiều nhận biết chủ đề ý kiến (Giảng viên, giảng, sở vật chất ) tính chất ý kiến (Tốt – Xấu, Khen – Chê) Từ dễ dàng phân loại tổng hợp ý kiến đánh giá theo tiêu chí CHƢƠNG TỔNG QUAN 1.1 Tổng quan công tác đảm bảo chất lƣợng Giáo dục đại học Việt Nam ngày đứng trước thách thức Hiện tượng quốc tế hố tồn cầu hoá, tượng giáo dục đại học xuyên biên giới, phát triển nhanh mạnh khoa học cơng nghệ địi hỏi giáo dục đại học Việt Nam phải vươn lên, phải trước, đón đầu để đảm bảo đáp ứng yêu cầu phát triển kinh tế- xã hội đất nước, đảm bảo cho đất nước ngày phát triển ổn định bền vững Giáo dục đại học phải phục vụ cho công đổi đất nước, phục vụ công công nghiệp hố, đại hố, góp phần vào việc xây dựng hình thành xã hội học tập Việt Nam Để hịa nhập với giới nhanh chóng vấn đề đào tạo nguồn nhân lực chất lượng cao phải đặt lên hàng đầu Trong chất lượng đào tạo yếu tố then chốt trường đại học hàng đầu giới thực nhiều thập niên qua Hiểu tầm quan trọng đảm bảo chất lượng (ĐBCL) giáo dục đại học, ngày 05 tháng 01 năm 2008, Bộ Giáo dục Đào tạo tổ chức Hội nghị toàn quốc chất lượng giáo dục đại học để đánh giá thực trạng đề phương hướng nâng cao chất lượng giáo dục đại học Việt Nam thời gian tới Hội nghị cho thấy chất lượng giáo dục đại học Việt Nam chưa đáp ứng yêu cầu người sử dụng; ngành giáo dục chưa đòi hỏi người sử dụng phải tham gia vào trình đào tạo; nhiều ngành đào tạo cịn chưa có chương trình khung; từ dẫn đến việc thiếu cơng cụ, thiếu chế tài giáo dục đại học Công tác kiểm định chất lượng giáo dục thực từ năm 2003, kết đạt hạn chế 65  V1,V2 vector đặc trưng văn cần so sánh độ tương tự;  V1*V2: Tích vơ hướng vector;  |V1||V2|: Tích độ dài vector V1,V2;  di,d’i : thành phần vector V1 V2 di,d‟i trọng lượng từ (hay cụm từ) văn tương ứng   góc tạo vector V1 V2 hệ trục tọa độ Euclid  Nếu giá trị Consine vector >µ (µ h ng số cho trước gần với 1) văn tương tự nhau, ngược lại văn khơng tương tự 66 Bắt đầu Rút trích nội dung ý kiến Xử lý văn tự động i=1; j=1 Tính cosine() vector i với vector j Cosine()>  Đúng Sai i  i 1 j = j+1; Đúng jN Sai i = i+1; j=1; Đúng iN Sai Sắp xếp lại ý kiến theo thứ tự giảm dần i Kết thúc Hình 2.13 Thuật tốn xếp ý kiến theo trọng số 67 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 3.1 Thiết kế chƣơng trình Từ trình tìm hiểu phân tích hệ thống, đề tài đề nghị phương pháp k thuật triễn khai hệ thống thu thập phân tích ý kiến đánh giá sinh viên, áp dụng trường Đại Học Lạc Hồng Phương pháp xây dựng hệ thống triễn khai thực nghiệm dựa nguyên tắc sau: Xây dựng thư viện từ thuộc lĩnh vực đánh giá chất lượng đào tạo đủ lớn (Khoảng 1000 từ) bao gồm tất chủ đề mà sinh viên đánh giá như: o Giảng viên o Chương trình học o Giáo trình – Bài giảng o Cơ sở vật chất o Xây dựng từ điển cấu trúc câu tham khảo bao gồm dạng cấu trúc câu câu gặp ý kiến đánh giá Xây dựng từ điển từ đồng nghĩa Xây dựng từ điển từ trái nghĩa Xây dựng từ điển từ yếu Ghi nhận phân tích ý kiến đánh giá thành ý kiến đơn, chuẩn hóa ý kiến lưu trữ Tổng hợp, thống kê ý kiến đánh giá theo yêu cầu 68 3.2 Xây dựng chƣơng trình Chương trình thu thập phân tích ý kiến đánh giá sinh viên bao gồm chức sau: 3.2.1 Module 1: Đánh giá chất lƣợng đào tạo Hình 3.1 Module đánh giá chất lượng đào tạo Module bao gồm chức năng: o Cho sinh viên đánh giá chất lượng đào tạo b ng mục chọn theo u cầu chương trình đánh giá o Ngồi sinh viên ghi nhận ý kiến đánh giá khác 69 o Hệ thống tự động phân tích, phân loại lưu trữ ý kiến vào hệ thống 3.2.2 Module 2: Cập nhật thƣ viện từ Việc phân tích ý kiến có chuẩn xác hay khơng phần lớn phụ thuộc vào từ điển tra cứu từ phải đủ lớn chi tiết Module xây dựng Hình 3.2 Hình 3.2 Module cập nhật thư viên từ Module gồm chức năng: o Thêm từ với thông tin: Nội dung từ, từ loại, chủ đề, tình trạng (Có phải từ yếu hay không) o Cập nhật lại thơng tin từ o Xóa từ từ khơng cần thiết 70 3.2.3 Module 3: Cập nhật từ đồng nghĩa – từ trái nghĩa Hình 3.3 Module cập nhật từ đồng nghĩa – từ trái nghĩa Module gồm chức năng: o Cập nhật danh sách từ đồng nghĩa o Cập danh sách từ trái nghĩa 71 3.2.4 Module 4: Phân tích ý kiến mẫu Hình 3.4 Module phân tích ý kiến mẫu Module gồm chức năng: o Phân tích ý kiến mẫu thành ý kiến đơn o Phân tích từ ý kiến đơn o Nếu từ khơng có hệ thống học thêm o Phân tích cấu trúc câu, cho học cấu trúc câu mẫu 72 3.2.5 Module 5: Phân tích – Báo cáo kết đánh giá Hình 3.5 Module phân tích – báo cáo kết Module có chức cho kết phân tích việc đánh giá chất lượng giảng dạy theo tiêu chí như: o Đánh giá mơn o Có ý kiến đánh giá khác o Bao nhiêu ý kiến đánh giá tốt / Tổng ý kiến o Bao nhiêu ý kiến đánh giá không tốt / Tổng ý kiến o Bao nhiêu ý kiến đánh giá giảng viên / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt o Bao nhiêu ý kiến đánh giá sở vật chất / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt 73 o Bao nhiêu ý kiến đánh giá giảng viên / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt o Danh sách ý kiến đánh giá nhiều o 3.3 Thực nghiệm – đánh giá hệ thống 3.3.1 Cài đặt o Server  Hệ điều hành Windows Server 2008 (Hoặc thấp hơn)  Cơ sở liệu lưu SQL Server 2010 (hoặc thấp hơn)  Chương trình cài đăt database thực nghiệm có cài đặt kèm theo  Giao diện chi tiết sử dụng chương trình trình bày phần 3.2 o Client  Form đánh giá đươc thực qua mạng máy có nối mạng cài đặt trình duyệt web (Internet Explorer, FireFox, ) Lƣu ý: o Sinh viên muốn đánh giá phải có tài khoản sinh viên o Sinh viên đánh giá mơn học tham gia sau có kỳ đánh giá tạo người quản trị 74 3.3.2 Đánh giá Hệ thống tiến hành đánh giá thực nghiệm tập liệu 100 ý kiến phản hồi sinh viên mơn Kiến Trúc Máy Tính khoa Khoa Học Máy Tính, trường Đại Học Cơng Nghệ Thơng Tin – Đại Học Quốc Gia TP Hồ Chí Minh Hệ thống phân tích kết sau: 3.3.2.1 Tính ổn định xác o Với 100 ý kiến mẫu hệ thống phân tích được:  Tổng lượt đánh giá: 100  Tổng số ý kiến: 150  Ý kiến đánh giá khen: 37  Ý kiến đánh giá chê: 74  Yêu cầu – Đề nghị: 39  Ý kiến sở vật chất: 31  Ý kiến giảng viên: 82  Ý kiến chương trình – tập – giảng: 37 o Danh sách ý kiến sinh viên đánh giá nhiều Hình 3.6 Kết thống kê 75 o So sánh kết với phƣơng pháp khác Để đánh giá hiệu thực nghiệm, hệ thống tiến hành so sánh kết phương pháp thực c ng tập liệu liệu 100 ý kiến phản hồi sinh viên môn Kiến Trúc Máy Tính khoa Khoa Học Máy Tính, trường Đại Học Công Nghệ Thông Tin – Đại Học Quốc Gia TP Hồ Chí Minh Kết so sánh nêu bảng 3.1 Bảng 3.1 STT Thống kê kết đánh giá Nội dung Thực tế Kết đánh giá Phƣơng Phƣơng pháp pháp theo báo tổng trọng số từ 100 100 Tổng lượt đánh giá 100 Tổng số ý kiến 150 154 100 Ý kiến đánh giá tốt 37 36 18 Ý kiến đánh giá không tốt 74 70 39 Yêu cầu – Đề nghị 39 39 38 Ý kiến sở vật chất 31 34 17 Ý kiến giảng viên Ý kiến chương trình – tập – giảng Tỉ lệ 82 88 59 37 32 14 100% 95.23% 65.84% 3.3.2.2 Tính khả dụng: Hệ thống có tính khả dụng cao, dễ triễn khai, nâng cấp tính bảo mật cao 76 3.3.2.3 Khả bảo trì Việc phân tích tổng hợp kết thường thực server việc bảo trì, nâng cấp cải tiến thực dễ dàng mà khơng làm thay đổi liệu đánh giá thu thập 77 KẾT LUẬN Luận văn đạt đƣợc kết sau: o Đã tìm hiểu, nghiên cứu hệ thống đảm bảo chất lượng đào tạo thông dụng nay, nghiên cứu lý thuyết liên quan đặc biệt xử lý ngôn ngữ tự nhiên o Đề xuất phương pháp thuật toán giúp phân tích ý kiến phản hồi sinh viên o Xây dựng hệ thống thu thập tự động phân tích ý kiến đánh giá chất lượng đào tạo sinh viên trường Đại Học Lạc Hồng Trong đó:  Chương trình phân tích cấu trúc câu đơn giản, thường gặp có khả cập nhật dạng cấu trúc  Đã xây dựng thư viện từ chuẩn thuộc lĩnh vực đánh giá chất lượng giảng dạy Nếu có phát sinh từ vựng hệ thống dễ dàng cập nhật Qua hệ thống cho kết khả quan, tự động phân tích, phân loại tổng hợp ý kiến đánh giá theo tiêu chí mà nhà quản lý đặt Từ tiết kiệm thời gian, nhân lực chi phí Tuy nhiên luận văn cịn số hạn chế sau: o Bộ thư viện hạn chế liệu thử nghiệm nhỏ nên chưa thể đánh giá hiệu hệ thống cách xác 78 o Chưa kiểm chứng thử nghiệm cho sinh viên đánh giá sử dụng cho phòng quản lý đảm bảo chất lượng o Các định nghĩa từ chưa đầy đủ câu mẫu chưa phân tích câu phức tạp sai sót nhỏ câu Hƣớng phát triển o Cải tiến chương trình phân tích, xử lý cấu trúc câu phức tạp câu điều kiện, câu hỏi tĩnh lược, o Cải tiến giải thuật để tăng tốc độ xử lý o Nghiên cứu hướng tiếp cận nh m tăng tính tự động hóa việc mở rộng từ điển từ vựng cấu trúc câu TÀI LIỆU THAM KHẢO [1] Mai Ngọc Chừ – Vũ Đức Nghiệu – Hồng Trọng Phiến (1997), Cơ sở ngơn ngữ học tiếng Việt, Nxb Giáo dục, Hà Nội [2] Vũ Đức Lung Xây dựng ứng dụng phục vụ công tác đảm bảo chất lượng trường đại học Báo cáo kết nghiên cứu khoa học năm 2008, trường ĐH CNTT – ĐH QG.HCM [3] Phạm Xuân Thanh (2005), “Kiểm định chất lượng giáo dục”, Tạp chí Giáo dục, số 115, tháng 6/2005 [4] Nguyễn Kiến Thi Nghiên cứu xây dựng hệ thống thông tin phục vụ công tác đảm bảo chất lượng trường đại học Luận văn thạc s CNTT, trường ĐH CNTT – ĐHQG HCM năm 2009 [5] ASEAN University Network, ASEAN University Network QualityAssurance: Manual for the Implementation of the Guidelines, Tanapress 2007 [6] Elaine Rich, Kevin Knight, “Artificial Intelligence” McGraw-Hill, Inc ISBN 0-07-052263-4 [7] Expertgroup HBO, 1999, Method for improving the quality of higher education based on the EFQM model, version [8] Stensaker, 2007, „Impact of quality processes‟, Embedding Quality Culture in Higher Education, EUA Case Studies, pp 59-62 [9] WikiPedia, Natural language processing, http://wikipedia.org, http://en.wikipedia.org/wiki/Natural_language_processing ... DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** ĐỖ SĨ TRƢỜNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ PHÂN TÍCH Ý KIẾN PHẢN HỒI CỦA SINH VIÊN Chuyên ngành : CÔNG NGHỆ THÔNG TIN Mã số : 60.48.05 Luận văn thạc sĩ. .. Công tác thu thập ý kiến phản hồi từ sinh viên Một công tác thường xuyên phận ĐBCL việc thu thập ý kiến phản hồi từ sinh viên Các trường đại học coi việc tổng hợp ý kiến đóng góp sinh viên kênh... thu thập phân tích ý kiến đánh giá cách nhanh chóng thu? ??n lợi mà đảm bảo quy trình đảm bảo chất lương đào tạo Và tiền đề để xây dựng đề tại: « XÂY DỰNG HỆ THỐNG HỖ TRỢ THU THẬP VÀ PHÂN TÍCH Ý