Thực nghiệm – đánh giá hệ thống

Một phần của tài liệu Xây dựng hệ thống thu thập và phân tích ý kiến phản hồi của sinh viên luận văn thạc sĩ (Trang 81)

o Server

 Hệ điều hành Windows Server 2008 (Hoặc thấp hơn)  Cơ sở dữ liệu lưu trên SQL Server 2010 (hoặc thấp hơn)

 Chương trình cài đăt và database thực nghiệm có trong bộ cài đặt kèm theo

 Giao diện và chi tiết sử dụng chương trình được trình bày trong phần 3.2

o Client

 Form đánh giá đươc thực hiện qua mạng tại bất kỳ máy nào có nối mạng và cài đặt trình duyệt web (Internet Explorer, FireFox, )

Lƣu ý:

o Sinh viên muốn đánh giá phải có tài khoản sinh viên.

o Sinh viên chỉ được đánh giá môn học mình tham gia sau khi có kỳ đánh giá được tạo ra bởi người quản trị

3.3.2 Đánh giá

Hệ thống đã tiến hành đánh giá thực nghiệm trên tập dữ liệu 100 ý kiến phản hồi của sinh viên về môn Kiến Trúc Máy Tính tại khoa Khoa Học Máy Tính, trường Đại Học Công Nghệ Thông Tin – Đại Học Quốc Gia TP. Hồ Chí Minh. Hệ thống đã phân tích được kết quả như sau:

3.3.2.1 Tính ổn định và chính xác

o Với 100 ý kiến mẫu hệ thống đã phân tích được:  Tổng lượt đánh giá: 100

 Tổng số ý kiến: 150  Ý kiến đánh giá khen: 37  Ý kiến đánh giá chê: 74  Yêu cầu – Đề nghị: 39  Ý kiến về cơ sở vật chất: 31  Ý kiến về giảng viên: 82

 Ý kiến về chương trình – bài tập – bài giảng: 37 o Danh sách các ý kiến được sinh viên đánh giá nhiều nhất

o So sánh kết quả với những phƣơng pháp khác nhau

Để đánh giá hiệu quả thực nghiệm, hệ thống đã tiến hành so sánh kết quả giữa các phương pháp được thực hiện trên c ng tập dữ liệu liệu 100 ý kiến phản hồi của sinh viên về môn Kiến Trúc Máy Tính tại khoa Khoa Học Máy Tính, trường Đại Học Công Nghệ Thông Tin – Đại Học Quốc Gia TP. Hồ Chí Minh. Kết quả so sánh được nêu trong như bảng 3.1

Bảng 3.1 Thống kê kết quả đánh giá

STT Nội dung Kết quả đánh giá Thực tế Phƣơng pháp trong bài báo này Phƣơng pháp theo tổng trọng số các từ 1 Tổng lượt đánh giá 100 100 100 2 Tổng số ý kiến 150 154 100 2 Ý kiến đánh giá tốt 37 36 18 3 Ý kiến đánh giá không tốt 74 70 39 4 Yêu cầu – Đề nghị 39 39 38 5 Ý kiến về cơ sở vật chất 31 34 17 6 Ý kiến về giảng viên 82 88 59 7 Ý kiến về chương trình –

bài tập – bài giảng 37 32 14

Tỉ lệ 100% 95.23% 65.84%

3.3.2.2 Tính khả dụng:

3.3.2.3 Khả năng bảo trì

Việc phân tích và tổng hợp kết quả thường thực hiện trên server vì vậy việc bảo trì, nâng cấp và cải tiến có thể thực hiện dễ dàng mà không làm thay đổi dữ liệu đánh giá đã được thu thập

KẾT LUẬN

Luận văn đã đạt đƣợc những kết quả sau:

o Đã tìm hiểu, nghiên cứu về các hệ thống đảm bảo chất lượng đào tạo thông dụng hiện nay, nghiên cứu các lý thuyết liên quan đặc biệt là về xử lý ngôn ngữ tự nhiên.

o Đề xuất một phương pháp và các thuật toán giúp phân tích ý kiến phản hồi của sinh viên

o Xây dựng được một hệ thống thu thập và tự động phân tích ý kiến đánh giá chất lượng đào tạo của sinh viên tại trường Đại Học Lạc Hồng. Trong đó:

 Chương trình đã phân tích được những cấu trúc câu đơn giản, thường gặp và có khả năng cập nhật những dạng cấu trúc mới.

 Đã xây dựng được bộ thư viện từ chuẩn thuộc lĩnh vực đánh giá chất lượng giảng dạy. Nếu có phát sinh từ vựng mới thì hệ thống có thể dễ dàng cập nhật mới. (adsbygoogle = window.adsbygoogle || []).push({});

Qua đó hệ thống đã cho ra kết quả khả quan, tự động phân tích, phân loại và tổng hợp các ý kiến đánh giá theo từng tiêu chí mà nhà quản lý đặt ra. Từ đó tiết kiệm thời gian, nhân lực và chi phí.

Tuy nhiên luận văn vẫn còn một số hạn chế sau:

o Bộ thư viện còn hạn chế và dữ liệu thử nghiệm còn nhỏ nên chưa thể đánh giá hiệu quả của hệ thống một cách chính xác nhất.

o Chưa được kiểm chứng thử nghiệm cho sinh viên đánh giá và sử dụng cho phòng quản lý đảm bảo chất lượng

o Các định nghĩa từ còn chưa đầy đủ và các câu mẫu còn ít và chưa phân tích được các câu quá phức tạp cũng như những sai sót nhỏ trong câu.

Hƣớng phát triển

o Cải tiến chương trình có thể phân tích, xử lý các cấu trúc câu phức tạp hơn như câu điều kiện, câu hỏi tĩnh lược,

o Cải tiến giải thuật để tăng tốc độ xử lý

o Nghiên cứu các hướng tiếp cận mới nh m tăng tính tự động hóa trong việc mở rộng bộ từ điển từ vựng cũng như cấu trúc câu.

TÀI LIỆU THAM KHẢO

[1] Mai Ngọc Chừ – Vũ Đức Nghiệu – Hoàng Trọng Phiến (1997), Cơ sở ngôn ngữ học và tiếng Việt, Nxb Giáo dục, Hà Nội

[2] Vũ Đức Lung. Xây dựng ứng dụng phục vụ công tác đảm bảo chất lượng trong trường đại học. Báo cáo kết quả nghiên cứu khoa học năm 2008, trường ĐH CNTT – ĐH QG.HCM.

[3] Phạm Xuân Thanh (2005), “Kiểm định chất lượng giáo dục”, Tạp chí Giáo dục, số 115, tháng 6/2005

[4] Nguyễn Kiến Thi. Nghiên cứu và xây dựng hệ thống thông tin phục vụ công tác đảm bảo chất lượng trong trường đại học. Luận văn thạc s CNTT, trường ĐH CNTT – ĐHQG. HCM năm 2009.

[5] ASEAN University Network, ASEAN University Network Quality- Assurance: Manual for the Implementation of the Guidelines, Tanapress. 2007

[6] Elaine Rich, Kevin Knight,Artificial Intelligence”. McGraw-Hill, Inc. ISBN 0-07-052263-4.

[7] Expertgroup HBO, 1999, Method for improving the quality of higher education based on the EFQM model, version 2.

[8] Stensaker, 2007, „Impact of quality processes‟, Embedding Quality Culture in Higher Education, EUA Case Studies, pp. 59-62.

[9] WikiPedia, Natural language processing, http://wikipedia.org,

Một phần của tài liệu Xây dựng hệ thống thu thập và phân tích ý kiến phản hồi của sinh viên luận văn thạc sĩ (Trang 81)