Việc tổng hợp các ý kiến đánh giá nếu thực hiện thủ công sẽ mất rất nhiều thời gian của người làm công tác đảm bảo chất lượng. Vì thế mục tiêu chính của luận văn này là xây dựng một công cụ giúp tự động phân tích và tổng hợp, sắp xếp lại các ý kiến theo thứ tự được phản ánh nhiều nhất đến ít nhất. Như vậy người làm công tác đảm bảo chất lượng có thể chỉ cần in ra những ý kiến được phản ánh nhiều nhất (ví dụ 50 ý kiến được đánh giá nhiều nhất) từ hàng ngàn ý kiến thu thập được.
Các ý kiến sau khi trải qua các bước phân tích, chuẩn hóa sẽ trở nên đơn giản và thống nhất hơn về mặt cấu trúc câu. Tuy nhiên, ngôn ngữ tự nhiên là một lĩnh vực rộng lớn và đa dạng. Chính vì vậy những ý kiến sau khi chuẩn hóa vẫn chưa thể đảm bảo thống nhất và tr ng lắp hoàn toàn về cấu trúc câu, qua đó, việc tổng hợp dữ liệu sẽ không được chính xác hoàn toàn. Chính vì vậy, cần phải có phương pháp tổng hợp ý kiến dựa trên độ tương tự giữa các ý kiến.
2.2.7.1 Tìm độ tƣơng tự giữa các ý kiến
Để thực hiện tìm ra những ý kiến được phản ánh nhiều nhất dựa vào độ tương tự của các ý kiến, ta sử dụng hai phương pháp sau:
Phương pháp I - Sắp xếp các ý kiến theo tổng trọng số của các từ.
Phương pháp này khá đơn giản, mỗi từ sẽ có một trọng số biểu hiện số lần xuất hiện của từ đó trong tất cả các ý kiến. Tổng trọng số của tất cả các từ trong một ý kiến sẽ cho ta trọng số của ý kiến đó (công thức 1) và ý kiến nào có trọng số lớn nhất sẽ được sắp trên c ng (việc này gần đồng nghĩa với việc ý kiến đó được phản ánh nhiều nhất).
1 i N i ij j Y (1) Trong đó: Yi – Trọng số của ý kiến thứ i Ni – Tổng số từ trong ý kiến thứ i
ij – Trọng số của từ j trong ý kiến i
Phương pháp II – Sắp xếp theo độ tương tự các ý kiến
Để tìm ra những ý kiến phản ánh nhiều nhất, sử dụng cơ chế so sánh văn bản đặc biệt - đó là so sánh để tìm ra độ tương tự giữa hai văn bản (hai ý kiến). Theo cách so sánh văn bản truyền thống, văn bản được so sánh từng vị trí để tìm ra sự khác biệt. Đối với cách so sánh tìm độ tương tự giữa hai văn bản, chỉ cần xác định được hai văn bản có độ tương tự lớn hơn một ngưỡng cho phép µ thì coi như là đồng nhất.
Việc so sánh được thực hiện theo phương pháp d ng độ đo Cosine để tính độ tương tự giữa hai văn như sau:
o Hai văn bản cần so sánh được biểu diễn b ng vector đặc trưng o Biểu diễn 2 vector đặc trưng của 2 văn bản trong hệ trục tọa độ
Hình 2.12 Biểu diễn 2 vector đặc trưng của 2 văn bản trong hệ trục tọa độ o Tính Cosine của góc giữa hai vector chính là độ tương tự hai văn
bản. Nếu hai văn bản giống nhau hoàn toàn, 2 vector đặc trưng sẽ tr ng khít lên nhau và góc giữa hai vector là =00 => Cosine=1. Ngược lại, nếu 2 văn bản không có điểm tương đồng nào cả, khi đó góc giữa 2 vector sẽ là =1800 và Cosine=0.
o Như vậy, hai văn bản càng có nhiều điểm tương tự thì giá trị Cosine giữa chúng càng tiến về 1. Trường hợp ngược lại sẽ tiến về 0.
o Gọi V1,V2 là 2 vector đặc trưng của 2 văn bản so sánh,
V1={d1,d2,…,dn) và V2={d’1,d’2,…d’n}. Khi đó giá trị Cosine của
V1,V2 sẽ được viết như sau:
n i i n i i n i i i d d d d V V V V e Co 1 ' 1 2 1 ' 2 | 2 || 1 | 2 * 1 ) ( sin (2) Trong đó:
V1,V2 là 2 vector đặc trưng của 2 văn bản cần so sánh độ tương tự;
V1*V2: Tích vô hướng của 2 vector; |V1||V2|: Tích độ dài của 2 vector V1,V2;
di,d’i : là các thành phần của vector V1 và V2 trong đó mỗi di,d‟i là trọng lượng của 1 từ (hay cụm từ) của văn bản tương ứng.
là góc tạo bởi 2 vector V1 và V2 trong hệ trục tọa độ Euclid.
Nếu giá trị Consine giữa 2 vector >µ (µ là 1 h ng số cho trước gần với 1) thì 2 văn bản tương tự nhau, ngược lại 2 văn bản đó không tương tự nhau.
Hình 2.13 Thuật toán sắp xếp ý kiến theo trọng số Bắt đầu
i=1; j=1 Tính cosine() giữa vector i với
vector j Cosine()> 1 i i jN i = i+1; j=1; iN Kết thúc j = j+1;
Rút trích nội dung ý kiến Xử lý văn bản tự động
Sắp xếp lại các ý kiến theo thứ tự giảm dần của i 3 2 1 Đúng Sai Đúng Đúng Sai Sai
CHƢƠNG 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ
3.1 Thiết kế chƣơng trình
Từ quá trình tìm hiểu và phân tích hệ thống, đề tài đề nghị phương pháp k thuật triễn khai hệ thống thu thập và phân tích ý kiến đánh giá của sinh viên, áp dụng tại trường Đại Học Lạc Hồng.
Phương pháp xây dựng hệ thống và triễn khai thực nghiệm dựa trên các nguyên tắc cơ bản sau:
1. Xây dựng bộ thư viện từ thuộc lĩnh vực đánh giá chất lượng đào tạo đủ lớn (Khoảng 1000 từ) bao gồm tất cả các chủ đề mà sinh viên có thể đánh giá như:
o Giảng viên
o Chương trình học o Giáo trình – Bài giảng o Cơ sở vật chất
o
2. Xây dựng bộ từ điển cấu trúc câu tham khảo bao gồm các dạng cấu trúc câu câu có thể gặp trong các ý kiến đánh giá.
3. Xây dựng bộ từ điển từ đồng nghĩa 4. Xây dựng bộ từ điển từ trái nghĩa 5. Xây dựng bộ từ điển từ yếu
6. Ghi nhận và phân tích ý kiến đánh giá thành các ý kiến đơn, chuẩn hóa các ý kiến này và lưu trữ
3.2 Xây dựng chƣơng trình
Chương trình thu thập và phân tích ý kiến đánh giá của sinh viên bao gồm các chức năng sau:
3.2.1 Module 1: Đánh giá chất lƣợng đào tạo
Hình 3.1 Module đánh giá chất lượng đào tạo
Module bao gồm các chức năng:
o Cho sinh viên đánh giá chất lượng đào tạo b ng các mục chọn theo yêu cầu của chương trình đánh giá
o Hệ thống sẽ tự động phân tích, phân loại và lưu trữ những ý kiến này vào hệ thống
3.2.2 Module 2: Cập nhật thƣ viện từ
Việc phân tích ý kiến có chuẩn và chính xác hay không phần lớn phụ thuộc vào bộ từ điển tra cứu từ phải đủ lớn và chi tiết. Module này được xây dựng như Hình 3.2
Hình 3.2 Module cập nhật thư viên từ
Module gồm các chức năng:
o Thêm từ mới với các thông tin: Nội dung từ, từ loại, chủ đề, tình trạng (Có phải là từ yếu hay không)
o Cập nhật lại thông tin của một từ o Xóa từ nếu từ đó không cần thiết.
3.2.3 Module 3: Cập nhật từ đồng nghĩa – từ trái nghĩa
Hình 3.3 Module cập nhật từ đồng nghĩa – từ trái nghĩa
Module gồm các chức năng:
o Cập nhật danh sách từ đồng nghĩa o Cập danh sách từ trái nghĩa
3.2.4 Module 4: Phân tích ý kiến mẫu
Hình 3.4 Module phân tích ý kiến mẫu
Module gồm các chức năng:
o Phân tích ý kiến mẫu thành các ý kiến đơn o Phân tích từ các ý kiến đơn
o Nếu từ không có trong hệ thống có thể học thêm
3.2.5 Module 5: Phân tích – Báo cáo kết quả đánh giá
Hình 3.5 Module phân tích – báo cáo kết quả
Module có chức năng chính là cho ra kết quả phân tích việc đánh giá chất lượng giảng dạy theo từng tiêu chí như:
o Đánh giá môn nào
o Có bao nhiêu ý kiến đánh giá khác
o Bao nhiêu ý kiến đánh giá tốt / Tổng ý kiến
o Bao nhiêu ý kiến đánh giá không tốt / Tổng ý kiến
o Bao nhiêu ý kiến đánh giá về giảng viên / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt
o Bao nhiêu ý kiến đánh giá về cơ sở vật chất / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt
o Bao nhiêu ý kiến đánh giá về giảng viên / Bao nhiêu ý kiến đánh giá tốt / Bao nhiêu ý kiến đánh giá không tốt
o Danh sách các ý kiến được đánh giá nhiều nhất o
3.3 Thực nghiệm – đánh giá hệ thống 3.3.1 Cài đặt 3.3.1 Cài đặt
o Server
Hệ điều hành Windows Server 2008 (Hoặc thấp hơn) Cơ sở dữ liệu lưu trên SQL Server 2010 (hoặc thấp hơn)
Chương trình cài đăt và database thực nghiệm có trong bộ cài đặt kèm theo
Giao diện và chi tiết sử dụng chương trình được trình bày trong phần 3.2
o Client
Form đánh giá đươc thực hiện qua mạng tại bất kỳ máy nào có nối mạng và cài đặt trình duyệt web (Internet Explorer, FireFox, )
Lƣu ý:
o Sinh viên muốn đánh giá phải có tài khoản sinh viên.
o Sinh viên chỉ được đánh giá môn học mình tham gia sau khi có kỳ đánh giá được tạo ra bởi người quản trị
3.3.2 Đánh giá
Hệ thống đã tiến hành đánh giá thực nghiệm trên tập dữ liệu 100 ý kiến phản hồi của sinh viên về môn Kiến Trúc Máy Tính tại khoa Khoa Học Máy Tính, trường Đại Học Công Nghệ Thông Tin – Đại Học Quốc Gia TP. Hồ Chí Minh. Hệ thống đã phân tích được kết quả như sau:
3.3.2.1 Tính ổn định và chính xác
o Với 100 ý kiến mẫu hệ thống đã phân tích được: Tổng lượt đánh giá: 100
Tổng số ý kiến: 150 Ý kiến đánh giá khen: 37 Ý kiến đánh giá chê: 74 Yêu cầu – Đề nghị: 39 Ý kiến về cơ sở vật chất: 31 Ý kiến về giảng viên: 82
Ý kiến về chương trình – bài tập – bài giảng: 37 o Danh sách các ý kiến được sinh viên đánh giá nhiều nhất
o So sánh kết quả với những phƣơng pháp khác nhau
Để đánh giá hiệu quả thực nghiệm, hệ thống đã tiến hành so sánh kết quả giữa các phương pháp được thực hiện trên c ng tập dữ liệu liệu 100 ý kiến phản hồi của sinh viên về môn Kiến Trúc Máy Tính tại khoa Khoa Học Máy Tính, trường Đại Học Công Nghệ Thông Tin – Đại Học Quốc Gia TP. Hồ Chí Minh. Kết quả so sánh được nêu trong như bảng 3.1
Bảng 3.1 Thống kê kết quả đánh giá
STT Nội dung Kết quả đánh giá Thực tế Phƣơng pháp trong bài báo này Phƣơng pháp theo tổng trọng số các từ 1 Tổng lượt đánh giá 100 100 100 2 Tổng số ý kiến 150 154 100 2 Ý kiến đánh giá tốt 37 36 18 3 Ý kiến đánh giá không tốt 74 70 39 4 Yêu cầu – Đề nghị 39 39 38 5 Ý kiến về cơ sở vật chất 31 34 17 6 Ý kiến về giảng viên 82 88 59 7 Ý kiến về chương trình –
bài tập – bài giảng 37 32 14
Tỉ lệ 100% 95.23% 65.84%
3.3.2.2 Tính khả dụng:
3.3.2.3 Khả năng bảo trì
Việc phân tích và tổng hợp kết quả thường thực hiện trên server vì vậy việc bảo trì, nâng cấp và cải tiến có thể thực hiện dễ dàng mà không làm thay đổi dữ liệu đánh giá đã được thu thập
KẾT LUẬN
Luận văn đã đạt đƣợc những kết quả sau:
o Đã tìm hiểu, nghiên cứu về các hệ thống đảm bảo chất lượng đào tạo thông dụng hiện nay, nghiên cứu các lý thuyết liên quan đặc biệt là về xử lý ngôn ngữ tự nhiên.
o Đề xuất một phương pháp và các thuật toán giúp phân tích ý kiến phản hồi của sinh viên
o Xây dựng được một hệ thống thu thập và tự động phân tích ý kiến đánh giá chất lượng đào tạo của sinh viên tại trường Đại Học Lạc Hồng. Trong đó:
Chương trình đã phân tích được những cấu trúc câu đơn giản, thường gặp và có khả năng cập nhật những dạng cấu trúc mới.
Đã xây dựng được bộ thư viện từ chuẩn thuộc lĩnh vực đánh giá chất lượng giảng dạy. Nếu có phát sinh từ vựng mới thì hệ thống có thể dễ dàng cập nhật mới.
Qua đó hệ thống đã cho ra kết quả khả quan, tự động phân tích, phân loại và tổng hợp các ý kiến đánh giá theo từng tiêu chí mà nhà quản lý đặt ra. Từ đó tiết kiệm thời gian, nhân lực và chi phí.
Tuy nhiên luận văn vẫn còn một số hạn chế sau:
o Bộ thư viện còn hạn chế và dữ liệu thử nghiệm còn nhỏ nên chưa thể đánh giá hiệu quả của hệ thống một cách chính xác nhất.
o Chưa được kiểm chứng thử nghiệm cho sinh viên đánh giá và sử dụng cho phòng quản lý đảm bảo chất lượng
o Các định nghĩa từ còn chưa đầy đủ và các câu mẫu còn ít và chưa phân tích được các câu quá phức tạp cũng như những sai sót nhỏ trong câu.
Hƣớng phát triển
o Cải tiến chương trình có thể phân tích, xử lý các cấu trúc câu phức tạp hơn như câu điều kiện, câu hỏi tĩnh lược,
o Cải tiến giải thuật để tăng tốc độ xử lý
o Nghiên cứu các hướng tiếp cận mới nh m tăng tính tự động hóa trong việc mở rộng bộ từ điển từ vựng cũng như cấu trúc câu.
TÀI LIỆU THAM KHẢO
[1] Mai Ngọc Chừ – Vũ Đức Nghiệu – Hoàng Trọng Phiến (1997), Cơ sở ngôn ngữ học và tiếng Việt, Nxb Giáo dục, Hà Nội
[2] Vũ Đức Lung. Xây dựng ứng dụng phục vụ công tác đảm bảo chất lượng trong trường đại học. Báo cáo kết quả nghiên cứu khoa học năm 2008, trường ĐH CNTT – ĐH QG.HCM.
[3] Phạm Xuân Thanh (2005), “Kiểm định chất lượng giáo dục”, Tạp chí Giáo dục, số 115, tháng 6/2005
[4] Nguyễn Kiến Thi. Nghiên cứu và xây dựng hệ thống thông tin phục vụ công tác đảm bảo chất lượng trong trường đại học. Luận văn thạc s CNTT, trường ĐH CNTT – ĐHQG. HCM năm 2009.
[5] ASEAN University Network, ASEAN University Network Quality- Assurance: Manual for the Implementation of the Guidelines, Tanapress. 2007
[6] Elaine Rich, Kevin Knight, “Artificial Intelligence”. McGraw-Hill, Inc. ISBN 0-07-052263-4.
[7] Expertgroup HBO, 1999, Method for improving the quality of higher education based on the EFQM model, version 2.
[8] Stensaker, 2007, „Impact of quality processes‟, Embedding Quality Culture in Higher Education, EUA Case Studies, pp. 59-62.
[9] WikiPedia, Natural language processing, http://wikipedia.org,