2.3. Tài liệu hƣớng dẫn các nguyên tắc gán nhãn dữ liệu
Để xây dựng tài liệu hƣớng dẫn gán nhãn nhĩm nghiên cứu đã nghiên cứu các ý kiến phản hồi của sinh viên học tại Phân hiệu TP.HCM và bộ dữ liệu UIT- VSFC một cách kỹ lƣỡng. Nhĩm nghiên cứu nhận thấy sự tƣơng đồng rất lớn giữa hai bộ ý kiến đĩ là các vấn đề mà sinh viên thƣờng đề cập trong ý kiến rất giống nhau ví dụ nhƣ sinh viên thƣờng đề cập đến cách giảng dạy của giảng viên, hành vi và thái độ của giảng viên, cơ sở vật chất của nhà trƣờng, đặt biệt là các em thƣờng xuyên đƣa ra các đề xuất. Từ việc nghiên cứu các ý kiến nhĩm nghiên cứu quyết định đƣa ra 11 khía cạnh sau: 1. Kỹ năng giảng dạy, 2. Hành vi, 3. Kiến thức, 4. Kinh nghiệm, 5. Bài tập, 6. Cung cấp tài liệu, 7. Chấm điểm, 8. Chƣơng trình học, 9. Thiết bị dạy học, 10. Nĩi chung, 11. Đề xuất và 3 mức độ cảm xúc là Tích cực, trung tính và Tiêu cực.
2.3.1. Quy tắc gán nhãn khía cạnh:
Kỹ năng giảng dạy - Teaching skill: Các ý kiến đề cập đến cách tổ chức
dạy học, phƣơng pháp dạy học lý thuyết, thực hành của giảng viên, các tƣơng tác diễn ra trong quá trình học. Khả năng ngƣời dạy thực hiện các hành động phù hợp làm cho ngƣời học hiểu hay khơng hiểu bài.
Ví dụ:
- Thầy giáo dạy dễ hiểu - Thầy dạy rất hay.
- Thầy dạy dở, dạy chán,
- Thầy dạy buồn thiu, khĩ hiểu, - Thầy dạy thú vị, thu hút
…….
Hành vi - Behavior: Các ý kiến đề cập đến các hành vi, thái độ của
trọng tâm là hành vi, thái độ hƣớng đến mối quan hệ vì nĩ bao gồm các thuật ngữ nhƣ lịch sự, tử tế, vơ tƣ, v.v.
Ví dụ :
- Thầy dạy nhiệt tình.
- Cơ giáo vui vẻ, quan tâm đến sinh viên, giúp đỡ sinh viên mọi lúc mọi nơi….., tận tình gĩp ý từng bài, gần gũi sinh viên,
- Thầy hay địi hỏi sinh viên những điều hơi quá cao. - Thầy quá bảo thủ.
- Thầy luơn cho rằng ý kiến của thầy là đúng nhất , ngồi ra mọi ý kiến khác đều sai.
- Thầy thƣờng xuyên đi trễ, khiến cả lớp phải chờ thầy. - …….
Kiến thức - Knowledge: Các ý kiến đề cập đến mức độ hiểu biết của
giảng viên về nội dung giảng dạy, bao gồm kiến thức đã cung cấp cho sinh viên. Ví dụ:
- Giảng viên cĩ chuyên mơn rất tốt , kiến thức rộng , giải đáp đƣợc mọi thắc mắc của sinh viên,
- Thầy cĩ kiến thức sâu rộng , cung cấp nhiều kiến thức hay . - Kiến thức thầy cung cấp chƣa cĩ trọng tâm
- ……..
Kinh nghiệm - Experience: Các ý kiến đề cập đến kinh nghiệm thực tiễn
và việc đƣa nội dung thực tiễn lồng ghép vào bài giảng của giảng viên Ví dụ:
- Bài giảng cĩ tính thực tiễn cao.
- Giảng Viên chia sẻ kinh nghiệm thực tế, truyền đạt thực tiễn vấn đề. - Giảng viên cĩ cập nhật thơng tin mới nhất về tình hình thực tế , đƣa nhiều thơng tin thực tế vào bài giảng,
- Khơng dạy kiến thức thực tế tồn giảng dạy theo giáo trình,
- Ngồi những điều trong giáo án sinh viên hiểu đƣợc học rất nhiều điều về thứ khác trong thực tế.
Bài tập - Assessment: Các ý kiến đề cập đến bài tập, số lƣợng bài tập và
các loại bài tập của giảng viên đã giao cho sinh viên và bao gồm luơn việc giảng viên cĩ hƣớng dẫn bài tập hay khơng
Ví dụ:
- Bài tập hay, - Bài tập nhiều,
- Bài tập trên trời mà chẳng bao giờ sửa, - Cĩ nhiều bài tập về nhà cơ bản lẫn nâng cao, - Bài tập mỗi tuần đều cĩ và đầy đủ...
- …..
Cung cấp tài liệu - Provide documents: Các ý kiến đề cập đến việc cung
cấp tài liệu, giáo trình, giáo án của giảng viên. Ví dụ:
- Thầy thơng tin đầy đủ các nguồn tham khảo, hỗ trợ thêm giáo trình khơng phải slide cho sinh viên, slide dễ hiểu.
- Thầy khơng cung cấp tài liệu, slide chuẩn bị chƣa tốt,
Chấm điểm - Mark: Các ý kiến đề cấp đến hoạt động chấm điểm của
giảng viên. Ví dụ:
- Giảng viên chỉ nhìn qua chƣa đầy 30 giây và cho điểm 9 ngay lập tức. - Thầy cập nhật điểm thi giữa kỳ chậm, nên sinh viên khơng biết mức độ phấn đấu nhƣ thế nào.
- Thầy chấm bài đánh giá đúng năng lực. - Cách thầy đánh giá chƣa hợp lý ,
Chƣơng trình học - Training program: Các ý kiến đề cập đến chƣơng
trình học, đề cƣơng, mơn học. Ví dụ:
- Mơn học chƣa thực tiễn, chƣa thu hút sinh viên. - Cấu trúc đề cƣơng chƣa rõ ràng
- Mơn học tồn kiến thức mới mẻ, mơn học chỉ cĩ học lý thuyết khơng cĩ thực hành.
- Chƣơng trình học tuyệt vời.
Thiết bị dạy học - Teaching equipment: Các ý kiến đề cập đến trang
thiết bị dạy học nhƣ phịng học, máy chiếu, quạt, đèn…. Ví dụ:
- Máy quạt khơng chạy, bàn ghế cịn bụi
- Em học ở phịng mà bên cạnh là cơng trình đang thi cơng khá là ồn ào, - Máy chiếu mờ, mic khơng rõ, phịng học nĩng, máy quạt hỏng.
- ……….
Nĩi chung - General: Các ý kiến đề cập đến vấn đề chung hoặc khơng
thuộc các khía cạnh trên. Ví dụ:
- Đề thi dài.
- Thời khĩa biểu xếp chƣa hợp lý. - Em rất quý mến thầy.
- Thầy rất đẹp trai, em thích thầy. - Tốt
……………….
Đề xuất - Proposed: Các ý kiến đề cập đến đề xuất, mong muốn của sinh
viên gửi đến giảng viên và nhà trƣờng.Ví dụ:
- Khơng đƣợc làm những chuyện riêng trong lúc dạy thực hành. - Mong thầy xem lại cách đánh giá.
- Hi vọng thầy cĩ thể sắp xếp thời gian . - Đầu tƣ thêm nhiều cơng cụ dạy học.
- Thầy cho chép bài ít thơi, tập trung sửa bài đƣợc khơng ạ. - Tăng cƣờng chất lƣợng phịng học.
- Thầy cĩ kinh nghiệm thì nên chỉ rõ lỗi sai của sinh viên chứ khơng nên hỏi vặn vẹo, gây khĩ chịu.
- ………………
2.3.2. Quy tắc gán nhãn bài tốn trạng thái cảm xúc
Tích cực – Positive : Các khía cạnh đƣợc đề cập đến cĩ trạng thái tích
cực, mang tính khen nhƣ dạy tốt, dạy hay hoặc trang thiết bị tốt, chất lƣợng… Đối với các câu bình luận trong cùng một khía cạnh cĩ đề cập đến trạng thái tích cực và trung tính thì cũng đƣợc gán nhãn này.
Ví dụ:
- Giảng viên dạy nhiệt tình
- Cơ sở vật chất của nhà trƣờng mới, hiện đại
Trung tính - Neutral: Các khía cạnh đƣợc đề cập cĩ trạng thái trung tính,
bình thƣờng nhƣ truyền đạt bình thƣờng, bài tập cho cũng vừa phải, dạy bình thƣờng, các câu nĩi chung chung khơng khen cũng khơng chê.
Ví dụ:
- Mình thấy giảng viên dạy bình thƣờng, bài tập khơng khĩ lắm - Mình thấy cũng ổn với khối lƣợng nhƣ thế này.
Tiêu cực – Negative: Các khía cạnh đƣợc đề cập dƣới trạng thái tiêu cực,
mang tính chê đối với khía cạnh nhƣ là giáo viên khĩ tính, giáo viên hay đi trễ, ít slides hoặc khơng cho nhiều bài tập.
Ví dụ:
- Giảng viên dạy khĩ hiểu lắm
2.4. Huấn luyện ngƣời gán nhãn
Để quá trình huấn luyện ngƣời gán nhãn đƣợc thuận lợi và tạo ra bộ dữ liệu cĩ chất lƣợng nhĩm nghiên cứu tiến hành quá trình huấn luyện theo hai giai đoạn, mỗi giai đoạn đều đánh đƣợc giá trên cả 2 bài tốn đĩ là bài tốn phát hiện khía cạnh và bài tốn phát hiện cảm xúc trên mỗi khía cạnh. Giai đoạn 1 là giai đoạn gán chung tập dữ liệu con để tính độ đồng thuận của các thành viên gán, giai đoạn 2 là giai đoạn tiến hành gán độc lập khi độ đồng thuận của các thành viên đạt 80% trở lên. Nhĩm gán nhãn trong đề tài này bao gồm 2 giảng viên và 1 chuyên viên của Phân hiệu Trƣờng Đại học Nội vụ Hà Nội tại TP.HCM. Cụ thể 2 giai đoạn của quá trình gán nhãn nhƣ sau.
- Giai đoạn 1: Các thành viên đƣợc cung cấp 1 bộ dữ liệu giống nhau
gồm 300 ý kiến phản hồi của sinh viên và tài liệu hƣớng dẫn gán nhãn. Sau đĩ mỗi thành viên thực hiện việc gán nhãn một cách độc lập bằng cách tham khảo tài liệu hƣớng dẫn gán nhãn rồi tự suy luận để chọn nhãn khía cạnh và nhãn cảm xúc phù hợp cho mỗi ý kiến phản hồi của sinh viên. Sau khi cĩ kết quả gán nhãn của các thành viên nhĩm nghiên cứu tiến hành tính độ đồng thuận giữa các thành viên gán nhãn và đƣa ra kết quả chi tiết so sánh quá trình gán nhãn giữa các thành viên. Tiếp theo, nhĩm gán nhãn sẽ tiến hành họp nhĩm để thảo luận và đƣa ra ý kiến đối với các tình huống chƣa hợp lý và với những bình luận cĩ sự khác biệt về nhãn của các thành viên, sau khi cĩ kết luận chung thì nguyên tắc gán nhãn sẽ cập nhật, bổ sung hoặc chỉnh sửa tài liệu hƣớng dẫn gán nhãn. Giai đoạn một sẽ đƣợc lặp đi lặp lại nhiều lần khi độ đồng thuận giữa các thành viên lớn hơn một ngƣỡng nhất định là 80% đối với cả hai bài tốn thì sẽ đƣợc tiến hành giai đoạn 2.
- Giai đoạn 2: Ở giai đoạn này mỗi thành viên đƣợc giao từ 1.000 ý kiến phản hồi của sinh viên để tiến hành gán nhãn độc lập trong vịng 3 tháng. Trong quá trình gán độc lập nếu cĩ những ý kiến nhập nhằng, ý kiến gây ra sự mâu thuẫn trong quá trình lựa chọn, các thanh viên chia sẻ ý kiến đĩ lên nhĩm để
nhĩm tiến hành thảo luận và ghi chú lại, bổ sung và cập nhật vào bộ quy tắc gán nhãn để đạt kết quả cao trong quá trình gán nhãn.
Trong quá trình gán nhãn, nhĩm nghiên cứu nhận thấy cĩ một số vấn đề nhƣ sau:
+ Đối với những ý kiến phản hồi mang ý nghĩa trực tiếp thì chỉ cần dựa vào tài liệu hƣớng dẫn gán nhãn để chọn gán nhãn khía cạnh và nhãn cảm xúc. Đối với những ý kiến nhƣ vậy thì thƣờng cĩ sự đồng thuận rất cao giữa những ngƣời gán nhãn. Tuy nhiên, trong bộ dữ liệu thƣờng xuất hiện những ý kiến mang ý nghĩa gián tiếp nĩi điều này nhƣng ngụ ý điều khác, hoặc là so sánh giữa giảng viên này và giảng viên khác hoặc là những ý kiến mơ tả vấn đề xung quanh vấn đề cần ý kiến
Ví dụ:
- Tơi đã thấy giảng viên chỉ nhìn qua chƣa đầy 30 giây và cho điểm 9 ngay lập tức
- Thầy dạy hay hơn thầy dạy lần 1 một tí.
- Dù phƣơng pháp học tập này khá hiệu quả nhƣng vẫn cĩ chút nào đĩ nghi ngờ từ phần thuyết trình của các bạn, liệu các kiến thức đĩ cĩ chuẩn xác và cập nhật chƣa. Đến khi cuối kỳ, chỉ cần sinh viên mắc một sai sĩt nhỏ thì sẽ rớt mơn.
- Giảng viên và sinh viên sử dụng hai ngơn ngữ lập trình khác nhau trong quá trình học và cả hai phía đều khơng biết đủ về ngơn ngữ khác nên gây rất nhiều khĩ khăn trong quá trình học.
- Thầy dạy hay muốn xỉu
Để đánh giá độ đồng thuận giữa các thành viên trong nhĩm gán nhãn, nhĩm nghiên cứu sử dụng độ đo đồng thuận Cohen’s kappa để đánh giá. Cơng thức đƣợc tính nhƣ sau:
Am =
Trong đĩ Am là độ đồng thuận, Po là độ đo đồng thuận quan sát sát đƣợc
(tỷ lệ các câu mà cả hai thành viên bất kỳ đều đánh đúng một cặp nhãn) và Pe là độ đồng thuận kỳ vọng.
Sau đây là kết quả độ đồng thuận trên hai bài tốn trong bộ dữ liệu mà nhĩm nghiên cứu gán nhãn. Đối với bài tốn phát hiện thể loại khía cạnh đã đạt đƣợc tỷ lệ độ đồng thuận Am là 88,95% và phát hiện cảm xúc trên khía cạnh đạt đƣợc tỷ lệ độ đồng thuận Am 80,52%. Các giá trị độ đồng thuận này thỏa điều kiện ban đầu mà nhĩm đã đặt ra yêu cầu.
2.5. Thống kê dữ liệu và đánh giá dữ liệu.
Sau thời gian làm việc nghiêm túc, nhiệt tình của các thành viên kết quả cuối cùng, nhĩm nghiên cứu đã xây dựng đƣợc 5010 câu ý kiến phản hồi của sinh viên đƣợc gán nhãn theo 11 khía cạnh và 3 trạng thái cảm xúc khác nhau. Bộ dữ liệu của nhĩm nghiên cứu đƣợc chia thành ba tập khác nhau là tập huấn luyện, tập phát triển và tập kiểm tra theo tỷ lệ chia 7/1/2.
Bảng 2.1. Danh sách thống kê số lƣợng các khía cạnh trong bộ dữ liệu
Ký hiệu Khía cạnh Số lƣợng
#aspect1 Kỹ năng giảng dạy 1.690
#aspect2 Kinh nghiệm 120
#aspect3 Hành vi 1.964
#aspect4 Bài tập 566
#aspect5 Chấm điểm 51
#aspect6 Cung cấp tài liệu 275
#aspect7 Kiến thức 156
#aspect8 Chƣơng trình học 213
#aspect9 Thiết bị dạy học 61
#aspect10 Đề xuất 79
Nhìn vào Bảng 2.1, chúng ta dễ dàng nhận thấy đƣợc sự mất cân đối giữa các khía cạnh với nhau, cụ thể đối với các khía cạnh liên quan đến nhƣ “kỹ năng
giảng dạy”, “hành vi” hay “bài tập” của giảng viên đƣợc sinh viên nhận xét
nhiều. Cịn đối với các khía cạnh nhƣ là “chấm điểm”, “thiết bị dạy học”, “đề
xuất” ít đƣợc sinh viên đề cập đến. Nguyên nhân dẫn đến sự mất cân bằng đĩ là
do hầu hết các ý kiến phản hồi mà nhĩm nghiên cứu nhận đƣợc là lấy từ các khảo sát sinh viên đánh giá về chất lƣợng giáo dục, nên hầu hết các ý kiến phản hồi của sinh viên sẽ nhận xét đến giảng viên là điều tất nhiên. Đối với bài tốn này, việc mất cân bằng giữa các khía cạnh là một điều khơng thể tránh khỏi vì dữ liệu nhĩm nghiên cứu đƣợc thu thập từ những ý kiến thực thế. Vì vậy, sự chênh lệch giữa các khía cạnh này cũng là một thách thức trong bộ dữ liệu của nhĩm nghiên cứu xây dựng.
Chƣơng 3: KẾT QUẢ THỬ NGHIỆM TRÊN CÁC MƠ HÌNH MÁY HỌC VÀ PHẦN MỀM PHÂN TÍCH TỰ ĐỘNG Ý KIẾN PHẢN HỒI CỦA SINH
VIÊN VỀ CHẤT LƢỢNG ĐÀO TẠO THEO KHÍA CẠNH
3.1. Mơ hình máy học