Các hệ số Precision, Recall và F-measure đƣợc sử dụng để đánh giá kết quả phân cụm. Tôi so sánh kết quả phân cụm học sinh theo giải pháp đề xuất và so sánh với kết quả phân cụm học sinh bằng tay (do ngƣời làm). Kết qủa phân cụm học sinh bằng tay dựa trên các tiêu chí khác nhau do giáo viên thực hiện, trong đó mỗi tiêu chí là một cụm. Xét tập có n học sinh, sau khi phân cụm bằng tay ta có m cụm, và sau khi phân cụm bằng hệ thống phần mềm phân cụm học sinh có k cụm. Trong quá trình thử nghiệm ta có m≤ k. Để đánh giá kết quả của hệ thống, ta tiến hành xác định ba hệ số Precision, Recall và F-measure giữa hai cụm trong hai hệ thống.
44
Gọi a=|A|, b=|B| và c=|C|.Trong hình ?, cụm mi do con ngƣời tạo ra là AB gồm có a+b học sinh, cụm ki do hệ thống phân gồm là AC có a + c học sinh. Hai cụm trên có phần chung là A và gồm a học sinh. Hệ số Precision giữa hai cụm trên đƣợc ký hiệu là P (Precision) phản ánh độ chính xác của truy vấn và đƣợc tính bằng
công thức: a P a c
Hệ số Precision cho biết tỉ lệ giữa số học sinh đƣợc phân cụm đúng. Nếu P=1 thì các học sinh trong cụm ki nằm trong các học sinh của cụm mi. Hệ số Recall giữa hai cụm mi và ki đƣợc ký hiệu là R (recall) và đƣợc tính bằng công thức sau:
a R
a b
Nếu R =1 thì các học sinh trong cụm mi thuộc các học sinh nằm trong cụm ki . Có thể kết hợp hai hệ số Precision và Recall lại thành hệ số F-Measure. Hệ số F-Measure đƣợc tính bằng công thức: 1 1 1 (1 ) F P R
Giá trị α càng cao sẽ tác động mạnh đến hệ số Recall, ngƣợc lại giá trị α thấp sẽ tác động mạnh lên hệ số Presicion Thông thƣờng hệ số a trong công thức trên đƣợc chọn là 0.5. Khi đó công thức trên đƣợc viết lại:
0.5 2PR F P R
Brew C. [tên tác giả trong tài liệu 2 ở dƣới thêm vào phần tài liệu than khảo và chỉnh lại nhé] đề nghị cách đánh giá nhƣ sau: Tƣơng ứng với một cụm trong kết quả phân cụm của hệ thống ta đi tính giá trị của độ đo F-measure với tất cả các cụm đƣợc phân bằng tay. Chọn ra giá trị của F-measure cao nhất và loại cụm này ra. Tiếp tục công việc trên, cho các cụm còn lại. Tổng các giá trị F-measure càng cao thì hệ thống phân cụm càng chính xác. Tập kết quả thử nghiệm phân cụm có 500 học sinh thuộc về 5 tiêu chí khác nhau, mỗi tiêu chí có 100 học sinh. Kích
45
thƣớc lớp ra Kohonen là 8x8; Chu kỳ lặp max là 5000; Chu kỳ cập nhật bán kính vùng lân cận là 50.
Phương pháp phân cụm k-means
Kết quả: Phƣơng pháp phân cụm bằng tay: cho 5 cụm mỗi cụm có 100 học sinh. Phƣơng pháp phân cụm học sinh theo kmean. Số cụm thu đƣợc sau khi phân cụm là 8 cụm. Sử dụng các công thức trên để tính các hệ số Precision, Recall, F- measure. Ta có kết quả tính F-measure nhƣ trong bảng:
Ngƣời Máy Cụm 1 Cụm 2 Cụm 3 Cụm 4 Cụm 5 Cụm 1 0.33 0.21 0.26 0.12 0.15 Cụm 2 0.12 0.13 0.18 0.21 0.35 Cụm 3 0.21 0.16 0.29 0.19 0.16 Cụm 4 0.09 0.28 0.18 0.17 0.16 Cụm 5 0.25 0.22 0.09 0.31 0.18 Max 0.33 0.28 0.29 0.31 0.35
Kết quả tính F-measure giữa phân cụm bằng tay và phân cụm vector
Tổng Max cho phân cụm vector = 0.33+0.28+0.29+0.31+0.35= 1.56 Phƣơng pháp phân cụm sử dụng mạng noron SOM Kohonen
Số cụm học sinh thu đƣợc là 5 cụm. Tính giá trị của các hệ số giữa kết quả của phƣơng pháp phân cụm đồ thị và phƣơng pháp phân cụm bằng tay. Sử dụng các công thức trên để tính các hệ số Precision, Recall, F-measure. Ta có kết quả tính F- measure nhƣ trong bảng sau:
46 Ngƣời Máy Cụm 1 Cụm 2 Cụm 3 Cụm 4 Cụm 5 Cụm 1 0.12 0.14 0.39 0.22 0.25 Cụm 2 0.12 0.13 0.09 0.18 0.30 Cụm 3 0.23 0.13 0.25 0.31 0.06 Cụm 4 0.09 0.52 0.18 0.08 0.11 Cụm 5 0.44 0.08 0.09 0.11 0.23 Max 0.44 0.52 0.39 0.41 0.35
Kết quả tính F-measure giữa phân cụm bằng tay và phân cụm đồ thị nơron
Tổng Max cho phân cụm đồ thị = 0.44+0.52+0.39+0.41+0.35=2.11
Tôi cũng đã thử nghiệm với 5 tập mẫu ngẫu nhiên khác mỗi tập có 500 học sinh. Kết quả đƣợc nêu trong bảng sau:
Tập mẫu ngẫu nhiêu Tổng Max cho phân cụm Kmean
Tổng Max cho phân cụm nơron Tập mẫu 1 1.56 2.11 Tập mẫu 2 1.23 2.56 Tập mẫu 3 1.98 2.12 Tập mẫu 4 1.74 2.43 Tập mẫu 5 1.67 2.76
Kết quả thử nghiệm với các tập mẫu ngẫu nhiên
Nhận xét: Qua thử nghiệm và tính tổng giá trị lớn nhất của hệ số F- Measure cho nhiều tập mẫu khác nhau, tôi nhận thấy tổng giá trị lớn nhất của hệ số F-Measure của hệ thống phân cụm học sinh đƣợc thực hiện bởi mạng nơron lớn hơn nhiều so với hệ thống phân cụm học sinh bằng thuật toán Kmean. Điều này khuyến khích tôi tiếp tục phát triển phƣơng pháp phân cụm học sinh bằng mạng nơron thay thế cho các phƣơng pháp phân cụm khác với mục đích nâng cao chất lƣợng phân cụm.