N-gram từ vựng 13,5 % 18,7 % 21,2 % 24,7 %
Ngữ nghĩa 25,8 % 37,5 % 44,6 % 50,4 %
Ngữ nghĩa + cặp giá trị 25,9 % 38,5 % 45 % 51 %
Ngữ nghĩa + n-gram chủ đề 54,7 % 56,2 % 56,2 % 56,2 %
Ngữ nghĩa + cặp giá trị + n-gram chủ đề 57,1 % 58,7 % 58,7 % 58,7 %
Như đã thấy, mô hình dựa trên duy nhất ngữ nghĩa có độ chính xác ở mức trung bình từ 25,8% đến 50,4% nhưng vẫn vượt trội so với mô hình n-gram từ vựng (từ 13,5% đến 24,7%). Sự kết hợp ngữ nghĩa và n-gram chủ đề có độ chính xác tốt hơn so với sự kết hợp ngữ nghĩa và cặp giá trị. Nhưng độ chính xác đạt được tốt nhất khi kết hợp cả ba yếu tố (ngữ nghĩa, cặp giá trị, n-gram chủ đề).
Dựa vào dòng 2 và 3, ta thấy được yếu tố cặp giá trị có tác động không đáng kể đến độ chính xác khi kết hợp với yếu tố ngữ nghĩa với mức tăng 0.1% tại top-1, và cũng chỉ tăng nhẹ khi xét ở top-3, top-5 và top-10. Ở chiều hướng tích cực hơn, yếu tố
n-gram chủ đề đã ảnh hưởng mạnh đến độ chính xác khi kết hợp với yếu tố ngữ nghĩa
với mức tăng lớn nhất tại top-1 là 28,9%. Qua bảng 4.2, ta thấy được sự kết hợp của ba yếu tố hay chính là SLAMC có sự khác biệt rõ ràng khi so sánh với mô hình n-gram từ vựng với sự chênh lệch top-1, top-3, top-5, top-10 tương ứng là 43,6%, 40%, 37,5%, 34%. Trong các hệ thống gợi ý hoặc tìm kiếm hầu hết người sử dụng xem xét hoặc cân nhắc duy nhất k phần tử ở gần tốp đầu và đặc biệt là phần tử đầu tiên. Tại thực nghiệm
này, độ chính xác top-1 của SLAMC là 57,1%, trong khi con số của n-gram từ vựng
cho top-1 là 13,5%. Từ đây, ta có thể thấy SLAMC là hữu ích trong gợi ý mã cho ngôn ngữ C với độ chính xác tương đối cao.
4.3.2 So sánh độ chính xác
4.3.2.1 Mục tiêu
Thực nghiệm tiếp theo của luận văn là so sánh SLAMC với mô hình n-gram từ vựng khi thực thi với các tập dữ liệu giống nhau nhằm thấy được mô hình nào có độ chính xác tốt hơn trong gợi ý mã cho ngôn ngữ C.
4.3.2.2 Thiết kế thực nghiệm
Trong thực nghiệm này, tất cả các dự án trong bảng 4.1 đều được sử dụng để làm đầu vào cho các mô hình n-gram từ vựng cũng như SLAMC. Đầu ra là sự đo lường độ chính xác top-1 và top-5 của cả hai mô hình.
4.3.2.3 Kết quả