dụng BFS
Trong phần trước luận văn đã trình bày toàn bộ lý thuyết về hệ thống phân tích cú pháp Shift-Reduce sử dụng thuật toán tìm kiếm BFS kết hợp với lý thuyết quy
Lê Quang Thắng – CNTT.KH.2012B 34
hoạch động, ký hiệu là hệ thống phân tích cú pháp BFS-DP Shift-Reduce. Do đó, trong phần này, luận văn sẽ tiến hành đánh giá thực nghiệm hiệu năng của hệ thống đề xuất. Như đã trình bày trong phần 3.2, các nghiên cứu đi trước về thuật toán tìm kiếm BFS áp dụng cho phân tích cú pháp Shift-Reduce đều sử dụng mô hình Maxent thực hiện huấn luyện cục bộ để tạo ra phân phối xác suất cho các action tại mỗi state và lấy đó làm trọng số cho các cạnh trong đồ thị. Điều này khác biệt hẳn với hệ thống của luận văn, khi mà cả quá trình huấn luyện lẫn phân tích của hệ thống đều được thực hiện một cách toàn cục bởi thuật toán Perceptron cấu trúc với độ phức tạp cao hơn rất nhiều. Để đánh giá hệ thống, luận văn sẽ làm một thử nghiệm so sánh giữa hệ thống của luận văn với hệ thống phân tích cú pháp Shift- Reduce của Sagae (2006) để minh họa được độ ưu việt của hệ thống phân tích cú pháp BFS-DP Shift-Reduce của luận văn so với các nghiên cứu đi trước.
Về mặt chuẩn bị thí nghiệm, cả hai hệ thống đều được huấn luyện trên tập dữ liệu
Penn Treebank dành cho tiếng Anh dựa theo tỷ lệ chuẩn: sử dụng section 2-21 để huấn luyện. Việc nhị phân hóa tập luật được thực hiện bằng phương pháp nhị phân hóa hướng từ trung tâm của Zhang và Clark (2009)[13] bằng luật xác định từ trung tâm của Michael Collins (2003)[3] đã được trình bày ở phần 2.2. Độ chính xác của kết quả phân tích cú pháp được đánh giá theo thang điểm F1 bởi phần mềm EVALB. Tập dữ liệu thử nghiệm dành cho hai hệ thống là section 24 của Penn Treebank. Đầu vào chuẩn của hệ thống phân tích cú pháp BFS-DP Shift-Reduce của luận văn được tạo ra bởi bộ gán nhãn từ loại của Stanford. Tất cả các thí nghiệm dưới đây đều được thực hiện trên cấu hình phần cứng như sau: bộ vi xử lý Intel Corei5 2.5GHz và 16GB bộ nhớ RAM.
Về bộ đặc trƣng đƣợc sử dụng, người làm luận văn đã mượn lại bộ đặc trưng giản
lược của Sagae (2006)[21]. Tuy nhiên, do tính chất phức tạp của mô hình Perceptron cấu trúc, người làm luận văn không sử dụng toàn bộ mà chỉ sử dụng một phần của bộ đặc trưng này như đã được minh họa trong Bảng 3-1.
Lê Quang Thắng – CNTT.KH.2012B 35
Bảng 3-3 Kết quả thử nghiệm của hệ thống phân tích cú pháp BFS-DP Shift-Reduce của luận văn trên section 24 của tập dữ liệu Penn Treebank
Mô hình F1 Tốc độ (câu/giây)
Perceptron cấu trúc 88.9 0.8
Maxent 85.1 4.8
Kết quả thí nghiệm: Bảng 3-3 là kết quả của thí nghiệm đánh giá nói trên. Có một
điều có thể thấy rất rõ là cùng một tập đặc trưng như nhau, nhưng hệ thống của luận văn có điểm F1 cao vượt trội so với hệ thống của Sagae (2006). Tuy nhiên, điều đáng ngại ở đây chính là tốc độ phân tích của hệ thống quá chậm nếu so với hệ thống của Sagae (2006). Điều này là hoàn toàn có thể dự đoán trước được bởi lẽ không gian tìm kiếm của mô hình Perceptron cấu trúc phức tạp hơn rất nhiều so với mô hình Maxent. Chúng ta có thể thấy rõ được sự phức tạp đó qua biểu đồ Hình 3-9 thể hiện số lượng trung bình các state mà từng mô hình phải xét duyệt qua. Rõ ràng là số lượng state phải đi qua dành cho mô hình toàn cục Perceptron vẫn là quá lớn kể cả khi sử dụng đến lý thuyết quy hoạch động.
Lê Quang Thắng – CNTT.KH.2012B 36
Hình 3-9 Biểu đồ so sánh số lƣợng trung bình các state phải xét duyệt qua của hai mô hình Perceptron và Maxent.
Kết quả thử nghiệm hệ thống này có thể nói là chưa được như mong đợi. Hệ thống của luận văn mặc dù có thể thực hiện được việc tìm kiếm tối ưu với thuật toán toàn cục Perceptron cấu trúc, nhưng lại không thể thực hiện với những bộ đặc trưng quá phức tạp. Cho dù là với bộ đặc trưng đơn giản như bộ đặc trưng giản lược nói trên, thì tốc độ của hệ thống vẫn là quá chậm. Trong khi đó, có rất nhiều các hệ thống phân tích cú pháp shift-reduce khác sử dụng tìm kiếm không đầy đủ với thuật toán Beam search nhưng vẫn đạt được độ chính xác rất cao (state-of-the-art) nhờ vào các bộ đặc trưng có độ phức tạp cao hơn ví dụ như hệ thống của Zhu (2013)[14] với bộ đặc trưng Baseline của Zhang và Clark (2009)[13]. Với tình trạng hiện tại, hệ thống của luận văn gần như không thể áp dụng được các bộ đặc trưng quá phức tạp như bộ Baseline được. Trong chương tiếp theo, luận văn sẽ trình bày các đề xuất cải tiến của luận văn dành cho hệ thống BFS-DP Shift-Reduce để có thể đạt được độ chính xác state-of-the-art với một tốc độ phân tích đủ nhanh để áp dụng vào các bài toán thực tế.
Lê Quang Thắng – CNTT.KH.2012B 37
Kết chƣơng
Trong chương này luận văn đã trình bày toàn bộ lý thuyết về hệ thống phân tích cú pháp Shift-Reduce của luận văn được dựa trên nền tảng là hệ thống phân tích cú pháp Shift-Reduce sử dụng thuật toán Perceptron cấu trúc của Zhu (2013)[14]. Tuy nhiên, hệ thống của luận văn sử dụng tìm kiếm tối ưu với ý tưởng về BFS trong hệ thống của Kai Zhao (2013)[22] thay vì sử dụng thuật toán tìm kiếm không đầy đủ như trong hệ thống của Zhu (2013). Ngoài ra, so với hệ thống của Kai Zhao, hệ thống của luận văn đã sử dụng thuật toán Perceptron cấu trúc thay vì thuật toán huấn luyện cục bộ Maxent. Đây là hướng đi rất mới mà hiện nay trên thế giới chưa có một nghiên cứu nào công bố được kết quả tương tự. Thí nghiệm đánh giá ở cuối cũng cho thấy sự chênh lệch về độ chính xác của hệ thống luận văn so với các hệ thống Shift-Reduce đi trước. Mặc dù vẫn còn đó vấn đề về độ phức tạp thuật toán, nhưng những ý tưởng đề xuất cải tiến trong chương 4 sẽ giải quyết chúng một cách triệt để.
Lê Quang Thắng – CNTT.KH.2012B 38
CHƢƠNG 4. SỬ DỤNGTHUẬTTOÁNA*CHOHỆ
THỐNGPHÂNTÍCHSHIFT-REDUCE