6. Bố cục của luận văn
6.2.1Mẫu dữ liệu thử nghiệm và các phương án thử nghiệm
Để tiến hành thử nghiệm cho mô hình tổ hợp HMM, tôi đã xây dựng một ứng dụng web thông dụng hiện nay là Wordpress dùng để tạo các trang Blog, Website. Dữ liệu các truy vấn thu thập được trong quá trình sử dụng dùng để làm tập huấn luyện và xây dựng các ngưỡng cho các ứng dụng web. Dữ liệu thu thập có khoảng 10,000 truy vấn, trong đó có khoản 3,460 truy vấn hợp lệ (truy vấn có tham số đến các ứng dụng web). Các truy vấn phân chia kết nối đến 13 ứng dụng web. Các truy vấn này được xem là hợp pháp (bình thường) được tạo ra người dùng trong cơ quan, không đưa ra ngoài Internet.
Ngoài ra, để việc đánh giá tốt hơn, tôi cũng đã lấy thông tin truy vấn trong vòng 03 tháng từ trang web thương mại điện tử http://www.retot.com từ công ty CÔNG TY CỔ PHẦN VIHAN để phục vụ việc thử nghiệm. Dữ liệu truy vấn khá lớn khoản 1,330,000 truy vấn, trong đó có khoảng 556,126 truy vấn hợp lệ.
Các phương án thử nghiệm bao gồm các nội dung sau:
+ Chiều dài của chuỗi huấn luyện: effective (chỉ tính các ký tự khác nhau) và standard (cho toàn bộ ký tự).
+ Số HMM, HMMs trong một tổ hợp: 1, 2, 3, 5, 7, 9
+ Số lượng các trạng thái: tính bằng trung bình chiều dài của chuỗi huấn luyện.
+ Phương pháp huấn luyện: phương pháp 1 (sử dụng thuật toán huấn luyện từ nhiều chuỗi quan sát bằng cách sử dụng k chuỗi quan sát tại mỗi thủ tục ước lượng lại của Baum-Welch để lập đi lập lại việc cập nhật các tham số của một HMM). Phương pháp 2 (sử dụng thuật toán huấn luyện cho một tổ hợp các HMM Sử dụng một loạt các kỹ thuật tính trung bình đơn giản các tham số được ước lượng độc lập để tìm ra mô hình hiệu quả với trọng số Wk = 1).
Bảng 6.1 Danh sách các phương án thử nghiệm huấn luyện HMM, HMMs
Trường hợp
Số truy vấn Chiều dài chuỗi huấn luyện Số HMM (HMMs) trong tổ hợp Phương pháp huấn luyện 1.1 3460 effective 1 1 1.2 3460 standard 1 1 1.3 3460 effective 2 1 1.4 3460 effective 3 1 1.5 3460 effective 5 1 1.6 3460 effective 7 1 1.7 3460 effective 9 1 3.1 3460 effective 1 2 3.2 3460 effective 2 2 3.3 3460 effective 3 2 3.4 3460 effective 5 2 3.5 3460 effective 7 2 3.6 3460 effective 9 2