Bảng 4. : Danh ách mộ tố phần mềm v cơng cụ th c nghiệm
Bảng 4.6 Kết quả th c nghiệm với bộ phân lớp VM
Giao diện chương tr nh th c nghiệm:
nh 4.11: Giao diện form chuyển đổi văn bản text sang vector
4.3.Đánh giá kết quả
Do ố lượng câu gán nhãn bằng tay cịn hạn chế nên ban đầu chúng tơi mới chỉ tiến hành th c nghiệm xây d ng bộ phân lớp ử dụng Nạve Baye , VM cho hai miền dữ liệu l ản phẩm v giá xăng.
4.3.1.Phương pháp đánh giá
Do đặc tính đa nghĩa của ngơn ngữ t nhiên, phức tạp của b i tốn phân lớp dẫn đến dù con người hay bộ phân lớp t động th c hiện việc phân lớp thì đều cĩ thể xảy ra sai sĩt. iệu quả của bộ phân lớp thường được đánh giá qua việc o ánh quyết định của bộ phân lớp đĩ với quyết định của con người khi tiến h nh trên một tập kiểm thử te t et).
Cĩ ba độ đo điển hình được ử dụng để đánh giá độ chất lượng của thuật tốn phân lớp, đĩ l độ chính xác π preci ion , độ hồi tưởng ρ recall v độ đo 1 được làm rõ ở các phần au đây [20].
Độ chính xác π (precision): l khả năng của mơ hình để d đốn chính xác nhãn lớp của dữ liệu mới hay dữ liệu chưa biết. Nĩi ngắn gọn, nĩ thể hiện độ chính xác của thuật tốn.
Độ hồi tưởng ρ (recall): thể hiện mức độ bao phủ của thuật tốn.
Độ đo F1: được tính tốn d a trên độ chính xác v độ hồi tưởng.
Một số tiêu ch đánh giá khác:
- Tốc độ peed Tốc độ l những chi phí tính tốn liên quan đến quá trình tạo ra v ử dụng mơ hình.
- ức mạnh robu tne ức mạnh l khả năng mơ hình tạo ta những d đốn đúng từ những dữ liệu noi e hay dữ liệu với những giá trị thiếu.
- Khả năng mở rộng calability Khả năng mở rộng l khả năng th c thi hiệu quả trên lượng lớn dữ liệu của mơ hình đã học.
- Tính hiểu được interpretability Tính hiểu được l mức độ hiểu v hiểu rõ những kết quả inh ra bởi mơ hình đã học.
- Tính đơn giản implicity Tính đơn giản liên quan đến kích thước của cây quyết định hay độ cơ đọng của các luật.
Cơng thức t nh:
Giả ử các t i liệu thuộc v o hai lớp v thuật tốn cần học một lớp trong hai lớp đĩ, khi đĩ các giá trị: S ubject/chủ quan / O object/khách quan ; Giá trị qua phân lớp: T đúng/ ai; TS (true subjective), TO (true object), FS (false subjective), FO (false object) được giải thích chi tiết như dưới đây:
- TS: tỷ lệ câu chủ quan được thuật tốn phân lớp cho giá trị đúng - TO: tỷ lệ câu khách quan được thuật tốn phân lớp cho giá trị đúng - FS: tỷ lệ câu chủ quan được thuật tốn phân lớp cho giá trị sai.
- FO: tỷ lệ câu khách quan được thuật tốn phân lớp cho giá trị ai. 4.3.2.Nhận xét
Kết quả được tổng hợp trong bảng dưới đây: