4. Phạm vi ứng dụng
3.10. Kết quả thực nghiệm và đánh giá kết quả đạt được
Việc xây dựng bộ từ điển tiếng Việt với hơn 400 trang web được tìm kiếm trên Internet, sau khi qua các bước tinh chỉnh dữ liệu, trung bình dữliệu thơở mỗi trang web khoảng 200– 500 từtùy từng trang.
Do việc cập nhật từ điển là tự động, cho nên tính chính xác của bộ từ điển phụ thuộc vào thời gian sử dụng, thời gian sử dụng lâu, bộ từ điển học nhiều và tính chính xác càng cao.
Bảng 3.2 –Kết quả xây dựng bộ từ điển tiếng Việt
Loại từ Thơng số
Số lượng Tỉlệ đúng
Từ đơn 2114 >83%
Sau khi cĩ bộ từ điển tiến hành học với dữ liệu 200 trang web tốt, 200 trang web xấu, kết quả thu được qua bảng phân loại bên dưới
Bảng 3.3 –Kếtquả phân loại web
Kết quảthửnghiệm Kết quả phân loại Độchính xác
Tốt Xấu Tốt Xấu
Từ đơn 167/200 171/200 83.5% 85.5%
Từ đơn & từ2 tiếng 183/200 181/200 91.8% 90.6%
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận
Đề tài đãđạt được những kết quả sau đây:
−Nghiên cứu tổng quan các hệ thống lọc web “đen” và những phương pháp xây dựng bộ lọc thơng dụng hiện nay gồm ưu điểm lẫn khuyết điểm.
−Tìm hiểu các phương pháp lọc thống kê cũng như những điểm mạnh của các kỹ thuật phân loại văn bản nhằm áp dụng tốt vào quy trình lọc nội dung trang web.
−So sánh các phương pháp tách từ trong tiếng Việt , từ đĩ lựa chọn phương pháp tối ưu nhất để giải quyết bài tốn và xây dựng bộ từ điển hồn chỉnh cho bài tốn lọc nội dung khơng lành mạnh.
−Nghiên cứu các thuận tốn, đặc biệt là thuật tốn Nạve Bayesứng dụng vào quá trình phân lớp nội dung trang web.
−Hướng tiếp cận mới của đề tài là khơng những lọc được các trang web tiếng Anh mà cịn lọc được các trang web tiếng Việt khơng lành mạnh dựa trên địa chỉ, tiêu đềvà nội dung chính của trang web.
−Xây dựng được danh sách blacklist, whitelist chứa các địa chỉ website được quyền và khơng được quyền truy cập.
−Xây dựng bộ lọc web thể hiện hướng nghiên cứu và tiếp cận đúng đắn của đề tài.
→ Kết quả thực nghiệm cho thấy hướng tiếp cận của đề tài khả quan cho độ chính xác cao trong một khoảng thời gian chấp nhận được.
Hướng phát triển
−Tích hợp bộ lọc vào các trình duyệt web thơng dụng như Internet Explorer, FireFox, Safari… nhằm nâng cao tínhứng dụng của đềtài
−Cải tiến thuật tốn tách từ nhằm giảm thời gian xử lý trong quá trình phân lớp nội dung, tạo sự tiện lợi cho người sửdụng.
−Hướng phát triển của đề tài là đềxuất một phương pháp dung hịa cho việc xử lý nội dung website bao gồm tiếng Việt lẫn tiếng Anh.
−Nghiên cứu xây dựng bộ từ điển các từ vựng thuộc các nội dung khơng lành mạnh mà khơng cần duyệt qua nội dung đĩ.
Tiếng Việt
[1]. Đỗ Phúc (2005), Giáo trình khai thác dữ liệu, Đại học Cơng nghệ Thơng tin Tp. HCM.
[2]. Hà Quang Thụy, Phan Xuân Hiếu, Đồn Sơn (2009), Giáo trình Khai phá dữ liệu web, Nxb Giáo dục Việt Nam.
[3]. Phan Hữu Tiếp (2011) , “Nghiên cứu xây dựng bộ lọc Spam thơng minh tự động”, Tập san khoa học giáo viên, Trường Đại học Lạc Hồng.
Tiếng Anh
[4]. Chih-Hao Tsai (1996), A Word Identification System for Mandarin Chinese
Text Based on Two Variants of the Maximum Matching Algorithm.
[5]. Edel Garcia (2008), Term Vector Theory and Keyword Weights.
[6]. Goldszmidt D., Friedman, N.Geiger (2006), Bayesian network classifiersMachine Learning.
[7]. Lafferty J. (2001), Conditional ramdom fields: probabilistic models for
segmenting and labeling sequence data. In International Conference on Machine Learning.
[8]. Rongbo Du, Reihaneh Safavi-Naini and Willy Susilo (2006), Web Filtering
Using Text Classification, Australia.
[9]. Sebastiani Fabrizio (2004), Text Classification for Web Filtering. [10]. Stern Benjamin (2003), Web Filtering Technology Assessment.
Website
[11]. http://www.dict.vietfun.com [12]. www.google.com/trends