... học cho việc xử lý liệu 2.2 BàitoánphânlớpvănPhânlớpvăn xem trình gán văn vào hay nhiều lớpvăn xác định trước Người ta phânlớpvăn cách thủ công, tức đọc văn gán vào nhóm phù hợp Cách ... quan trọng hệ thống văn Thứ nhất, phânlớpvăn cần phải có số lượng lớn vănphânlớp tay, văn sử dụng để làm mẫu huấn luyện nhằm hỗ trợ xây dựng phânlớp Thứ hai, việc phânlớpvăn khơng dễ dàng ... thuật toánphânlớpvăn Ở đây, em đề xuất hai thuật toán là: thuật toán định (Decision Tree) thuật toán k-NN Cả hai thuật toán cho kết tốt dùng để phânlớpvăn So với thuật toán định, thuật toán...
... học cho việc xử lý liệu 2.2 BàitoánphânlớpvănPhânlớpvăn xem trình gán văn vào hay nhiều lớpvăn xác định trước Người ta phânlớpvăn cách thủ công, tức đọc văn gán vào nhóm phù hợp Cách ... quan trọng hệ thống văn Thứ nhất, phânlớpvăn cần phải có số lượng lớn vănphânlớp tay, văn sử dụng để làm mẫu huấn luyện nhằm hỗ trợ xây dựng phânlớp Thứ hai, việc phânlớpvăn khơng dễ dàng ... thuật toánphânlớpvăn Ở đây, em đề xuất hai thuật toán là: thuật toán định (Decision Tree) thuật toán k-NN Cả hai thuật toán cho kết tốt dùng để phânlớpvăn So với thuật toán định, thuật toán...
... ρ(S)⊆ρ({c)), lúc luật phânlớp có độ xác phânlớp 100% Khi áp dụng vào toánphânlớpvăn bản, văn tương ứng với giao tác, mặt hàng tương ứng với từ đặc trưng (sẽ giải thích mục đặc trưng văn bản) 3.3 Rút ... DỰNG BỘ PHÂNLỚPVĂNBẢN Sau có tập luật phân lớp, thơng điệp rút trích tạo vector đặc trưng Qui trình phânlớp thực thơng qua thuật toán [2],[8] 1.1.1.1.1.1.1 Thuật toán – Tạo phân loại văn Ứng ... luật phânlớp Trong trình tìm luật phânlớp từ luật kết hợp, tìm nhiều luật phânlớp Để rút gọn luật phân lớp, chọn luật có độ tổng quát cao Chi tiết sau: Định nghĩa 7.Cho hai luật phânlớp r1:...
... gọi phânlớp 1.2 Phân loại toánphânlớpvăn Tùy vào ràng buộc khác để phân loại toánphânlớpvăn Nhìn chung phân biệt toánphânlớp theo hai cách sau: - Phânlớpvăn nhị phân / đa lớp: Bàitoán ... lớp: Bàitoánphânlớpvăn gọi nhị phân |C|=2, gọi đa lớp |C|>2 - Phânlớpvăn đơn nhãn / đa nhãn: Bàitoánphânlớpvăn gọi đơn nhãn tài liệu gán vào xác lớpBài tốn phânlớpvăn gọi đa nhãn ... tế, phânlớp hai lớp (phân lớp nhị phân) trường hợp đặc biệt toánphânlớp song xuất xứ phânlớp nhị phân có vị trí riêng đặt tốn lẫn giải pháp 1.3 Mơ hình phânlớpvăn 1.3.1 Mơ hình phânlớp văn...
... quan toánphânlớp 35 4.2 Các thuật toánphânlớp 36 4.2.1 Phânlớp dựa thuật toán Naive Bayes 36 4.2.2 Phânlớp dựa thuật toán K - Nearest Neighbor (KNN) .38 4.2.3 Phânlớp ... agent) 1.2.2 Phânlớpvăn Nội dung Phânlớpvăn [3][5][8][11][12] xem trình gán văn vào hay nhiều lớpvăn xác định từ trước Người ta phânlớpvăn cách thủ công, tức đọc nội dung văn gán vào lớp Hệ ... khác phânlớpvăn lĩnh vực hiểu vănPhânlớpvăn sử dụng để lọc vănphầnvăn chứa liệu cần tìm mà khơng làm tính phức tạp ngơn ngữ tự nhiên Khóa luận tốt nghiệp Nguyễn Việt Cường Trong phânlớp văn...
... gọi phânlớp 1.2 Phân loại toánphânlớpvăn Tùy vào ràng buộc khác để phân loại toánphânlớpvăn Nhìn chung phân biệt toánphânlớp theo hai cách sau: - Phânlớpvăn nhị phân / đa lớp: Bàitoán ... lớp: Bàitoánphânlớpvăn gọi nhị phân |C|=2, gọi đa lớp |C|>2 - Phânlớpvăn đơn nhãn / đa nhãn: Bàitoánphânlớpvăn gọi đơn nhãn tài liệu gán vào xác lớpBàitoánphânlớpvăn gọi đa nhãn ... tế, phânlớp hai lớp (phân lớp nhị phân) trường hợp đặc biệt toánphânlớp song xuất xứ phânlớp nhị phân có vị trí riêng đặt toán lẫn giải pháp 1.3 Mơ hình phânlớpvăn 1.3.1 Mơ hình phânlớp văn...
... pháp phânlớp nêu trên, ta chọn phương pháp phânlớp xác suất Naive Bayes làm mơ hình phânlớpvăn CLXXXIX CXC ỨNG DỤNG PHÂNLỚPVĂNBẢN Giới thiệu CXCI NaïveBayesClassifier ứng dụng phânlớpvăn ... Bayes cơng thức phân loại văn CXCIII • Phânlớpvăn (classify): CXCIV Để tiến hành phân loại văn bản, người dùng nhập văn cần phân loại thông qua giao diện chương trình Văn đưa vào phân tích từ ... Bayes & ứng dụng phânlớpvăn MỤC LỤC Thuật tốn Nạve Bayes & ứng dụng phânlớpvăn I GIỚI THIỆU Giới thiệu đề tài: II Đề tài “Ứng dụng thuật tốn Nạve Bayes cho toánphânlớpvănbản đề tài thuộc...
... CẬN BÀITOÁNPHÂNLỚPVĂNBẢNTIẾNGVIỆT THEO HƯỚNG LEXICAL CHAIN Tập văn thô (đã phânlớp đúng) Xây dựng tập Lexical Chains Tập văn chứa danh từ Lọc Chains mạnh lưu trữ Tập văn dạng chain Tập văn ... thuật toán giải toánPhânlớpvăn Thuật toán định Thuật toán k-NN Thuật toán Lexical Chain Thuật toán kNN (K-Nearest Neighbor) Tư tưởng : tính tốn độ phù hợp văn xét với lớp (nhóm) dựa k văn ... nạp w từ PHẦN II: TIẾP CẬN BÀITOÁNPHÂNLỚPVĂNBẢNTIẾNGVIỆT THEO HƯỚNG LEXICAL CHAIN 4/21/2011 Các tác động đặc trưng ngơn ngữ TiếngViệt đến tốn Mơ hình giải toán Input Text Cần...
... lược chủ ngữ câu tiếngViệttiếng Anh”, tạp chí Ngôn ngữ (1), tr.52-56, 1992 [6] Nguyễn Thiện Nam, “Hiện tượng tỉnh lược chủ ngữ tiếng Nhật lỗi giao thoa tiếngViệt người Nhật Bản , tạp chí Ngữ ... Xuân Tâm – Nguyễn Văn Bằng – Bùi Tất Tươm, Câu tiếngViệt (cấu trúc - nghĩa - công dụng), NXB Giáo dục, Hà Nội, 1992 [4] Huỳnh Công Minh Hùng, Tỉnh lược chủ ngữ văn liệu tiếng Việt, Báo cáo khoa ... tiếp 180 TỈNH LƯỢC NGỮ DỤNG VÀ TỈNH LƯỢC TOÀNPHẦN TRONG VĂNBẢNTIẾNGVIỆT TÀI LIỆU THAM KHẢO [1] Đỗ Hữu Châu, “Các yếu tố dụng học tiếngViệt , tạp chí Ngơn ngữ (4), 1985, tr.14-16 [2] Nguyễn...
... Hải Thuật toánphânlớpvăn Web thực nghiệm máy tìm kiếm VietSeek Chương TÍCH HỢP GIẢI PHÁP PHÂNLỚP TRANG VĂNBẢN VÀO MÁY TÌM KIẾM VIETSEEK 3.1 BàitoánphânlớpvănPhânlớp trang văn q trình ... phânlớp SVM mà thảo luận áp dụng cho toánphânlớp nhị phân Với ứng dụng có số lớp lớn hai, phương pháp tiếp cận truyền thống tiến hành chuyển toán thành số toánphânlớp nhị phân nhỏ hơn, lớp ... giá phânlớp Khóa luận tốt nghiệp đại học 41 Đặng Thanh Hải Thuật toánphânlớpvăn Web thực nghiệm máy tìm kiếm VietSeek 3.2 Thuật toán K người láng giềng gần (K-Nearst Neighbors) Bộ phân lớp...
... vị, ta xem tiếngtiếng Hoa tiếngViệt tương tự Vì vậy, để tránh hiểu nhằm ý nghĩa ký tự tiếng Hoa tiếngtiếng Việt, chúng em xin phép dùng từ tiếng ký tự tiếng Hoa tiếngtiếngViệt số trường ... 87 Bảng Bốn trường hợp phân loại văn .90 Bảng Kết phân loại văn cho chủ đề 94 Bảng Bảng kho liệu viết chưa đăng 102 Bảng Bảng mô tả ô xử lý mơ hình DFD hành .103 Bảng Bảng ... cho toánphân loại văn xây dựng ứng dụng phân loại tin tức báo điện tử” nhằm tìm hiểu thử nghiệm phương pháp phân loại văn áp dụng tiếngViệt Để thực việc phân loại, điều bắt buộc tiếng Việt...
... Luận văn tốt nghiệp Chương Các cơng cụ phân tích văntiếngViệt Trong chương em giới thiệu số cơng cụ phân tích văntiếngViệt có áp dụng cho toán bản: tách câu, tách từ, gán nhãn từ loại phân ... 2.1 Bàitoán tách câu cơng cụ vnSentDetector Đặt tốn Cho văntiếngViệt Hãy phân tách văn thành đơn vị câu độc lập Bài tốn tách câu đặt với mục đích xây dựng công cụ tự động tách câu văntiếngViệt ... nhiên, người ta đưa toán để thực tốn bước phân tích văn Đó là: Luận văn tốt nghiệp - Bài tốn tách câu: tách văn thành câu Bàitoán tách từ: tách câu thành đơn vị từ có nghĩa Bài tốn gán nhãn từ...
... vị, ta xem tiếngtiếng Hoa tiếngViệt tương tự Vì vậy, để tránh hiểu nhằm ý nghĩa ký tự tiếng Hoa tiếngtiếng Việt, chúng em xin phép dùng từ tiếng ký tự tiếng Hoa tiếngtiếngViệt số trường ... 87 Bảng Bốn trường hợp phân loại văn .90 Bảng Kết phân loại văn cho chủ đề 94 Bảng Bảng kho liệu viết chưa đăng 102 Bảng Bảng mô tả ô xử lý mơ hình DFD hành .103 Bảng Bảng ... cho toánphân loại văn xây dựng ứng dụng phân loại tin tức báo điện tử” nhằm tìm hiểu thử nghiệm phương pháp phân loại văn áp dụng tiếngViệt Để thực việc phân loại, điều bắt buộc tiếng Việt...
... khoảng cách càng gần) và lấy ra k vănbản đầu tiên trong mảng (tức là k vănbản gần với vănbản cần phânlớp nhất). Khởi tạo mảng A có độ dài bằng số phânlớp để lưu số vănbản của mỗi lớp. Duyệt qua k văn bản, đếm số vănbản trong từng phânlớp và lưu vào mảng. ... Bài tốn phân loại văn bản, thực chất, có thể xem là bài tốn phânlớp (Text Classification). Phân loại vănbản tự động là việc gán các nhãn phân loại lên một vănbản mới dựa trên mức độ tương tự của vănbản đó so với các vănbản đã được ... các trường hợp…) mà việc chọn số K sẽ ảnh hưởng đến kết quả phân lớp. 26 Lần lượt duyệt qua các vănbản (được đại diện bằng vector đặc trưng của văn bản) trong tập huấn luyện và tính độ tương tự của vănbản đó với vănbản cần phân lớp. ...