... j )) văn d thuộc lớp x 3.7 Phânloạivăn phương pháp Support Vector Machines Support Vector Machines phânloạivăn theo sở phânloại nhị phân, có nghĩa xét loạivăn định, việc phânloạivăn đưa ... Ảnh hưởng phânloạivăn Độ xác kết tách từ có ảnh hưởng lớn đến kết phân loại, có kết phânloại tốt không tách từ văn Bởi vậy, vấn đề quan trọng phânloạivăn phải tách xác từ văn Các vănviết ... đầu Phânloạivăn toán quan trọng xử lý văntiếngViệt Một thách thức toán phânloạivăn số lượng đặc trưng (thuộc tính) dùng để phânloại thường lớn Bên cạnh đó, áp dụng vào xử lý tiếng Việt...
... độ phânloại xác hai trường hợp dựa vào đặc điểm tiếngViệt (âm tiết từ) xấp xỉ tương đương điều chứng tỏ bỏ qua toán tách từ văntiếngViệt cách tách văn theo âm tiết giống văntiếng Anh kết phân ... TermDoc kiểm thử Phânloại Kết phânloại Sơ đồ tổng quan Hệ thống phânloạivăntiếngViệt Giảm chiều đặc trưng toán Phânloại Dữ liệu huấn luyện Dữ liệu kiểm thử Dữ liệu văn Xử lý biểu diễn Ma trận ... Orthogonal) Ma trận Term-Doc (k
... 2000 3000 40 00 5000 Trang 30 Số văn kiểm tra 600 1000 1200 1600 Độ phổ biến 70% 80% 90% Độ xác phân lớp Độ xác phân lớp Độ xác phân lớp Độ xác phân lớp 43 % 49 % 54% 62% 46 % 53% 61% 75% 54% 62% 81% ... 6000 70% 40 00 80% 2000 90% 3000 40 00 5000 So vanban Hình 3.Biểu đồ phân tích thời gian xử lý theo số văn ngưỡng minsupp Độ xác kết phân lớp trình bày bảng Bảng 3: Độ xác kết phân lớp Số văn huấn ... từ văn bản, tiến hành bước sau: tách từ , gán nhãn từ loại, nhóm từ gán nhãn từ loại thành cụm danh từ 4. 2.1 Tách từ Đối với tiếng Anh, từ phân cách khoảng trắng dấu chấm câu Đối với tiếng Việt...
... 3.2.2.1 PhânloạivăntiếngViệt sử dụng phương pháp SVMs Chức phânloạivăn Giao diện Người-Máy Vector biểu diễn văn Kho liệu Vănphânloại tay (tập mẫu) Module tiền xử lý văn ` Văn cần phânloại ... trưng văn Huấn luyện phân lớp Đánh giá kết phân lớp Hình 1-6: Cấu trúc phương pháp phânloạivăn Để xây dựng hệ thống phânloạivăn tự động, cần tập vănphânloại từ trước: training set tập vănphân ... 54 4.2 .4 Thực nghiệm phânloạivăn với SVMs 54 4.2 .4. 1 Thực nghiệm q trình trích chọn tập đặc trưng 55 4. 2 .4. 2 Thực nghiệm đánh giá hiệu phânloại đa lớp 56 4. 2.5 Nhận...
... tự động phânloạivăn Chương Bài toán phânloạivăntiếngviệt giải pháp Nội dung : 4. 1.Tổng quan xử lý ngôn ngữ 4. 2.Đặc điểm ngôn ngữ tiếngviệt4. 3.Bài toán phânloạivăntiếngviệt4. 4.Giải ... dạng văn ngày nhiều, thực tế yêu cầu phải có phương tiện để xử lý tự động văn bản, phânloại xếp quản lý chúng Chương trình phânloạivăn chương trình đáp ứng u cầu Thơng qua phânloạivănphân loại, ... thử Các hệ thống phânloạivăn ứng dụng việc phânloại tài liệu thư viện điện tử, phânloạiviết trang tin điện tử, hay phânloại giấy tờ công văn công sở Một hệ thống phânloạivăn tốt khơng thay...
... 46 4. 3.3 4.4 Nh n xét v cách tính liên quan áp d ng cho ti ng Vi t 48 Ti n x lý (Pre-processing) 49 4. 4.1 X lý v n b n 4. 4.2 Tách ng & tách stopwords .50 4. 5 H u vào ... TH C 40 4. 1 Gi i thi u 40 4. 2 Các nghiên c u v th ng kê d a Internet 40 4. 2.1 Gi i thi u 40 4. 2.2 M t s công trình nghiên c u v th ng kê d a Internet 41 4. 2.3 ... Internet 41 4. 2.3 Nh n xét 43 4. 3 Các ph ng pháp tính liên quan gi a t d a th ng kê 43 4. 3.1 Thông tin t ng h t-score dùng ti ng Anh 44 4. 3.2 M t s c i ti n cách tính liên quan...
... lý văn đặt từ lâu vấnvấn đề hay khai phá liệu văn (text), có tốn đáng ý tìm kiếm văn bản, phânloạivăn bản, phân cụm văn bản, dẫn đường văn bản, Các văn tập hợp sơ liệu văn chia làm hai loại: ... PhânloạivăntiếngViệt với giải thuật K-NN xử lý trình phânloại Để tăng tốc độ xử lý độ xác kết phânloạivăn bản, luận văn em xin đề xuất phương pháp xây dựng phânloạivăn Các từ ... nghiệm luận văn, dùng phương pháp k- láng giềng gần để phânloạivăntiếngViệt ĐỒ ÁN TÔT NGHIỆP 11 PhânloạivăntiếngViệt với giải thuật K-NN CHƯƠNG II TÁCH TỪ VÀ BIỂU DIỄN VĂNBẢNTIẾNGVIỆT Để...
... viên : Trịnh Quốc Sơn - CH 040 1 047 17 Khóa Luận Môn DataMining Nghiên Cứu PhânLoạiVănBảnTiếngViệt CHƯƠNG : PHÂNLOẠIVĂNBẢNTIẾNGVIỆT Để tiến hành phânloạivăn nói chung, thực bước sau ... Nghiên Cứu PhânLoạiVănBảnTiếngViệt CHƯƠNG : CÁC HƯỚNG TIẾP CẬN PHÂNLOẠIVĂNBẢN Cùng với hướng nghiên cứu khác xử lý rút trích thơng tin vănphân cụm ( clustering) , tổng luợc văn ( text ... CH 040 1 047 Khóa Luận Môn DataMining Nghiên Cứu PhânLoạiVănBảnTiếngViệt toán mà xem xét giải , văn trang web có phương pháp để chọn lựa đặc trưng khác so với vănloại khác Các đặc trưng văn...
... 109 Bảng Tần số tài liệu số từ thơng dụng tiếngViệtTiếngViệt có df 21.3 × 106 20 .4 × 106 14. 4 × 106 Do từ tiếngViệt gồm (số) tiếng liên tiếp nhau, ta cần độ đo thông kê mức độ liên kết tiếng ... Foo Li [7] tách từ văntiếng Hoa thống kê chúng tơi việc tách từ tiếngViệt (Hình 1) Hình Các hướng tiếp cận việc phân đọan văntiếng Hoa hướng tiếp cận việc phân đọan văntiếngViệt Các hướng tiếp ... trắng dấu câu Tổ hợp có nghĩa dựa vào ngữ cảnh tiếng Khó khăn lớn việc phânloạivăntiếngViệt gì? Gần đây, nhiều kết khả quan việc phânloạivăntiếng Hoa số ngôn ngữ Đông Nam Á khác công bố...
... CÁC BẢNG vi Chƣơng 1: TỔNG QUAN VỀ PHÂNLOẠIVĂNBẢN 1.1 Giới thiệu toán phânloạivăntiếngViệt 1.1.1 Tổng quan toán phânloạivăn 1.1.2 Mơ hình hệ thống phânloại ... Kết luận chƣơng 17 Chƣơng 2: PHÂNLOẠIVĂNBẢNTIẾNGVIỆT DỰA TRÊN PHƢƠNG PHÁP NAIVE BAYES 18 2.1 Bộ phânloại Naive Bayes 18 2.2 PhânloạivăntiếngViệt ... thuyết Naive Bayes, phânloại Naive Bayes mơ hình xác suất Chƣơng 2: PhânloạivăntiếngViệt dựa phƣơng pháp Naive Bayes Trình bày phương pháp phânloạivăntiếngViệt dựa phânloại Naive Bayes...
... phânloạivăntiếngViệt dựa phânloại Naive Bayes - 18 - Chương 2: PHÂNLOẠIVĂNBẢNTIẾNGVIỆT DỰA TRÊN PHƯƠNG PHÁP NAIVE BAYES Trong chương này, luận văn trình bày phương pháp phânloạivăn ... LOẠIVĂNBẢN 1.1 Giới thiệu toán phânloạivăntiếngViệt 1.1.1 Tổng quan toán phânloạivăn 1.1.2 Mô hình hệ thống phânloạivăn 1.1.3 Các khái niệm phânloạivăn ... thuyết Naive Bayes, phânloại Naive Bayes mơ hình xác suất Chương 2: PhânloạivăntiếngViệt dựa phương pháp Naive Bayes Trình bày phương pháp phânloạivăntiếngViệt dựa phânloại Naive Bayes...
... 2 I Giới thiệu đề tài Phânloạivăn coi trình xác định văn thuộc vào thể loạivăn (hay gọi lớp văn bản) cho trước Hiện có nhiều phương pháp phânloạivăn Support vector Machine (SVM), ... Bước 2: Phân lớp: Đầu vào chương trình đoan văn cần phânloại Đầu nhãn / lớp văn cần phânloại V Đánh giá: Sau phân lớp cho văn phải xem xét xem chương trình áp dụng giải thuật phân lớp vănphần ... thuộc loạivăn thuộc thể loại thể thao văn không thuộc loạivăn thể thao II Ý tưởng Naïve Bayes giải thuật dựa xác suất, báo cáo áp dụng giải thuật để xây dựng chương trình phânloạivăn bản. Ý...
... CÁC BẢNG vi Chƣơng 1: TỔNG QUAN VỀ PHÂNLOẠIVĂNBẢN 1.1 Giới thiệu toán phânloạivăntiếngViệt 1.1.1 Tổng quan toán phânloạivăn 1.1.2 Mô hình hệ thống phânloạivăn ... thuyết Naive Bayes, phânloại Naive Bayes mơ hình xác suất Chƣơng 2: PhânloạivăntiếngViệt dựa phƣơng pháp Naive Bayes Trình bày phương pháp phânloạivăntiếngViệt dựa phânloại Naive Bayes ... trình bày chƣơng để đƣa phƣơng pháp phânloạivăntiếngViệt dựa phânloại Naive Bayes Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ -18 - Chƣơng 2: PHÂNLOẠIVĂNBẢNTIẾNGVIỆT DỰA...
... dụng SVM vào phânloạivăntiếngViệt Những thí nghiệm nhằm kiểm chứng khả phânloại SVM văntiếngViệt Đồng thời xác định tham số SVM thích hợp cho phân lớp xác định toán phânloạivăn hồn tồn ... ưu hóa hiệu suất phânloại chí khơng gian đặc trưng có số chiều cao Bộ phânloại SVM tỏ phù hợp cho phânloạivăn Trong thử nghiệm với toán phânloạivăntiếng Việt, độ xác phânloại 80,72% chấp ... Nauka, 19 74 [13] NGUYỄN NGỌC BÌNH, “Dùng lý thuyết tập thô kỹ thuật khác để phân loại, phân cụm văntiếngViệt , Kỷ yếu hội thảo ICT.rda’ 04 Hà nội 20 04 [ 14] ĐỖ BÍCH DIỆP, Phânloạivăn dựa mơ...
... tốn phânloạivăntiếngViệt thu thập thông tin từ văntiếngViệt a Bài toán phânloạivăntiếngViệt Cần xây dựng hệ thống phânloại tài liệu tiếngViệt Hay nói khác đi, đưa tài liệu tiếng Việt, ... thể văntiếngViệt a Các đơn vị tiếngViệt a.1 Tiếng đặc điểm tiếng Trong tiếng Việt, văntiếng Việt, ta thấy tiếng thành phần quan trọng Trong kí pháp, tiếng đứng độc lập, ta phát tiếngtiếng ... mẫu văn Kỹ thuật gọi “trích văn nguyên mẫu” Bài toán phânloạivăn (Text categorization) a Khái niệm phânloạivănPhânloạivăn (Text categorization) xử lý nhóm tài liệu thành lớp khác hay phân...
... nghiệm việc phânloạivăntiếngViệt 24 Chương PHƯƠNG PHÁP TIỀN XỬ LÝ TRONG PHÂNLOẠIVĂNBẢN Tách từ khó khăn việc phânloạivăn ngôn ngữ châu Á tiếng Hoa, tiếng Nhật, tiếng Hàn tiếngViệt Mặc ... phânloại xác Mục đích thuật tốn SVM tìm khoảng cách biên lớn 1.5.2 Các nghiên cứu phânloạivăntiếngViệt Chúng ta nhận thấy phương pháp phânloạivăntiếngViệt dựa phương pháp phânloạivăn ... Chương 1: Tổng quan tốn phânloạivăntiếngViệt Trình bày khái quát vấn đề văn ngơn ngữ, tổng quan tốn phânloạivăn + Chương 2: Phương pháp tiền xử lý phânloạivăntiếngViệt Tìm hiểu phương...
... 1 .4 Phânloạivăn 43 1 .4. 1 Văn 43 1 .4. 2 Biểu diễn văn véc tơ 44 1 .4. 3 Phânloạivăn 46 1.5 Đề xuất nghiên cứu 49 1.6 Tiểu kết chương ... 34 1.3.3 Huấn luyện SVM 38 1.3 .4 SVM phân lớp văn 39 1.3.5 Bán giám sát SVM phân lớp trang Web 40 ii 1.3.6 Thuật toán phân lớp văn điển hình 41 1 .4 Phânloạivăn ... 93 Bảng 3.8 Kết phânloại lần sử dụng SVM 93 Bảng 3.9 Kết phânloại lần sử dụng SVM với mơ hình cự ly trắc địa 93 Bảng 3.10 Kết phânloại lần sử dụng SVM 94 Bảng 3.11 Kết phânloại lần sử dụng...
... Nạve Bayes để phânloạivănVănVănVănVănVănVănVăn Tự tin 44 12 14 35 29 10 Bảng 2.2 Dữ liệu huấn luyện Sáng tạo Khéo léo Nhiệt tình 28 58 31 40 26 24 42 10 47 34 11 64 24 32 2.5.5 Định dạng ... b Phânloạivăn c Độ xác phânloạivăn Hình 4. 14 Thời gian phânloạivăn Hình 4. 15 Đồ thị thể độ phân trung bình lần huấn luyện loại lần huấn luyện 20 d Độ xác phânloạivăn trung bình Hình 4. 16 ... 115 769 1 04 89 821 25 44 47 10 8 64 17 23 21 16 932 74 67 172 326 356 Tỷ lệ phânloại thành cơng trung bình Tỷ lệ phânloại 75.2% 81.0% 87.5% 92 .4% 35.7% 74. 4% Kết trung bình tỷ lệ phânloại thành...
... phương pháp 35 2 .4. PHÂNLOẠIVĂNBẢNTIẾNG LÀO 37 2 .4. 1 Bài toán phânloạivăntiếng Lào 37 2 .4. 2 Nhu cầu giải toán tách từ tiếng Lào 38 2 .4. 3 Đề xuất giải pháp triển ... phụ tố (Affixes Analysis), phân tích ngữ pháp (Parser) xử lý văn bản, kiểm lỗi tả, kiểm lỗi văn phạm, tóm tắt văn bản, phânloạivăn bản, hiểu văn bản, khai thác văn bản, v.v Như nói, vấn đề ... ĐẦU VỀ VĂNBẢN VÀ SOẠN THẢO VĂNBẢN 21 2.1.1 Khái niệm văn 21 iv 2.1.2 Khái niệm soạn thảo văn (STVB) 23 2.1.3 Xu soạn thảo văn 24 2.2.BÀI TOÁN PHÂNLOẠIVĂNBẢN ...