Nghiên cứu kết hợp các bộ phân loại cho các bài toán nhận dạng và dự đoán

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG TRẦN VŨ LINH NGHIÊN CỨU KẾT HỢP CÁC BỘ PHÂN LOẠI CHO CÁC BÀI TOÁN NHẬN DẠNG VÀ DỰ ĐOÁN CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ : 60.48.15 Người hướng dẫn khoa học: PGS.TS TỪ MINH PHƯƠNG TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2011 2 MỞ ĐẦU Trong những năm gần đây, cùng với sự phát triển mạnh mẽ của công nghệ thông tin và truyền thông, khối lượng thông tin của nhân loại đã trở thành một con số khổng lồ, và lượng thông tin đó không ngừng được tăng lên từng ngày. Qua các tài liệu nghiên cứu, trang thông tin điện tử, báo chí, truyền hình, tất cả thông tin, dữ liệu của con người đều có thể được công bố, truyền bá một cách rộng rãi. Điều này đặt ra một thách thức đối với lĩnh vực nghiên cứu công nghệ tri thức nói chung và ngành khoa học máy tính nói riêng là tìm cách để khai thác lượng dữ liệu khổng lồ đó một cách hiệu quả. Việc khai thác các dữ liệu này đã và đang ứng dụng thành công vào rất nhiều lĩnh vực đời sống như thương mại, tài chính, y học , thiên văn, môi trường, giáo dục và viễn thông,… Được sự định hướng và hướng dẫn của Thầy giáo PGS.TS Từ Minh Phương, tôi đã nhận đề tài: “Nghiên cứu kết hợp các bộ phân loại cho các bài toán nhận dạng và dự đoán” Mục đích của luận văn là nghiên cứu lý thuyết phương pháp kết hợp các bộ phân loại và áp dụng giải quyết bài toán phát hiện URL độc hại bằng phân loại. Cấu trúc luận văn gồm 3 chương : CHƯƠNG 1 - TỔNG QUAN 1.1. TỔNG QUAN VỀ PHÂN LOẠI Phân loại (hay phân lớp) là một tiến trình xử lý nhằm xếp các mẫu dữ liệu hay các đối tượng vào một trong các lớp đã được định nghĩa trước. Các mẫu dữ liệu hay các đối tượng được xếp về các lớp dựa vào giá trị của các thuộc tính (attributes) cho một mẫu dữ liệu hay đối tượng. Sau khi đã xếp tất cả các đối tượng đã biết trước 3 vào các lớp tương ứng, lúc này mỗi lớp được đặc trưng bởi tập các thuộc tính của các đối tượng chứa trong lớp đó. Các thuật toán phân loại tiêu biểu bao gồm như mạng neural, cây quyết định, suy luận quy nạp, mạng Beyesian, Support Vector Machine…. Tất cả các cách tiếp cập này xây dựng những mô hình đều có khả năng phân loại cho một mẫu mới chưa biết dựa vào những mẫu tương tự đã được học. Bài toán phân loại có thể xử lý thông tin được thu thập từ mọi lĩnh vực hoạt động của con người và thế giới tự nhiên được biểu diễn dưới dạng các bảng. Bảng này bao gồm các đối tượng và các thuộc tính. Các phần tử trong bảng là các giá trị xác định các thuộc tính (attributes hay features) của các đối tượng. Trong đó số cột chính là số thuộc tính của các đối tượng, mỗi cột là một thuộc tính và số dòng chính là số đối tượng chứa trong dữ liệu này. Mọi dữ liệu được biểu diễn dưới các dạng khác có thể được chuyển thành dạng bảng như trên để thực hiện quá trình phân loại. 1.2. BÀI TOÁN PHÂN LOẠI Một bài toán phân loại bao gồm 2 bước sau: Bước 1: Huấn luyện Mục đích của bước này là xây dựng một mô hình xác định một tập các lớp dữ liệu. Mô hình này được xây dựng bằng cách phân tích các bộ dữ liệu của một cơ sở dữ liệu, mỗi bộ dữ liệu được xác định bởi giá trị của các thuộc tính. Giả sử mỗi bộ dữ liệu đã thuộc về một trong các lớp đã đựơc định nghĩa trước, điều này được xác định bởi một trong các thuộc tính, gọi là thuộc tính phân loại. Trong ngữ cảnh của bài toán phân loại, mỗi bộ dữ liệu được xem như là một mẫu, một ví dụ, hay một đối tượng. Những bộ dữ liệu được phân tích để xây dựng mô hình phân loại được lấy từ trong tập dữ liệu học hay 4 dữ liệu huấn luyện (training data set). Những bộ dữ liệu riêng lẻ tạo thành tập dữ liệu huấn luyện còn gọi là những mẫu huấn luyện (training samples) và được chọn ngẫu nhiên từ một kho các mẫu. Bước 2: Kiểm tra và đánh giá, bước này sử dụng mô hình phân lớp đã được xây dựng ở bước 1 vào việc phân lớp. Đầu tiên, đánh giá độ chính xác của mô hình hay bộ phân lớp này, bằng cách sử dụng một tập các mẫu đã được phân lớp để thử (test) gọi là bộ thử (test set). Những mẫu này được chọn ngẫu nhiên và độc lập với các mẫu đã được học ở bước 1 gọi là mẫu thử (test sample). Độ chính xác của một mô hình phân lớp dựa trên bộ thử là tỷ lệ những mẫu thử được phân lớp đúng bằng mô hình phân lớp đó. Nghĩa là với mỗi mẫu thử, so sánh lớp đúng mà mẫu thử đó thuộc về với lớp mà mô hình phân lớp này dự đoán cho mẫu thử đó. 1.3. MỘT SỐ BỘ PHÂN LOẠI PHỔ BIẾN 1.3.1. Cây quyết định Một cây quyết định là một cấu trúc cây, trong đó mỗi node trong biểu thị cho một phép phân nhánh tương ứng cho một thuộc tính, mỗi nhánh biểu thị cho một kết quả của một phép thử, các node lá biểu thị cho lớp hoặc các phân bố lớp. Node trên cùng trong một cây được gọi là gốc. Minh họa cho cây quyết định, hình 2-1 lấy lại ví dụ phân lớp tế bào ung thư với node trong được biểu diễn bằng hình chữ nhật, node lá được biểu diễn bằng hình ellipse . Để phân lớp một mẫu chưa biết, những giá trị thuộc tính của mẫu đó được thử ngược lại trên cây quyết định. Một đường dẫn từ gốc đến một node lá là cơ sở cho việc 5 dự đoán lớp của một mẫu. Cây quyết định có thể dễ dàng chuyển đổi sang một tập các luật phân lớp. Cơ sở toán học của cây quyết định là thuật toán tham lam, thuật toán này đã xây dựng cây quyết định đệ quy từ trên xuống dưới, theo phương pháp chia để trị. 1.3.2.Mạng Bayes Bayesian là phương pháp phân lớp dựa vào thống kê. Ta có thể dự đoán xác suất của các lớp trong tập dữ liệu, dựa vào xác suất này có thể xếp các mẫu vào các lớp riêng biệt. Thuật toán phân lớp Bayesian giả thiết rằng giá trị các thuộc tính của một lớp độc lập với giá trị của các thuộc tính khác, giả thiết này còn được gọi là lớp độc lập có điều kiện, nó làm đơn giản các tính toán sau này. Mạng Bayesian là một đồ thị, trên đồ thị cho phép biểu diễn mối quan hệ giữa các thuộc tính. 1.3.3. Support Vector Machine SVM là một phương pháp mới để phân lớp dữ liệu. Nó dễ sử dụng hơn mạng neural, tuy nhiên nếu không sử dụng nó chính xác thì dễ bị bỏ qua một số bước đơn giản nhưng cần thiết, dẫn đến kết quả không được thỏa mãn. Mục đích của phương pháp SVM là phát sinh ra một mô hình từ tập mẫu học, mô hình này có khả năng dự đoán lớp cho các mẫu thử. SVM tìm ra một hàm quyết định phi tưyến trong tập mẫu học bằng cách ánh xạ hoàn toàn các mẫu học vào một không gian đặc trưng kích thước lớn có thể phân lớp tuyến tính và phân lớp dữ liệu trong không gian này bằng cách cực đại khoảng cách lề (geometric margin) và cực tiểu lỗi học cùng một lúc. Vấn đề tối ưu chủ yếu là 6 1.4. MỘT SỐ VẤN ĐỀ VỚI BÀI TOÁN PHÂN LOẠI Có 2 vấn đề xảy ra với kết quả dự đoán của các bộ phân loại đó là kết quả dự đoán bị lệch (bias), tức là kết quả có thiên hướng sai giống nhau và kết quả dự đoán quá khác biệt nhau (variance). Tưởng tượng rằng chúng ta có các tập dữ liệu huấn luyện khác nhau, và tốt như nhau. Một thuật toán được coi là dự đoán lệch (bias) với một dữ liệu đầu vào x nếu khi huấn luyện thuật toán đó với mỗi tập dữ liệu huấn luyện, kết quả của nó sẽ sai một cách có hệ thống khi dự đoán nhãn đầu ra của x. Một thuật toán được coi là variance với dữ liệu đầu vào x nếu các kết quả dự đoán nhãn đầu ra của nó khác nhau khi được huấn luyện với các tập dữ liệu đầu vào khác nhau. Lỗi dự đoán của một bộ phân loại chính là tổng lỗi bias và variance của thuật toán học máy mà nó sử dụng. (a) Bias cao, variance thấp (b) Bias thấp, variance (c) Bias cao, variance cao (d) Bias thấp, variance thấp Hình 1.6. Biểu diễn trực quan bias và variance 7 Hình 1.6 biểu diễn bias, variance bằng các mũi tên trên bảng tiêu. Bias được biểu diễn bằng những mũi tên chệch đích một cách hệ thống về một phía. Các mũi tên càng có xu hướng chệch về một phía thì bias càng cao. Variance được biểu diễn bằng sự phân bố của các mũi tên. Các mũi tên có phân bố càng xa nhau thì variance càng cao. Vậy mục đích của việc xây dựng một bộ phân loại tốt là tìm ra một phương pháp để cả bias và variance của nó thấp nhất. Có một phương pháp phổ biến để giảm variance là xây dựng một tập các bộ phân loại đơn lẻ, sau đó thực hiện biểu quyết dựa trên kết quả phân loại của chúng với dữ liệu đầu vào. Nghĩa là với một thuật toán, ta sẽ xây dựng nhiều hơn 2 bộ phân loại, và kết quả phân loại cuối cùng sẽ là kết quả được tìm thấy của nhiều bộ phân loại nhất. Có rất nhiều cách để tạo ra các bộ phân loại đơn lẻ, và cũng có nhiều mô hình để biểu quyết giữa chúng. Một ý tưởng được đề xuất là lựa chọn một thuật toán học máy có bias thấp, sau đó sử dụng phương pháp biểu quyết để làm giảm variance của nó. Chương sau sẽ mô tả chi tiết hơn về cách thức để tạo ra và biểu quyết kết quả của các bộ phân loại đơn lẻ đó. 1.5. KẾT LUẬN CHƯƠNG Chương 1 đã giới thiệu chung về bài toán phân loại tự động, và trình bày nội dung của một số thuật toán phân loại phổ biến: thuật toán cây quyết đinh, mạng Bayes, Support Vector Machine. Các bộ phân loại được xây dựng bởi các thuật toán này lại thường cho kết quả chính xác không cao với những bộ dữ liệu lớn, hoặc quá phức tạp. Dẫn đến việc cần thiết tìm ra phương pháp mới để giải quyết các bài toán phân loại tự động. 8 CHƯƠNG 2 – TRÌNH BÀY PHƯƠNG PHÁP KẾT HỢP CÁC BỘ PHÂN LOẠI 2.1. KẾT HỢP CÁC BỘ PHÂN LOẠI 2.1.1. Khái niệm kết hợp các bộ phân loại Bộ kết hợp các bộ phân loại (Ensemble) là tập hợp của các bộ phân loại cơ bản, trong đó mỗi bộ phân loại cơ bản có thể là một một bộ phân loại cổ điển như: cây quyết định, naives bayes, mạng nơ-ron, Khi một ví dụ mới được phân loại, nó được xử lý bởi các bộ phân loại cơ bản của bộ kết hợp mà kết quả của chúng được kết hợp theo một cách nào đó để đưa ra dự đoán cuối cùng của bộ kết hợp đối với ví dụ đó. Chúng ta muốn có các bộ phân loại cơ bản phân loại tốt và kết quả của các bộ phân loại cơ bản không có độ tương quan cao với nhau. 2.1.2. Các cách tiếp cận phương pháp kết hợp các bộ phân loại Có hai cách tiếp cận bộ kết hợp: - Thứ nhất là xây dựng mỗi bộ phân loại một cách độc lập với nhau, sau đó sử dụng phương pháp biểu quyết để chọn ra kết quả cuối cùng của bộ kết hợp. Tức là mỗi bộ phân loại cơ bản sẽ được xây dựng độc lập với các bộ phân loại khác bằng cách thay đổi tập dữ liệu huấn luyện đầu vào, thay đổi các đặc trưng trong tập huấn luyện. - Thứ hai là xây dựng các bộ phân loại cơ bản và gán trọng số cho các kết quả của mỗi bộ phân loại. Việc lựa chọn một bộ phân loại cơ bản ảnh hưởng tới việc lựa chọn của các bộ phân loại cơ bản khác và trọng số được gán cho chúng. 9 2.2. PHƯƠNG PHÁP BAGGING 2.2.1. Mô hình hoạt động của Bagging Bagging sử dụng cách tiếp cận thứ nhất. Bagging tạo ra các bộ phân loại từ các tập mẫu con có lặp từ tập mẫu ban đầu và một thuật toán học máy, mỗi tập mẫu sẽ tạo ra một bộ phân loại cơ bản. Các bộ phân loại sẽ được kết hợp bằng phương pháp biểu quyết theo số đông. Tức là khi có một ví dụ cần được phân loại, mỗi bộ phân loại sẽ cho ra một kết quả. Và kết quả nào xuất hiện nhiều nhất sẽ được lấy làm kết quả của bộ kết hợp. 2.2.2. Thuật toán Bagging Bagging tạo ra N tập huấn luyện được chọn có lặp từ tập dữ liệu huấn luyện ban đầu. Trong đó các ví dụ huấn luyện có thể được chọn hơn một lần hoặc không được chọn lần nào. Từ mỗi tập huấn luyện mới, Bagging cho chạy với một thuật toán học máy L b để sinh ra M bộ phân loại cơ bản h m . Khi có một ví dụ phân loại mới, kết quả của bộ kết hợp sẽ là kết quả nhận được nhiều nhất khi chạy M bộ phân loại cơ bản. Hình 2.3: Mô hình hoạt động của Bagging 10 Trong hình 2.3, bộ 3 mũi tên bên trái mô tả việc lấy mẫu 3 lần có lặp. Bộ 3 mũi tên tiếp theo mô tả việc gọi thuật toán học mô hình trên 3 ví dụ để tạo ra 3 mô hình cơ bản. Bagging trả lại hàm h(x) được biểu quyết lớn nhất trong các h 1 ,h 2 ,….,h M . phân lớp các ví dụ mới bằng việc trả lại lớp y trong tập các lớp có thể Y. Trong hình 2.3, có 3 bộ phân loại cơ bản để biểu quyết ra đáp án cuối cùng. Trong bagging, các tập huấn luyện M được tạo ra khác nhau. Nếu sự khác nhau này đủ để dẫn đến sự khác nhau của M mô hình cơ bản trong khi hiệu năng của các mô hình đủ tốt thì thì bộ kết hợp có hiệu năng tốt hơn các mô hình cơ bản. 2.3. PHƯƠNG PHÁP BOOSTING 2.3.1. Mô hình hoạt động của Boosting Khác với phương pháp Bagging, xây dựng bộ phân loại kết hợp với các ví dụ huấn luyện có trọng số bằng nhau, phương pháp Boosting xây dựng bộ phân loại kết hợp với các ví dụ huấn luyện có trọng số khác nhau. Sau mỗi bước lặp, các ví dụ huấn luyện được dự đoán sai sẽ được đánh trọng số tăng lên, các ví dụ huấn luyện được dự đoán đúng sẽ được đánh trọng số nhỏ hơn. Điều này giúp cho Boosting tập trung vào cải thiện độ chính xác cho các ví dụ được dự đoán sai sau mỗi bước lặp. 2.3.2. Thuật toán Boosting Một thuật toán boosting ban đầu được định nghĩa là một thuật toán dùng để chuyển một thuật toán học máy yếu thành một thuật toán học máy mạnh. Có nghĩa là nó chuyển một thuật toán học máy giải quyết một bài toán phân loại 2 lớp tốt hơn cách giải chọn ngẫu nhiên thành một thuật toán giải quyết rất tốt bài toán đó. Thuật toán [...]... trong giải quyết các bài toán phân loại và dự đoán thực tế 19 KIẾN NGHỊ CÁC HƯỚNG NGHIÊN CỨU TIẾP THEO Nâng cao độ chính xác của phương pháp bằng cách thử kết hợp bộ phân loại đơn lẻ khác nhau Lựa chọn và tìm ra các đặc trưng cơ bản để cho các bộ phân loại tập trung vào các đặc trưng cơ bản đó để phân loại Mở rộng áp dụng phương pháp kết hợp các bộ phân loại vào các ứng dụng khác như: dự đoán lưu lượng... bằng cách phân loại Sau đó trình bày phương thức biểu diễn các URL bằng các đặc trưng, xây dựng các bộ phân loại dựa vào bộ dữ liệu huấn luyện và đưa ra kết quả của quá trình thực nghiệm với 2 bộ phân loại đơn lẻ J48, Naïve Bayes và 2 bộ kết hợp các bộ phân loại Boosting, Random Forest Chúng ta đã chứng minh thực nghiệm rằng so với các bộ phân loại đơn lẻ, thì phương pháp kết hợp các bộ phân loại. .. đạt độ chính xác cao hơn việc sử dụng các bộ phân loại đơn lẻ trong các bài toán nhận dạng và dự đoán Bagging và Boosting là hai phương pháp tiêu biểu của họ các phương pháp kết hợp các bộ phân loại CHƯƠNG 3 – PHÁT HIỆN URL ĐỘC HẠI BẰNG CÁCH PHÂN LOẠI 3.1 BÀI TOÁN PHÁT HIỆN URL ĐỘC HẠI Trước tiên, ta tìm hiểu một số khái niệm về URL và các vấn đề liên quan đến phân loại URL độc hại WWW là một mạng thông... HẠI Bài toán phân biệt URL độc hại sử dụng phương pháp kết hợp các bộ phân loại gồm 3 bước: - Bước 1: Biểu diễn các URL bằng các đặc trưng - Bước 2: Sử dụng một bộ các dữ liệu đã được phân loại độc hại, hay không độc hại để làm dữ liệu huấn luyện - Bước 3: Áp dụng phương pháp Kết hợp các bộ phân loại để xây dựng bộ phân loại và đánh giá kết quả 3.3.1 Biểu diễn các URL bằng các đặc trưng Các đặc trưng... chính xác cao hơn trong phần lớn các trường hợp KẾT LUẬN Luận văn đã giới thiệu được mô hình, cách tiếp cận của phương pháp kết hợp các bộ phân loại Và chứng minh được về mặt lý thuyết rằng phương pháp kết hợp các bộ phân loại giúp cải tiến được độ chính xác và tăng khả năng tìm được kết quả tốt Bằng kết quả thực nghiệm, Luận văn cũng cho thấy phương pháp kết hợp các bộ phân loại có thể trở thành một lựa... một thuật toán đệ quy Tại bước cuối của đệ quy, nó kết hợp các giả thuyết được tạo bởi thuật toán học máy yếu Xác suất lỗi của bộ kết hợp này được chứng minh là nhỏ hơn xác suất lỗi của các giả thuyết yếu Adaboost là một thuật toán kết hợp một tập các bộ phân loại được làm đa dạng bằng việc chạy thuật toán học máy với phân bố khác nhau trên tập huấn luyện 2.3.3 Thuật toán AdaBoost Thuật toán AdaBoost... 100 100 18 Nhìn vào bảng kết quả thực nghiệm có thể thấy được trong đa số các trường hợp thì độ chính xác của bộ kết hợp Boosting cao hơn so với hai bộ phân loại đơn lẻ và cả bộ phân loại của Random Forest Độ chính xác của Radom Forest lớn hơn của J48 trong hầu hết các trường hợp, nhưng hầu như lại thấp hơn độc chính xác của Naïve Bayes 3.4 KẾT LUẬN CHƯƠNG Chương 3 đã đặt vấn đề cho bài toán “Phát hiện... AdaBoost là thuật toán boosting chúng ta dùng để tạo 1 chuỗi các mô hình cơ bản phân bố trọng số khác nhau trên tập dữ liệu huấn luyện Thuật toán Adaboost được mô tả trong hình 2.4 Hình 2.4: Thuật toán AdaBoost 12 2.4 KẾT LUẬN CHƯƠNG Chương 2 đã trình bày các khái niệm cơ bản về phương pháp kết hợp các bộ phân loại Và bằng cơ sở lý thuyết, cũng chứng minh được phương pháp kết hợp các bộ phân loại có khả... luyện và kiểm thử là Weka, một công cụ phổ biến để đánh giá các bộ phân loại 17 Các bước tiến hành thực nghiệm như sau: - Thứ nhất, chuyển bộ dữ liệu huấn luyện về định dạng của công cụ Weka - Thứ hai, huấn luyện các bộ phân loại sử dụng J48, Naïve Bayes, Boosting, Random Forest - Thứ ba, so sánh độ chính xác của các bộ phân loại mới Bảng 3.2 Bảng kết quả thực nghiệm Độ chính xác (%) Bộ dữ liệu 1 Bộ. .. nghiệm Đề tài sử dụng bộ dữ liệu huấn luyện trên để huấn luyện và kiểm thử phương pháp Boosting và Random Forest Sau đó so sánh kết quả phân loại của phương pháp Boosting và Random Forest (là phương pháp dựa trên ý tưởng của Bagging kết hợp với việc chọn ngẫu nhiên các đặc trưng để tạo ra một tập các cây quyết định có độ đa dạng được kiểm soát) với các 2 thuật toán học máy J48 và Naïve Bayes Công cụ . Khái niệm kết hợp các bộ phân loại Bộ kết hợp các bộ phân loại (Ensemble) là tập hợp của các bộ phân loại cơ bản, trong đó mỗi bộ phân loại cơ bản có. các bài toán nhận dạng và dự đoán Mục đích của luận văn là nghiên cứu lý thuyết phương pháp kết hợp các bộ phân loại và áp dụng giải quyết bài toán