Học cấu trúc mạng logic markov và ứng dụng trong bài toán phân lớp

Luận văn thạc sĩ Phạm Đình Hiệu 1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Phạm Đình Hiệu HỌC CẤU TRÚC MẠNG LOGIC MARKOV VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2012 Luận văn thạc sĩ Phạm Đình Hiệu 2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Phạm Đình Hiệu HỌC CẤU TRÚC MẠNG LOGIC MARKOV VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP Chuyên ngành: Bảo đảm toán học cho máy tính và hệ thống tính toán. Mã số: 60 46 35 LUẬN VĂN THẠC SĨ KHOA HỌC Ngƣời hƣớng dẫn khoa học: TS. Nguyễn Thị Minh Huyền Hà Nội - 2012 Luận văn thạc sĩ Phạm Đình Hiệu 3 MỤC LỤC LỜI NÓI ĐẦU 6 CHƢƠNG 1. CƠ SỞ TOÁN HỌC 8 1.1 Lý thuyết đồ thị 8 1.2 Logic tân từ cấp một 9 1.2.1 Các khái niệm và ký hiệu 9 1.2.2 Công thức trong logic tân từ cấp một 10 1.2.3 Dạng chuẩn hội 12 1.3 Xác suất – thống kê 13 1.3.1 Các khái niệm 13 1.3.2 Công thức Bayes 15 1.3.3 Cực đại hóa xác suất có điều kiện 16 1.3.4 Xích Markov 17 1.3.5 Xích Markov Monte Carlo 19 1.3.6 Phƣơng pháp lấy mẫu Gibbs 20 CHƢƠNG 2. MẠNG LOGIC MARKOV 21 2.1 Giới thiệu 21 2.2 Mạng Markov 22 2.3 Mạng logic Markov 24 2.4 Suy diễn 29 2.4.1 Suy diễn MAP/MPE 29 2.4.2 Suy diễn điều kiện 32 2.5 Học tham số và học cấu trúc 34 2.5.1 Học tham số 34 2.5.2 Học cấu trúc 39 CHƢƠNG 3. ỨNG DỤNG MẠNG LOGIC MARKOV TRONG BÀI TOÁN GÁN NHÃN VAI NGHĨA 3.1 Bài toán gán nhãn vai nghĩa 46 3.2 Mô tả dữ liệu sử dụng 46 Luận văn thạc sĩ Phạm Đình Hiệu 4 3.3 Giới thiệu công cụ Thebeast 47 3.4 Các bƣớc thực hiện bài toán 48 3.4.1 Dữ liệu và cấu trúc dữ liệu trong Thebeast 48 3.4.2 Xây dựng dữ liệu huấn luyện 49 3.5 Đánh giá kết quả thực nghiệm 52 TÀI LIỆU THAM KHẢO 55 Luận văn thạc sĩ Phạm Đình Hiệu 5 DANH MỤC HÌNH VẼ Hnh 1-1. Đồ thị G 8 Hnh 1-2. Phân phối biên trên biến rời rạc 14 Hnh 1-3. Phân phối biên cho biến liên tục 15 Hnh 2-1. Minh họa cho mạng Markov 22 Hnh 2-2. Mạng Markov nền 26 Hnh 3-1. Biểu diễn cây cú pháp 50 Luận văn thạc sĩ Phạm Đình Hiệu 6 LỜI NÓI ĐẦU Trong sự phát triển về Công nghệ thông tin hiện nay vấn đề xử lý, tính toán không còn thuần túy là tính toán trên các dữ liệu kiểu số biểu diễn dƣới dạng cấu trúc, bảng biểu hay véc tơ, vv. Nó đã đƣợc phát triển mở rộng xử lý trên dữ liệu kiểu hnh ảnh, âm thanh, văn bản, đồ thị và nhiều kiểu khác nữa. Trong sự phát triển đó của Công nghệ, học máy đƣợc xem là một lĩnh vực của trí tuệ nhân tạo với mục tiêu là nghiên cứu các thuật toán cho phép máy tính có thể học đƣợc các khái niệm. Thƣờng học máy đƣợc phân làm hai phƣơng pháp: phƣơng pháp quy nạp và phƣơng pháp suy diễn. Đến nay học máy có ứng dụng rộng khắp trong các ngành khoa học, sản xuất, đặc biệt những ngành cần phân tích khối lƣợng dữ liệu khổng lồ. Một số ứng dụng thƣờng thấy: Rôbốt, trò chơi, phân tích thị trƣờng chứng khoán, phát hiện gian lận tài chính, phân tích ảnh thiên văn, phân loại chuỗi gene, quá trnh hnh thành gene, phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự động, tm kiếm, nhận dạng hay nhiều ứng dụng liên quan tới xử lý ngôn ngữ tự nhiên. Học quan hệ thống kê cũng là một trong các lĩnh vực của học máy, nó hƣớng tới sự kết hợp giữa học theo quan hệ và học theo thống kê nhằm xử lý các dữ liệu không chắc chắn với cấu trúc quan hệ phức tạp. Có nhiều mô hnh đƣợc phát triển gần đây cho học quan hệ thống kê nhƣ mô hnh quan hệ xác suất (Probabilistic Relational Model) sử dụng logic kết hợp với các mạng Bayes hay Markov. Trong đó các mạng MLN (Markov Logic Network) mang tính tổng quát cao nhất, có thể chuyển đổi sang các mô hnh khác và ngày càng có nhiều nghiên cứu về các mạng này. Mạng logic Markov có thể đƣợc xem nhƣ là một sự kết hợp hữu cơ giữa học logic và học thống kê. Mục đích của MLN là mô tả một minh họa cho trƣớc với một tập các công thức logic có trọng số. Nó cho phép sử dụng những ƣu điểm của logic tân từ cấp một là khả năng biểu diễn tri thức và các mối quan hệ phức tạp của tri thức, cùng với ƣu điểm của mạng Markov có thể xử lý một cách hiệu quả sự không chắc chắn và giải quyết tri thức một cách đối lập và thiếu thông tin. Luận văn thạc sĩ Phạm Đình Hiệu 7 Mục tiêu của luận văn là tm hiểu các mạng MLN và phƣơng pháp học cấu trúc cho mạng MLN. Luận văn cũng triển khai một ứng dụng giải quyết bài toán phân lớp với mạng MLN sử dụng phần mềm Thebeast. Cụ thể ở đây là bài toán gán nhãn vai nghĩa trong lĩnh vực xử lý ngôn ngữ. Xử lý ngôn ngữ chính là xử lý thông tin khi đầu vào là dữ liệu ngôn ngữ, tức là dữ liệu kiểu văn bản hay tiếng nói. Các dữ liệu liên quan đến ngôn ngữ viết (văn bản) và tiếng nói đang dần trở nên kiểu dữ liệu chính con ngƣời có và lƣu trữ dƣới dạng điện tử. Việc xây dựng ngữ liệu mẫu cho bài toán gán nhãn vai nghĩa tƣơng đối phức tạp, nên bƣớc đầu thực hiện chúng tôi chỉ dùng giới hạn bài toán ở 2 vai nghĩa “tác thể” và “bị thể” trong câu. Bố cục luận văn đƣợc chia làm 3 chƣơng: Chƣơng I: Cơ sở toán học Trong chƣơng này sẽ trnh bày về một số kiến thức cơ bản đƣợc sử dụng trong luận văn liên quan tới lý thuyết đồ thị, logic và xác suất thống kê. Chƣơng II: Mạng logic Markov Chƣơng này sẽ trnh bày các kiến thức về mạng Markov, mạng logic Markov và một số vấn đề về học máy với mạng logic Markov nhƣ suy diễn, học tham số và đặc biệt là học cấu trúc. Chƣơng III: Ứng dụng mạng logic Markov trong bài toán gán nhãn vai nghĩa Chƣơng này sẽ trnh bày về bài toán gán nhãn vai nghĩa, vấn đề xây dựng dữ liệu huấn luyện trong công cụ Thebeast cho bài toán gán nhãn vai nghĩa và đánh giá kết quả. Luận văn thạc sĩ Phạm Đình Hiệu 8 CHƢƠNG 1. CƠ SỞ TOÁN HỌC 1.1 Lý thuyết đồ thị Định nghĩa 1.1.1. Đồ thị là cặp , trong đó A là tập đỉnh, F là ánh xạ từ [3]. Ta cũng có thể định nghĩa đồ thị là cặp: , trong đó là tập đỉnh và là tập cung. Về thực chất đồ thị là một tập hợp các đối tƣợng đƣợc biểu diễn bằng các đỉnh và giữa các đối tƣợng có quan hệ (nhị nguyên) biểu diễn bằng các cung[3]. Cho đồ thị . Nếu có th ta nói rằng là một cung và gọi là đỉnh đầu, gọi là đỉnh cuối của cung đó. Hai đỉnh kề nhau là hai đỉnh của cùng một cung. Đỉnh nút là đỉnh kề với chính nó. Định nghĩa 1.1.2. Đồ thị với đƣợc gọi là đồ thị con của đồ thị nếu [3]. Định nghĩa 1.1.3. Hai đỉnh gọi là liên thông với nhau nếu chúng trùng nhau hoặc có xích nối với nhau[3]. Đồ thị đối xứng gọi là đồ thị vô hƣớng tức là ta luôn có . Định nghĩa 1.1.4. Đồ thị vô hƣớng đƣợc gọi là đầy đủ nếu hai đỉnh bất kỳ đều có cung nối với nhau[3]. Định nghĩa 1.1.5. Clic (Clique) của đồ thị là một đồ thị con đầy đủ[3]. Hnh 1-1. Đồ thị G Luận văn thạc sĩ Phạm Đình Hiệu 9 Clic cực đại là một clic với số nút là lớn nhất, không thể thêm bất kỳ nút nào nữa để cho nó vẫn còn là một clic. Ví dụ: Cho đồ thị nhƣ hnh vẽ:   Ví dụ trong hnh trên các clique cực đại là {(3; 4; 6); (3; 1); (1; 2); (2; 4); (2; 5); (5; 6)} 1.2 Logic tân từ cấp một 1.2.1 Các khái niệm và ký hiệu Logic tân từ cấp một là một ngôn ngữ rất mạnh để biểu diễn những thông tin có quan hệ phức tạp, cho phép ta mô tả thế giới với các đối tƣợng, các thuộc tính của đối tƣợng và các mối quan hệ giữa các đối tƣợng[9]. Một cơ sở tri thức xây dựng trên logic tân từ cấp một (KB) là một tập các câu hay các công thức trong logic tân từ cấp một. Công thức đƣợc xây dựng bằng cách sử dụng 4 loại ký hiệu: hằng, biến, hàm và vị từ[9], [12].  Ký hiệu hằng: dùng để chỉ các đối tƣợng trên một miền (Ví dụ miền chỉ ngƣời: Nga, Hùng,…).  Ký hiệu biến: dùng để biểu diễn các đối tƣợng trong miền (ví dụ x, y).  Ký hiệu vị từ: biểu diễn mối quan hệ giữa các đối tƣợng trong miền (ví dụ Bạn(x,y) biểu diễn quan hệ x là bạn của y) hay là thuộc tính của các đối tƣợng (ví dụ Hútthuốc(x) biểu diễn thuộc tính có hút thuốc của đối tƣợng x (x có hút thuốc)).  Các ký hiệu phép toán logic: (hội), (tuyển), (kéo theo), (phủ định), (tƣơng đƣơng). Luận văn thạc sĩ Phạm Đình Hiệu 10  Các ký hiệu lƣợng từ: (với mọi), (tồn tại).  Các ký hiệu ngăn cách: Dấu phẩy, dấu mở ngoặc, dấu đóng ngoặc. 1.2.2 Công thức trong logic tân từ cấp một Các hạng thức là các biểu thức mô tả các đối tƣợng. Các hạng thức xác định đệ quy nhƣ sau:  Các hằng, biến là hạng thức.  Nếu là các hạng thức và là hàm th là hạng thức. Một hạng thức không chứa biến đƣợc gọi là một hạng thức nền. Ví dụ: Nga là ký hiệu hằng, MotherOf là ký hiệu hàm một biến, th MotherOf (Nga) là một hạng thức nền. Một công thức nguyên tử đƣợc định nghĩa là: Nếu P là vị từ n biến và là các hạng thức th là công thức nguyên tử. Các công thức đƣợc xây dựng một cách đệ quy từ các công thức nguyên tử bằng cách sử dụng các phép toán logic và các lƣợng từ. Nếu và là các công thức th những ký hiệu sau đây cũng là công thức: : F1, F1^F2, F1 F2, F1 F2, F1 F2, F1 và F1[9]. Mức ƣu tiên: 1. Các lƣợng từ có mức ƣu tiên cao nhất. 2. Phép phủ định có mức ƣu tiên cao hơn các phép toán logic khác. 3. Phép hội có mức ƣu tiên cao hơn phép tuyển. Ta có thể sử dụng các dấu ngoặc đơn để thực thi các mức ƣu tiên. Ví dụ: 1. Nga và anh trai cô ấy không có bạn chung: 2. Tất cả con chim đều bay: [...]... đƣơng của hai hằng Các bài toán đặt ra cho mạng Markov logic là: bài toán suy diễn trên mô hình, bài toán học mô hình từ dữ liệu, bài toán học mô hình bao gồm 2 bài toán nhỏ là học cấu trúc và học tham số Các bài toán này sẽ đƣợc trình bày trong phần tiếp theo của luận văn 2.4 Suy diễn Trong phần này sẽ trình bày về suy diễn trên mô hình qua 2 bài toán suy diễn, suy diễn MAP/MPE và suy diễn điều kiện... với logic tân từ cấp một, mới đƣợc đƣa ra năm 2004[16] Đó là mạng logic Markov, mô hình biểu diễn cơ sở tri thức dựa trên logic tân từ cấp một với một trọng số kèm theo cho mỗi công thức và nó có thể đƣợc coi nhƣ là một mẫu cho việc xây dựng các mạng Markov Nội dung trình bày bao gồm: Mạng Markov, mạng logic Markov, suy diễn trên mạng logic Markov, học tham số và đặc biệt là học cấu trúc cho mạng logic. .. cho ra các mạng khác nhau và các mạng này có thể có kích thƣớc rất lớn, nhƣng tất cả chúng đều có những quy tắc nào đó trong cấu trúc và các tham biến cho bởi mạng logic Markov (ví dụ tất cả các công thức nền sẽ có cùng một trọng số) Chúng ta gọi mỗi một mạng Markov này là mạng Markov nền để phân biệt nó với mạng logic Markov Luận văn này sẽ tập trung vào mạng logic Markov mà các công thức của nó là... phủ Markov Trong đó là: là tập các công thức nền mà xuất hiện trong đó và là các đặc trƣng có giá trị 0 hoặc 1 tƣơng ứng với công thức nền thứ khi và 2.5 Học tham số và học cấu trúc Việc học mô hình từ cơ sở dữ liệu là vấn đề quan trọng và phức tạp nhƣng đây cũng là yếu tố quyết định để áp dụng mô hình vào thực tế thông qua các bộ dữ liệu thực Việc học mô hình bao gồm 2 vấn đề là: học tham số và học. .. chân lý đã biết) (mạng logic Markov) (tập các hằng) output: (mạng Markov nền) (phủ Markov của calls: While for all if 33 trong ) Luận văn thạc sĩ return Phạm Đình Hiệu – mạng Markov nền bao gồm tất cả các nút trong , tất cả các cung giữa các nút đó trong , các đặc trƣng và các trọng số trên các clique tƣơng ứng Kích thƣớc của mạng đƣợc trả về có thể đƣợc giảm đi rất nhiều và thuật toán sẽ nhanh hơn,... tâm và phát triển trong một số năm gần đây trong các nghiên cứu về học quan hệ thống kê, khai phá dữ liệu nhiều quan hệ, vv Mô hình đồ họa: Là mô hình biểu diễn sự kết hợp giữa lý thuyết xác suất và lý thuyết đồ thị Nó cung cấp một công cụ tự nhiên để giải quyết hai vấn đề xảy ra trong toán học ứng dụng và trong kỹ thuật: Không chắc chắn và phức tạp Đặc biệt nó đóng vai trò quan trọng trong việc phân. .. nhận xét nhƣ sau: 1 Các vị từ trong một công thức nền tạo ra một clique trong , không cần thiết là một clique cực đại Cấu trúc của mạng Markov nền đƣợc xác định 26 Luận văn thạc sĩ Phạm Đình Hiệu nhƣ sau: Có một cạnh giữa hai nút của khi và chỉ khi các vị từ nền xuất hiện cùng nhau trong ít nhất một công thức nền trong 2 Một mạng logic Markov mà không có biến gọi là mạng Markov tầm thƣờng Bất kỳ một... đúng khi biết đúng?” Ví dụ: Giả sử hút thuốc và bị ung thƣ, là ngƣời bạn của Vậy xác suất bị ung thƣ là bao nhiêu? Nếu và là hai công thức trong logic tân từ cấp một, hằng và chứa cả các hằng xuất hiện trong và , là tập hữu hạn các là một mạng logic Markov Khi đó: Trong đó là tập các minh họa mà đúng và đƣợc cho bởi phƣơng trình 2.3 Xác suất có điều kiện trong các mô hình đồ thị là trƣờng hợp đặc... (marginal distribution): Cho hai biến ngẫu nhiên và , và phân phối của là phân phối đồng thời của chúng Phân phối biên của mà đƣợc bỏ qua 13 là Luận văn thạc sĩ Phạm Đình Hiệu Các công thức cho phân phối đồng thời:  Trƣờng hợp cho các biến rời rạc:  Trƣờng hợp cho các biến liên tục: trong đó và của và khi biết là phân phối điều kiện của và là phân phối biên của Phân phối đồng thời cho các biến độc lập:... qua và các cung tƣơng ứng cũng bị loại khỏi mạng Trong trƣờng hợp xấu nhất mạng chứa tới nút, trong đó là số lƣợng lớn nhất của các tham biến của một vị từ trong miền, nhƣng trong thực tế thì nó có thể nhỏ hơn nhiều Pha 2: Xử lý suy diễn trên mạng này với các nút trong Trong pha này cần sử dụng phƣơng pháp lấy mẫu Gibbs Việc lấy mẫu Gibbs bao gồm lấy mẫu một công thức nguyên tử nền cho bởi phủ Markov . ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Phạm Đình Hiệu HỌC CẤU TRÚC MẠNG LOGIC MARKOV VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP Chuyên ngành: Bảo đảm toán học cho. điều kiện 32 2.5 Học tham số và học cấu trúc 34 2.5.1 Học tham số 34 2.5.2 Học cấu trúc 39 CHƢƠNG 3. ỨNG DỤNG MẠNG LOGIC MARKOV TRONG BÀI TOÁN GÁN NHÃN VAI NGHĨA 3.1 Bài toán gán nhãn vai. ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Phạm Đình Hiệu HỌC CẤU TRÚC MẠNG LOGIC MARKOV VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LỚP LUẬN VĂN THẠC SĨ KHOA HỌC