Trong bài báo này, chúng tôi đề xuất công thức mở rộng MI cho trường hợp ba biến, đồng thời chúng tôi cũng đưa ra một cách biểu diễn trực quan mới cho MI của hai biến và ba biến. Từ biểu diễn trực quan này, chúng tôi có thể lý giải được sự phụ thuộc của các biến, giống như sự đa dạng của các mối quan hệ trong thế giới thực.
JOURNAL OF SCIENCE OF HNUE FIT., 2011, Vol 56, pp 17-28 MỘT ĐỀ XUẤT MỞ RỘNG MUTUAL INFORMATION CHO TRƯỜNG HỢP BIẾN Nguyễn Quỳnh Diệp(∗) , Phạm Thọ Hoàn Nguyễn Tô Sơn Trần Đăng Hưng Khoa Công nghệ Thông tin - Trường Đại học Sư phạm Hà Nội (∗) E-mail: diepnq@hnue.edu.vn Tóm tắt Trong lý thuyết thơng tin xác suất thống kê, độ đo Mutual Information (MI) độ đo dùng để đo phụ thuộc thông tin hai hay nhiều biến ngẫu nhiên Đối với trường hợp hai biến, ta dễ dàng tính tốn diễn giải ý nghĩa M I Tuy nhiên, mở rộng định nghĩa M I cho nhiều biến phức tạp, diễn giải định nghĩa mở rộng nhiều tranh cãi Cho đến nay, có số mở rộng M I cho trường hợp nhiều biến có số cách biểu diễn trực quan độ đo M I Song, cách biểu diễn tỏ không phù hợp Trong báo này, đề xuất công thức mở rộng M I cho trường hợp ba biến, đồng thời đưa cách biểu diễn trực quan cho M I hai biến ba biến Từ biểu diễn trực quan này, chúng tơi lý giải phụ thuộc biến, giống đa dạng mối quan hệ giới thực Mở đầu Để kiểm tra biến (thuộc tính) X1 , X2 , , Xn có độc lập với khơng ta cần kiểm tra đẳng thức xác suất P (X1 , X2 , , Xn ) = P (X1 )P (X2 ) P (Xn ) Các biến độc lập đẳng thức xảy ra, cịn khơng có phụ thuộc biến Tuy nhiên, biết tồn phụ thuộc biến làm để biết phụ thuộc mức độ phụ thuộc tốn mở Hệ số tương quan Pearson (P C) [11, 12] xác suất thống kê độ đo có khả đo mức độ phụ thuộc tuyến tính biến, khơng thể xác định phụ thuộc phi tuyến Độ đo thông tin phụ thuộc (Mutual Information-MI ) lý thuyết thơng tin đánh giá mức độ phụ thuộc (tuyến tính phi tuyến) hai biến [16] Độ đo MI tiếp cận lý thuyết thông tin tỏ tiếp cận tổng quát hợp lý cho khai phá phụ thuộc liệu Tuy nhiên, độ đo MI ứng dụng phổ biến trường hợp biến, giúp nghiên cứu phụ thuộc chiều hai thành phần liệu 17 Nguyễn Quỳnh Diệp, Phạm Thọ Hồn, Nguyễn Tơ Sơn Trần Đăng Hưng Trong báo này, chúng tơi trình bày cách diễn giải mức độ phụ thuộc hai biến nhờ công thức định nghĩa MI đề xuất cách biểu diễn trực quan cho MI hai biến Trên sở đó, đưa công thức mở rộng MI, đồng thời biểu diễn trực quan cho MI trường hợp ba biến Nội dung nghiên cứu 2.1 2.1.1 Mutual Information hai biến Công thức MI hai biến Mutual Information hai biến ngẫu nhiên đại lượng dùng để đo phụ thuộc thông tin hai biến Độ phụ thuộc thông tin hai biến ngẫu nhiên rời rạc định nghĩa sau: MI(X, Y ) = pX,Y (x, y) log x∈X y∈Y pX,Y (x, y) pX (x)pY (y) (2.1) Trong đó, pX,Y (x, y) hàm phân bố xác suất đồng thời X Y , pX (x) pY (y) hàm phân bố xác suất lề tương ứng X Y Trong trường hợp biến liên tục, độ đo phụ thuộc thông tin xác định sau: MI(X, Y ) = pX,Y (x, y) log pX,Y (x, y) dxdy pX (x)pY (y) (2.2) Trong đó, pX,Y (x, y) hàm mật độ xác suất đồng thời X Y , pX (x) pY (y) hàm mật độ xác suất lề X Y Nếu X Y độc lập MI(X, Y ) = 0; chúng phụ thuộc MI(X, Y ) tiến đến vô cực Độ đo MI hai biến X Y , ký hiệu MI (2) (X, Y ) giải thích theo entropy thông tin sau [13]: MI (2) (X, Y ) = H(X) + H(Y ) − H(X, Y ) (2.3) Từ công thức (2.3), thấy độ đo MI định lượng dựa entropy, entropy định lượng dựa hàm mật độ Nếu liệu rời rạc dễ dàng ước lượng hàm mật độ dựa thống kê tần suất Trong trường hợp liệu liên tục, toán ước lượng MI trở nên khó khăn 2.1.2 Một số cách biểu diễn trực quan MI hai biến Biểu đồ Venn cách biểu diễn trực quan độ đo MI Đây phương pháp cổ điển sử dụng rộng rãi tài liệu Lý thuyết thông tin tài liệu độ đo MI cho hai biến Theo phương pháp này, MI hai biến mô tả trực quan Hình Trong Hình 1, hai hình trịn biểu diễn lượng thơng tin biến Phần giao hai hình trịn thể lượng thơng tin chung hai biến Nhìn vào độ lớn 18 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 1: Biểu đồ Venn MI hai biến Hình 2: Biểu đồ tương tác Jakulin hai biến phần giao hai hình trịn khẳng định mức độ phụ thuộc lẫn hai biến Phương pháp biểu diễn trực quan phù hợp với dạng công thức MI (3) có nhược điểm: H(X) H(Y ) số (số thực) tập hợp Một phương pháp trực quan khác Aleks Jakulin Ivan Bratko đưa năm 2003 [15] Trong phương pháp Jakulin, phụ thuộc hai biến thể Hình Trong phương pháp Jakulin, mức độ phụ thuộc mơ tả hình tròn màu xám đường nối hai biến Trong tiếp cận này, Jakulin tập trung mô tả mối quan hệ phụ thuộc lẫn hai biến Tuy nhiên, cách tiếp cận có tính trực quan thấp Chúng ta khơng thể nói hình trịn (màu xám) mô tả phụ thuộc tương quan với hình trịn biểu diễn biến X, Y 2.1.3 Đề xuất cách biểu diễn trực quan cho MI hai biến Từ nhược điểm phương pháp trên, đề xuất phương pháp trực quan mới, cho phép kết hợp ưu điểm khắc phục nhược điểm phương pháp biểu diễn biểu đồ Venn phương pháp Jakulin đề xuất Ở đây, mô tả tương tác hai biến không gian hai chiều, chiều đặc trưng cho độ bất định hay lượng thông tin biến Cụ thể, để biểu diễn phụ thuộc hai biến, biểu diễn Hình Trong đó, lượng bất định biến biểu diễn đoạn thẳng Chúng giả định hệ thống S ′ bao gồm hai biến X, Y độc lập, lượng tin S ′ mơ tả hình chữ nhật với chiều dài chiều rộng tương ứng với H(X) H(Y ) Lượng tin thực hệ thống S xây dựng từ hai biến H(X, Y ), thể hình có dạng (kẻ ca rơ) nằm bên hình chữ nhật Nếu hình biểu diễn cho lượng thơng tin S khớp với hình chữ nhật biểu diễn lượng thơng tin S ′ chúng tơi có kết luận hai biến độc lập Ngược lại, hình biểu diễn lượng thơng tin S 19 Nguyễn Quỳnh Diệp, Phạm Thọ Hồn, Nguyễn Tơ Sơn Trần Đăng Hưng Hình 3: Một cách biểu diễn trực quan cho MI hai biến thu hẹp so với hình chữ nhật biểu diễn lượng thơng tin S ′ phụ thuộc hai biến lớn Theo cơng thức (2.3) trình bày phần MI (2) (X, Y ) phần diện tích (kẻ chéo) nằm hình chữ nhật hình kẻ ca rơ 2.2 Nhìn lại số mở rộng MI ba biến Khi mở rộng từ hai biến sang ba biến, mối quan hệ phụ thuộc trở nên phức tạp Với hai biến, có hai khả xảy hai biến độc lập hai biến phụ thuộc Tuy nhiên, có ba biến biến, số mối quan hệ nảy sinh Từ đó, có nhiều tiếp cận khác để xem xét loại quan hệ phụ thuộc trường hợp ba biến 2.2.1 Các kiểu phụ thuộc Ngoài quan hệ phụ thuộc đơn giản hai biến, xuất biến thứ ba làm nảy sinh số loại quan hệ mới, làm tăng cường ức chế quan hệ phụ thuộc hai biến ban đầu Đầu tiên, phải kể đến quan hệ hiệp trợ Có thể có cặp biến khơng có quan hệ phụ thuộc với có xuất biến thứ ba chúng trở nên có phụ thuộc hồn tồn Ngược lại với hiệp trợ, ức chế xảy Có cặp biến phụ thuộc lại trở nên hồn tồn độc lập có diện biến thứ ba Một kiểu quan hệ khác quan hệ phụ thuộc lẫn ba biến, hiểu đơn giản liên kết thành phần tạo thành module Chúng ta phân tách thành phần module tương tác với nào, khẳng định chúng tương tác phụ thuộc lẫn tạo thành module thống 2.2.2 Một số công thức mở rộng MI ba biến Như chúng tơi trình bày phần mở đầu, ý tưởng tổng quát độ đo MI Fano đưa thảo luận Lý thuyết thông tin (1961), diễn giải cho công thức tổng quát chưa đưa 20 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 4: Biểu đồ Venn cho MI biến Công thức phải kể đến công thức đo tổng phụ thuộc n biến Wantanable đưa năm 1960 [17] n T C(X1 , X2 , , Xn ) = i=1 H(Xi ) − H(X1 , X2 , , Xn ) (2.4) Tuy nhiên, độ đo T C công thức phản ánh độ phụ thuộc chung n biến Nhưng trình bày mục 2.2.1., mở rộng sang trường hợp nhiều biến, có nhiều kiểu phụ thuộc không đơn kiểu phụ thuộc trường hợp hai biến Công thức tổng quát thứ hai công thức Fano đưa vào năm 1961 [14] Trong trường hợp hai biến, ta có: MI (2) (X, Y ) = H(X) + H(Y ) − H(X, Y ) (2.5) Trong trường hợp ba biến, ta có: MI (3) (X, Y, Z) = H(X) + H(Y ) + H(Z) − − [H(X, Y ) + H(Y, Z) + H(Z, X)] + H(X, Y, Z) = MI (2) (X, Y ) − MI (2) (X, Y | Z) (2.6) Để diễn giải ý nghĩa công thức trên, trước tiên, bắt đầu với phương pháp cổ điển, lý giải biểu đồ Venn Trong cách tiếp cận biểu đồ Venn, mối quan hệ phụ thuộc ba biến thể Hình Ban đầu cách lý giải biểu đồ Venn hợp lý Sự phụ thuộc lẫn ba biến đặc trưng phần thông tin chung ba biến Tuy nhiên, thực tế tính tốn, MI (3) (X, Y, Z) nhận giá trị âm giá trị dương Khi MI (3) (X, Y, Z) nhận giá trị âm, biểu đồ Venn thực biểu diễn Cái sai cách trực quan biểu đồ Venn vài nguyên nhân sau: Trong biểu đồ Venn, lượng thông tin đặc trưng hình trịn giống tập hợp Tuy nhiên, lượng thơng tin đại lượng số, dùng cách biểu trưng không sai không hợp lý Cái sai quan trọng cách thức trực quan biểu đồ Venn không bắt nguồn từ chất thực công thức MI (3) (X, Y, Z) Biểu đồ Venn quan niệm độ đo MI (3) phần thông tin chung ba biến Nhưng phân tích khơng phải 21 Nguyễn Quỳnh Diệp, Phạm Thọ Hồn, Nguyễn Tơ Sơn Trần Đăng Hưng Hình 5: Biểu đồ Venn cho MI (3) âm Hình 6: Biểu đồ Venn cho MI (3) dương Trong trường hợp MI (3) (X, Y, Z) âm sử dụng biểu đồ Venn có dạng Hình Chúng tơi giải nghĩa biểu đồ Venn Hình sau: Khi khơng có xuất biến Z phụ thuộc X Y thể phần giao H(X) H(Y ) Khi có xuất Z, Z có quan hệ phụ thuộc với X Y , nên Z làm giảm độ bất định X Y Việc giảm độ bất định làm tăng thêm vai trị phần thơng tin chung X Y ban đầu Do đó, phụ thuộc X Y tăng lên dẫn đến MI (3) (X, Y, Z) mang giá trị âm Tuy nhiên, đại lượng MI (3) (X, Y, Z) đâu trường hợp này, MI (3) (X, Y, Z) lượng thông tin chung ba biến Biểu đồ Venn đặc trưng cho trường hợp MI (3) (X, Y, Z) dương thể Hình Lý giải tương tự trên, khơng có xuất Z, phụ thuộc X Y thể phần giao H(X) H(Y ) Ở đây, Z phụ thuộc với X phần X phụ thuộc với Y , Z phụ thuộc với Y phần Y phụ thuộc với X Do vậy, Khi có xuất Z, phần giao H(X) H(Y ) hoàn toàn rõ, dẫn tới X Y hoàn toàn độc lập MI (3) (X, Y, Z) = MI (2) (X, Y ) có giá trị dương Lúc này, MI (3) (X, Y, Z) đạt giá trị lớn Và trường hợp này, MI (3) (X, Y, Z) phần chung ba biến Phương pháp trực quan hóa thứ hai Jakulin Trong trường hợp ba biến, Jakulin mở rộng thêm khái niệm phụ thuộc (“tương tác“ theo quan niệm Jakulin) dương âm Để biểu diễn điều này, Jakulin dùng hình trịn với màu xám biểu trưng cho phụ thuộc âm màu trắng thể phụ thuộc dương biểu diễn Hình Tuy nhiên, cách biểu diễn Jakulin thể cấu trúc tương tác không phản ánh mức độ phụ thuộc biến 22 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 7: Đồ thị tương tác Jakulin cho ba biến 2.3 Một đề xuất mở rộng MI ba biến 2.4 Đề xuất công thức MI ba biến Như trình bày mục 2.2.1, có nhiều hai biến, xuất nhiều kiểu phụ thuộc Trong trường hợp biến có kiểu phụ thuộc sau: phụ thuộc đồng thời biến, phụ thuộc biến với cặp hai biến cịn lại Có thể thấy, kiểu phụ thuộc tương ứng với phân hoạch D1 , D2 , , Dk Cụ thể, trường hợp ba biến có kiểu phân hoạch sau: {X1 } ∪ {X2 } ∪ {X3 } {X1 } ∪ {X2 , X3 } {X2 } ∪ {X1 , X3 } {X3 } ∪ {X1 , X2 } Sức mạnh phụ thuộc D1 , D2 , , Dk biến {X1 , X2 , X3 } từ liệu quan sát đo lượng tin bị hụt liệu quan sát (O) với tập liệu giả định (O1 ) sinh từ phân bố tích p(D1 ) p(Dk ) (tức giả thiết độc lập nhóm D1 , D2 , , Dk ) với p(Di ) phân bố lề tập liệu quan sát Di Từ đó, đề xuất công thức tổng quát cho MI ba biến sau: MI{X,Y,Z} (X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) (2.7) MI{X,} (X, Y, Z) = H(X) + H(Y, Z) − H(X, Y, Z) (2.8) Đây cơng thức T C(X1 , X2 , X3 ), công thức (2.4) đo tổng phụ thuộc biến MI{Y,} (X, Y, Z) = H(Y ) + H(Z, X) − H(X, Y, Z) MI{Z,} (X, Y, Z) = H(Z) + H(X, Y ) − H(X, Y, Z) (2.9) (2.10) Ba công thức (2.8),(2.9) (2.10) dùng để đo phụ thuộc thông tin biến với cặp hai biến cịn lại 23 Nguyễn Quỳnh Diệp, Phạm Thọ Hồn, Nguyễn Tơ Sơn Trần Đăng Hưng Hình 8: Mơ tả trực quan T C(X, Y, Z) 2.4.1 Biểu diễn trực quan MI ba biến Trong phần này, đề xuất phân tích phương pháp trực quan cho MI ba biến mà ý tưởng đề cập mục 2.1.3 biểu diễn trực quan độ đo MI hai biến Trong phương pháp trực quan này, lượng thông tin biến biểu diễn đoạn thẳng gắn với chiều hệ tọa độ Khi phân tích độ đo MI hai biến, chúng tơi sử dụng không gian hai chiều thấy mối quan hệ tương quan H(X), H(Y ), H(X)+H(Y ) H(X, Y ) (như Hình 3) Để lý giải độ đo MI cho trường hợp ba biến xây dựng không gian ba chiều theo cách tương tự Giả sử, ta có hệ thống S xây dựng từ liệu thực tế, biểu diễn trực quan khối với hình dạng méo mó (hình khế - gọi khối HS) Khối HS mô tả H(X, Y, Z) biểu diễn Hình Dựa liệu này, ta xây dựng khối hình hộp H(S ′ ) với cạnh H(X), H(Y ), H(Z) biểu diễn phép chiếu liệu khối HS lên trục Ox, Oy, Oz Khối hộp H(S ′) mô tả H(X) + H(Y ) + H(Z) lượng thông tin hệ thống S ′ bao gồm ba biến X, Y Z độc lập Cách mô tả phản ánh tính chất hàm mật độ chất quan hệ độc lập theo tiếp cận xác suất Trong trường hợp ba biến, độ đo T C tính theo cơng thức (2.11): T C(X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) (2.11) Như vậy, Hình có hai biểu diễn: khối hộp HS ′ biểu diễn cho hệ thống giả định S ′ với ba biến hoàn toàn độc lập, hai khối HS biểu diễn cho hệ thống thực S Nếu HS khớp với HS ′ ba biến S độc lập Ngược lại, HS HS ′ có chênh lệch đủ lớn khẳng định ba biến S phụ thuộc Như vậy, vào khoảng chênh lệch HS ′ HS, đến kết luận ba biến hệ thống S độc lập hay phụ thuộc Như vậy, theo cơng thức (2.11) biểu diễn trực quan độ đo TC 24 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 9: Mô tả trực quan MI (2) (XY, Z) phần chênh lệch hình hộp HS ′ với hình khế H(S) Bây giờ, biểu diễn trực quan phụ thuộc thông tin biến với cặp hai biến lại Với lập luận tương tự Hình 8, thấy độc lập X, Y với Z Khi chiếu hình khế HS lên mặt phẳng tọa độ Oxy thu H(X, Y ), chiếu lên trục Oz thu H(Z) Trong Hình 9, khối hình trụ thể lượng thơng tin hệ thống S” (gọi khối HS”) với HS” = H(X, Y ) + H(Z) Từ đây, phụ thuộc XY với Z (tức MI (2) (XY, Z)) chênh lệch hai khối HS HS” (phần nằm hình khế hình trụ) Như vậy, qua phân tích thấy ý nghĩa độ đo sau: phụ thuộc hai chiều, chẳng hạn MI (2) (X, Y ) chênh lệch HS” HS ′ cách lý giải Hình 9, T C(X, Y, Z) chênh lệch HS ′ HS cách lý giải Hình Nhìn vào tương quan khối hình này, dễ thấy biểu diễn quay lại lý giải trường hợp lập luận biểu đồ Venn Hình Tuy nhiên, phương pháp biểu diễn tỏ hợp lý giao thoa khối hình mối quan hệ hàm mật độ, biểu đồ Venn giao thoa lượng thông tin Điều dẫn tới mâu thuẫn khơng giải biểu diễn Hình Khơng vậy, lý giải tính âm dương độ đo MI (3) thể rõ ràng so với cách biểu diễn biểu đồ Venn 2.5 Ví dụ Như trình bày mục 2.4, trường hợp biến, gặp tương tác ba biến (dạng 1) tương tác biến với cặp biến lại (dạng 2) sau: MI(X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) = T C(X, Y, Z) Đây MI{X,Y,Z} (X, Y, Z) gọi độ đo tương hỗ tổng cộng T C MI(X, < Y, Z >) Đây MI{X,} (X, Y, Z) gọi độ đo 25 Nguyễn Quỳnh Diệp, Phạm Thọ Hoàn, Nguyễn Tơ Sơn Trần Đăng Hưng Hình 10: Ví dụ tương hỗ phận Trong trường hợp có tương tác là: • MI(X,) • MI(Y,) • MI(Z,) Trong phần này, chúng tơi xét ví dụ để thấy rằng: khảo sát quan hệ nhiều biến, độ đo tương hỗ tổng cộng ta cần phải quan tâm đến độ đo tương hỗ phận Xét liệu Z = XxorY cho Hình 10: Chúng tơi giải thích trường hợp theo hai công thức: công thức tổng quát trước đây, công thức đề xuất Tính theo cơng thức tổng qt trước đây: Interaction(X; Y ; Z) = I(X; Y ; Z) = H(X) + H(Y ) + H(Z) − [H(X, Y ) + + H(Y, Z) + H(Z, X)] + H(X, Y, Z) Ta có: H(X) = −(1/2 ∗ log1/2 + 1/2 ∗ log1/2) = (Vì khả X = 1/2, khả X = 1/2) Tương tự vậy, H(Y ) = H(Z) = H(X, Y ) = −4∗(1/4∗log1/4) = (Vì (X, Y ) có khả (0,0),(0,1),(1,0),(1,1)) Tương tự vậy, H(Y, Z) = H(Z, X) = Do đó: MI(X, Y ) = MI(Y, Z) = MI(Z, X) = 0, tức X,Y,Z đơi độc lập với Ta có: H(X, Y, Z) = −4 ∗ (1/4 ∗ log1/4) = (Vì (X, Y, Z) có khả (0,0,0),(0,1,1), (1,0,1),(1,1,0)) 26 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 11: Biểu đồ Venn cho MI (3) liệu hàm XOR Do đó, Interaction(X; Y ; Z) = I(X; Y ; Z) = − + = = H(X) + H(Y ) + H(Z) − [H(X, Y ) − H(Y, Z) − H(Z, X)] + H(X, Y, Z) + + − [2 + + 2] + −1 Nếu giải thích biểu đồ Venn trường hợp âm theo Hình mục 2.2.2 khơng thể được, trường hợp X, Y, Z đôi độc lập với nên H(X), H(Y ), H(Z) đôi không giao Biểu đồ Venn trường hợp phải biểu diền Hình 11: Tính theo cơng thức đề xuất: MI(X, Y, Z) = T C(X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) = 1+1+1−2 = MI(X, < Y, Z >) = H(X) + H(Y, Z) − H(X, Y, Z) = 1+2−2 = Tương tự vậy: MI(Y,)=MI(Z,)=1 Như ta thấy đây, không trường hợp biến (chỉ có mối quan hệ X Y ), X, Y, Z đôi độc lập với X, Y, Z lại có mối quan hệ với nhau, mà mối quan hệ chúng đa dạng: (X, Y, Z), (X, < Y, Z > ), (Y, < Z, X >), (Z, < X, Y >) Chính vậy, biết tất giá trị ta hiểu đầy đủ tương tác biến Sự tương hỗ ba biến đa dạng, khảo sát phụ thuộc biến ta không đơn khảo sát phụ thuộc (X, Y, Z), mà cần khảo sát tất quan hệ phụ thuộc có 27 Nguyễn Quỳnh Diệp, Phạm Thọ Hồn, Nguyễn Tơ Sơn Trần Đăng Hưng Kết luận Độ đo thông tin phụ thuộc hai biến ứng dụng rộng rãi mở rộng sang trường hợp nhiều biến vấn đề cịn nhiều bàn cãi Trong báo này, chúng tơi có hai đóng góp: thứ đưa phương pháp biểu diễn trực quan cho độ đo MI trường hợp hai biến, cách biểu diễn hợp lý cách biểu diễn trước Đóng góp thứ hai mở rộng công thức MI cho trường hợp ba biến biểu diễn trực quan độ đo MI trường hợp ba biến REFERENCES [11] A Butte and I Kohane Unsupervised knowledge discovery in medical databases using relevance networks Proc AMIA Symp, pages 711-715, 1999 [12] A Butte and I Kohane Mutual Information Relevance Networks: Functional Genomic Clustering using Pairwise Entropy Measurements Pacific Symposium on Biocomputing, pages 418-429, 2000 [13] T.M Cover and J.A Thomas Elements of Information Theory (Second edition) Molecular Systems Biology, Wiley-Interscience, A John wiley & Sons, Inc., Publication, 2006 [14] R.M Fano A Statistical Theory of Communication MIT Press, Cambridge, Massachussets, 1961 [15] A Jakulin and I Bratko Analyzing Attribute Dependencies Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases, 2003 [16] R Steuer and J Kurths and C.O Daub and J Weise and J Selbig The Mutual Information: Detecting and Evaluating Dependencies between Variables Bioinformatics, 18, pages 231-240, 2002 [17] S Watanabe Information Theoretical Analysis of Multivariate Correlation IBM Journal of Research and Development, 4, pages 66-82, 1960 ABSTRACT Proposal for an extension fomular of MI for the case of three variables In probability and information theory, the Mutual Information (MI) is a measurement that measures the mutual dependence of the two or more random variables In the case of two variables, we can easily calculate and interpret the meaning of MI However, extending of mutual information for multiple variables are much more complex, interpretation of this extension is still controversial So far, although there are several extensions of MI for the case of multiple variables and also some visual representation of measured MI However, the performances are unsuitable In this paper, we propose an extension fomular of MI for the case of three variables and we also offer a new visual representation method for MI of two and three variables From this visual representation, we can explain the dependence of the variables, like the diversity of relationships in the real world 28 ... phụ thuộc biến 22 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 7: Đồ thị tương tác Jakulin cho ba biến 2 .3 Một đề xuất mở rộng MI ba biến 2.4 Đề xuất công thức MI ba biến Như... thức tổng quát chưa đưa 20 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 4: Biểu đồ Venn cho MI biến Công thức phải kể đến công thức đo tổng phụ thuộc n biến Wantanable đưa năm... chung hai biến Nhìn vào độ lớn 18 Một đề xuất mở rộng Mutual Information cho trường hợp biến Hình 1: Biểu đồ Venn MI hai biến Hình 2: Biểu đồ tương tác Jakulin hai biến phần giao hai hình trịn khẳng