mở rộng độ đo thông tin tương hỗ để tái tạo mạng trao đổi chất ( toám tắt)

Chương 1 MỞ ĐẦU 1.1 Giới thiệu Trong khoảng một thập kỷ gần đây, với sự phát triển nhanh chóng của ngành Công nghệ sinh học, dữ liệu sinh học được sinh ra ngày một nhiều. Chẳng hạn, dữ liệu biểu hiện gien (gene expression data), dữ liệu biểu sinh gien (epigenetic data), dữ liệu tương tác protein (protein interaction data), dữ liệu phổ khối lượng của mẫu sinh học (metabolomic data). Các loại dữ liệu này gọi chung là dữ liệu sinh học hệ thống (high-throughput data) và thường được coi là "ảnh chụp" của các tổ chức sinh học. Việc phân tích các dữ liệu sinh học hệ thống để từ đó có thể xây dựng lại các mạng sinh học gọi là tái tạo mạng (network reconstruction). Bài toán tái tạo mạng sinh học là một loại bài toán ngược. Đây là một bài toán quan trọng và đang là thách thức của ngành sinh học hệ thống. Việc tái tạo mạng sinh học giúp chúng ta làm sáng tỏ bản chất của các quá trình sinh học phức tạp và các cơ chế gây bệnh xảy ra bên trong tổ chức sinh học. Đặc biệt, giúp chúng ta có thể tiên lượng, chẩn đoán các tác nhân, chỉ dấu sinh học gây bệnh. Từ đó, giúp con người có thể can thiệp kịp thời và chính xác vào các quá trình đó như: lựa chọn chế độ dinh dưỡng, đưa ra phác đồ điều trị bệnh, điều chế thuốc, . Trong một tổ chức sinh học, mọi tiến trình sinh học đều được điều khiển bởi các phần tử cơ bản như: gen, protein, metabolite. Quan hệ giữa các phần tử cơ bản trong tế bào sẽ quyết định đến chức năng của tế bào. Do đó, từ dữ liệu sinh học, quá trình tái tạo mạng sinh học thông qua các mối quan hệ giữa các phần tử sẽ cho chúng ta bức tranh tổng thể của sự sống. Cho đến nay, có hai cách tiếp cận tái tạo mạng sinh học: cách tiếp cận thực nghiệm trong lĩnh vực Sinh học và cách tiếp cận tính toán trong lĩnh vực Tin-Sinh. Với cách tiếp cận thực nghiệm, các nhà thực nghiệm Sinh học sử dụng các phương tiện của công nghệ sinh học để đo đạc sự liên kết giữa các phần tử, sau đó kết hợp với tri thức chuyên gia để tái tạo lại mô hình mạng sinh học. Cách tiếp cận này thường cho kết quả chính xác, nhưng chi phí thực nghiệm và thời gian tái tạo mạng sinh học hoàn chỉnh rất lớn. Cách tiếp cận tính toán trong lĩnh vực Tin-Sinh lại sử dụng sức mạnh tính toán của máy tính, các thuật toán, các mô hình để xây dựng cấu trúc mạng phù hợp với dữ liệu quan sát nhất. Kết quả là thu được mô hình mạng, ở đó các nút biểu diễn các phần tử sinh học, các cạnh biểu diễn quan hệ giữa chúng. Mặc dù, mạng tái tạo được bằng cách này có thể còn khác so với mạng được tái tạo bằng thực nghiệm, nhưng quá trình đó có ý nghĩa quan trọng trên con đường tiến tới tái tạo mạng sinh học đầy đủ. Quá trình đó sẽ giúp các nhà Sinh học có định hướng tốt hơn trong các thực nghiệm, giảm thời gian và chi phí thực nghiệm. Ngoài ra, tái tạo mạng sinh học bằng cách tiếp cận tính toán có thể dự đoán được các mối quan hệ giữa các phần tử sinh 1 học, mà có thể, với cách tiếp cận thực nghiệm chưa tìm được. Chính vì vậy, trong khuôn khổ luận án này, chúng tôi sử dụng cách tiếp cận tính toán để tái tạo mạng sinh học từ dữ liệu. 1.2 Bối cảnh thực hiện luận án Ý tưởng về mô hình hóa các quá trình sinh học bằng các mạng gồm các nút và các cạnh là một vẫn đề hấp dẫn. Việc tìm ra các cạnh nối các nút trong mạng rất quan trọng, vì từ đó sẽ xác định nhóm các phần tử cùng thực hiện một chức năng hoặc cùng tham gia vào một con đường sinh học, đây là một vấn đề quan trọng trong sinh học hệ thống. Cho đến nay, đã có nhiều hướng nghiên cứu giải quyết bài toán tái tạo mạng, mỗi hướng đều có ưu điểm và nhược điểm [He et al., 2009], [Villaverde et al., 2013], [Wang et al., 2014]. Một cách tiếp cận sử dụng mô hình toán học trong tái tạo mạng đó là dựa trên phương trình vi phân, tích phân (differential and integral equations) [Gardner et al., 2003], [Mazur et al.,2009], [Steuer et al., 2003]. Trong phương pháp này, tác động của các phần tử lên một phần tử nào đó được biểu diễn bằng một phương trình vi phân tuyến tính. Như vậy, đối với tất cả các phần tử, ta sẽ có một hệ phương trình. Mô hình này có ưu điểm là đơn giản vì đã có cách giải phương trình vi phân tuyến tính. Tuy nhiên, trong thực tế, dữ liệu biểu hiện của các phần tử trong tế bào lại thường không tuân theo qui luật đơn giản như vậy. Hơn nữa, do mô hình đòi hỏi nhiều tham số nên chi phí ước lượng lớn. Một cách tiếp cận khác để tái tạo mạng sinh học đó là sử dụng mô hình đồ thị (graphical models). Đây là cách tiếp cận được nhiều người sử dụng và đã có nhiều kết quả nghiên cứu. Mạng logic (boolean network) là một trong những mô hình mạng sớm nhất được đề xuất năm 1969 bởi Kauffman, được biểu diễn đơn giản bằng một đồ thị có hướng. Mạng logic có ưu điểm là một mô hình đơn giản nhất để biểu diễn một mạng thực. Tuy nhiên, nhược điểm lớn nhất của mô hình này là đòi hỏi thời gian tính toán rất cao để xây dựng cấu trúc mạng đáng tin cậy. Do đó, phương pháp này thường chỉ áp dụng trên mạng nhỏ, không áp dụng để xây dựng mạng có qui mô lớn [Trairatphisan et al., 2013]. Một sự kết hợp của mô hình đồ thị và mô hình xác suất đó là mô hình đồ thị xác suất (probabilistic graphical models) [Jordan, 1998], [Kauffman et al., 2003], [Wang et al., 2014]. Đây là mô hình xác suất sử dụng đồ thị để biểu diễn sự phụ thuộc có điều kiện giữa các biến ngẫu nhiên một cách trực quan. Mục đích của cách tiếp cận mô hình đồ thị là tìm ra cấu trúc mạng phù hợp nhất với dữ liệu. Có rất nhiều mô hình đồ thị khác nhau đã được sử dụng cho bài toán tái tạo mạng. Trong đó, phải kể đến mô hình đồ thị xác suất thường được sử dụng là mô hình mạng logic xác suất (probabilistic boolean network) [Trairatphisan et al., 2013], mô hình mạng Bayesian (Bayesian network) và các biến thể của chúng như: mạng Bayesian động (dynamic Bayesian network), mô hình Markov ẩn (hidden Markov model), mạng logic Markov (Markov logic network), trường ngẫu nhiên Markov (Markov random field), . . . . Tuy nhiên, thời gian tính toán 2 để tìm được mô hình phù hợp nhất với dữ liệu khá cao. Ngoài ra, cách tiếp cận mô hình đồ thị hướng đến xây dựng cấu trúc mạng toàn cục, mạng được xây dựng theo kiểu top-down. Chính vì vậy, phương pháp này thường bỏ sót các quan hệ mang tính địa phương. Một hướng tiếp cận khác để tái tạo mạng là sử dụng mô hình Lý thuyết thông tin (information theory models). Ý tưởng của phương pháp này là dựa trên các độ đo để tìm ra sự phụ thuộc thống kê giữa các phần tử sinh học. Một số độ đo trong Lý thuyết thông tin, chẳng hạn độ đo Thông tin tương hỗ (mutual information), Hệ số thông tin cực đại (maximal information coefficient-MIC) có thể phát hiện được các quan hệ cặp đôi, tức là phát hiện sự phụ thuộc giữa hai phần tử. Nhiều nghiên cứu đã sử dụng độ đo Thông tin tương hỗ để tái tạo mạng điều hòa gen và mạng tương tác protein [Butte et al. 2000], [Cakir et al., 2006], [Margolin et al., 2006]. Cách tiếp cận Lý thuyết thông tin thường hướng đến các quan hệ cục bộ, sau đó mở rộng dần dần để xây dựng mạng toàn cục. Nói cách khác, theo cách tiếp cận Lý thuyết thông tin, cấu trúc mạng được xây dựng theo kiểu bottom-up. Do đó, phương pháp này thường không bỏ sót các quan hệ mang tính địa phương. Tóm lại, có nhiều cách tiếp cận để giải quyết bài toán tái tạo mạng sinh học, mỗi cách tiếp cận đều có những ưu điểm và nhược điểm. Phần lớn các nghiên cứu trước đây chỉ tập trung vào việc tìm các quan hệ cặp đôi giữa hai phần tử và cho rằng quan hệ cặp đôi chính là cơ sở để xây dựng mạng quan hệ đa biến. Gần đây, một số nghiên cứu đã xem xét đến mối quan hệ của một phần tử với nhiều phần tử khác trong mạng sinh học. Chẳng hạn, cách tiếp cận mô hình đồ thị và độ đo Thông tin tương hỗ trong tái tạo mạng điều hòa gen [Kinney et al., 2014], [Reshef et al., 2011], [Trairatphisan et al., 2013]. Tuy nhiên, các mối quan hệ đa biến đó lại không phải là các quan hệ xảy ra đồng thời. Trong khi, một phản ứng sinh hóa trong mạng trao đổi chất lại thường chứa đựng mối quan hệ của nhiều chất, đồng thời xảy ra. Do đó, các mối quan hệ như vậy có thể sẽ không được phát hiện bằng các phương pháp đã nêu trên. 1.3 Mục tiêu nghiên cứu của luận án Để tái tạo mạng trao đổi chất, trong luận án này, chúng tôi lựa chọn hướng tiếp cận Lý thuyết thông tin, cụ thể là sử dụng các độ đo Thông tin tương hỗ. Độ đo Thông tin tương hỗ trước đây được áp dụng để phát hiện quan hệ hai biến trong mạng điều hòa gen và mạng tương tác protein do quan hệ trong các mạng này phần lớn là quan hệ hai biến hoặc các quan hệ nhiều biến nhưng có thể suy diễn từ các quan hệ hai biến. Trong mạng trao đổi chất, một phản ứng có thể có nhiều chất tham gia. Do đó, quan hệ giữa các chất thường là các quan hệ ba biến, bốn biến, . . ., hay nói cách khác là các quan hệ đa biến và hơn nữa chúng xảy ra đồng thời. Cho đến nay, một số mở rộng của độ đo Thông tin tương hỗ cũng đã xem xét đến mối quan hệ đa biến. Tuy nhiên, có những kiểu quan hệ chỉ xuất hiện khi có nhiều biến đồng thời cùng tham gia. Chính vì vậy, 3 để tái tạo mạng trao đổi chất, cần phải mở rộng độ đo Thông tin tương hỗ để có thể phát hiện được các quan hệ đa biến xảy ra đồng thời. Như vậy, mục tiêu nghiên cứu của luận án là mở rộng độ đo Thông tin tương hỗ để tái tạo mạng trao đổi chất. Để tái tạo mạng trao đổi chất từ dữ liệu sinh học, chúng tôi sẽ thực hiện hai bước, tương ứng với hai bài toán (Hình 1.1). Bài toán 1 Bài toán 2 Dữ → Tái tạo quan hệ đa biến → Loại bỏ quan hệ dư thừa → Mạng liệu ⇑ ⇑ trao Mở rộng độ đo MI Mở rộng độ đo CMI đổi chất Hình 1.1: Sơ đồ tóm tắt Mục tiêu nghiên cứu của luận án • Bài toán 1: Mở rộng độ đo Thông tin tương hỗ (MI) để tái tạo quan hệ đa biến. • Bài toán 2: Mở rộng độ đo Thông tin tương hỗ có điều kiện (CMI) để phát hiện quan hệ đa biến gián tiếp và loại bỏ quan hệ dư thừa. 1.4 Các đóng góp chính của luận án Luận án có ba đóng góp chính: Thứ nhất: Đề xuất một cách diễn giải trực quan mới và công thức mới cho Thông tin tương hỗ trong trong trường hợp hai biến và ba biến. Cách diễn giải này khắc phục được các nhược điểm của một số cách diễn giải trước đây. Thứ hai: Trên cơ sở đóng góp thứ nhất, đề xuất một công thức tổng quát cho độ đo Thông tin tương hỗ đa biến. Từ công thức tổng quát, có nhiều công thức được suy ra, mỗi công thức phản ánh một loại quan hệ tồn tại giữa các biến. Thứ ba: Đề xuất một công thức tổng quát cho độ đo Thông tin tương hỗ đa biến có điều kiện nhằm phát hiện quan hệ đa biến gián tiếp và loại bỏ các quan hệ dư thừa. 1.5 Tổ chức luận án Luận án gồm 130 trang được chia thành 4 chương. Chương 1: Giới thiệu tổng quan về bài toán tái tạo mạng sinh học, bối cảnh thực hiện luận án, mục tiêu nghiên cứu và những đóng góp chính của luận án. Chương 2: Những kiến thức nền tảng, bao gồm những khái niệm cơ bản trong Tin-Sinh học và các kiến thức liên quan đến một số độ đo trong Lý thuyết thông tin. 4 Chương 3: Giới thiệu một số mở rộng độ đo Thông tin tương hỗ của các tác giả khác. Đề xuất một diễn giải trực quan mới và công thức mới cho Thông tin tương hỗ trong trường hợp hai biến và ba biến. Từ đó, đề xuất một công thức tổng quát cho Thông tin tương hỗ trong trường hợp đa biến. Cuối cùng là một ứng dụng của các độ đo Thông tin tương hỗ đa biến vào bài toán tái tạo mạng trao đổi chất và đánh giá các độ đo này. Chương 4: Đề xuất một công thức tổng quát của độ đo Thông tin tương hỗ đa biến có điều kiện. Ứng dụng của các độ đo Thông tin tương hỗ đa biến có điều kiện trong việc phát hiện các quan hệ đa biến gián tiếp để loại bỏ các quan hệ dư thừa trong mạng trao đổi chất. Cuối cùng là phần Kết luận của luận án. Chương 2 KIẾN THỨC NỀN TẢNG 2.1 Một số khái niệm cơ bản trong Sinh học Mọi sinh vật đều được tạo thành từ vô số tế bào. Tất cả các quá trình sinh học trong tế bào đều được điều khiển bới các phần tử cơ bản trong tế bào như: gien, protein, metabolite. Các phần tử này không hoạt động riêng rẽ mà chúng thường kết hợp với nhau để tạo thành các phức hợp và thực hiện một chức năng nào đó. Tập các phần tử sinh học và các quan hệ giữa chúng tạo thành một mạng sinh học (biological network). Về mặt hình thức, mạng sinh học thường được biểu diễn bằng đồ thị gồm các nút và các cạnh. Trong đó, nút đại diện cho các phần tử cơ bản trong tế bào, cạnh đại diện cho quan hệ giữa các phần tử cơ bản đó. Mạng tương tác protein (protein-protein interaction network-PIN ) là một mạng sinh học. Trong đó, các nút của mạng là các protein, các cạnh là các tương tác vật lý giữa các protein. Tương tác protein-protein xảy ra khi các protein kết hợp với nhau, thường là để thực hiện chức năng sinh học của chúng. Trong mạng điều hòa gien (gene regulatory network-GRN ), mỗi nút là một gien, mỗi cạnh là một quan hệ điều khiển của gien này đối với gien kia. Một trong các nguồn dữ liệu quan trọng là dữ liệu biểu hiện gien (gene expression data). Dữ liệu biểu hiện gien thường cho dưới dạng ma trận, trong đó mỗi cột tương ứng với mỗi gien và mỗi dòng tương ứng với một thời điểm lấy mẫu hay một điều kiện thí nghiệm. Mỗi ô của ma trận chứa mức độ biểu hiện của gien trong điều kiện tương ứng. Trong mạng trao đổi chất (metabolic network-MN ), mỗi nút là một chất trao đổi (metabolite), là phân tử nhỏ có trong mẫu sinh học. Các chất trao đổi này thường là các chất tham gia phản ứng, các chất xúc tác, các sản phẩm của các phản ứng hóa sinh trong cơ thể sinh học. Mỗi cạnh trong mạng biểu diễn cho một quan hệ chuyển hóa từ chất này sang chất kia. 5 Dữ liệu chuỗi thời gian (time-series) là tập hợp các dữ liệu thu được tại các mốc thời gian, cách nhau một khoảng thời gian nhất định. Dữ liệu time-series được sử dụng trong thống kê, xử lý tín hiệu, nhận dạng mẫu, tài chính, dự báo,. . Dựa vào dữ liệu time-series, ta có thể tìm thấy các qui luật của các sự kiện. Vì vậy, mô hình time-series còn được sử dụng để sinh ra các dữ liệu dựa trên các quan sát đã có. Trong quá trình thu thập dữ liệu thường xuất hiện các dữ liệu nhiễu (per- turbation). Dữ liệu nhiễu thường sinh ra do lỗi chương trình, lỗi thiết bị dùng để thu thập dữ liệu hoặc do ảnh hưởng của điều kiện thí nghiệm, . . . . Chúng thường làm ảnh hưởng xấu đến các kết quả phân tích hoặc khai phá dữ liệu. Dữ liệu In silico là dữ liệu sinh học được sinh ra từ máy tính thông qua các mô hình mô phỏng, không phải thu được từ các thí nghiệm sinh học. Nghiên cứu In silico có khả năng làm tăng tốc độ thực hiện và đồng thời làm giảm chi phí khi tiến hành trong phòng thí nghiệm và trên các thử nghiệm lâm sàng. 2.2 Một số khái niệm cơ bản trong Lý thuyết thông tin Định nghĩa 2.1. Entropy của biến ngẫu nhiên rời rạc X, ký hiệu là H(X), đo lượng thông tin không chắc chắn của biến X, được định nghĩa như sau [Shannon, 1948]: H(X) =  x p(x) log 1 p(x) = −  x p(x) log p(x) (2.1) trong đó, p(x) là hàm phân phối xác suất (probability mass function) của X. Khi các biến là liên tục, phép tính tổng trong các công thức được thay bởi phép tính tích phân. Tính chất: H(X) ≥ 0 Định nghĩa 2.2. Entropy đồng thời (joint entropy) của cặp hai biến ngẫu nhiên rời rạc (X, Y ), ký hiệu H(X, Y ), được định nghĩa như sau: H(X, Y ) = −  x,y p(x, y) log p(x, y) (2.2) Tính chất: H(X, Y ) ≤ H(X) + H(Y ) Định nghĩa 2.3. Cho hai biến ngẫu nhiên rời rạc X và Y . Entropy có điều kiện (conditional entropy) của biến X trên điều kiện Y , ký hiệu là H(X|Y ), đo lượng thông tin không chắc chắn của biến X khi đã biết biến Y , được xác định như sau: H(X|Y ) = −  x,y p(x, y) log p(x, y) p(y) (2.3) Tính chất (i) H(X|Y ) ≥ 0 (ii) H(X, Y ) = H(X) + H(Y |X); H(X, Y ) = H(Y ) + H(X|Y ) 6 (iii) H(X|Y ) ≤ H(X) Định nghĩa 2.4. Entropy của n biến ngẫu nhiên rời rạc X 1 , . . . , X n với phân bố xác suất đồng thời p(x 1 , . . . , x n ) được xác định bởi: H(X 1 , . . . , X n ) = −  x 1 , ,x n p(x 1 , . . . , x n ) log p(x 1 , . . . , x n ) (2.4) Tính chất: H(X 1 , . . . , X n ) ≤ n  i=1 H(X i ) Định nghĩa 2.5. Thông tin tương hỗ (mutual information) của hai biến ngẫu nhiên X và Y , ký hiệu là MI(X, Y ), đo mức độ tương hỗ của hai biến X và Y , được định nghĩa như sau: MI(X, Y ) =  x,y p(x, y) log p(x, y) p(x).p(y) (2.5) = H(X) + H(Y ) − H(X, Y ) (2.6) Khi giá trị độ đo này lớn, có nghĩa rằng mức độ tương hỗ giữa hai biến lớn và ngược lại, giá trị của độ đo bé nghĩa là mức độ tương hỗ của hai biến nhỏ. Tính chất (i) MI(X, Y ) ≥ 0 (ii) MI(X, Y ) = MI(Y, X) (iii) MI(X, Y ) = H(X) − H(X|Y ) = H(Y ) − H(Y |X) (iv) MI(X, Y ) ≤ H(X); M I(X, Y ) ≤ H(Y ) Định nghĩa 2.6. Thông tin tương hỗ có điều kiện (conditional mutual infor- mation) của hai biến ngẫu nhiên X và Y trên điều kiện Z đo mức độ tương hỗ của hai biến X và Y khi có điều kiện Z, được định nghĩa như sau: MI(X, Y |Z) =  x,y,z p(x, y, z) log p(x, y|z) p(x|z).p(y|z) (2.7) =  z p(z)M I(X, Y |Z = z) (2.8) Một số biểu diễn khác của CMI: MI(X, Y |Z) = H(X, Z) + H(Y, Z) − H(Z) − H(X, Y, Z) (2.9) MI(X, Y |Z) = H(X|Z) + H(Y |Z) − H(X, Y |Z) (2.10) Tính chất: M I(X, Y |Z) ≥ 0 Định nghĩa 2.7. Ba biến ngẫu nhiên X, Y, Z được gọi là tạo thành chuỗi Markov (Markov chain), ký hiệu X → Y → Z, nếu: p(x, y, z) = p(x).p(y|x).p(z|y) (2.11) 7 Bổ đề 2.1. X → Y → Z khi và chỉ khi X và Z độc lập với nhau trên điều kiện Y , tức là M I(X, Z|Y ) = 0 Bổ đề 2.2. Nếu X → Y → Z thì Z → Y → X Định lý 2.1. Bất đẳng thức xử lý dữ liệu (data processing inequality-DPI) Nếu X → Y → Z thì: MI(X, Y ) ≥ M I(X, Z) (2.12) Dấu đẳng thức xảy ra khi và chỉ khi MI(X, Y |Z) = 0 Bổ đề 2.3. Nếu X → Y → Z thì MI(X, Z) ≤ min  MI(X, Y ); MI(Y, Z)  (2.13) Bổ đề 2.4. Nếu X → Y → Z thì: MI(X, Y |Z) ≤ MI(X, Y ) (2.14) 2.3 Đánh giá tính chính xác của dự đoán Trong phân lớp nhị phân hay trong dự đoán, các kết quả được gán nhãn hoặc là dương (positive-P) hoặc âm (negative-N ). Có bốn khả năng có thể xảy ra: Nếu kết quả dự đoán là P và giá trị thực tế cũng là P thì khi đó được gọi là true positive-TP. Nếu kết quả dự đoán là P mà giá trị thực là N , thì được gọi là false positive-FP. Ngược lại, nếu kết quả dự đoán và giá trị thực đều là N thì gọi là true negative-TN, và là false negative-FN khi kết quả dự đoán là N, trong khi giá trị thực tế là P . Quan sát dương (P) Quan sát âm (N) Dự đoán dương (P) TP FP Dự đoán âm (N) FN TN Có nhiều thước đo độ chính xác của dự đoán như: Precision, Recall, độ chính xác (Accuracy-ACC), độ đo F (F-measure), đường cong ROC và diện tích dưới đường cong ROC (area under the curve-AUC). Trong đó, P recision = T P T P + F P (2.15) Recall = T P T P + F N (2.16) ACC = T P + T N T P + F P + T N + F N (2.17) F − measure = 2 P recision.Recall P recision + Recall = 2T P 2T P + F P + F N (2.18) Một thước đo được sử dụng phổ biến nhất trong khoa học đó là đường cong ROC (Receiver Operating Characteristic). Đường cong ROC được tạo thành từ 8 tập hợp các điểm ứng với các ngưỡng khác nhau. Với mỗi ngưỡng sẽ cho ta một điểm. Mỗi điểm được xác định bởi 2 tọa độ: 1-Specificity (hay còn gọi là False Positive Rate) và Sensitivity (hay còn gọi là True Positive Rate). Trong đó, Sensitivity = T P T P + F N (2.19) 1 − Specif icity = F P F P + T N (2.20) Đường cong ROC có một tính chất quan trọng là: nếu đường cong càng đi dọc theo biên trái và rồi đi dọc theo biên phía trên của không gian ROC, thì chứng tỏ kết quả của dự đoán càng chính xác. Đường cong càng tiến tới thành đường chéo 45 o trong không gian ROC, thì độ chính xác của dự đoán càng kém. Tuy nhiên, nếu căn cứ vào các đường cong ROC thì rất khó để kết luận được dự đoán nào tốt hơn. Vì vậy, người ta thường sử dụng phần diện tích dưới đường cong ROC, ký hiệu là AUC, để đánh giá tính chính xác của dự đoán. Đường cong nào có AUC càng lớn thì độ chính xác của dự đoán càng cao và ngược lại, đường cong nào có AUC càng bé thì độ chính xác của dự đoán càng thấp. Chương 3 MỞ RỘNG ĐỘ ĐO THÔNG TIN TƯƠNG HỖ ĐỂ TÁI TẠO QUAN HỆ ĐA BIẾN 3.1 Một số mở rộng độ đo Thông tin tương hỗ 3.1.1 Mở rộng của Watanabe Mở rộng đầu tiên của độ đo Thông tin tương hỗ là độ đo Tương quan tổng hợp (total correlation) do Watanabe đưa ra năm 1960 [Watanabe, 1960]. Định nghĩa 3.1. Cho n biến ngẫu nhiên X 1 , . . . , X n , tương quan tổng hợp của n biến, ký hiệu là T C(X 1 , . . . , X n ), được định nghĩa: T C(X 1 , . . . , X n ) =  x 1 , ,x n p(x 1 , . . . , x n ) log p(x 1 , . . . , x n ) p(x 1 ). . . . p(x n ) (3.1) = n  i=1 H(X i ) − H(X 1 , . . . , X n ) (3.2) Trong trường hợp ba biến, công thức (3.2) có dạng: T C(X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) (3.3) Một mở rộng nữa của Watanabe là Tương quan tổng hợp có điều kiện được định nghĩa như sau: 9 Định nghĩa 3.2. Tương quan tổng hợp có điều kiện của n biến ngẫu nhiên X 1 , . . . , X n trên điều kiện Y , ký hiệu là TC(X 1 , . . . , X n |Y ), được định nghĩa: T C(X 1 , . . . , X n |Y ) = n  i=1 H(X i |Y ) − H(X 1 , . . . , X n |Y ) (3.4) Trong trường hợp ba biến, công thức (3.4) có dạng: T C(X, Y, Z|T ) = H(X|T ) + H(Y |T ) + H(Z|T ) − H(X, Y, Z|T ) (3.5) Độ đo Thông tin tương tác chỉ phản ánh được kiểu quan hệ đồng thời của n biến, không phản ánh được các kiểu quan hệ khác giữa các biến. 3.1.2 Mở rộng của Fano Mở rộng thứ hai của độ đo Thông tin tương hỗ là độ đo Thông tin tương tác (interaction information) do Fano đưa ra năm 1961 [Fano, 1961]. Định nghĩa 3.3. Thông tin tương tác của n biến ngẫu nhiên X 1 , . . . , X n−1 , X n (với n > 2), được định nghĩa như sau: MI(X 1 , . . . , X n ) = n  i=1 H(X i ) −  1≤i<j≤n H(X i , X j ) + . . . + (−1) n+1 H(X 1 , . . . , X n ) (3.6) Trong trường hợp ba biến, công thức (3.6) được viết: MI(X, Y, Z) = H(X)+H(Y )+H(Z)−  H(X, Y ) + H(Y, Z) +H(Z, X)  +H(X, Y, Z) (3.7) Thông tin tương hỗ có tính chất là luôn có giá trị không âm, giá trị M I = 0 khi và chỉ khi các biến độc lập. Trong khi đó, theo công thức (3.6), giá trị MI có thể nhận cả giá trị âm. Như vậy, mở rộng của Fano không phản ánh đúng mối quan hệ giữa các biến. 3.1.3 Mở rộng của Cover và Thomas Mở rộng của Cover và Thomas đưa ra năm 1991 [Cover et al., 1991], trong đó, các tác giả sử dụng biểu đồ Venn để biểu diễn cho entropy của các biến (Hình 3.2). Phần giao nhau của H(X) và H(Y ) biểu diễn cho lượng thông tin chung của hai biến X, Y , chính là Thông tin tương hỗ của hai biến. Khi mở rộng sang trường hợp ba biến, phần giao nhau của H(X), H(Y ) và H(Z) chính là thông tin tương hỗ của ba biến. Nhìn vào độ lớn phần giao nhau của H(X), H(Y ) và H(Z), chúng ta có thể biết được mức độ tương hỗ giữa ba biến. Tuy nhiên, phương pháp biểu diễn trực quan này không biểu diễn được các kiểu quan hệ khác trong trường hợp ba biến. 3.1.4 Mở rộng của Jakulin và Bratko Năm 2003, Aleks Jakulin và Ivan Bratko đưa ra một phương pháp trực quan khác [Jakulin et al., 2003]. Jakulin và Bratko gọi quan hệ giữa hai biến là tương tác. Trong phương pháp này, mỗi biến được biểu diễn bằng một hình tròn lớn, 10 [...]... các độ đo sau: • Thông tin tương hỗ tổng hợp của ba biến X, Y, Z trên điều kiện T M I(X, Y, Z|T ) = H(X|T ) + H(Y |T ) + H(Z|T ) − H(X, Y, Z|T ) (4 .2) • Thông tin tương hỗ bộ phận giữa một biến với cặp hai biến trên điều kiện T M I(X, [Y, Z]|T ) = H(X|T ) + H(Y, Z|T ) − H(X, Y, Z|T ) (4 .3) M I(Y, [Z, X]|T ) = H(Y |T ) + H(Z, X|T ) − H(X, Y, Z|T ) (4 .4) M I(Z, [X, Y ]|T ) = H(Z|T ) + H(X, Y |T ) − H(X,... Mặc dù các độ đo Thông tin tương hỗ đề xuất trong Chương 3 đã tái tạo được các quan hệ đa biến nhưng một số quan hệ được tái tạo lại dư thừa do đã tồn tại các mối quan hệ gián tiếp Trong Chương 4, chúng tôi sẽ tiếp tục mở rộng độ đo Thông tin tương hỗ có điều kiện để phát hiện các quan hệ đa biến gián tiếp 4.1 Thông tin tương hỗ có điều kiện của hai biến Thông tin tương hỗ có điều kiện (conditional... H(pX,Y,Z ) (3 .13) H(X) + H(Y, Z) − H(X, Y, Z) (3 .14) = H(pY × pZ,X ) − H(pX,Y,Z ) (3 .15) = M I Y, [Z, X] = = M I X, [Y, Z] H(Y ) + H(Z, X) − H(X, Y, Z) (3 .16) Từ đó, ta thấy mỗi loại thông tin tương hỗ cung cấp cho ta một kiểu quan hệ trong mối quan hệ đa biến Ví dụ, M I(X, Y ) cho biết mức độ tương hỗ giữa biến X và Y ; M I Z, [X, Y ] đo mức độ tương hỗ giữa biến Z và cặp biến [X, Y ]; thông tin tương hỗ. .. biến độc lập, entropy của phân bố xác suất của dữ liệu là hình hộp chứa khối S Khi đó, H(pX,Y,Z ) = H(pX × pY × pZ ) = H(pX ) + H(pY ) + H(pZ ) = H(X) + H(Y ) + H(Z) Do đó, công thức (3 .9) tương đương với công thức: M I(X, Y, Z) = H(X) + H(Y ) + H(Z) − H(X, Y, Z) (3 .10) Hình 3.5: Biểu diễn trực quan M I(X, Y, Z) Chúng tôi gọi độ đo thông tin tương hỗ của ba biến trong trường hợp này là Thông tin tương. .. tôi đã áp dụng độ đo Thông tin tương hỗ đa biến có điều kiện lên mạng trao đổi chất trong tế bào hồng cầu đã tái tạo được ở Chương 3 Kết quả thực nghiệm cho thấy, các độ đo Thông tin tương hỗ đa biến có điều kiện phát hiện được các quan hệ gián tiếp Khi so sánh mạng được tái tạo theo phương pháp của chúng tôi với mạng đích, tỉ lệ các quan hệ được tái tạo chính xác cao Mặc dù, việc tái tạo mạng mới chỉ... tái tạo trùng khớp với mạng đích và chấm tròn nối ba đường nét đứt biểu diễn cho quan hệ bộ ba được tái tạo không khớp với mạng đích (a) (b) Hình 3.7: So sánh mạng tái tạo nhờ MI đa biến (b) với mạng đích (a) Với mạng kết quả tái tạo được, chúng tôi đánh giá tính chính xác của dự đo n tái tạo các quan hệ cặp đôi và quan hệ bộ ba thông qua các độ đo đã trình bày trong Chương 2 (Bảng 3.3) Bảng 3.3: Độ. .. mạng trao đổi chất thường sử dụng các phương pháp tái tạo mạng dựa trên các quan hệ cặp đôi Tuy nhiên, có nhiều kiểu quan hệ chỉ xuất hiện khi có đồng thời nhiều chất tham gia Chính vì vậy, với mục tiêu tái tạo mạng trao đổi chất từ dữ liệu sinh học, theo hướng tiếp cận tính toán, luận án đã giải quyết hai bài toán Bài toán thứ nhất, tái tạo quan hệ đa biến bằng cách mở rộng độ đo Thông tin tương hỗ. .. công thức mới cho Thông tin tương hỗ trong trường hợp hai biến và ba biến Từ đó, chúng tôi đề xuất một công thức tổng quát cho Thông tin tương hỗ đa biến Trong phần cuối của Chương 3, chúng tôi đã trình bày một ứng dụng các độ đo mở rộng vào bài toán tái tạo mạng trao đổi chất trong tế bào hồng cầu gồm 39 chất Kết quả thực nghiệm cho thấy các độ đo mà chúng tôi đề xuất có khả năng tái tạo tốt các quan... DHAP,PG3 (1 ,2) (4 ,5) (9 ,10) (8 ,9) (8 ,10) (3 ,4) (3 ,5) (5 ,8) (6 ,8) (6 ,9) (6 ,7) (5 ,6) (2 ,3) (1 ,3) (2 ,4) (2 ,5) (4 ,6) (7 ,9) (7 ,8) (4 ,8) M I(X, Y ) 8.22 7.58 5.77 5.44 5.07 3.78 3.77 1.87 1.33 1.33 1.26 1.21 1.06 1.05 0.98 0.96 0.82 0.71 0.70 0.68 Phản ứng pgi tip en pgm pgm,en ald ald gapdh,pgk pgk pgk,pgm dpgm gapdh pfk hk,pgi pfk,ald tald tpi,gapdh dpgase, pgm dpgase tpi,gap,pgk có giá trị M I(X, Y ) lớn... (3 .11) tương đương với công thức: M I(Z, [X, Y ]) = H(Z) + H(X, Y ) − H(X, Y, Z) (3 .12) Chúng tôi gọi độ đo thông tin tương hỗ của ba biến trong trường hợp này là Thông tin tương hỗ bộ phận giữa một biến với cặp hai biến Hình 3.6: Biểu diễn trực quan M I(Z, [X, Y ]) Tương tự, trong trường hợp X có quan hệ với cặp biến [Y, Z]; Y có quan hệ với cặp biến [Z, X], ta có các công thức: H(pX × pY,Z ) − H(pX,Y,Z . 3 MỞ RỘNG ĐỘ ĐO THÔNG TIN TƯƠNG HỖ ĐỂ TÁI TẠO QUAN HỆ ĐA BIẾN 3.1 Một số mở rộng độ đo Thông tin tương hỗ 3.1.1 Mở rộng của Watanabe Mở rộng đầu tiên của độ đo Thông tin tương hỗ là độ đo Tương. luận án Để tái tạo mạng trao đổi chất, trong luận án này, chúng tôi lựa chọn hướng tiếp cận Lý thuyết thông tin, cụ thể là sử dụng các độ đo Thông tin tương hỗ. Độ đo Thông tin tương hỗ trước. toán tái tạo mạng trao đổi chất và đánh giá các độ đo này. Chương 4: Đề xuất một công thức tổng quát của độ đo Thông tin tương hỗ đa biến có điều kiện. Ứng dụng của các độ đo Thông tin tương hỗ