Phương pháp Diverse Density (mật độ đa dạng - DD) được Maron và Lozano-Perez [9] đề xuất năm 1998 để ứng dụng vào nhận dạng một người từ một tập các ảnh (trong đó, các ảnh được gán nhãn dương khi có người đó trong bức ảnh, ngược lại thì được gán nhãn âm) và cho vấn đề lựa chọn cổ phiếu.
Maron và Lozano-Perez [9] đề xuất phương pháp DD với ví dụ về một phân tử thuốc trong dự báo hoạt tính của thuốc. Giả sử rằng, hình dạng của một phân tử ứng cử viên được biểu diễn bởi một vec tơ đặc trưng. Do đó, một thể hiện của phân tử thuốc được biểu diễn bằng một điểm trong không gian đặc trưng n chiều. Khi phân tử thuốc thay đổi hình dạng, chúng sẽ sinh ra một đa tạp trong không gian đặc trưng n chiều. Hình 2.4 (a) mô tả đường đi của bốn phân tử trong không gian đặc trưng hai chiều. Nếu phân tử ứng cử viên được gán nhãn dương, thì ta có thể biết rằng ít nhất có một điểm của đa tạp, mà ở đó hình dạng của phân tử phù hợp với protein đích (đa tạp dương). Ngược lại, phân tử dược gán nhãn âm khi
không có hình dạng nào phù hợp với protein đích (đa tạp âm). Câu hỏi đặt ra là làm thế nào xác định được vị trí của phân tử trong không gian đặc trưng mà tại đó hình dạng của phân tử phù hợp với protein đích? Câu trả lời chính là tại điểm giao của các đa tạp dương và không giao với bất kỳ đa tạp âm nào. Ví dụ, trong Hình 2.4 (a), điểm A là điểm giao của các đa tạp dương và không giao với đa tạp âm nào. Trong các nghiên cứu về dự báo hoạt tính thuốc, các đa tạp là không liên tục. Do vậy Hình 2.4 (a) thành Hình 2.4 (b).
Hình 2.4: Ví dụ một điểm có Diverse Density [8]
Do đó, bài toàn chuyển từ tìm điểm giao của các đa tạp trở thành tìm một vùng có mật độ cao của các điểm dương và mật độ thấp của các điểm âm. Ngoài ra, không chỉ tìm vùng có mật độ cao mà còn tìm vùng có “Diverse Density” cao. Trong đó, Diverse Density của một điểm là độ đo của số các túi dương có các thể hiện gần điểm đó và khoảng cách từ điểm đó đến các thể hiện âm. Trong Hình 2.4 (b), vùng section B là vùng có mật độ cao nhưng điểm A lại có Diverse Density cao.
Ký hiệu các túi dương là +, điểm thứ ℎ trong túi + là + và giá trị của đặc trưng thứ ℎ của điểm + là + . Ngược lại, − biểu
thị cho điểm âm. Giả sử, tồn tại một điểm “khái niệm đúng” (true concept) [8] ký hiệu là . Mục tiêu là cực đại hóa xác suất DD(x)
thông qua tất cả các điểm x trong không gian đặc trưng:
( ) = Pr( = | +, +, … , +, +, +, … , − )
Áp dụng công thức Bayes và giả sử biết phân phối xác suất tiên nghiệm Pr(t) cho điểm “khái niệm đúng”, việc cực đại hóa xác suất DD(x) tương đương
với cực đại hóa hợp lí (khả năng):
Giả sử rằng, các túi độc lập có điều kiện với điểm , khi đó giả thuyết tốt
nhất là ∏ Pr( +| = ) ∏ Pr( −| = ). Giả sử biết phân phối xác suất tiên nghiệm, áp dụng công thức Bayes một lần nữa, ta có cực đại hóa xác suất
DD(x) tương đương với:
Từ đó, ta có định nghĩa chung nhất của cực đại hóa Diverse Density. Để ước lượng được xác
suất Pr( = | ) , Maron và Lozano-Perez [8] đề xuất sử dụng ước lượng “noisy-or”:
Pr( = | +) = Pr( = | 1+, 2+, … ) = 1 − ∏ (1 − Pr( = | +)) (2.5)
Ngược lại:
Pr( = | −) = ∏
Để tính xác suất Pr( = | +), ta dựa vào phân phối xác suất tựa Gaussian giữa một thể hiện bất kỳ với một điểm tiềm năng liên quan đến khoảng cách giữa hai điểm, nên ta có:
Pr( = |
Ta có thể thấy rằng, một trong các thể hiện trong một túi dương gần với
= thì xác suất Pr( = | +) cao. Nếu mỗi túi dương có một thểhiện gần vớivà không có túi âm nào gần với thì có Diverse Density cao. Ngoài ra, Maron
và Lozano-Perez bổ sung thêm mức độ quan trọng của các chiều trong không gian đặc trưng với vec tơ trọng số , khi đó ta có:
‖ − ‖2 =∑
Giả định tất cả các túi giao tại một điểm đơn không còn cần thiết. Ví dụ, ta có cặp điểm “khái niệm đúng” được biểu diễn bằng một điểm hợp ⋁ , ta cực đại hóa thông qua một cặp điểm và , khi đó:
Pr( = ⋁ = | ) = , (Pr( = | ) , Pr( = | ))(2.9)
Vấn đề còn lại là, làm thế nào để tìm được điểm có Diverse Density cực đại. Maron và Lozano-Perez [8] đề suất sử dụng giải thuật tối ưu gradient ascent với nhiều điểm bắt đầu (từ mỗi điểm (thể hiện) trong mỗi túi dương), với hi vọng sẽ tìm ra được điểm cực đại toàn cục (điểm có Diverse Density cực đại). Nếu bắt
đầu thuật toán gradient ascent từ mỗi điểm dương thì một trong số các điểm dương đó có thể gần với điểm cực đại.