Ứng dụng Dempster - Shafer xây dựng mô hình suy luận

Bài viết trình bày kết quả nghiên cứu, ứng dụng lý thuyết Dempster Shafer (D-S) xây dựng mô hình tự suy luận, kết quả thực nghiệm với bộ dữ liệu Iris cho thấy mô hình có khả năng ra quyết định với độ chính xác cao, góp phần bổ sung cho lý thuyết đã đề xuất.

Kỹ thuật điều khiển & Điện tử ỨNG DỤNG DEMPSTER - SHAFER XÂY DỰNG MƠ HÌNH SUY LUẬN Bùi Cơng Thành1*, Vũ Tuấn Anh1 , Hồng Trung Kiên Tóm tắt: Bộ não người xử lý, phân tích liệu thu thập từ giác quan để nhận biết vật tượng xung quanh Theo cách đó, lĩnh vực nghiên cứu kỹ thuật kết hợp thông tin từ nhiều nguồn (Multiple Sensor Data Fusion) đẩy mạnh nghiên cứu để nâng cao độ xác suy diễn, định Bài báo trình bày kết nghiên cứu, ứng dụng lý thuyết Dempster Shafer (D-S) xây dựng mơ hình tự suy luận, kết thực nghiệm với liệu Iris cho thấy mơ hình có khả định với độ xác cao, góp phần bổ sung cho lý thuyết đề xuất Keywords: Dempster-Shafer, D-S, Theory of Evidence, Multiple Sensor Data Fusion GIỚI THIỆU CHUNG Tổng hợp liệu từ nhiều nguồn (THDLNN) kỹ thuật cho phép kết hợp thơng tin từ nhiều nguồn nhằm mục đích cải tiến hiệu suất hệ thống [5] Theo Siaterlis and Maglaris [2004], THDLNN bước xử lý liệu thu thập từ nhiều nguồn thông tin thành nguồn với mức độ thơng tin tổng qt hơn, có nghĩa Theo Bass [1], THDLNN hướng nghiên cứu kỹ thuật để xử lý thông tin từ nhiều nguồn khác nhau, loại thông tin khác để giúp suy diễn kiện, nhận định rõ tình Rất nhiều phương pháp THDLNN nghiên cứu nhằm mục đích nâng cao độ xác định, ứng dụng nhiều lĩnh vực huy chiến trường; an ninh mạng; chuẩn đốn y học, sinh học; giám sát mơi trường; đo lường, tự động hóa,… Một số hướng nghiên cứu THDLNN việc ứng dụng lý thuyết D-S, nhiều nhà nghiên cứu quan tâm [3] Lý thuyết D-S giới thiệu từ 1968 tác giả Arthur Dempster phát triển Glenn Shafer Lý thuyết D-S đưa tảng mở ứng dụng để tạo mơ hình định dựa suy luận không chắn thu thập Theo Shafer [2], lập luận lý thuyết D-S dựa hai ý tưởng chính: Mức độ “niềm tin” cho giả thuyết tập tất giả thuyết đưa cho vấn đề hàm kết hợp (Dempster’s Rule), phương pháp xác định “độ tin” kết hợp nhiều niềm tin hay giả thuyết với Lý thuyết D-S đề xuất phương án khả thi tính tốn đưa kết luận dựa vào lập luận khơng chắn Thuật tốn chạy khơng cần thông tin tri thức ban đầu hệ thống đặc biệt phù hợp cho ứng dụng để nhận dạng, phát bất thường LÝ THUYẾT DEMPSTER SHAFER 2.1 Định nghĩa Tập F, FoD (Frame of Discernment) tập hợp tất trạng thái hệ thống đó, ta có tập hàm mũ tập chứa tất tập F [2] Tập đơi gọi tập giả thuyết tập dẫn chứng Ví dụ: F = { a, b, c} Tập hàm mũ tập chứa tất tập F Ta được: = { , a, b, c, ab, ac, bc, abc } Tùy theo đặc trưng hệ thống cụ thể mà tập F khác Chẳng hạn hệ thống phân lớp liệu, tập F tập nhãn lớp khác Hoặc hệ thống phát xâm nhập mạng, tập F đơn giản trạng thái mạng bình thường mạng bị cơng 90 B C Thành, V T Anh, H T Kiên, “Ứng dụng Dempster – Shafer … mơ hình suy luận.” Nghiên cứu khoa học công nghệ Lý thuyết D-S sử dụng hàm để gán mức độ “niềm tin” vào phần tử tập hàm mũ Hàm gọi Hàm niềm tin (Basic Belief Assignment – BBA), gọi tắt hàm niềm tin: m: → [0,1] Với nguồn thông tin cung cấp phần tử (giả thuyết) tập , ta có hàm niềm tin tương ứng , i = 1,…n Hàm niềm tin D-S có hai tính chất: - Khối niềm tin tập rỗng m( ) = - Khối niềm tin tất tập lại cộng vào với có tổng =1 Khối niềm tin tập A đó, m(A), liên quan tới thân tập A không liên quan đến tập nằm A Do vậy, tìm giới hạn giới hạn cho khoảng xác suất tập A D-S đưa hai khái niệm độ tin (belief) độ hợp lý (plausibility) để tính giới hạn đó: Bel(A) = Pl(A) = Một hàm BBA coi việc xác định tập xác suất P cho phần tử (giả thuyết) tập cho: Bel(A) ≤ P(A) ≤ Pl(A) Ngoài ra, mối liên hệ hàm m, Bel Pl thể qua công thức: Pl(A)=1-bel( ) m(A)= với |A -B |làsố phần tử khác tập A B[5] Vì vậy, cần xác định trọng ba tham số m, Bel Pl suy hai tham số lại 2.2 Luật kết hợp – Dempster’s Rule Luật kết hợp phương pháp xác định độ tin tổng hợp kết hợp dẫn chứng khác Phương trình kết hợp[2], độ tin hai dẫn chứng thể sau: ( )=0 (A) = (  ) (A) = (1) K= Trong đó: thành phần tử số hàm kết hợp K gọi thước đo mức độ xung đột hai giả thuyết - K thành phần mẫu số hàm kết hợp MƠ HÌNH THDLNN ỨNG DỤNG D-S 3.1 Mơ hình tổng qt Xét hệ thống có n nguồn thơng tin khơng gian xác định , m số chiều không gian Với nguồn, khơng có đầy đủ m tính chất, giá trị tính chất thể đặc trưng nguồn thơng tin Tạp chí Nghiên cứu KH&CN quân sự, Số 50, 08 - 2017 91 Kỹ thuật điều khiển & Điện tử Mỗi nguồn vào thứ i ứng với giá trị , với ϵ phân bố xác suất Xác suất xác suất , độ tin cậy nguồn thể Mơ hình THDLNN mơ hình có nhiệm vụ tìm hàm f: → (đơn giản từ n đầu vào thành kết đầu ra) Bài tốn mơ tả tóm tắt sau: Input: ( n nguồn thông tin x, liệu x ϵ Output: Luật f thỏa mãn: → ) Hình Mơ hình THDLNN tổng qt 3.2 Xây dựng mơ hình ứng dụng lý thuyết D-S Mơ hình đề xuất áp dụng cho toán phân biệt loại đối tượng dựa vào thuộc tính đặc trưng, thuộc tính quy giá trị thuộc không gian R1, giá trị đặc trưng thể đối tượng số nhóm đối tượng biết Mơ hình đề xuất để áp dụng D-S trường hợp sau: Hình Mơ hình THDLNN áp dụng lý thuyết D-S Mơ hình xác định ngưỡng từ nhiều nguồn thông tin, từ xác định trạng thái cho liệu kiểm tra kết hợp trạng thái thu sử dụng luật kết hợp D-S để tìm 92 B C Thành, V T Anh, H T Kiên, “Ứng dụng Dempster – Shafer … mơ hình suy luận.” Nghiên cứu khoa học công nghệ trạng thái đơn làm kết phân loại cho liệu Trong trường hợp sau, sử dụng luật kết hợp chưa tìm trạng thái đơn, mơ hình sử dụng thêm phương pháp dụng phương pháp lựa chọn Chen S cộng [6] (Chen-Rule) để tìm trạng thái đơn Đầu vào mơ hình hai tập liệu: Dữ liệu huấn luyện Các nguồn liệu kiểm tra Khối Nguồn: Từ tập liệu huấn luyện, mơ hình xác định ngưỡng tương ứng với nguồn thông tin Trong trường hợp ngưỡng giá trị min, max, nguồn thơng tin giá trị thuộc tính liệu kiểm tra Khối Xác định trạng thái: Các ngưỡng thu từ Nguồn sử dụng để xác định tập trạng thái cho liệu kiểm tra Tập trạng thái tập tập trạng thái không gian Khối Bộ kết hợp sử dụng luật kết hợp D-S: Tập trạng thái xác định được đưa vào kết hợp sử dụng luật D-S theo công thức (1) Kết thu trạng thái thuộc không gian Khối Ra định thực kiểm tra trạng thái thu từ Bộ kết hợp sử dụng luật kết hợp D-S Nếu trạng thái thu trạng thái rỗng (hoàn toàn khơng), hệ thống hồn tồn khơng định cuối cùng; đầu cho kết trạng thái đơn (có) đưa định kết thúc; đầu trạng thái tổ hợp (chưa chắn) chuyển trạng thái sang khối Bổ sung hỗ trợ định Khối Bổ sung hỗ trợ định sử dụng phương pháp lựa chọn ChenRule để chuyển trạng thái tổ hợp (chưa chắn) thành trạng thái đơn Sau lần gọi Chen-Rule, trình tự động cập nhật lại ngưỡng Phương pháp lựa chọn Chen-Rule theo công thức sau: = (2) Trong đó: : Là giá trị Chen-Rule cho thuộc tính thứ j : Là độ lệch chuẩn lớp j = 1…m với m số thuộc tính i = 1…n với n số lớp thuộc tính thứ j Theo lý thuyết Chen-Rule, thuộc tính xét, tính giá trị trung bình tập giá trị loại đối tượng Cuối cùng, tính độ lệch giá trị xét đặc trưng chọn so với giá trị trung bình tập giá trị loại đối tượng tìm Loại đối tượng có độ lệch nhỏ lựa chọn làm kết nhận dạng cho liệu xét CÀI ĐẶT THỬ NGHIỆM MƠ HÌNH 4.1 Bộ liệu thử nghiệm Để kiểm nghiệm mơ hình, tập liệu Iris [10] sử dụng Đây liệu Ronald Fisher phát minh, gồm có 150 ghi mơ tả liệu cụ thể cho bốn thuộc tính hoa Iris độ dài đài hoa (Sepal Length), độ rộng đài hoa (Sepal Width), độ dài cánh hoa (Petal Length) độ rộng cánh hoa (Petal Width), tất đo theo đơn vị cen-timét (cm) Dữ liệu phân thành lớp, đặt tên theo ba loài hoa Iris Iris Setosa, Iris Versicolor, Iris Virginica; lớp chứa 50 ghi Theo lý thuyết D-S, không gian F = {Iris Setosa, Iris Versicolour, Iris Virginica} Tạp chí Nghiên cứu KH&CN quân sự, Số 50, 08 - 2017 93 Kỹ thuật điều khiển & Điện tử 4.2 Kết thử nghiệm Kết thử nghiệm thu tập trung vào việc trình bày mức độ hiệu việc ứng dụng phương pháp D-S mức độ nhận dạng xác liệu cần nhận dạng trường hợp lựa chọn ngẫu nhiên Mức độ hiệu việc ứng dụng phương pháp D-S dựa vào thước đo số “trạng thái đơn”, số “trạng thái tổ hợp”, số trạng thái tổ hợp (là trạng thái tổ hợp có chứa kết nó), số trạng thái tổ hợp sai (là trạng thái tổ hợp khơng có chứa kết nó) Còn mức độ nhận dạng xác liệu thể qua thước đo số phân loại đúng, số phân loại sai độ xác (số phân loại / số phân loại sai) a Phiên thử nghiệm thứ Chi tiết số thứ tự ghi liệu lựa chọn cho trình huấn luyện liệt kê bảng Bảng Tập số thứ tự 20 ghi ngẫu nhiên cho lớp Lớp Iris Setosa Iris Versicolor Iris Virginica Tập số thứ tự 7, 44, 22, 36, 48, 18, 21, 12, 9, 49, 17, 13, 34, 21, 19, 44, 43, 42, 13, 23 58, 98, 93, 59, 80, 70, 88, 71, 91, 75, 66, 54, 57, 50, 51, 82, 78, 86, 90, 80 146, 118, 141, 119, 128, 124, 115, 120, 100, 139, 122, 114, 107, 148, 131, 140, 139, 137, 135, 146 Kết thu cho q trình kiểm thử thứ với tồn liệu Iris thể bảng bảng Bảng Kết thu sau sử dụng “Bộ kết hợp sử dụng luật kết hợp D-S” Lớp Iris Setosa Iris Versicolor Iris Virginica Số trạng thái đơn 50 49 50 Số trạng thái tổ hợp Số trạng thái tổ hợp Số trạng thái tổ hợp sai 0 Bảng Kết suy luận mơ hình phiên thử thứ Lớp Iris Setosa Iris Versicolor Iris Virginica Số phân loại 50 47 44 Số phân loại sai Độ xác (%) 100 94 88 b Phiên thử nghiệm thứ hai Chi tiết số thứ tự ghi liệu lựa chọn cho trình huấn luyện liệt kê bảng Bảng Tập số thứ tự 30 ghi ngẫu nhiên cho lớp Lớp Iris Setosa Iris Versicolor 94 Tập số thứ tự 3, 6, 47, 38, 20, 46, 5, 26, 6, 30, 43, 31, 0, 16, 39, 18, 36, 13, 32, 23, 44, 10, 7, 1, 46, 46, 30, 30, 0, 81, 94, 91, 64, 58, 83, 68, 93, 66, 88, 53, 77, 59, 77, 63, 63, 60, 77, 70, 55, 85, 93, 99, 75, 80, 68, 52, 62, 76, 85 B C Thành, V T Anh, H T Kiên, “Ứng dụng Dempster – Shafer … mơ hình suy luận.” Nghiên cứu khoa học công nghệ Iris Virginica 105, 128, 110, 123, 107, 149, 114, 143, 106, 113, 112, 129, 134, 146, 122, 122, 121, 111, 149, 109, 100, 103, 122, 141, 114, 127, 106, 129, 116, 142 Kết thu cho q trình kiểm thử thứ với tồn liệu Iris thể bảng bảng Bảng Kết thu sau sử dụng “Bộ kết hợp sử dụng luật kết hợp D-S” Lớp Iris Setosa Iris Versicolor Iris Virginica Số trạng thái đơn 50 34 43 Số trạng thái tổ hợp 16 Số trạng thái tổ hợp 16 Số trạng thái tổ hợp sai 0 Bảng Kết suy luận mơ hình sau phiên thử thứ hai Lớp Iris Setosa Iris Versicolor Iris Virginica Số phân loại 50 47 48 Số phân loại sai Độ xác (%) 100 94 96 c Phiên thử nghiệm thứ ba Chi tiết số thứ tự ghi liệu lựa chọn cho trình huấn luyện liệt kê bảng Bảng Tập số thứ tự 40 ghi ngẫu nhiên cho lớp Lớp Iris Setosa Iris Versicolor Iris Virginica Tập ghi ngẫu nhiên 35, 43, 20, 0, 4, 28, 11, 8, 40, 9, 4, 8, 23, 43, 35, 23, 19, 24, 44, 26, 36, 23, 40, 28, 22, 15, 38, 41, 27, 34, 3, 34, 11, 30, 39, 7, 1, 46, 11, 35 90, 81, 71, 98, 70, 58, 89, 53, 98, 82, 82, 97, 89, 98, 86, 91, 91, 74, 83, 79, 73, 98, 83, 52, 59, 69, 64, 80, 69, 52, 61, 97, 97, 93, 59, 54, 65, 93, 86, 69 134, 133, 130, 147, 148, 119, 101, 133, 118, 120, 143, 102, 148, 147, 128, 117, 136, 118, 143, 135, 129, 101, 100, 115, 145, 139, 123, 105, 117, 132, 105, 147, 103, 138, 106, 105, 115, 112, 149, 108 Kết thu cho trình kiểm thử thứ với toàn liệu Iris thể bảng bảng Bảng Kết thu sau sử dụng “Bộ kết hợp sử dụng luật kết hợp D-S” Lớp Iris Setosa Iris Versicolor Iris Virginica Số trạng thái đơn 50 34 43 Số trạng thái tổ hợp 16 Số trạng thái tổ hợp 16 Số trạng thái tổ hợp sai 0 Bảng Kết suy luận mơ hình sau phiên thử thứ ba Lớp Iris Setosa Iris Versicolor Số phân loại 50 46 Số phân loại sai Tạp chí Nghiên cứu KH&CN quân sự, Số 50, 08 - 2017 Độ xác (%) 100 92 95 Kỹ thuật điều khiển & Điện tử Iris Virginica 49 98 Bảng 10 Kết so sánh phương pháp [8] Phương pháp Tỷ lệ khẳng định (True Positive Rate) 0,96 Tỷ lệ khẳng định sai (False Positive Rate) 0,02 Độ xác 0,96 0,02 0,96 0,966 0,016 0,966 0,973 0,013 0,973 0,667 0,167 0.5 MultilayerPerceptron 0,973 0,013 0,973 NaiveBayes 0,96 0,02 0,96 MultiClassClassifier 0,96 0,02 0,96 Mơ hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 20) Mơ hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 30) Mô hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 40) Mơ hình ứng dụng D-S đề xuất(dữ liệu huấn luyện = 50) DecisionStump 0,96 Theo kết cho thấy mơ hình đề xuất cho khả suy luận với độ xác cao so sánh với phương pháp phân loại phổ biến có [8] Đặc biệt, sử dụng liệu huấn luyện kiểm tra cho mơ hình, kết suy luận mơ hình suy luận ứng dụng D-S có độ xác tương đương với phương pháp MultilayerPerceptron Và hai phương pháp hai phương pháp có tỷ lệ nhận dạng đạt độ xác cao so với phương pháp lại (0,973) KẾT LUẬN Trong lĩnh vực THDLNN, lý thuyết Dempster Shafer lý thuyết dựa dẫn chứng, nghiên cứu ứng dụng nhiều tất lĩnh vực Một vấn đề khó khăn lớn áp dụng D-S cho mơ hình suy luận xác định khơng gian giả thuyết Tại Việt Nam, lý thuyết D-S chưa nghiên cứu nhiều, khó khăn ứng dụng D-S Bài viết trình bày kết nghiên cứu lý thuyết D-S ứng dụng cho xây dựng mơ hình nhận suy luận dựa vào thuộc tính đặc trưng đầu vào Kết thử nghiệm với liệu Iris cho thấy mô hình hoạt động bình thường cho kết suy luận với độ xác cao Qua thực nghiệm cho thấy D-S cho kết suy luận chưa kết cuối theo hướng diễn tập giả thuyết lại chứa giả thuyết cuối vấn đề cần kết luận Điều mở đường cho việc nghiên cứu để đưa mơ hình tối ưu định dựa dẫn chứng thu thập từ nguồn thông tin khác TÀI LIỆU THAM KHẢO [1] Tim Bass, “Intrusion detection systems and multisensor data fusion”, Communications of the ACM, Vol.43, 2000 [2] Shafer, G “A mathematical theory of evidence”, Princeton U.P., Princeton, N J., 1976 [3] C Siaterlis and B Magiaris, "Towards Multisensor Data Fusion for DoS Detection," The Proceedings of the 2004 ACM symposium on Applied Computing, 2004 96 B C Thành, V T Anh, H T Kiên, “Ứng dụng Dempster – Shafer … mơ hình suy luận.” Nghiên cứu khoa học cơng nghệ Ciza Thomas and N Balakrishnan, “Mathematical Analysis of Sensor Fusion for Intrusion Detection Systems”, Indian Institute of Science, Bangalore, 2009 [5] Ren C.Luo, Chh Chen Yih, “MultilSensor Fusion and Integration: Approaches”, Application and Future Research Directions, IEEE Proceedings of the International Conference on avanced Robotics, 2005 [6] Chen S and Fang Y, “A new approach for handling the iris data classification problem”, International Journal of Applied Science and Engineering, 2005 [7] A Orlandi, “Feature Selection Validation for validation of computational electromagnetic”, IEEE Transactions on Electromagnetic Compatibility Volume 48, 2006 [8] Kanu Patel, Jay Vala, Jaymit Pandya, “Comparison of various classification algorithms on iris datasets using Weka”, International journal of Advance Engineering and Research Development (IJAERD), Volume Issue 1, February 2014, ISSN: 2348 - 4470 [9] Trần Thuận Hoàng, “Nghiên cứu phương pháp tổng hợp cảm biến dùng cho kỹ thuật dẫn đường Robot di động”, Luận án Tiến sĩ, Trường Đại học Công nghệ - Đại học Quốc Gia Hà Nội, 2013 [10] “Machine Learning with Iris Dataset February”, 2017 URL: https://rstudiopubsstatic.s3.amazonaws.com/202738_7cad2477d76b4acc82b44244f94ccfa8.html#/ [4] ABSTRACT AN MODEL-BASED INFERENCE AND DECISION MAKING USING DEMPSTER SHAFER THEORY The human brain recognize the surrounded phenomena by processing and analyzing data collected from the senses In the same way, multiple sensor data fusion has been intensified to improve accuracy of inference and decision making The article presents results and application of Dempster Shafer (DS) theory to construct the self-reasoning model The empirical results on the Iris dataset show that the model has the ability to make decisions with high accuracy which contribute to the proposed theory Keywords: Dempster-Shafer, D-S, Theory of Evidence, Multiple Sensor Data Fusion Nhận ngày 12 tháng năm 2017 Hoàn thiện ngày 04 tháng năm 2017 Chấp nhận đăng ngày 18 tháng năm 2017 Địa chỉ: Binh chủng Thông tin liên lạc; Học viện Kỹ thuật quân * Email: kienht74@gmail.com Tạp chí Nghiên cứu KH&CN quân sự, Số 50, 08 - 2017 97 ... 0,96 Mơ hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 20) Mô hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 30) Mơ hình ứng dụng D-S đề xuất (dữ liệu huấn luyện = 40) Mơ hình ứng dụng D-S đề... mơ hình đề xuất cho khả suy luận với độ xác cao so sánh với phương pháp phân loại phổ biến có [8] Đặc biệt, sử dụng liệu huấn luyện kiểm tra cho mơ hình, kết suy luận mơ hình suy luận ứng dụng. .. thuyết Tại Việt Nam, lý thuyết D-S chưa nghiên cứu nhiều, khó khăn ứng dụng D-S Bài viết trình bày kết nghiên cứu lý thuyết D-S ứng dụng cho xây dựng mơ hình nhận suy luận dựa vào thuộc tính đặc