Nghiên cứu thuật toán filter wrapper tìm tập rút gọn của bảng quyết định không đầy đủ và ứng dụng phát hiện tàu thuyền từ ảnh vệ tinh

BỘ GIÁO DỤC VIỆN HÀN LÂM VÀ ĐÀO TẠO KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM PHẠM QUANG NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Phạm Quang Nam NGHIÊN CỨU THUẬT TỐN FILTER-WRAPPER HỆ THỐNG THƠNG TIN TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ VÀ ỨNG DỤNG PHÁT HIỆN TÀU THUYỀN TỪ ẢNH VỆ TINH LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH 2021 Hà Nội – 2021 BỘ GIÁO DỤC VIỆN HÀN LÂM VÀ ĐÀO TẠO KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Phạm Quang Nam NGHIÊN CỨU THUẬT TỐN FILTER-WRAPPER TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ VÀ ỨNG DỤNG PHÁT HIỆN TÀU THUYỀN TỪ ẢNH VỆ TINH Chuyên ngành : Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS NGUYỄN LONG GIANG Hà Nội – 2021 LỜI CAM ĐOAN Tôi Phạm Quang Nam, học viên khóa 2019B, ngành Cơng nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tôi xin cam đoan luận văn “Nghiên cứu thuật toán filter-wrapper tìm tập rút gọn bảng định khơng đầy đủ ứng dụng phát tàu thuyền từ ảnh vệ tinh” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn PGS.TS Nguyễn Long Giang, chép từ tài liệu, cơng trình nghiên cứu người khác mà khơng ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2021 Tác giả Phạm Quang Nam LỜI CẢM ƠN Lời cảm ơn trân trọng em muốn dành tới thầy cô Học viện khoa học công nghệ Việt Nam, Viện công nghệ thông tin, Viện Hàn lâm khoa học cơng nghệ Việt Nam nói chung thầy cô môn Hệ thống thông tin khoa Cơng nghệ thơng tin nói riêng tận tình giảng dạy truyền đạt kiến thức quý báu suốt khoá cao học vừa qua, giúp em có kiến thức chun mơn tảng để làm sở lý luận khoa học cho luận văn Đặc biệt em xin chân thành cảm ơn thầy PGS.TS Nguyễn Long Giang dìu dắt hướng dẫn em suốt trình làm luận văn, bảo định hướng thầy giúp em tự tin nghiên cứu vấn đề giải toán cách khoa học Em xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho em học tập làm luận văn cách thuận lợi Mặc dù cố gắng nhiều, chắn trình học tập luận văn khơng khỏi thiết sót Em mong thơng cảm bảo tận tình thầy cô bạn Hà Nội, ngày tháng năm 2021 Tác giả Phạm Quang Nam MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT i DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ ii MỞ ĐẦU 1 Tính cấp thiết Mục tiêu nghiên cứu .2 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Nội dung nghiên cứu Ý nghĩa khoa học thực tiễn Bố cục luận văn CHƯƠNG TỔNG QUAN VỀ RÚT GỌN THUỘC TÍNH THEO TIẾP CẬN TẬP THƠ DUNG SAI .5 1.1 Hệ thông tin mơ hình tập thơ truyền thống 1.1.1 Hệ thông tin 1.1.2 Mơ hình tập thơ truyền thống 1.2 Hệ thông tin khơng đầy đủ mơ hình tập thơ dung sai 1.2.1 Hệ thông tin không đầy đủ 1.2.2 Mơ hình tập thơ dung sai .7 1.2.3 Bảng định không đầy đủ 1.2.4 Ma trận dung sai 10 1.3 Tổng quan rút gọn thuộc tính theo tiếp cận tập thơ dung sai 11 1.3.1 Tổng quan rút gọn thuộc tính .11 1.3.2 Tiếp cận filter, wrapper rút gọn thuộc tính 12 1.3.3 Rút gọn thuộc tính theo tiếp cận tập thô dung sai .14 1.4 Các nghiên cứu liên quan đến rút gọn thuộc tính theo tiếp cận tập dung sai 16 1.4.1 Rút gọn thuộc tính theo tiếp cận tập thơ dung sai .16 1.5 Kết luận 18 CHƯƠNG THUẬT TỐN FILTER-WRAPPER TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ 19 2.1 Mở đầu 19 2.2 Xây dựng độ đo khoảng cách bảng định không đầy đủ .20 2.2.1 Xây dựng độ đo khoảng cách hai tập hợp 20 2.2.2 Xây dựng độ đo khoảng cách hai tập thuộc tính .21 2.3 Rút gọn thuộc tính bảng định không đầy đủ sử dụng khoảng cách …………………………………………………………………………… 23 2.3.1 Xây dựng thuật tốn filter tìm tập rút gọn bảng định không đầy đủ……………………………………………………………………………… 24 2.3.2 Thuật tốn filter-wrapper tìm tập rút gọn bảng định không đầy đủ……………………………………………………………………………… 26 2.3.3 Thực nghiệm đánh giá kết .28 2.4 Kết luận chương 33 CHƯƠNG 3: THỬ NGHIỆM RÚT GỌN THUỘC TÍNH VỚI BÀI TỐN PHÂN LỚP ĐỐI TƯỢNG TRONG ẢNH VIỄN THÁM 34 3.1 Bài toán .34 3.2 Xây dựng mơ hình giải tốn .34 Hình 3.3 Thực thi mơ hình phân lớp gán nhãn cho ảnh viễn thám 36 3.3 Môi trường chạy thử nghiệm 36 3.4 Thực chương trình 37 3.4.1 Tiền xử lý liệu 37 3.4.2 Huấn luyện mô hình .44 3.4.3 Thực thi mơ hình 50 CHƯƠNG 4: KẾT LUẬN .54 TÀI LIỆU THAM KHẢO .55 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo CNN Convolution Neural Network Mạng nơ-ron tích chập ML Machine Learning Học máy, máy có khả học tập SVM Vector Support Machine Máy vector hỗ trợ DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Quy trình rút gọn thuộc tính 15 Hình 1.2: Cách tiếp cận filter wrapper rút gọn thuộc tính .16 Hình 1.3: Mơ hình phương pháp rút gọn thuộc tính theo hướng tiếp cận thơ dung sai 17 Hình 2.1: Thời gian thực ba thuật tốn (tính giây) .35 Hình 2.2: Số lượng thuộc tính tập rút gọn ba thuật tốn 37 Hình 2.3: Độ xác phân lớp ba thuật tốn .37 Hình 3.1: Xây dựng liệu phân lớp từ tập liệu huấn luyện 40 Hình 3.2: Ví dụ minh hoạ cửa sổ trượt 41 Hình 3.3: Thực thi mơ hình phân lớp gán nhãn cho ảnh viễn thám 42 Hình 3.4: Giao diện hình 43 Hình 3.5: Giao diện tác vụ Nạp liệu 44 Hình 3.6: Hiển thị hình ảnh dạng lưới 45 Hình 3.7: Giao diện tác vụ Gán nhãn liệu 46 Hình 3.8: Gán nhãn cho ô lưới 47 Hình 3.9: Giao diện tác vụ Hiển thị thuộc tính 48 Hình 3.10: Bảng thuộc tính liệu hình ảnh 49 Hình 3.11: Các thành phần huấn luyện mơ hình 50 Hình 3.12: Giao diện tác vụ Rút gọn thuộc tính 51 Hình 3.13: Giao diện tác vụ Huấn luyện mơ hình 53 Hình 3.14: Huấn luyện mơ hình phân lớp .54 Hình 3.15: Giao diện tác vụ Kiểm thử mơ hình 55 Hình 3.16: Giao diện Kiểm thử mơ hình phân lớp 56 Hình 3.17: Các thành phần dự đoán tàu thuyền 57 Hình 3.18: Giao diện tác vụ Dự đốn tàu thuyền 58 Hình 3.19: Dự đoán tàu thuyền 60 MỞ ĐẦU Tính cấp thiết Trong bối cảnh ngày nay, tăng trưởng không ngừng dung lượng liệu số lượng thuộc tính gây khó khăn, thách thức cho việc thực thi thuật toán khai phá liệu, phát tri thức Rút gọn thuộc tính (cịn gọi rút gọn chiều, hay rút gọn đặc trưng) toán quan trọng bước tiền xử lý liệu với mục tiêu loại bỏ thuộc tính dư thừa, khơng cần thiết nhằm tăng tính hiệu thuật toán khai phá liệu Hiện có hai cách tiếp cận tốn rút gọn thuộc tính [1-2]: filter (lọc) wrapper (đóng gói) Cách tiếp cận filter thực việc rút gọn thuộc tính độc lập với thuật khai phá liệu sử dụng sau Các thuộc tính chọn dựa độ quan trọng chúng việc phân lớp liệu Trong đó, cách tiếp cận wrapper tiến hành việc lựa chọn cách áp dụng thuật khai phá, độ xác kết lấy làm tiêu chuẩn để lựa chọn tập thuộc tính Lý thuyết tập thơ (Rough set) Pawlak đề xuất [3] xem công cụ hiệu giải tốn rút gọn thuộc tính bảng định đầy đủ, cộng đồng nghiên cứu tập thô thực lâu Trong toán thực tế, bảng định thường thiếu giá trị miền giá trị thuộc tính, gọi bảng định khơng đầy đủ Ví dụ với bảng định chẩn đoán bệnh viêm gan với thuộc tính triệu chứng, bác sĩ khơng thể thu thập đầy đủ triệu chứng tất bệnh nhân để định Để giải tốn rút gọn thuộc tính trực tiếp bảng định không đầy đủ mà không qua bước tiền xử lý giá trị thiếu, Kryszkiewicz [4] mở rộng quan hệ tương đương lý thuyết tập thô truyền thống thành quan hệ dung sai xây dựng mô hình tập thơ dung sai (tolerance rough set) Các phương pháp rút gọn thuộc tính bảng định khơng đầy đủ theo tiếp cận mơ hình tập thơ dung sai nghiên cứu mở rộng phương pháp rút gọn thuộc tính theo tiếp cận tập thơ truyền thống Đây phương pháp heuristic bao gồm bước: xây dựng độ đo, định nghĩa tập rút gọn độ quan trọng thuộc tính sử dụng độ đo xây dựng, sở xây dựng thuật tốn heuristic tìm tập rút gọn theo tiêu chuẩn độ quan trọng thuộc tính Các nghiên cứu liên quan đến rút gọn thuộc tính bảng định không đầy đủ theo tiếp cận tập thô dung sai tập trung vào phương pháp như: phương pháp sử dụng miền dương mở rộng [5], [6], [7], [8], [9], phương pháp sử dụng ma trận phân biệt, hàm phân biệt mở rộng [10], [11], [12], [13], [14], [15], [16], phương pháp sử dụng entropy thông tin mở rộng [17], [18-20], [21], [22], [23], phương pháp sử dụng độ đo lượng thông tin [24], [25], [26], phương pháp sử dụng khoảng cách [27], [28] số phương pháp sử dụng độ đo khác quan hệ không phân biệt mở rộng [29], độ bao phủ thuộc tính [30], độ đo không quán [31] Theo tiếp cận tập thô dung sai, luận văn tiến sĩ [32] đề xuất phương pháp rút gọn thuộc tính sử dụng độ đo khoảng cách Nhìn chung, phương pháp rút gọn thuộc tính theo tiếp cận tập thơ tập thơ dung sai hướng tới mục tiêu tìm tập rút gọn hiệu để thực thi mô hình phân lớp dựa tiêu chí: giảm thiểu số thuộc tính tập rút gọn để giảm thiểu độ phức tạp nâng cao độ xác mơ hình Các thuật tốn đề xuất phương pháp nêu thuật toán heuristic theo tiếp cận filter truyền thống, nghĩa tập rút gọn thu tập thuộc tính tối thiểu bảo tồn độ đo định nghĩa Việc đánh giá độ xác mơ hình phân lớp thực sau tìm tập rút gọn Do đó, tập rút gọn thuật toán filter nêu chưa tối ưu số lượng thuộc tính độ xác phân lớp Trong luận văn tiến sĩ [33] công trình [34], [35], tác giả đề xuất hướng tiếp cận kết hợp filterwrapper tìm tập rút gọn bảng định đầy đủ dựa lý thuyết tập thô mờ (fuzzy rough set) Trong đó, giai đoạn filter tìm ứng viên cho tập rút gọn dựa vào độ đo (còn gọi tập rút gọn xấp xỉ), giai đoạn wrapper tính tốn độ xác phân lớp ứng viên lựa chọn tập rút gọn xấp xỉ có độ xác phân lớp cao Kết thử nghiệm cho thấy, số lượng thuộc tính tập rút gọn giảm thiểu đáng kể so với phương pháp filter, độ xác phân lớp bảo toàn cải thiện Tuy nhiên, phương pháp [33], [34], [35] thực bảng định đầy đủ theo tiếp cận tập thô mờ (fuzzy rough set) Do đó, động lực nghiên cứu luận văn nghiên cứu, tìm hiểu hướng tiếp cận kết hợp filter-wrapper tìm tập rút gọn bảng định không đầy đủ theo tiếp cận tập thô dung sai nhằm giảm thiểu số lượng thuộc tính tập rút gọn, cố gắng bảo toàn, cải thiện độ xác mơ hình phân lớp Mục tiêu nghiên cứu Trên sở phân tích vấn đề tồn nghiên cứu liên quan xác định động lực nghiên cứu, mục tiêu luận văn là: Hình 3.12 Giao diện tác vụ Rút gọn thuộc tính Các thành phần chính: - Chọn tệp csv: Người dùng chọn tệp csv chứa thông tin thuộc tính sinh phần Hiển thị thuộc tính - Hiển thị thuộc tính: Hiển thị thơng tin tệp csv mà người dùng chọn - Rút gọn thuộc tính: Thực thuật tốn rút gọn số lượng thuộc tính so với ban đầu Mục đích: giảm khối lượng tính tốn, giảm thời gian xử lý thuật toán đảm bảo giữ giá trị thuộc tính quan trọng - Lưu: Lưu giá trị thuộc tính sau thực rút gọn thuộc tính dạng tệp csv lưu giá trị vị trí quan trọng dạng tệp csv - Trạng thái: Đưa trạng thái chương trình thực nhiệm vụ - Trở hình chính: Khi nhấn vào nút này, hình tiền xử lý liệu đóng lại hình Trên hình ra, người dùng thực chọn tệp csv chứa giá trị thuộc tính lưu bước Tiền xử lý liệu Nhập đường dẫn cách nhấn vào 45 nút chọn đường dẫn mong muốn Sau nhập đường dẫn xong, hình lên nút để người dùng chọn: + Hiển thị thuộc tính: Hiển thị giá trị thuộc tính trước áp dụng thuật tốn rút gọn thuộc tính + Rút gọn thuộc tính: Hiển thị giá trị thuộc tính sau áp dụng thuật tốn rút gọn thuộc tính, số lượng thuộc tính giảm so với số lượng thuộc tính ban đầu Trên hình hiển thị giá trị thuộc tính theo dạng bảng tương tự phần Hiển thị thuộc tính Bước Lưu ý: Chương trình cần lượng thời gian (tùy thuộc vào độ lớn lượng liệu thuộc tính cần rút gọn) để thực thi thuật toán rút gọn thuộc tính, người dùng sau nhấn nút “Rút gọn thuộc tính” cần chờ đợi để thuật tốn thực hiện, tránh việc nhấn nút nhiều lần dẫn đến cách tượng máy, treo máy, … Sau rút gọn thuộc tính xong, người dùng nhấn nút Lưu để thực lưu giá trị thuộc tính rút gọn vào tệp csv Tên tệp csv lưu theo định dạng _new.csv; Ví dụ người dùng chọn tệp csv ban đầu có tên list_features_train_80.csv tệp csv lưu thuộc tính rút gọn có tên list_features_train_80_new.csv; Một tệp csv khác tạo để lưu vị trí thuộc tính có tính quan trọng cao với định dạng tên _new_index.csv Phần 2: Huấn luyện mơ hình Chọn Huấn luyện mơ hình > Huấn luyện mơ hình Giao diện tác vụ Huấn luyện mơ hình 46 Hình 3.13 Giao diện tác vụ Huấn luyện mơ hình Các thành phần chính: - Chọn tệp csv: Người dùng chọn tệp csv chứa liệu giá trị thuộc tính sau thực rút gọn thuộc tính phần Rút gọn thuộc tính - Huấn luyện mơ hình: Chương trình sử dụng liệu tệp csv để huấn luyện mơ hình phân lớp SVM - Lưu mơ hình: Lưu mơ hình SVM huấn luyện dạng tệp sav - Trạng thái: Đưa trạng thái chương trình thực nhiệm vụ - Trở hình chính: Khi nhấn vào nút này, hình tiền xử lý liệu đóng lại hình Trên hình ra, người dùng thực chọn tệp csv chứa giá trị thuộc tính rút gọn Nhập đường dẫn cách nhấn vào nút chọn đường dẫn mong muốn Người dùng nhấn nút Huấn luyện mơ hình để thực huấn luyện mơ hình phân lớp SVM với tập thuộc tính vừa chọn phần trên, hình giao diện hiển thị sau: 47 Hình 3.14 Huấn luyện mơ hình phân lớp Sau huấn luyện mơ hình xong, thơng báo hiển thị mục Trạng thái Đồ thị biểu diễn phân bố giá trị thuộc tính khơng gian Trong chấm màu xanh tương ứng với nhãn (có tàu thuyền) chấm màu đỏ tương ứng với nhãn (khơng có tàu thuyền) Người dùng thực lưu mơ hình SVM vừa huấn luyện cách nhấn vào nút Lưu mơ hình Tên tệp lưu mơ hình SVM vừa huấn luyện có định dạng .sav; Ví dụ người dùng chọn tệp chứa liệu đầu vào cho mô hình SVM có tên list_features_train_80_new.csv tên mơ hình lưu có tên list_features_train_80_new.sav Phần 3: Kiểm thử mơ hình Chọn Huấn luyện mơ hình > Kiểm thử mơ hình Giao diện tác vụ Kiểm thử mơ hình 48 Hình 3.15 Giao diện tác vụ Kiểm thử mơ hình Các thành phần chính: - Chọn thư mục ảnh: Người dùng chọn thư mục chứa hình ảnh với nhiệm vụ kiểm tra độ xác mơ hình SVM - Chọn tệp csv vị trí: Người dùng chọn tệp csv chứa giá trị vị trí quan trọng chuỗi thuộc tính - Chọn mơ hình SVM: Người dùng chọn mơ hình SVM lưu phần Huấn luyện mơ hình - Chạy mơ hình: Thực kiểm thử độ xác mơ hình SVM tập liệu lựa chọn mục Chọn thư mục hình ảnh - Trạng thái: Đưa trạng thái chương trình thực nhiệm vụ - Trở hình chính: Khi nhấn vào nút này, hình tiền xử lý liệu đóng lại hình Trên hình ra, người dùng thực chọn mục sau: - Chọn thư mục ảnh: Người dùng chọn thư mục chứa hình ảnh kiểm thử (đã phân tách) tệp txt chứa nhãn ứng với hình ảnh Để tạo thư mục 49 kiểm thử này, người dùng cần thực bước tương tự mục Tiền xử lý liệu > Nạp liệu Tiền xử lý liệu > Gán nhãn liệu - Chọn tệp csv vị trí: Người dùng thực chọn tệp csv chứa thông tin vị trí thuộc tính quan trọng tạo mục Rút gọn thuộc tính - Chọn mơ hình SVM: Người dùng chọn tệp lưu mơ hình SVM lưu phần Huấn luyện mơ hình Người dùng nhấn nút Chạy mơ hình để thực kiểm thử độ xác mơ hình phân lớp SVM với tập thuộc tính tạo từ mục Chọn thư mục ảnh, hình giao diện hiển thị sau: Hình 3.16 Giao diện Kiểm thử mơ hình phân lớp Sau trình kiểm thử thực xong, phần Trạng thái hiển thị độ xác mơ hình SVM với tệp liệu Đồ thị biểu diễn phân bố giá trị thuộc tính khơng gian Trong chấm màu xanh tương ứng với nhãn (có tàu thuyền) chấm màu đỏ tương ứng với nhãn (khơng có tàu thuyền) 3.4.3 Thực thi mơ hình Nhiệm vụ tác vụ sử dụng mơ hình SVM để đưa dự đốn có tàu - thuyền hay khơng có tàu - thuyền hình ảnh Trong “Thực thi mơ hình” có mục chính: Dự đốn tàu thuyền: 50 Hình 3.17 Các thành phần Dự đốn tàu thuyền Chọn Thực thi mơ hình > Dự đốn tàu thuyền Giao diện tác vụ Dự đốn tàu thuyền: Hình 3.18 Giao diện tác vụ Dự đốn tàu thuyền 51 Các thành phần chính: - Chọn ảnh: Người dùng chọn hình ảnh cần dự đốn có tàu thuyền hay khơng - Chọn mơ hình: Người dùng chọn mơ hình SVM - Chọn csv vị trí: Người dùng chọn tệp csv chứa giá trị vị trí quan trọng tập thuộc tính hình ảnh - Hiển thị lưới: Màn hình ô lưới với kích thước với kích thước hình ảnh sử dụng để huấn luyện mơ hình SVM - Hiển thị thuộc tính: Màn hình bảng liệu chứa thơng tin hình ảnh Bảng liệu gồm n hàng m cột Trong đó: n số lượng hình ảnh có thư mục mà người dùng chọn, m số lượng thuộc tính ứng với hình ảnh - Dự đốn nhãn: Sử dụng mơ hình SVM có để đưa dự đốn có tàu hay khơng có tàu hình ảnh - Thơng tin dự đốn: Hiển thị thơng tin “Có tàu” mơ hình dự đốn hình ảnh có tàu - thuyền hiển thị thơng tin “Khơng có tàu” mơ hình dự đốn hình ảnh khơng có tàu - thuyền - Trở hình chính: Khi nhấn vào nút này, hình tiền xử lý liệu đóng lại hình (mục 3.2) Trên hình ra, người dùng thực chọn tệp hình ảnh cần thiết: - Chọn ảnh: Chọn hình ảnh mà người dùng muốn xác định ảnh có tàu thuyền hay khơng - Chọn mơ hình: Chọn mơ hình SVM lưu phần Huấn luyện mơ hình - Chọn csv vị trí: Chọn tệp csv chứa thơng tin vị trí thuộc tính quan trọng tạo phần Rút gọn thuộc tính Sau nhập đầy đủ thông tin trên, nút bật hình: - Hiển thị lưới: Hình ảnh chia thành ô lưới với độ dài với kích thước hình ảnh sử dụng để huấn luyện mơ hình svm - Hiển thị thuộc tính: Một cửa sổ ra, cửa sổ hiển thị bảng thuộc tính hình ảnh mà người dùng chọn để dự đốn - Dự đoán nhãn: Khi người dùng nhấn vào nút này, chương trình sử dụng mơ hình SVM để đưa dự đốn có tàu hay khơng có tàu lưới hình ảnh ban đầu Chương trình dừng lại phát lưới dự đốn có tàu - thuyền đưa thơng báo “Có tàu” Ngược lại, tất 52 lưới dự đốn khơng có tàu - thuyền chương trình đưa thơng báo “Khơng có tàu” mục Thơng tin dự đốn Hình 3.19 Dự đốn tàu thuyền Tập liệu kiểm thử gồm 400 hình ảnh, có 200 ảnh có tàu 200 ảnh khơng có tàu Kết chạy thực nghiệm thu độ xác phân lớp 82.5% kiểm thử 53 CHƯƠNG 4: KẾT LUẬN A Các kết đạt Luận văn Trong luận văn tơi tìm hiểu số kiến thức tổng quan toán rút gọn thuộc tính từ bảng định khơng đầy đủ theo hướng tiếp cận kết hợp filterwrapper nhằm giảm thiểu số lượng thuộc tính, từ giảm độ phức tạp mơ hình phân lớp Kết luận văn bao gồm: Tìm hiểu cách xây dựng độ đo khoảng cách thuật tốn theo tiếp cận filterwapper tìm tập rút gọn bảng quyểt định không đầy đủ sử dụng độ đo khoảng cách Cài đặt, thử nghiệm thuật toán ứng dụng vào toán phát tàu, thuyền từ ảnh vệ tinh B Định hướng nghiên cứu tiếp theo: Triển khai thuật toán vào việc giải toán thực tiễn khác, đặc biệt tốn có liệu với số thuộc tính lớn (high dimention data) lĩnh vực khác liệu gen tin sinh học… Tiếp tục nghiên cứu, đề xuất phương án để giảm thiểu thời gian thực thuật toán dựa mơ hình tập thơ khác phù hợp với lớp toán thực tiễn 54 TÀI LIỆU THAM KHẢO [1] Guyon, Isabelle; Elisseeff, André, “An Introduction to Variable and Feature Selection”, Journal of Machine Learning Research, pp 1157-1182, 2003 [2] H Liu, L Yu, “Toward integrating feature selection algorithms for classification and clustering”, IEEE Transactions on knowledge and data engineering, 17(4), pp 491-502, 2005 [3] Z Pawlak, Rough sets: Theoretical Aspects of Reasoning about Data, Kluwer Academic Publisher, London, 1991 [4] M Kryszkiewicz (1998), “Rough set approach to incomplete information systems”, Information Science, Vol 112, pp 39-49 [5] D.X Peng, X.D Hong, “Research on Heuristic Knowledge Reduction Algorithm for Incomplete Decision Table”, IEEE International Conference on Internet Technology and Applications, 2010 [6] J Hu, K Wang, H Yu, “Attribute Reduction on Distributed Incomplete Decision Information System”, IJCRS 2017, pp 289-305, 2017 [7] Y.H Qian, J.Y Liang, W Pedrycz, C.Y Dang, “An efficient accelerator for attribute reduction from incomplete data in rough set framework”, Pattern Recognition 44, pp 1658-1670, 2011 [8] Z.Q Meng, Z.Z Shi, “A fast approach to attribute reduction in incomplete decision systems with tolerance relation-based rough sets”, Information Sciences, Vol 179, pp 2774-2793, 2009 [9] Z.Y Xu, J.H Zhou, C.G Zhang, “A Quick Attribute Reduction Algorithm Based on Incomplete Decision Table”, Information Computing and Applications, 2013 [10] F.M Ma, T.F Zhang, “Generalized binary discernibility matrix for attribute reduction in incomplete information systems”, The Journal of China Universities of Posts and Telecommunications, Volume 24, Issue 4, pp 57-75, 2017 [11] H.S Zou, C.S Zhang, “Efficient Algorithm for Knowledge Reduction in Incomplete Information System”, Journal of Computational Information Systems 8: 6, pp 2531–2538, 2012 [12] H.X Li, X.H Zhou, M.M Zhu, “A Heuristic Reduction Algorithm in IIS Based on Binary Matrix”, RSKT, pp 143-150, 2010 [13] J Zhou, E Xu, Y.H Li, Z Wang, Z.X Liu, X.Y Bai , “A New Attribute Reduction Algorithm Dealing With The Incomplete Information System”, 2009 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery, 2009 [14] Vu Van Dinh, Nguyen Long Giang, Duc Thi Vu, Generalized Discernibility Function based Attribute Reduction in Incomplete Decision Systems, Serdica Journal of Computing (2013), Institute of Mathematics and Informatics, Bulgarian Academy of Sciences, No 4, 2013, pp 375-388 [15] W.D Tan, E Xu, F Shi, Y.C Ren, L.J Fan, “A Novel Method of Attribute Reduction for Incomplete Information System”, IEEE International Conference on Innovative Computing and Communication, pp 352-354, 2010 [16] Z.Y Xu, B Yang, W.H Shu, "Efficient Algorithm for Attribute Reduction of Incomplete Information Systems Based on Assignment Matrix”, Fuzzy Information and Engineering, Volume 2, 2009 [17] D Yue, Z Xu, C.D Mei, W.Y Mei, “Analysis of Attribute Reduction of Incomplete Decision Table Based on Information Entropy”, 8th International Conference on Intelligent Computation Technology and Automation (ICICTA), 2015 [18] H Zhao, K.Y Qin, “Mixed feature selection in incomplete decision table” Knowledge-Based Systems, Volume 57, pp 181-190, 2014 [19] Nguyễn Bá Quảng, Nguyễn Long Giang, Trần Thanh Đại, Nguyễn Ngọc Cương, “Phương pháp Filter-Wrapper rút gọn thuộc tính bảng định khơng đầy đủ sử dụng khoảng cách”, Kỷ yếu Hội thảo quốc gia lần thứ XXII: Một số vấn đề chọn lọc Công nghệ thơng tin truyền thơng, Thái Bình, 28-29/06/2019, Tr 246-252 [20] J.H Dai, W.T Wang, H.W Tian, L Liu, “Attribute selection based on a new conditional entropy for incomplete decision systems”, KnowledgeBased Systems, Volume 39, pp 207-213, 2013 [21] L Sun, J.C Xu, Y Tian, “Feature selection using rough entropy-based uncertainty measures in incomplete decision systems”, Knowledge-Based Systems, Volume 36, pp 206-216, 2012 [22] W.B Qian, W.H Shu, “Mutual information criterion for feature selection from incomplete data”, Neurocomputing, Volume 168, pp 210-220, 2015 [23] Y Tao, H.C Zhao, “Entropy based attribute reduction approach for incomplete decision table”, 20th International Conference on Information Fusion (Fusion), pp 1-8, 2017 [24] Sai Prasad P.S.V.S, Raghavendra Rao Chillarige, Novel Granular Framework for Attribute Reduction in Incomplete Decision Systems, Multidisciplinary Trends in Artificial In Artificial Intelligence, 2012 [25] X Guo, Y.Z Xiang, L Shu, “An Information Quantity-Based Uncertainty Measure to Incomplete Numerical Systems”, International Conference on Fuzzy Information & Engineering, pp 23-29, 2019 [26] Xu E, Y.Q Yang, Y.C Ren, “A New Method of Attribute Reduction Based On Information Quantity in An Incomplete System”, JOURNAL OF SOFTWARE, VOL 7, NO 8, pp 1881-1888, 2012 [27] Long Giang Nguyen, Hung Son Nguyen, “Metric Based Attribute Reduction in Incomplete Decision Tables”, Proceedings of 14th International Conference, Rough Sets, Fuzzy Sets, Data Mining, and Granular Computing, RSFDGrC 2013, Halifax, NS, Canada, Lecture Notes in Computer Science, SpingerLink, Vol 8170, pp 99-110, 2013 [28] Vu Van Dinh, Vu Duc Thi, Ngo Quoc Tao, Nguyen Long Giang, “Partition Distance Based Attribute Reduction in Incomplete Decision Tables”, Journal on Information Communications Technology, Research and Development on Information & Communications Technology, Vol V-2, No 14(34), pp 2332, 12-2015 [29] W.H Shu, W.B Qian, “A fast approach to attribute reduction from perspective of attribute measures in incomplete decision systems”, Knowledge-Based Systems, V.72, pp 60-71, 2014 [30] X.P Dai, D.H Xiong, “Research on Heuristic Knowledge Reduction Algorithm for Incomplete Decision Table”, IEEE 2010 International Conference on Internet Technology and Applications, pp 1-3, 2010 [31] X.J Xie, X L Qin, “A novel incremental attribute reduction approach for dynamic incomplete decision systems”, International Journal of Approximate Reasoning 93, pp 443-462, 2018 [32] Vũ Văn Định, “Rút gọn thuộc tính bảng định không đầy đủ theo tiếp cận tập thô dung sai”, Luận án Tiến sĩ Tốn học, Viện Cơng nghệ thơng tin, 2016 [33] Nguyễn Văn Thiện, “Một số phương pháp kết hợp rút gọn thuộc tính theo tiếp cận tập thơ mờ”, Luận án Tiến sĩ Máy tính, Học viện Khoa học Công nghệ, 2018 [34] Nguyễn Văn Thiện, Nguyễn Long Giang, Nguyễn Như Sơn, “Phương pháp gia tăng rút gọn thuộc tính bảng định sử dụng khoảng cách mờ”, Hội thảo Quốc gia lần thứ XXI - Một số vấn đề chọn lọc CNTT TT, Thanh Hóa, 27-28/07/2018, Tr 296- 302 [35] Long Giang Nguyen, Thien Nguyen, Nhu Son Nguyen , “Fuzzy Partition Distance based Attribute Reduction in Decision Tables”, IJCRS 2018: International Joint Conference on Rough Sets 2018, LNCS, Vol 11103, Springer Link, 2018, pp 614-627 [36] The UCI machine learning repository http://archive.ics.uci.edu/ml/datasets.html [37] J.C Xu, L Sun, “Knowledge Entropy and Feature Selection in Incomplete Decision Systems,” Applied Mathematics & Information Sciences, vol 7, no 2, pp 829-837, 2013 [38] Z.Q Meng, Z.Z Shi, “Extended rough set-based attribute reduction in inconsistent incomplete decision systems”, Information Sciences, Volume 204, pp 44-69, 2012 [39] Y.H Qian, J.Y Liang, D.Y Li, F Wang, N.N Ma, “Approximation reduction in inconsistent incomplete decision tables”, Knowledge-Based Systems, Volume 23, Issue 5, pp 427-433, 2010 [40] Nguyen Long Giang, Vu Van Dinh, Relationships Among the Concepts of Reduct in Incomplete Decision Tables, Frontiers in Artificial Intelligence and Applications (FAIA), Volume 252: Advanced Methods and Technologies for Agent and Multi-Agent Systems, IOS Press, 2013, pp 417-426 [41] Cao Chinh Nghia, Demetrovics Janos, Nguyen Long Giang, Vu Duc Thi, “About a fuzzy distance between two fuzzy partitions and attribute reduction problem”, Cybernetics and Information Technologies, Vol 16, No 4, pp 1328, 2016 [42] C.Z Wang, Y Qi, Q He, Attribute reduction using distance-based fuzzy rough sets, 2015 International Conference on Machine Learning and Cybernetics , IEEE, 2015 [43] C.Z Wang, Y.Huang, M.W Shao, X.D.Fan, Fuzzy rough set-based attribute reduction using distance measures, Knowledge-Based Systems, Volume 164, 15 January 2019, pp 205-212 [44] J.Y Liang, R Li, Y H Qian, “Distance: A more comprehensible perspective for measures in rough set theory”, Knowledge-Based Systems, Volume 27, pp 126-136, 2012 [45] Long Giang Nguyen, “Metric Based Attribute Reduction in Decision Tables”, Federated Conference on Computer Science and Information System (FEDCSIS), Wroclaw, Poland, IEEE, pp 311-316, 2012 ... Tôi xin cam đoan luận văn ? ?Nghiên cứu thuật tốn filter- wrapper tìm tập rút gọn bảng định không đầy đủ ứng dụng phát tàu thuyền từ ảnh vệ tinh? ?? tơi nghiên cứu, tìm hiểu phát triển hướng dẫn PGS.TS... kết tìm hiểu xây dựng độ đo khoảng cách thuật toán filter- wrapper IDS_FW_DAR tìm tập rút gọn bảng định khơng đầy đủ Chương áp dụng thuật toán filter- wrapper IDS_FW_DAR vào toán phát tàu thuyền từ. .. VÀ ĐÀO TẠO KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CƠNG NGHỆ Phạm Quang Nam NGHIÊN CỨU THUẬT TỐN FILTER- WRAPPER TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHƠNG ĐẦY ĐỦ VÀ ỨNG DỤNG PHÁT HIỆN