uftai-ve-tai-day28699-đã chuyển đổi

BỘ GIÁO DỤC VIỆN HÀN LÂM VÀ ĐÀO TẠO KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM PHẠM QUANG NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Phạm Quang Nam NGHIÊN CỨU THUẬT TỐN FILTER-WRAPPER HỆ THỐNG THƠNG TIN TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ VÀ ỨNG DỤNG PHÁT HIỆN TÀU THUYỀN TỪ ẢNH VỆ TINH LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH 2021 Hà Nội – 2021 BỘ GIÁO DỤC VIỆN HÀN LÂM VÀ ĐÀO TẠO KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Phạm Quang Nam NGHIÊN CỨU THUẬT TỐN FILTER-WRAPPER TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ VÀ ỨNG DỤNG PHÁT HIỆN TÀU THUYỀN TỪ ẢNH VỆ TINH Chuyên ngành : Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS NGUYỄN LONG GIANG Hà Nội – 2021 LỜI CAM ĐOAN Tôi Phạm Quang Nam, học viên khóa 2019B, ngành Cơng nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tôi xin cam đoan luận văn “Nghiên cứu thuật toán filter-wrapper tìm tập rút gọn bảng định khơng đầy đủ ứng dụng phát tàu thuyền từ ảnh vệ tinh” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn PGS.TS Nguyễn Long Giang, chép từ tài liệu, cơng trình nghiên cứu người khác mà khơng ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2021 Tác giả Phạm Quang Nam LỜI CẢM ƠN Lời cảm ơn trân trọng em muốn dành tới thầy cô Học viện khoa học công nghệ Việt Nam, Viện công nghệ thông tin, Viện Hàn lâm khoa học cơng nghệ Việt Nam nói chung thầy cô môn Hệ thống thông tin khoa Cơng nghệ thơng tin nói riêng tận tình giảng dạy truyền đạt kiến thức quý báu suốt khoá cao học vừa qua, giúp em có kiến thức chun mơn tảng để làm sở lý luận khoa học cho luận văn Đặc biệt em xin chân thành cảm ơn thầy PGS.TS Nguyễn Long Giang dìu dắt hướng dẫn em suốt trình làm luận văn, bảo định hướng thầy giúp em tự tin nghiên cứu vấn đề giải toán cách khoa học Em xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho em học tập làm luận văn cách thuận lợi Mặc dù cố gắng nhiều, chắn trình học tập luận văn khơng khỏi thiết sót Em mong thơng cảm bảo tận tình thầy cô bạn Hà Nội, ngày tháng năm 2021 Tác giả Phạm Quang Nam MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT i DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ ii MỞ ĐẦU 1 Tính cấp thiết Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Nội dung nghiên cứu Ý nghĩa khoa học thực tiễn Bố cục luận văn CHƯƠNG TỔNG QUAN VỀ RÚT GỌN THUỘC TÍNH THEO TIẾP CẬN TẬP THƠ DUNG SAI 1.1 Hệ thông tin mơ hình tập thơ truyền thống 1.1.1 Hệ thông tin 1.1.2 Mơ hình tập thơ truyền thống 1.2 Hệ thơng tin khơng đầy đủ mơ hình tập thô dung sai 1.2.1 Hệ thông tin không đầy đủ 1.2.2 Mơ hình tập thơ dung sai 1.2.3 Bảng định không đầy đủ 1.2.4 Ma trận dung sai 10 1.3 Tổng quan rút gọn thuộc tính theo tiếp cận tập thơ dung sai 11 1.3.1 Tổng quan rút gọn thuộc tính 11 1.3.2 Tiếp cận filter, wrapper rút gọn thuộc tính 12 1.3.3 Rút gọn thuộc tính theo tiếp cận tập thô dung sai 14 1.4 Các nghiên cứu liên quan đến rút gọn thuộc tính theo tiếp cận tập dung sai 16 1.4.1 Rút gọn thuộc tính theo tiếp cận tập thô dung sai 16 1.5 Kết luận 18 CHƯƠNG THUẬT TOÁN FILTER-WRAPPER TÌM TẬP RÚT GỌN CỦA BẢNG QUYẾT ĐỊNH KHƠNG ĐẦY ĐỦ 19 2.1 Mở đầu 19 2.2 Xây dựng độ đo khoảng cách bảng định không đầy đủ 20 2.2.1 Xây dựng độ đo khoảng cách hai tập hợp 20 2.2.2 Xây dựng độ đo khoảng cách hai tập thuộc tính 21 2.3 Rút gọn thuộc tính bảng định khơng đầy đủ sử dụng khoảng cách 23 2.3.1 Xây dựng thuật tốn filter tìm tập rút gọn bảng định không đầy đủ 24 2.3.2 Thuật tốn filter-wrapper tìm tập rút gọn bảng định không đầy đủ 26 2.3.3 Thực nghiệm đánh giá kết 28 2.4 Kết luận chương 33 CHƯƠNG 3: THỬ NGHIỆM RÚT GỌN THUỘC TÍNH VỚI BÀI TỐN PHÂN LỚP ĐỐI TƯỢNG TRONG ẢNH VIỄN THÁM 34 3.1 Bài toán 34 3.2 Xây dựng mơ hình giải tốn 34 Hình 3.3 Thực thi mơ hình phân lớp gán nhãn cho ảnh viễn thám 36 3.3 Môi trường chạy thử nghiệm 36 3.4 Thực chương trình 37 3.4.1 Tiền xử lý liệu 37 3.4.2 Huấn luyện mơ hình 44 3.4.3 Thực thi mơ hình 50 CHƯƠNG 4: KẾT LUẬN 54 TÀI LIỆU THAM KHẢO 55 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo CNN Convolution Neural Network Mạng nơ-ron tích chập ML Machine Learning Học máy, máy có khả học tập SVM Vector Support Machine Máy vector hỗ trợ DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Quy trình rút gọn thuộc tính .15 Hình 1.2: Cách tiếp cận filter wrapper rút gọn thuộc tính 16 Hình 1.3: Mơ hình phương pháp rút gọn thuộc tính theo hướng tiếp cận thơ dung sai 17 Hình 2.1: Thời gian thực ba thuật tốn (tính giây) 35 Hình 2.2: Số lượng thuộc tính tập rút gọn ba thuật tốn 37 Hình 2.3: Độ xác phân lớp ba thuật tốn 37 Hình 3.1: Xây dựng liệu phân lớp từ tập liệu huấn luyện 40 Hình 3.2: Ví dụ minh hoạ cửa sổ trượt .41 Hình 3.3: Thực thi mơ hình phân lớp gán nhãn cho ảnh viễn thám 42 Hình 3.4: Giao diện hình 43 Hình 3.5: Giao diện tác vụ Nạp liệu 44 Hình 3.6: Hiển thị hình ảnh dạng lưới 45 Hình 3.7: Giao diện tác vụ Gán nhãn liệu .46 Hình 3.8: Gán nhãn cho lưới 47 Hình 3.9: Giao diện tác vụ Hiển thị thuộc tính 48 Hình 3.10: Bảng thuộc tính liệu hình ảnh .49 Hình 3.11: Các thành phần huấn luyện mơ hình .50 Hình 3.12: Giao diện tác vụ Rút gọn thuộc tính 51 Hình 3.13: Giao diện tác vụ Huấn luyện mơ hình 53 Hình 3.14: Huấn luyện mơ hình phân lớp 54 Hình 3.15: Giao diện tác vụ Kiểm thử mơ hình 55 Hình 3.16: Giao diện Kiểm thử mơ hình phân lớp .56 Hình 3.17: Các thành phần dự đoán tàu thuyền 57 Hình 3.18: Giao diện tác vụ Dự đoán tàu thuyền .58 Hình 3.19: Dự đốn tàu thuyền 60 MỞ ĐẦU Tính cấp thiết Trong bối cảnh ngày nay, tăng trưởng không ngừng dung lượng liệu số lượng thuộc tính gây khó khăn, thách thức cho việc thực thi thuật toán khai phá liệu, phát tri thức Rút gọn thuộc tính (cịn gọi rút gọn chiều, hay rút gọn đặc trưng) toán quan trọng bước tiền xử lý liệu với mục tiêu loại bỏ thuộc tính dư thừa, khơng cần thiết nhằm tăng tính hiệu thuật tốn khai phá liệu Hiện có hai cách tiếp cận tốn rút gọn thuộc tính [1-2]: filter (lọc) wrapper (đóng gói) Cách tiếp cận filter thực việc rút gọn thuộc tính độc lập với thuật khai phá liệu sử dụng sau Các thuộc tính chọn dựa độ quan trọng chúng việc phân lớp liệu Trong đó, cách tiếp cận wrapper tiến hành việc lựa chọn cách áp dụng thuật khai phá, độ xác kết lấy làm tiêu chuẩn để lựa chọn tập thuộc tính Lý thuyết tập thơ (Rough set) Pawlak đề xuất [3] xem công cụ hiệu giải toán rút gọn thuộc tính bảng định đầy đủ, cộng đồng nghiên cứu tập thô thực lâu Trong toán thực tế, bảng định thường thiếu giá trị miền giá trị thuộc tính, gọi bảng định khơng đầy đủ Ví dụ với bảng định chẩn đốn bệnh viêm gan với thuộc tính triệu chứng, bác sĩ thu thập đầy đủ triệu chứng tất bệnh nhân để định Để giải tốn rút gọn thuộc tính trực tiếp bảng định không đầy đủ mà không qua bước tiền xử lý giá trị thiếu, Kryszkiewicz [4] mở rộng quan hệ tương đương lý thuyết tập thô truyền thống thành quan hệ dung sai xây dựng mơ hình tập thơ dung sai (tolerance rough set) Các phương pháp rút gọn thuộc tính bảng định khơng đầy đủ theo tiếp cận mơ hình tập thô dung sai nghiên cứu mở rộng phương pháp rút gọn thuộc tính theo tiếp cận tập thô truyền thống Đây phương pháp heuristic bao gồm bước: xây dựng độ đo, định nghĩa tập rút gọn độ quan trọng thuộc tính sử dụng độ đo xây dựng, sở xây dựng thuật tốn heuristic tìm tập rút gọn theo tiêu chuẩn độ quan trọng thuộc tính Các nghiên cứu liên quan đến rút gọn thuộc tính bảng định khơng đầy đủ theo tiếp cận tập thô dung sai tập trung vào phương pháp như: phương pháp sử dụng miền dương mở rộng [5], [6], [7], [8], [9], phương 10