Nghiên cứu lý thuyết thuật toán di truyền và ứng dụng trong xử lý ảnh

BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC NGHIÊN CỨU LÝ THUYẾT THUẬT TOÁN DI TRUYỀN VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH NGÀNH: KỸ THUẬT ðIỆN TỬ Mã số: ðỖ TRUNG NGUYÊN Người hướng dẫn khoa học: PGS TS HỒ ANH TUÝ Hà Nội, 2008 Luận văn thạc sĩ Mục lục Mục lục Mục lục Danh mục từ viết tắt Danh mục hình vẽ Danh mục bảng Lời nói đầu Chương Thuật toán di truyền 1.1 Giới thiệu 1.2 Các khái niệm 11 1.3 Nội dung thuật toán di truyền 13 1.3.1 Cấu trúc thuật toán di truyền 13 1.3.2 Một thuật toán di truyền ñơn giản 15 1.4 Phân tích thuật tốn di truyền 18 1.4.1 ðịnh lý nhóm gen 18 1.4.2 Giả thuyết nhóm 20 1.4.3 ðịnh lý hội tụ 22 1.5 Chi tiết toán tử 23 1.5.1 Toán tử chọn lọc 23 1.5.2 Toán tử kết hợp 36 1.5.3 Tốn tử đột biến 40 1.5.4 So sánh toán tử kết hợp tốn tử đột biến 42 1.6 Các dạng nâng cao thuật toán di truyền 52 1.6.1 Thuật tốn di truyền có đảm bảo phát triển 52 Luận văn thạc sĩ Mục lục 1.6.2 Thuật toán di truyền sử dụng mã thực 54 1.6.3 Thuật toán tiến hoá 57 1.6.4 Thuật tốn di truyền tự thích nghi 58 1.7 Các ứng dụng thuật toán di truyền 60 1.8 Kết luận chương 61 Chương Ứng dụng thuật toán di truyền xử lý ảnh 62 2.1 Giới thiệu xử lý tín hiệu ảnh 62 2.1.1 Giới thiệu chung 62 2.1.2 Phân loại nhận dạng ảnh 64 2.2 Tối ưu hố tập hợp đặc tính 65 2.2.1 Các phương pháp tuyến tính 67 2.2.2 Các phương pháp phi tuyến 70 2.3 Ứng dụng thuật toán di truyền để tối ưu hố tập hợp đặc tính 72 2.3.1 Phương pháp biến đổi tuyến tính 72 2.3.2 Kết thực kết luận 78 Kết luận 81 Tài liệu tham khảo 83 Tóm tắt luận văn 85 Luận văn thạc sĩ Danh mục từ viết tắt Danh mục từ viết tắt GA Genetic Algorithm GLP Genetic Linear Projection k-NN k-Nearest Neibough LDA Linear Discriminant Analysis LP Linear Projection NDA Nonlinear Discriminant Analysis PCA Principal Components Analysis Luận văn thạc sĩ Danh mục hình vẽ Danh mục hình vẽ Số hiệu Chú thích Trang Hình 1-1 Mơ hình thuật tốn di truyền đơn giản 17 Hình 1-2 Minh hoạ nhóm gen khơng gian chiều 19 Hình 1-3 Thí dụ hàm mật độ mức ñộ phù hợp hàm phân bố mức ñộ phù hợp quần thể 25 Hình 1-4 Thí dụ hàm mật độ giá trị phù hợp trước sau thực toán tử chọn lọc theo nhóm 34 Hình 1-5 Q trình kết hợp đơn điểm hai chuỗi nhị phân 37 Hình 1-6 Tốn tử kết hợp ñơn ñiểm thực hai cá thể 39 Hình 1-7 Xác suất tồn nhóm gen bậc ba trường hợp Peq = 0,5 44 Hình 1-8 Hình 1-9 Sự phụ thuộc Ps vào Peq tốn tử kết hợp ngẫu nhiên ñều Sự phụ thuộc Ps vào Peq ñối với tốn tử kết hợp ngẫu nhiên đột biến ñều 45 46 Luận văn thạc sĩ Danh mục hình vẽ Hình 1-10 So sánh tính chất xây dựng tốn tử kết hợp đột biến 51 Hình 2-1 Mơ tả hệ thống xử lý ảnh điển hình 63 Hình 2-2 Mơ tả hệ thống phân loại ảnh điển hình 66 Hình 2-3 Một trường hợp đặc tính chọn phương pháp PCA không phù hợp cho phân loại ñối tượng 69 Hình 2-4 Các khoảng cách sử dụng phương pháp LDA 70 Hình 2-5 Sơ đồ thuật tốn tối ưu hố tập hợp đặc tính theo phương pháp GLP 77 Luận văn thạc sĩ Danh mục bảng Danh mục bảng Số hiệu Chú thích Trang Bảng 2-1 Một số liệu mẫu ñược dùng để đánh giá thuật tốn GLP 78 Bảng 2-2 Kết thực thuật toán GLP số liệu mẫu 79 Lời nói đầu Luận văn thạc sĩ Lời nói đầu Xử lý ảnh ngày khơng cịn ngành khoa học nghiên cứu lý thuyết ứng dụng phát triển khơng ngừng Cùng với phát triển khơng ngừng kỹ thuật điện tử viễn thơng, xử lý ảnh ngày ứng dụng rộng rãi nghiên cứu khoa học ñời sống người Xử lý ảnh ñã trở thành công cụ hỗ trợ quan trọng nhiều lĩnh vực cơng nghiệp, khí tượng, y học, sinh học, thiên văn học, quân sự, nghệ thuật… Các lĩnh vực ứng dụng xử lý ảnh ngày mở rộng, với ñặc thù xử lý ảnh thường phải xử lý lượng liệu lớn có mối liên hệ phức tạp, nên ñã xuất nhu cầu tìm kiếm thuật tốn xử lý ảnh hiệu hơn, hoạt động nhanh xác Việc áp dụng phương pháp xử lý thơng minh, trí tuệ nhân tạo vào xử lý ảnh ngày phổ biến Thuật toán di truyền phương pháp tìm kiếm tối ưu nghiên cứu phát triển mạnh mẽ thời gian gần ñây Với số ưu ñiểm ñặc biệt so với phương pháp tìm kiếm tối ưu khác, thuật tốn di truyền hứa hẹn có bước phát triển mạnh mẽ ñược ứng dụng nhiều lĩnh vực thời gian tới Mục đích luận văn trình bày số lý thuyết thuật toán di truyền phương pháp ứng dụng thuật toán di truyền việc tối ưu hoá tập hợp đặc tính đối tượng, bước tiền xử lý quan trọng trước thực thuật toán phân loại nhận dạng ảnh Với mục đích đó, cấu trúc luận văn ñược chia thành hai phần rõ rệt sau: • Chương 1: Trình bày số khái niệm thuật toán di truyền, bước thực thuật toán di truyền với số sở lý thuyết tốn học thuật tốn Một số dạng mở rộng thuật tốn di truyền trình bày phần cuối chương Luận văn thạc sĩ Lời nói đầu • Chương 2: Trình bày sơ lược xử lý ảnh ñi sâu vào cơng đoạn tối ưu hố tập hợp đặc tính đối tượng Ở số phương pháp tối ưu hố truyền thống giới thiệu Sau trình bày phương pháp tối ưu tuyến tính sử dụng thuật toán di truyền với kết thực số tập hợp liệu mẫu Hồn thành luận văn này, tơi xin bày tỏ biết ơn chân thành với PGS TS Hồ Anh Tuý người tận tình hướng dẫn định hướng tơi trình nghiên cứu Luận văn thạc sĩ Chương Thuật toán di truyền Chương Thuật toán di truyền 1.1 Giới thiệu Các thuật toán di truyền bao gồm lớp rộng lớn phương pháp tối ưu hoá hệ thống cách tổng quát Cùng với mạng neural số phương pháp tối ưu khác, thuật toán di truyền ứng dụng thành công việc kết hợp nhiều lý thuyết nhiều lĩnh vực khác vào tốn học cơng nghệ thơng tin Thuật tốn di truyền mơ q trình chọn lọc tự nhiên tiến hố giới sinh vật Các q trình nghiên cứu nhiều lĩnh vực sinh vật học Trong hầu hết trường hợp, thuật toán di truyền thực chất phương pháp tối ưu dựa xác suất ngẫu nhiên, nguyên lý trình tiến hoá giới tự nhiên Những ý tưởng thuật tốn di truyền xuất từ cách lâu, vào năm 1967, cơng trình nghiên cứu J D Bagley Sau đó, lý thuyết khả ứng dụng thuật toán di truyền chịu ảnh hưởng mạnh mẽ J H Holland, người ñược coi nhà tiên phong việc nghiên cứu thuật toán di truyền Từ thập kỷ 90 kỷ 20, thuật tốn di truyền phát triển mạnh mẽ ngày bắt đầu ứng dụng nhiều lĩnh vực Có nhiều ứng dụng thuật tốn di truyền ñược sử dụng cách hiệu Một số lượng rộng lớn vấn ñề lý thuyết kỹ thuật coi vấn đề tìm kiếm giải pháp tối ưu Các lĩnh vực cần ñến tối ưu hoá bao gồm từ kinh tế tài chính, quản lý tiến trình đến điều khiển tự động, phân tích nhận dạng hình ảnh, phân tích nhóm… Ngồi thuật tốn di truyền ứng dụng phương pháp tìm kiếm giải pháp tối ưu theo nhiều mục tiêu Các ứng dụng quan trọng thuật tốn di truyền bao gồm việc điều khiển trình học mạng neural việc xây dựng sở tri thức cho hệ thống logic mờ Có ba cách thuật tốn di truyền thường sử dụng kết hợp với mạng neural ðó là: ...Chương Ứng dụng thuật toán di truyền xử lý ảnh Hình 2-5: Sơ đồ thuật tốn tối ưu hố tập hợp đặc tính theo phương pháp GLP 77 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh 2.3.2 ... 57 1.6.4 Thuật tốn di truyền tự thích nghi 58 1.7 Các ứng dụng thuật toán di truyền 60 1.8 Kết luận chương 61 Chương Ứng dụng thuật toán di truyền xử lý ảnh 62... việc nghiên cứu thuật toán di truyền Từ thập kỷ 90 kỷ 20, thuật tốn di truyền ñược phát triển mạnh mẽ ngày bắt ñầu ñược ứng dụng nhiều lĩnh vực Có nhiều ứng dụng thuật tốn di truyền sử dụng cách