Nghiên cứu lý thuyết thuật toán di truyền và ứng dụng trong xử lý ảnh

Nghiên cứu lý thuyết thuật toán di truyền và ứng dụng trong xử lý ảnh Nghiên cứu lý thuyết thuật toán di truyền và ứng dụng trong xử lý ảnh Nghiên cứu lý thuyết thuật toán di truyền và ứng dụng trong xử lý ảnh luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC NGHIÊN CỨU LÝ THUYẾT THUẬT TOÁN DI TRUYỀN VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH NGÀNH: KỸ THUẬT ðIỆN TỬ Mã số: ðỖ TRUNG NGUYÊN Người hướng dẫn khoa học: PGS TS HỒ ANH TUÝ Hà Nội, 2008 Luận văn thạc sĩ Mục lục Mục lục Mục lục Danh mục từ viết tắt Danh mục hình vẽ Danh mục bảng Lời nói đầu Chương Thuật toán di truyền 1.1 Giới thiệu 1.2 Các khái niệm 11 1.3 Nội dung thuật toán di truyền 13 1.3.1 Cấu trúc thuật toán di truyền 13 1.3.2 Một thuật toán di truyền ñơn giản 15 1.4 Phân tích thuật tốn di truyền 18 1.4.1 ðịnh lý nhóm gen 18 1.4.2 Giả thuyết nhóm 20 1.4.3 ðịnh lý hội tụ 22 1.5 Chi tiết toán tử 23 1.5.1 Toán tử chọn lọc 23 1.5.2 Toán tử kết hợp 36 1.5.3 Tốn tử đột biến 40 1.5.4 So sánh toán tử kết hợp tốn tử đột biến 42 1.6 Các dạng nâng cao thuật toán di truyền 52 1.6.1 Thuật tốn di truyền có đảm bảo phát triển 52 Luận văn thạc sĩ Mục lục 1.6.2 Thuật toán di truyền sử dụng mã thực 54 1.6.3 Thuật toán tiến hoá 57 1.6.4 Thuật tốn di truyền tự thích nghi 58 1.7 Các ứng dụng thuật toán di truyền 60 1.8 Kết luận chương 61 Chương Ứng dụng thuật toán di truyền xử lý ảnh 62 2.1 Giới thiệu xử lý tín hiệu ảnh 62 2.1.1 Giới thiệu chung 62 2.1.2 Phân loại nhận dạng ảnh 64 2.2 Tối ưu hố tập hợp đặc tính 65 2.2.1 Các phương pháp tuyến tính 67 2.2.2 Các phương pháp phi tuyến 70 2.3 Ứng dụng thuật toán di truyền để tối ưu hố tập hợp đặc tính 72 2.3.1 Phương pháp biến đổi tuyến tính 72 2.3.2 Kết thực kết luận 78 Kết luận 81 Tài liệu tham khảo 83 Tóm tắt luận văn 85 Luận văn thạc sĩ Danh mục từ viết tắt Danh mục từ viết tắt GA Genetic Algorithm GLP Genetic Linear Projection k-NN k-Nearest Neibough LDA Linear Discriminant Analysis LP Linear Projection NDA Nonlinear Discriminant Analysis PCA Principal Components Analysis Luận văn thạc sĩ Danh mục hình vẽ Danh mục hình vẽ Số hiệu Chú thích Trang Hình 1-1 Mơ hình thuật tốn di truyền đơn giản 17 Hình 1-2 Minh hoạ nhóm gen khơng gian chiều 19 Hình 1-3 Thí dụ hàm mật độ mức ñộ phù hợp hàm phân bố mức ñộ phù hợp quần thể 25 Hình 1-4 Thí dụ hàm mật ñộ giá trị phù hợp trước sau thực toán tử chọn lọc theo nhóm 34 Hình 1-5 Q trình kết hợp đơn điểm hai chuỗi nhị phân 37 Hình 1-6 Tốn tử kết hợp ñơn ñiểm thực hai cá thể 39 Hình 1-7 Xác suất tồn nhóm gen bậc ba trường hợp Peq = 0,5 44 Hình 1-8 Hình 1-9 Sự phụ thuộc Ps vào Peq tốn tử kết hợp ngẫu nhiên Sự phụ thuộc Ps vào Peq ñối với tốn tử kết hợp ngẫu nhiên đột biến ñều 45 46 Luận văn thạc sĩ Danh mục hình vẽ Hình 1-10 So sánh tính chất xây dựng tốn tử kết hợp đột biến 51 Hình 2-1 Mơ tả hệ thống xử lý ảnh điển hình 63 Hình 2-2 Mơ tả hệ thống phân loại ảnh điển hình 66 Hình 2-3 Một trường hợp đặc tính chọn phương pháp PCA khơng phù hợp cho phân loại đối tượng 69 Hình 2-4 Các khoảng cách sử dụng phương pháp LDA 70 Hình 2-5 Sơ đồ thuật tốn tối ưu hố tập hợp đặc tính theo phương pháp GLP 77 Luận văn thạc sĩ Danh mục bảng Danh mục bảng Số hiệu Chú thích Trang Bảng 2-1 Một số liệu mẫu ñược dùng ñể ñánh giá thuật toán GLP 78 Bảng 2-2 Kết thực thuật toán GLP số liệu mẫu 79 Lời nói đầu Luận văn thạc sĩ Lời nói đầu Xử lý ảnh ngày khơng cịn ngành khoa học nghiên cứu lý thuyết ứng dụng phát triển không ngừng Cùng với phát triển khơng ngừng kỹ thuật điện tử viễn thơng, xử lý ảnh ngày ñược ứng dụng rộng rãi nghiên cứu khoa học ñời sống người Xử lý ảnh trở thành cơng cụ hỗ trợ quan trọng nhiều lĩnh vực cơng nghiệp, khí tượng, y học, sinh học, thiên văn học, quân sự, nghệ thuật… Các lĩnh vực ứng dụng xử lý ảnh ngày mở rộng, với ñặc thù xử lý ảnh thường phải xử lý lượng liệu lớn có mối liên hệ phức tạp, nên ñã xuất nhu cầu tìm kiếm thuật tốn xử lý ảnh hiệu hơn, hoạt động nhanh xác Việc áp dụng phương pháp xử lý thông minh, trí tuệ nhân tạo vào xử lý ảnh ngày phổ biến Thuật toán di truyền phương pháp tìm kiếm tối ưu nghiên cứu phát triển mạnh mẽ thời gian gần ñây Với số ưu ñiểm ñặc biệt so với phương pháp tìm kiếm tối ưu khác, thuật tốn di truyền hứa hẹn có bước phát triển mạnh mẽ ñược ứng dụng nhiều lĩnh vực thời gian tới Mục đích luận văn trình bày số lý thuyết thuật toán di truyền phương pháp ứng dụng thuật toán di truyền việc tối ưu hoá tập hợp ñặc tính ñối tượng, bước tiền xử lý quan trọng trước thực thuật toán phân loại nhận dạng ảnh Với mục đích đó, cấu trúc luận văn ñược chia thành hai phần rõ rệt sau: • Chương 1: Trình bày số khái niệm thuật toán di truyền, bước thực thuật toán di truyền với số sở lý thuyết toán học thuật tốn Một số dạng mở rộng thuật tốn di truyền trình bày phần cuối chương Luận văn thạc sĩ Lời nói đầu • Chương 2: Trình bày sơ lược xử lý ảnh sâu vào cơng đoạn tối ưu hố tập hợp đặc tính đối tượng Ở số phương pháp tối ưu hố truyền thống giới thiệu Sau trình bày phương pháp tối ưu tuyến tính sử dụng thuật toán di truyền với kết thực số tập hợp liệu mẫu Hồn thành luận văn này, xin bày tỏ biết ơn chân thành với PGS TS Hồ Anh Tuý người tận tình hướng dẫn định hướng tơi q trình nghiên cứu Luận văn thạc sĩ Chương Thuật toán di truyền Chương Thuật toán di truyền 1.1 Giới thiệu Các thuật toán di truyền bao gồm lớp rộng lớn phương pháp tối ưu hoá hệ thống cách tổng quát Cùng với mạng neural số phương pháp tối ưu khác, thuật toán di truyền ứng dụng thành công việc kết hợp nhiều lý thuyết nhiều lĩnh vực khác vào tốn học cơng nghệ thơng tin Thuật tốn di truyền mơ q trình chọn lọc tự nhiên tiến hố giới sinh vật Các q trình nghiên cứu nhiều lĩnh vực sinh vật học Trong hầu hết trường hợp, thuật toán di truyền thực chất phương pháp tối ưu dựa xác suất ngẫu nhiên, nguyên lý trình tiến hoá giới tự nhiên Những ý tưởng thuật tốn di truyền xuất từ cách lâu, vào năm 1967, cơng trình nghiên cứu J D Bagley Sau đó, lý thuyết khả ứng dụng thuật toán di truyền chịu ảnh hưởng mạnh mẽ J H Holland, người ñược coi nhà tiên phong việc nghiên cứu thuật toán di truyền Từ thập kỷ 90 kỷ 20, thuật tốn di truyền phát triển mạnh mẽ ngày bắt đầu ứng dụng nhiều lĩnh vực Có nhiều ứng dụng thuật tốn di truyền sử dụng cách hiệu Một số lượng rộng lớn vấn đề lý thuyết kỹ thuật coi vấn đề tìm kiếm giải pháp tối ưu Các lĩnh vực cần ñến tối ưu hố bao gồm từ kinh tế tài chính, quản lý tiến trình đến điều khiển tự động, phân tích nhận dạng hình ảnh, phân tích nhóm… Ngồi thuật tốn di truyền ứng dụng phương pháp tìm kiếm giải pháp tối ưu theo nhiều mục tiêu Các ứng dụng quan trọng thuật tốn di truyền bao gồm việc điều khiển q trình học mạng neural việc xây dựng sở tri thức cho hệ thống logic mờ Có ba cách thuật tốn di truyền thường sử dụng kết hợp với mạng neural ðó là: Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh hệ bậc đặc tính khơng quan tâm đến mối liên hệ bậc cao Trong thực tế gặp nhiều trường hợp mà tín hiệu chứa mối liên hệ bậc cao quan trọng đặc tính Các thơng tin cần thiết việc phân loại nhận dạng đối tượng tín hiệu Trong trường hợp đó, ñể tận dụng ñược thông tin mối liên hệ bậc cao ta cần sử dụng phương pháp biến ñổi phi tuyến Mạng neural nhân tạo số phương pháp biến ñổi phi tuyến sử dụng rộng rãi cho phép tạo các phép biến ñổi tổng quát Các mạng neural lặp phi tuyến dùng ñể tách trực tiếp thành phần tín hiệu từ tổ hợp tuyến tính phi tuyến tín hiệu thành phần nhiễu Mạng neural ñược học phương pháp truyền ngược Một hàm mục tiêu ñược xây dựng từ hàm mật ñộ xác suất tín hiệu cần phân tích Sau ta dùng phương pháp truyền ngược để tối ưu hố mạng neural cho hàm mục tiêu ñạt giá trị cực tiểu Bằng cách ta thu phép biến ñổi phi tuyến ñược dùng ñể tách ñặc tính cần thiết (thành phần tín hiệu) loại bỏ đặc tính khơng cần thiết (các thành phần nhiễu) Tuy nhiên việc sử dụng mạng neural theo cách khơng đảm bảo tính hội tụ phép tối ưu địi hỏi khối lượng tính tốn lớn Có số phương pháp tối ưu hố tập hợp ñặc tính khác sử dụng mạng neural, ñược gọi phương pháp PCA phi tuyến (ñể so sánh với phương pháp phân tích thành phần đề cập mục trước) Các phương pháp sử dụng thông tin mối tương quan bậc cao đặc tính để xây dựng phép biến đổi phi tuyến phù hợp Một phương pháp PCA phi tuyến áp dụng quy tắc học Oja ñối với mạng neural Khi ta dùng thuật tốn lặp để tính tốn hệ số số hạng bậc cao hàm biến ñổi phi tuyến Phương pháp cho hiệu cao số lượng đặc tính ban đầu khơng q lớn Một phương pháp PCA phi tuyến khác xây dựng cách mở rộng phương pháp PCA tuyến tính ðầu tiên tập hợp đặc tính trung gian tổ hợp tuyến tính đặc tính ban đầu tính tốn sử dụng phương pháp PCA tuyến tính thơng thường Sau đặc tính trung gian ñưa vào mạng neural ñược thiết kế ñặc biệt cho trường hợp ứng dụng cụ thể để tính tốn đặc tính cuối Phương pháp giúp tránh trường hợp số lượng đặc tính đưa vào mạng neural q lớn khiến tốc độ tính tốn chậm Trên ñây số phương pháp tối ưu hố tập hợp đặc tính sử dụng mạng neural nhân tạo, cịn có nhiều phương pháp khác ñang ñược nghiên cứu sử dụng 71 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh Ngoài phương pháp sử dụng mạng neural nhân tạo cịn có số thuật tốn khác ñược xây dựng từ phép biến ñổi ña thức phi tuyến dạng tổng qt Thí dụ, biến đổi ña thức bậc hai tổng quát có dạng: N N N i =1 i =1 j =1 yk = a0 + ∑ xi + ∑∑ aij xi x j (2.1) Trong xi , x j thành phần vector đặc tính ban đầu x = ( x1 ,⋯ , xN ) , yk thành phần vector đặc tính kết y = ( y1 ,⋯ yM ) , aij hệ số phép biến ñổi Tương tự trên, biến ñổi ña thức bậc p bao gồm số hạng tích p đặc tính ban ñầu Khi sử dụng phép biến ñổi ña thức, hệ số biến ñổi (2.1) cần ñược tối ưu hố tập hợp đối tượng mẫu phương pháp tối ưu truyền thống, chẳng hạn phương pháp giảm đạo hàm (gradient descent) Phương pháp cho kết tổng quát dạng đóng nhược điểm khối lượng tính toán lớn tăng nhanh theo số bậc biến đổi đa thức, hiệu phụ thuộc chủ yếu vào hiệu phương pháp tối ưu ñược dùng ñối với hệ số ña thức (2.1) Trên ñây ñã giới thiệu cách sơ lược số phương pháp tuyến tính phi tuyến dùng để tối ưu hố tập hợp ñặc tính ñối tượng ảnh Mỗi phương pháp ñó ñều có ưu ñiểm nhược ñiểm riêng Phần tài liệu xin trình bày chi tiết phương pháp tối ưu hố tập hợp đặc tính khác nghiên cứu nhiều năm gần ðó phương pháp sử dụng thuật tốn di truyền để tối ưu hố tập hợp đặc tính đối tượng ảnh 2.3 Ứng dụng thuật tốn di truyền để tối ưu hố tập hợp đặc tính 2.3.1 Phương pháp biến đổi tuyến tính Trong mục này, phương pháp tối ưu hoá tập hợp đặc tính giới thiệu ðây phương pháp tuyến tính sử dụng thuật tốn di truyền ñược gọi phương pháp GLP (Genetic Linear Projection) Mục tiêu phương pháp tìm ma trận biến đổi tuyến tính tối ưu để hàm mục tiêu ñạt giá trị cực ñại Trong biến ñổi tuyến tính, ñặc tính ñược tạo cách tổ hợp tuyến tính đặc tính ban đầu Một tổ hợp tuyến tính có dạng: 72 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh yi = c1 x1 + c2 x2 + ⋯ + cd xd (2.2) Trong x = ( x1 , x2 ,… , xd ) vector đặc tính ban đầu d số chiều khơng gian đặc tính ban ñầu, ci hệ số tổ hợp Bằng cách mô tả hệ số vector c = ( c1 , c2 ,… cd ) , phương trình (2.2) chuyển thành dạng vector: yi = cT x (2.3) Như tổ hợp tuyến tính tạo đặc tính ðể tạo m đặc tính cần m tổ hợp tuyến tính m phép tổ hợp tuyến tính xếp tạo thành ma trận có kích thước m × d Với ma trận ñược ñịnh nghĩa vậy, tập hợp ñặc tính y = ( y1 , y2 ,… , ym ) tính tốn dạng ma trận phương trình sau:  y1   c11 c12  y  c   =  21 c22 ⋮   ⋮ ⋮     ym  cm1 cm … c1d   x1  … c2 d   x2  ⋱ ⋮  ⋮    … cmd   xd  (2.4) Hay: y = Cx (2.5) Một cách lý tưởng, ñể phục vụ tốt cho việc phân loại ñối tượng, ma trận C nên ñược chọn cho tối thiểu hố lỗi Bayes (xác suất phân loại sai đối tượng) khơng gian đặc tính Tuy nhiên điều địi hỏi phải biết trước số thơng tin loại đối tượng (chẳng hạn xác suất xuất loại) ma trận C thoả mãn điều kiện khơng phải lúc tồn Ngay tồn ma trận C thoả mãn ñiều kiện tối ưu khơng dễ dàng để nhận diện xu tiến tới giải pháp tối ưu thuật tốn lặp Vì phương pháp biến ñổi tuyến tính thường sử dụng tiêu chuẩn tối ưu khác, xác đơn giản hơn, dễ xây dựng thuật toán tối ưu cho phép tạo giải pháp tối ưu dạng (tức biểu diễn ñược tập hợp hữu hạn hàm số sơ cấp bản) Ở ñây, áp dụng thuật tốn di truyền để tối ưu hố tập hợp đặc tính sử dụng hàm mục tiêu khác có liên hệ trực tiếp với lỗi Bayes Chúng ta tỷ lệ phân loại sai, ký hiệu Eˆ , phân loại k-NN (k-Nearest Neighbour classifier) Thơng số coi giá trị xấp xỉ 73 Chương Ứng dụng thuật toán di truyền xử lý ảnh Luận văn thạc sĩ gần với giá trị thực lỗi Bayes Eˆ tính cách đơn giản theo số lượng phân loại sai tập hợp ñối tượng mẫu e Eˆ = n (2.6) Trong n kích thước tập hợp mẫu, cịn e số lượng đối tượng bị phân loại sai phân loại k-NN Tỷ lệ (gần đúng) phân loại thành cơng phân loại đó, ký hiệu Aˆ , có quan hệ trực tiếp với Eˆ xác ñịnh biểu thức Aˆ = − Eˆ Một hàm mục tiêu khác sử dụng ñược xây dựng dựa xác suất ñể ñối tượng x thuộc lớp wi , ký hiệu P ( wi x ) Hầu hết phân loại kiểu thống kê cung cấp giá trị gần ñúng xác suất Nó dùng để đánh giá độ tin cậy phân loại ðối với phân loại k-NN, xấp xỉ xác suất này, ký hiệu Pˆ ( wi x ) , ñược xác ñịnh sau k Pˆ ( wi x ) = i k (2.7) Trong k số lượng ñối tượng gần x ñược xử lý phân loại kNN, ki số ñối tượng thuộc lớp wi Với xác suất Pˆ ( wi x ) ta xây dựng biểu thức tính ñộ tin cậy gần ñúng phân loại sau: ( ) ( Cˆ a = ∑ δ wθ x′ , wθ x Pˆ wθ x x n x∈X ) (2.8) Trong X tập hợp ñối tượng mẫu, n kích thước tập hợp ñó, wθ x loại ñối tượng ñúng x, wθ ′ loại ñối tượng mà phân loại gán cho x Còn x δ ( wi , w j ) hàm ñược xác ñịnh sau: 1 δ ( wi , w j ) =  0 (w = w ) (w ≠ w ) i j i j (2.9) Trong trường hợp ñặc biệt, Pˆ ( wi x ) luôn 1, Cˆ a trùng với Aˆ Khi ñược dùng làm tiêu chuẩn tối ưu hố tập hợp đặc tính, Cˆ a có nhiều ưu điểm 74 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh so với Aˆ (hoặc Eˆ ) Hai phép biến đổi tập hợp đặc tính tạo tập hợp đặc tính có giá trị Aˆ có giá trị Cˆ khác Trong a trường hợp đó, tập hợp đặc tính có giá trị Cˆ a cao kỳ vọng cho ñộ tin cậy cao thực phân loại với phân loại ñã xét Do đó, dùng Cˆ a làm tiêu chuẩn tối ưu ñể xác ñịnh ma trận biến đổi tuyến tính tối ưu C Do khơng thể tìm biểu thức dạng cho phép tính tốn ma trận C theo tiêu chuẩn tối ưu trên, khơng xác định xu hướng biến thiên (gradient) tiêu chuẩn khơng gian ma trận, ta phải sử dụng phương pháp tìm kiếm tối ưu ngẫu nhiên Số lượng tham số cần tối ưu số phần tử ma trận C, tức m × d , với d kích thước khơng gian đặc tính ban đầu, m kích thước khơng gian ñặc tính cần thiết cho việc phân loại ñối tượng Nếu có nhiều đặc tính cần tối ưu, số lượng tham số lớn Do phương pháp sử dụng thuật tốn di truyền thích hợp trường hợp này, thuật tốn di truyền cho hiệu cao phương pháp khác khơng gian tìm kiếm rộng Chúng ta xây dựng thuật tốn di truyền để tìm kiếm ma trận tối ưu C sau • Mã hố toán: Mỗi cá thể bao gồm m nhiễm sắc thể tương ứng với m hàng ma trận C Mỗi nhiễm sắc thể bao gồm d gen ñể thể d phần tử hàng tương ứng ma trận Mỗi gen mã hố thành chuỗi nhị phân dài b bit, mã hoá nhị phân phần tử tương ứng ma trận • Hàm mục tiêu: Như trình bày trên, hàm mục tiêu thuật tốn tối ưu xây dựng để tính tốn độ tin cậy Cˆ a phân loại k-NN theo biểu thức (2.7), (2.8) (2.9) • Chọn tốn tử chọn lọc: Trong trường hợp ñã xác ñịnh ñược hàm mục tiêu dạng so sánh giá trị hàm mục tiêu cách dễ dàng Do tốn tử chọn lọc theo thứ tự tuyến tính (đã trình bày mục 5.1.3 chương 1) lựa chọn thích hợp để thực thuật toán di truyền Theo phương pháp này, xác suất ñược lựa chọn cá thể phụ thuộc vào thứ tự xếp (về mức ñộ phù hợp) cá thể quần thể Kết thực 75 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh nghiệm cho thấy tốn tử cho tốc độ hội tụ nhanh tốn tử chọn lọc khác • Chọn tốn tử kết hợp đột biến: ðể đơn giản cho q trình thực thuật tốn, sử dụng tốn tử kết hợp đơn điểm với xác suất kết hợp pc = 0, tốn tử đột biến với xác suất pm = 0, 001 • Các tham số khác thuật tốn: Chúng ta chọn kích thước quần thể cố ñịnh 100, hạn chế số bước lặp tối đa thuật tốn 300 Sơ ñồ thực thuật toán di truyền ñể tối ưu hố tập hợp đặc tính hình 2-5 76 Luận văn thạc sĩ Chương Ứng dụng thuật tốn di truyền xử lý ảnh Hình 2-5: Sơ đồ thuật tốn tối ưu hố tập hợp đặc tính theo phương pháp GLP 77 Luận văn thạc sĩ Chương Ứng dụng thuật toán di truyền xử lý ảnh 2.3.2 Kết thực kết luận Trong phần trình bày kết thực tối ưu hố tập hợp đặc tính thuật tốn di truyền (phương pháp GLP) số tập hợp liệu mẫu Phương pháp thực giống ñã trình bày mục trước Ta dùng phương pháp GLP để tối ưu hố ma trận biến đổi tuyến tính C dùng ma trận để biến đổi khơng gian đặc tính ban đầu sang khơng gian đặc tính với chiều Số chiều khơng gian đặc tính lựa chọn tuỳ vào tập hợp liệu cần xử lý Nếu dự đốn trước số đặc tính tối thiểu cần thiết, bắt ñầu với số lượng đặc tính nhỏ, sau lặp lại thuật tốn tăng dần số lượng đặc tính cần thiết lên cho ñến ñạt ñược kết mong muốn (cân độ xác độ phức tạp thuật tốn phân loại) Sau biến đổi khơng gian ñặc tính ta dùng phân loại k-NN ñể phân loại ñối tượng tập hợp liệu mẫu tính tốn tỷ lệ phân loại xác ðộ tin cậy phân loại k-NN dùng hàm mục tiêu cho q trình tối ưu hoá dùng phương pháp GLP Tham số k phân loại kNN ñược lựa chọn tuỳ vào liệu mẫu Bảng 2-1: Một số liệu mẫu ñược dùng ñể ñánh giá thuật tốn GLP Tên Số lượng mẫu Số lượng đặc tính Số loại đối tượng German 1000 24 Ionosphere 351 34 Iris 150 Pima 768 Segment 2310 19 Wine 178 13 Musk 6598 166 Các liệu mẫu ñược sử dụng ñây ñược lấy từ kho liệu UCI (http://archive.ics.uci.edu/ml) Các liệu ñây ñều ñược dùng phổ biến ñể ñánh giá hiệu thuật toán tối ưu Bảng 2-1 liệt kê liệu ñược 78 Chương Ứng dụng thuật toán di truyền xử lý ảnh Luận văn thạc sĩ sử dụng ñể ñánh giá phương pháp GLP với số thông số chúng số lượng ñối tượng mẫu, số loại ñối tượng, số lượng ñặc tính Bảng 2-2 liệt kê kết thực thuật tốn GLP liệu mẫu nói Hai cột ñầu tiên bảng 2-2 thể số chiều khơng gian đặc tính ban đầu tỷ lệ phân loại thành công phân loại k-NN thực khơng gian đặc tính Hai cột sau bảng 2-2 thể số chiều khơng gian đặc tính sau thực thuật tốn GLP với tỷ lệ phân loại thành cơng phân loại k-NN khơng gian đặc tính Bảng 2-2: Kết thực thuật toán GLP số liệu mẫu Tên Thực liệu ban ñầu Thực sau GLP Số lượng đặc tính ðộ xác Số lượng đặc tính ðộ xác German 24 0,7278 0,8131 Ionosphere 34 0,8833 0,9657 Iris 0,9725 0,9856 Pima 0,7623 0,8197 Segment 19 0,9599 10 0,9784 Wine 13 0,9590 1,000 Musk 166 0,9676 15 0,9890 Với kết trình bày bảng 2-2, thấy việc sử dụng thuật toán GLP cho kết phân loại tốt hầu hết trường hợp ðối với số liệu, thuật toán GLP làm tăng độ xác thuật tốn phân loại đồng thời giảm số lượng đặc tính cần thiết Trong trường hợp khác, cho phép thuật tốn phân loại ñạt ñược ñộ xác tương ñương (với chưa tối ưu hố khơng gian đặc tính) thực với số lượng đặc tính nhỏ nhiều Một vấn ñề phương pháp GLP thời gian tính tốn Phương pháp địi hỏi khối lượng tính tốn tương đối lớn so với phương pháp tối ưu tuyến tính khác Tuy nhiên khối lượng tính tốn ban đầu Chúng cần thiết cần tối ưu hố ma trận biến đổi tuyến tính C Sau xác định ma trận C việc xác định đối tượng khơng gian đặc tính phép biến đổi tuyến tính ðiều khác với phương pháp tối ưu phi tuyến (như với mạng neural) biến đổi đối tượng từ khơng 79 Luận văn thạc sĩ Chương Ứng dụng thuật tốn di truyền xử lý ảnh gian đặc tính cũ sang khơng gian đặc tính ta phải sử dụng biến ñổi phi tuyến 80 Luận văn thạc sĩ Kết luận Kết luận ðề tài luận văn đề cập đến thuật tốn di truyền thuật tốn tối ưu đại tương đối tổng qt, ứng dụng nhiều lĩnh vực thiết kế mạng, tối ưu hố tập hợp đặc tính nhận dạng ảnh… ðây thuật toán tối ưu cịn tương đối nghiên cứu phát triển mạnh mẽ, hứa hẹn có nhiều ứng dụng quan trọng tương lai gần Thuật tốn di truyền có số ưu điểm đặc biệt so với phương pháp tối ưu hoá khác Ưu điểm lớn thực tìm kiếm điểm tối ưu cách song song xuất phát từ nhiều điểm lựa chọn ngẫu nhiên tồn khơng gian tìm kiếm ðiều giúp có nhiều khả tránh ñược việc hội tụ ñến ñiểm cực trị ñịa phương, ñiều dễ gặp ñối với phương pháp tối ưu dựa tìm kiếm ngẫu nhiên Ưu điểm giúp thuật tốn di truyền thực cách dễ dàng hiệu hệ thống máy tính xử lý song song Một ưu ñiểm khác thuật tốn di truyền khơng u cầu điều kiện chặt chẽ ñối với hàm mục tiêu (chẳng hạn khơng u cầu hàm phải có đạo hàm), chí số tốn tử chọn lọc cịn khơng cần biết hàm mục tiêu dạng Với ưu điểm này, thuật tốn di truyền áp dụng trường hợp mà nhiều phương pháp tối ưu khác khơng thể thực Nhược điểm thuật tốn di truyền tương đối phức tạp thuật tốn di truyền kết hợp ba loại tốn tử di truyền (chọn lọc, kết hợp, đột biến), mà loại có nhiều dạng khác Do vậy, thuật tốn di truyền thích hợp tốn tối ưu có độ phức tạp cao, vấn đề có độ phức tạp thấp giải hiệu phương pháp tối ưu truyền thống Một vấn đề thích hợp với thuật tốn di truyền việc tiền xử lý tập hợp đặc tính trước thực hiên phân loại ảnh ðây vấn đề có độ phức tạp tương đối cao thường phải xử lý số lượng lớn đặc tính khơng gian tìm kiếm rộng Luận văn ñã giới thiệu phương pháp sử dụng thuật toán di truyền để tối ưu hố tập hợp đặc tính Ở thuật tốn di truyền dùng để xây dựng 81 Luận văn thạc sĩ Kết luận phép biến đổi tuyến tính tối ưu nhằm tạo tập hợp đặc tính thích hợp cho mục đích nhận dạng ảnh Việc thực thử nghiệm phương pháp số tập hợp liệu mẫu cho thấy có hiệu cao, giúp nâng cao đáng kể độ xác thuật tốn phân loại ảnh với số lượng đặc tính cần thiết nhiều Hiệu phương pháp vượt hẳn nhiều phương pháp tối ưu tuyến tính truyền thống khác (như phương pháp PCA, LDA…), chưa ñạt ñược hiệu phương pháp tối ưu phi tuyến Phương pháp trình bày luận văn phương pháp ñể áp dụng thuật toán di truyền vào xử lý ảnh Từ ñây có nhiều hướng khác ñể tiếp tục phát triển ý tưởng ứng dụng thuật toán di truyền vào xử lý ảnh nói chung tối ưu hố tập hợp đặc tính nói riêng Bản thân phương pháp cần ñược cải tiến ñể ñạt ñược hiệu tốt hơn, hoạt động nhanh làm việc với nhiều thuật toán phân loại phức tạp khơng với thuật tốn kNN đề cập luận văn Ngồi cịn có nhiều phương pháp khác để sử dụng thuật tốn di truyền xử lý ảnh Một hướng nghiên cứu ñang ñược quan tâm thời gian gần ñây việc kết hợp thuật toán di truyền với phương pháp tối ưu khác, chẳng hạn mạng neural, ñể xây dựng thuật toán tối ưu nhằm tận dụng ñược ưu ñiểm hai thuật toán 82 Luận văn thạc sĩ Tài liệu tham khảo Tài liệu tham khảo [1] Ashit Talukder (1999), Nonlinear Feature Extraction for Pattern Recognition Applications, Doctor of Phylosophy Thesis in Electrical and Computer Engineering, Carnegei Mellon University [2] Biman Chakraborty and Probal Chaudhuri (2003), “The Use of Genetic Algorithm with Elitism in Nonparametric Multivariate Analysis”, Austrian Journal of Statistic, 32 (1&2) [3] Dana Vrajitoru (1998), Crossover Improvement for the Genetic Algorithm, Université de Neuchâtel, Institut interfacultaire d'informatique [4] Darrell Whitley (1994), “A Genetic Algorithm Tutorial”, Statistic and Computing, [5] David E Goldberg (1989), Genetic Algorithms in Search, Optimization, and Machine Learning, Addison-Wesley [6] Goro Obinata and Ashish Dutta (2007), Vision Systems – Segmentation and Pattern Recognition, I-TECH Education and Publishing [7] Isabelle Guyon and André Elisseeff (2006), “An Introduction to Feature Extraction”, Feature Extraction, Foundation and Applications, Spinger [8] Jieping Ye, Ravi Janardan and Qi Li (2005), “Two-Dimensional Linear Discriminant Analysis”, Advances in Neural Information Processing Systems, 17, MIT Press [9] Laurence David (1991), Handbook ò Genetic Algorithms, Van Nostrand Reinhold [10] Malanie Mitchell (1996), An Introduction to Genetic Algorithms, MIT Press 83 Luận văn thạc sĩ Tài liệu tham khảo [11] Tobias Clickle and Lothar Thiele (1995), A Comparison of Selection Schemes used in Genetic Algorithms, TIK-Report for Swiss Federal Institute of Technology [12] William M Spears (1998), The Role of Mutation and Recombination in Evolutionary Algorithms, Part of Ph.D Thesis at George Mason University [13] Y Zhang and P.I Rockett (2006), A Generic Optimal Feature Extraction Method using Multiobjective Genetic Programming, Technical Report No VIE 2006/001, University of Sheffield 84 Luận văn thạc sĩ Tóm tắt luận văn Tóm tắt luận văn Nội dung luận văn Luận văn giới thiệu khái niệm thuật tốn di truyền, mơ hình mơ hình mở rộng Ở ñây ñã ñề cập ñến số dạng phổ biến toán tử di truyền (chọn lọc, kết hợp, ñột biến) với số so sánh, ñánh giá dạng ñó Lý thuyết nhóm gen định lý hội tụ trình bày ñể chứng minh khả hội tụ thuật toán di truyền Trong phần hai luận văn trình bày cơng đoạn cuối hệ thống xử lý ảnh, việc phân loại nhận dạng ñối tượng ảnh Ở ñây tác giả ñã sâu trình bày việc tối ưu hố tập hợp đặc tính đối tượng, cơng đoạn tiền xử lý hỗ trợ cho thuật toán phân loại nhận dạng Thuật tốn di truyền áp dụng ñể xây dựng phương pháp tối ưu hoá tuyến tính nhằm phục vụ mục đích Các từ khố • Genetic Algorithm • Schema Theorem • Image processing • Pattern Recognition • Feature Extraction 85 ... 57 1.6.4 Thuật tốn di truyền tự thích nghi 58 1.7 Các ứng dụng thuật toán di truyền 60 1.8 Kết luận chương 61 Chương Ứng dụng thuật toán di truyền xử lý ảnh 62... việc nghiên cứu thuật toán di truyền Từ thập kỷ 90 kỷ 20, thuật tốn di truyền ñược phát triển mạnh mẽ ngày bắt ñầu ñược ứng dụng nhiều lĩnh vực Có nhiều ứng dụng thuật tốn di truyền sử dụng cách... di truyền Vấn đề nghiên từ thuật tốn di truyền đời Những nghiên cứu ban ñầu dạng ñơn giản thuật toán di truyền thường cho toán tử kết hợp đóng vai trị quan trọng hiệu thuật tốn Trong nghiên cứu