Dò tìm phát hiện khuôn mặt trong ảnh số

TĨM TẮT KHĨA LUẬN Trong năm gần đây, cơng nghệ thông tin - đặc biệt công nghệ phần cứng phát triển vượt bậc mở đường cho việc thực hoá mong muốn đưa toán lĩnh vực trí tuệ nhân tạo vào ứng dụng thực tiễn Dị tìm khn mặt ảnh video số toán Giai đoạn trước năm 90 kỷ trước toán nghiên cứu phát triển phần lớn dạng học thuật mà chưa có nhiều ứng dụng thực tiễn hạn chế mặt công nghệ Từ năm 90 đến hạn chế dần khắc phục, nhiều phương pháp dị tìm đối tượng tiến hành thực nghiệm thu kết khả quan Đề tài “DỊ TÌM, PHÁT HIỆN KHN MẶT TRONG ẢNH SỐ” lựa chọn tìm hiểu vấn đề dị tìm khn mặt ảnh số tốn ngày có nhiều ứng dụng thiết thực sống Hiện có khoảng 150 phương pháp khác để giải tốn dựa hai hướng dị tìm dựa ảnh dị tìm dựa đặc trưng hình học Đa số phương pháp có gặp hạn chế việc ứng dụng để xây dựng hệ thống dị tìm thời gian thực Phương pháp dị tìm dựa thuật tốn AdaBoost đặc trưng Haar có ưu bật để xây dựng hệ thống dị tìm thời gian thực với hiệu dị tìm tốt Do đề tài trọng tìm hiểu phương pháp bước đầu tiến hành xây dựng thử nghiệm chương trình demo Đề tài gồm phần Chương trình bày tổng quan tốn dị tìm khuôn mặt ảnh số hướng giải phát triển Chương tìm hiểu phương pháp dị tìm khn mặt nhanh ảnh số Chương bước đầu xây dựng chương trình dị tìm khn mặt sử dụng AdaBoost tổng kết số kết đạt Mục lục TÓM TẮT KHÓA LUẬN .1 Mục lục Danh sách hình Danh sách bảng Các từ viết tắt thuật ngữ Chương 1: TỔNG QUAN VỀ DỊ TÌM KHN MẶT TRONG ẢNH SỐ 1.1 GIỚI THIỆU VỀ XỬ LÝ ẢNH 1.1.1 Biểu diễn ảnh số .7 1.1.2 Một số khái niệm sở xử lý ảnh 1.1.3 Các giai đoạn xử lý ảnh 1.2 BÀI TỐN DỊ TÌM KHN MẶT 11 1.2.1 Tóm tắt lịch sử .11 1.2.2 Những thách thức tốn dị tìm khuôn mặt .12 1.2.3 Một số khái niệm sở cần thiết 14 1.3 DỊ TÌM KHN MẶT DỰA TRÊN ẢNH .15 1.3.1 Giới thiệu .15 1.3.2 Eigenface .16 1.3.3 Mạng Nơron 17 1.3.4 SVM .18 1.3.5 Mơ hình Markov ẩn 19 1.4 DỊ TÌM KHN MẶT DỰA TRÊN ĐẶC TRƯNG HÌNH HỌC 19 1.4.1 Giới thiệu .19 1.4.2 Các phương pháp Top – down .19 1.4.3 Các phương pháp Bottom – up .20 1.5 HƯỚNG TIẾP CẬN CỦA KHOÁ LUẬN 21 1.5.1 Ý tưởng chung 21 1.5.2 Hướng tiếp cận .22 Chương 2:DỊ TÌM KHN MẶT NHANH BẰNG PHƯƠNG PHÁP ADABOOST 24 2.1 GIỚI THIỆU .24 2.1.1 Lựa chọn phương pháp 24 2.1.2 Phạm vi dị tìm khn mặt thẳng 24 2.1.3 Những bước để dị tìm khn mặt 25 2.2 CÁC ĐẶC TRƯNG VÀ ẢNH TÍCH PHÂN 25 2.2.1 Mơ hình dựa điểm ảnh 25 2.2.2 Các đặc trưng Haar-like .27 2.2.3 Ảnh tích phân .31 2.3 HỌC VỚI ADABOOST 33 2.3.1 Tổng quan AdaBoost .33 2.3.2 Bộ phân lớp yếu 36 2.3.3 Ngưỡng tối ưu 37 2.3.4 Thuật toán AdaBoost 38 2.3.4 Hoạt động phân lớp yếu 43 2.3.6 AdaBoost với vấn đề dị tìm khn mặt .44 2.4 SỰ PHÂN LOẠI VÀO CÁC TẦNG 46 2.4.1 Hiệu việc phân tầng 46 2.4.2 Cải tiến phân lớp .49 2.4.3 Huấn luyện tầng cho phân lớp 49 Chương 3: XÂY DỰNG CHƯƠNG TRÌNH VÀ MỘT SỐ KẾT QUẢ .54 3.1 CƠ SỞ DỮ LIỆU 54 3.2 KẾT QUẢ 55 3.2.1 Kết học 55 3.2.2 3.3 Kết kiểm tra 56 THỬ NGHIỆM BỘ DÒ TÌM KHN MẶT .56 3.3.1 Dữ liệu 56 3.3.2 Kết thực nghiệm 57 3.3.3 Nhận xét .58 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 59 PHỤ LỤC 1: Cấu trúc chương trình demo .61 PHỤ LỤC 2: Một số mẫu test chương trình demo 62 TÀI LIỆU THAM KHẢO 64 Danh sách hình f ( X , Y ) Hình 1.1: Biểu diễn ảnh hàm Hình 1.2: Các bước xử lý ảnh số .9 Hình 1.3: Các thành phần hệ xử lý ảnh .11 Hình 1.4: Một số trạng thái biểu cảm khuôn mặt 13 Hình 3.5: Ảnh điều kiện ánh sáng khác 14 Hình 1.6: Một số dạng khuôn mặt đặc trưng 14 Hình 1.7: Mẫu khn mặt với ảnh phức tạp 15 Hình 2.1: Mơ hình khn mặt trước biến đổi .27 Hình 2.2: Mơ hình ảnh sau trích chọn vùng quan trọng 27 Hình 2.3: Mẫu đặc trưng hình chữ nhật nằm cửa sổ dị tìm 29 Hình 2.4: Các dạng đặc trưng Haar-like 29 Hình 2.5: Các dạng đặc trưng Haar-like mở rộng 30 Hình 2.6: Hình chữ nhật phía bên phải cửa sổ 30 Hình 2.7: Minh họa đặc trưng đường đặc trưng cạnh lựa chọn 31 Hình 2.8: Biểu diễn “ảnh tích phân” 32 Hình 2.9: Cách tính tổng pixel hình chữ nhật D 33 Hình 2.10: Mơ hình thuật tốn AdaBoost 35 Hình 2.11: Phân phối mẫu cho đặc trưng xấp xỉ Gauss tương ứng 38 Hình 2.12: Ngưỡng tối ưu với tỷ lệ phân lớp sai tối thiểu 39 Hình 2.13: Thuật tốn AdaBoost .42 Hình 2.14: Minh hoạ thuật toán AdaBoost 44 Hình 2.15: Lược đồ mơ tả q trình dị tìm phân tầng .49 Hình 2.16: Cấu trúc phân tầng chi tiết 50 Hình 2.17: Thuật tốn huấn luyện dị tìm phân tầng .54 Từ khóa: AdaBoost, Haar, đặc trưng, khuôn mặt Danh sách bảng Bảng 1: Các kiểu đặc trưng số lượng tương ứng 30 Bảng 2: Kết tập liệu CBCL .59 Bảng 3: Kết tập liệu CMU 59 Bảng 4: Kết tập liệu ORL 59 Bảng 5: Kết tập liệu thu thập từ internet 60 Các từ viết tắt thuật ngữ Từ viết tắt Từ (cụm từ) viết đầy đủ AdaBoost Adaptive Boosting SVM Support Vector Machine PCA Principal Components Analysis Chương 1: TỔNG QUAN VỀ DỊ TÌM KHN MẶT TRONG ẢNH SỐ GIỚI THIỆU VỀ XỬ LÝ ẢNH 1.1.1 Biểu diễn ảnh số Đối với ảnh đơn giản (ảnh đen trắng) ảnh biểu diễn hàm cường độ sáng hai chiều f ( X , Y ) , X ,Y giá trị toạ độ không gian hàm giá trị f điểm ( X , Y ) tỷ lệ với độ sáng hay mức xám điểm ảnh điểm [2,4] * P(X,Y) Hình 1.1: Biểu diễn ảnh hàm f ( X , Y ) Trong mộ số trường hợp hàm ảnh biểu diễn với trục thứ gọi hàm cường độ sáng (với hình 1.1, trục thứ 0) Một ảnh số ảnh f ( X , Y ) gián đoạn theo không gian cường độ sáng Một ảnh số xem ma trận với hàng cột biểu diễn điểm ảnh giá trị điểm ma trận tương ứng với mức xám điểm Các phần tử dãy số gọi điểm ảnh Ánh sáng có dạng lượng f ( X , Y ) phải khác hữu hạn:  f ( X ,Y )   (1.1) Con người có khả nhận hình ảnh từ ánh sáng phản xạ qua vật thể Cơ sở f ( X , Y ) đặc trưng qua hai thành phần:  Số lượng ánh sáng nguồn rơi cảnh vật nhìn thấy  Số lượng ánh sáng nguồn phản xạ từ vật thể ( cảnh vật) Chúng gọi gần phát sáng thành phần phản xạ, biểu diễn tương ứng i ( X , Y ) r ( X , Y ) Bản chất i ( X , Y ) xác định nguồn sáng r ( X , Y ) xác định đặc trưng vật thể Hàm i ( X , Y ) r ( X , Y ) kết hợp với hàm f ( X , Y ) f ( X , Y ) i( X , Y ) r ( X , Y ) (  i( X , Y )    r( X ,Y ) 1 ) Với: (1.2) (1.3) (1.4) Ở ta gọi cường độ sáng ảnh đen trắng tọa độ ( X , Y ) mức xám (l ) ảnh điểm Từ (1.2), (1.3), (1.4) , l nằm khoảng: Lmin  l  Lmax (1.5) Trong lý thuyết, cần Lmin  Lmax hữu hạn Trong thực tế: Lmin  imin rmin (1.6) Lmax  imax rmax Sử dụng giá trị chiếu sáng phản xạ tổng kết qua thực nghiệm xem giá trị Lmin  0.005, Khoảng  Lmin , Lmax  Lmax 100 cho xử lý ảnh gọi thang xám Ta dịch khoảng đến  0, L , l 0 đen l L trắng thang xám Giá trị tức thời dạng mức xám thay đổi liên tục từ đen đến trắng 1.1.2 Một số khái niệm sở xử lý ảnh  Để xử lý máy tính điện tử ảnh cần phải số hóa Đó q trình biến đổi ảnh từ tín hiệu liên tục sang tín hiệu rời rạc thơng qua việc lấy mẫu lượng tử hóa Trong trình người ta sử dụng khái niệm “pixel” Mỗi pixel đặc trưng cặp tọa độ ( X , Y ) màu sắc nó.[4]  Ảnh: Là tập hợp pixel có cấu trúc, ta coi ảnh mảng hai chiều I ( n, p ) I có n dịng p cột, ảnh có n  p (pixel) Ta ký hiệu ( X ,Y ) để điểm ảnh có toạ độ ( X , Y )  Mức xám (Gray level): Đó kết việc mã hóa, cho tương ứng cường độ sáng điểm ảnh với giá trị số, 16, 32, 64 mức  Biểu diễn ảnh: Trong biểu diễn ảnh người ta thường sử dụng phần tử đặc trưng ảnh pixel Một hàm hai biến chứa thông tin biểu diễn ảnh Một số mơ hình thường dùng để biểu diễn ảnh mơ hình tốn ( biểu diễn ảnh nhờ hàm sở), mơ hình thống kê ( ảnh coi phần tử tập hợp đặc trưng kỳ vọng toán, hiệp biến, phướng sai, moment…).[4]  Tăng cường ảnh: Đây bước quan trọng bao gồm kỹ thuật lọc độ tương phản, khử nhiễu, màu…  Biến đổi ảnh: Thao tác chủ yếu tập ma trận sử dụng kỹ thuật để biến đổi ảnh qua ma trận: Biến đổi Furie, Sin, Cosin, tích Kronecker  Phân tích ảnh: Liên quan tới việc xác định độ đo định lượng ảnh để đưa mô tả đầy đủ ảnh Có kỹ thuật để hỗ trợ phân tích ảnh: Dị biên, lọc vi phân, dò theo quy hoạch động, phân vùng ảnh [4]  Nhận dạng ảnh: Quá trình liên quan đến mô tả đối tượng mà người ta muốn đặc tả Nhận dạng ảnh thường sau q trình trích chọn đặc trưng chủ yếu đối tượng.[1,4] 1.1.3 Các giai đoạn xử lý ảnh Bài toán xử lý ảnh bao gồm giai đoạn tổng quát sau [1,2,4] Phân đoạn Scanner, Camera Thu nhận ảnh Biểu diễn Nhận dạng nội suy Tiền xử lý Cơ sở tri thức Kết Hình 1.2: Các bước xử lý ảnh số Bước thu nhận ảnh, thu ảnh số cảm biến ảnh với khả số hóa tín hiệu cảm biến Bộ cảm biến Camera truyền hình màu đen trắng, tạo ảnh đầy đủ khoảng từ 25 đến 30 giây Ngồi ảnh cịn thu nhận từ vệ tinh tranh ảnh quét Scanner, máy ảnh số Sau nhận ảnh số, bước tiền xử lý ảnh Mục đích chủ yếu giai đoạn tiền xử lý ảnh nâng cao khả để trình đạt kết tốt, trình khử nhiễu, tăng độ tương phản… Bước phân đoạn: Phân đoạn ảnh tách ảnh đầu vào thành phần vật thể Đây giai đoạn khó khăn xử lý ảnh Một mặt thuật toán phân đoạn ảnh thơ q trình nâng cao độ phân giải ảnh Mặt khác, thuật toán yếu gián đoạn gây mát Đầu trình phân đoạn ảnh thường số liệu pixel chưa lọc, bao gồm liên kết vùng tất điểm ảnh vùng Trong hai trường hợp ta cần biến đổi số liệu thành dạng thích hợp cho xử lý máy tính Số liệu cần biểu diễn liên kết vùng tổng hợp Biểu diễn liên kết xấp xỉ, tập trung vào hình dạng bên ngồi, góc đường cong Cịn biểu diễn vùng xấp xỉ, ý đến đặc tính bên đặc trưng dạng chủ yếu Cuối cùng, ảnh phân lớp, nhận dạng cho mục đích khác Tri thức phạm vi vật thể mã hóa thành hệ thống xử lý ảnh dạng sở liệu kiến thức Kiến thức vùng chi tiết đơn giản ảnh (cô lập thông tin quan trọng) Cơ sở tri thức phức tạp danh sách có liên quan với tất hư hỏng Ngồi sở tri thức hướng dẫn hoạt động module xử lý cách kiểm tra tương tác module Để xử lý trình thi cần hệ thống xử lý ảnh bao gồm số thành phần sau đây:[4]