PHÂN LỚP ẢNH SỬ DỤNG KỸ THUẬT MDS KẾT HỢP VỚI SVM Nghiên cứu, tìm hiểu các phương pháp kỹ thuật áp dụng vào bài toán phân lớp, tìm hiểu cách thức hoạt động của mô hình nhận dạng và các kỹ thuật hoạt động. Phần nội dung: Có cấu trúc 3 chương • Chương 1: Khái quát về xử lý ảnh, tổng quan về các kỹ thuật phân lớp ảnh và nhận dạng. • Chương 2: Giới thiệu về kỹ thuật MDS, MDS kết hợp SVM, xây dựng mô hình phân lớp MDSSVM, mô tả hoạt động của hệ thống phân lớp cũng như lưu đồ giải thuật của hệ thống. • Chương 3: Cài đặt và chạy chương trình thử nghiệm, đưa ra các thông số mô phỏng, giới thiệu giao diện chương trình.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN NGÔ THÀNH TÂM PHÂN LỚP ẢNH SỬ DỤNG KỸ THUẬT MDS KẾT HỢP VỚI SVM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG – 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN NGÔ THÀNH TÂM PHÂN LỚP ẢNH SỬ DỤNG KỸ THUẬT MDS KẾT HỢP VỚI SVM Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS. ĐẶNG VIỆT HÙNG ĐÀ NẴNG – 2014 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tác giả Ngô Thành Tâm 3 LỜI CẢM ƠN Luận văn này được hoàn thành trước hết là xuất phát từ sự nổ lực phấn đấu của bản thân trong quá trình học tập, nghiên cứu và trong suốt thời gian làm đề tài. Đề tài đã hoàn thành đúng với thời gian như kế hoạch đã lập ra và thời gian triển khai thực tế, để đạt được như vây không thể không nhớ đến công ơn của thầy cô và các bạn cùng lớp học K7MCS đã quan tâm, chia sẻ và tận tình giúp đỡ, đặc biệt là gia đình luôn bên cạnh và ủng hộ tôi trong cả khóa học này. Tôi xin bày tỏ cảm ơn sâu sắc đến thầy TS. Đặng Việt Hùng, người đã tận tình chỉ dẫn và giúp đỡ tôi trong suốt quá trình xây dựng đề cương cho đến khi hoàn thành luận văn, Thầy cũng là người định hướng cho tôi những bước đi của mình trong định hướng sự nghiệp tương lai, bên cạnh đó tôi xin bày tỏ lòng biết đến thầy TS. Phạm Anh Phương đã có những trao đổi, chia sẻ những kinh nghiệm quý báu về lĩnh vực mà tôi nghiên cứu để tôi có thể hoàn thành tốt luận văn. Tôi xin bày tỏ lòng biết ơn Ban Giám Hiệu, cùng các thầy cô và các anh chị khoa sau đại học Trường Đại Học Duy Tân chuyên ngành Khoa Học Máy Tính (2012-2014), đã tạo các điều kiện thuận lợi như thời gian, cơ sở vật chất để tôi có thể học tốt trong cả khóa học và thời gian hoàn thành luận văn đúng tiến độ. Tác giả luận văn Ngô Thành Tâm 4 MỤC KÝ HIỆU, CHỮ VIẾT TẮT STT Ký hiệu, chữ viết tắt Diễn dải 1 D Distance 2 INDSCAL Individual differences models 3 FC Face Classification 4 FE Face Extraction 5 FR Face Recognition 6 L Lagrange 7 SMACOF Scaling by Majorizing a Complicated Function 8 SMO Sequential Minimal Optimization 9 SVM Support vector machines 10 VC Vapnik Chervonenkis 11 VS Versus 12 OVR One-vs-Rest 13 OVO One-vs-One 14 2D Two Dimensionals 15 3D Three Dimensionals 5 DANH MỤC BẢNG Số hiệu Tên bảng Trang Bảng 1 Khoảng cách giữu 10 thành phố. 32 Bảng 2 Thứ tự khoảng cách của bảng 1, khoảng cách nhỏ nhất là 1. 34 Bảng 3 Khoảng cách giữa các thành phố Đan Mạch. 39 Bảng 4 Hàm khoảng cách giữa các điểm lân cận. 41 Bảng 5 Stress và goodness of fit. 42 Bảng 6 Bảng kết quả kiểm tra sử dụng 60% để huấn luyện và 40% kiểm tra của cơ sở dữ liệu att sử dụng phương pháp PCA-SVM, MDS-SVM. 59 Bảng 7 Bảng kết quả kiểm tra sử dụng 70% để huấn luyện và 30% kiểm tra của cơ sở dữ liệu att sử dụng phương pháp PCA-SVM, MDS-SVM. 60 Bảng 8 Bảng kết quả kiểm tra sử dụng 60% để huấn luyện và 40% kiểm tra của cơ sở dữ liệu ifd sử dụng phương pháp PCA-SVM, MDS-SVM. 60 Bảng 9 Bảng kết quả kiểm tra sử dụng 60% để huấn luyện và 40% kiểm tra của cơ sở dữ liệu ifd sử dụng phương pháp PCA-SVM., MDS-SVM. 60 DANH MỤC HÌNH Danh mục Tên hình Trang Hình 1.1 Quá trình xử lý ảnh. 5 Hình 1.2 Phân lớp dữ liệu. 9 Hình 1.3 Quá trình nhận dạng. 11 Hình 1.4 Ba điểm trong R 2 . 15 Hình 1.5 Độ tin cậy VC là hàm đơn điệu theo h. 16 Hình 1.6 Siêu mặt phân cách tuyến tính trường hợp phân cách được. 17 6 Hình 1.7 Siêu mặt phân cách tuyến tính cho trường hợp không phân cách. 20 Hình 1.8 Chuyển từ không gian ít chiều sang không gian nhiều. 21 Hình 1.9 Mặt phẳng [-1,1] X [-1,1] ∈ R2 thành mặt cong trong R3. 23 Hình 1.10 Minh họa PCA tìm các trục tọa độ mới sao cho dữ liệu có độ biến thiên cao nhất. 25 Hình 1.11 Hình hiển thị dung PCA giảm số chiều những vẫn đảm bảo được các thông tin quan trọng nhất. 25 Hình 1.12 Ảnh gốc ban đầu chuyển sang eigenfaces. 28 Hình 1.13 Sơ đồ hoạt động của hệ thống PCA và SVM. 29 Hình 2.1 Bước đầu tiên của MDS với khoảng cách trong bảng 1. 33 Hình 2.2 Vị trí điểm số 9 trên bảng đồ. 33 Hình 2.3 Vị trí điểm 5 trên bảng đồ. 33 Hình 2.4 Kết quả cuối cùng của MDS cho bảng dữ liệu 1. 33 Hình 2.5 Xác định các điểm và Sử dụng la bàn địa lý. 33 Hình 2.6 Phản ánh ngang cấu hình trong hình 2.5 để hướng Đông nằm bên phải. 33 Hình 2.7 Xoay hình 2.6 để North nằm trên. 34 Hình 2.8 Cấu hình của các Hình 2.7 trên bảng đồ châu Âu. 34 Hình 2.9 Không gian của tất cả điểm 9 với d 39 < d 29. 35 Hình 2.10 Không gian các điểm với điều kiện d 29 < d 23 và d 39 < d 23 . 35 Hình 2.11 Các vị trí chọn điểm 9. 36 Hình 2.12 Vị trí chọn điểm 5. 36 Hình 2.13 Không tìm thấy vị trí. 36 Hình 2.14 Khoảng cách của các điểm màu trong không gian MDS. 37 Hình 2.15 Hiển thị các thành phố trên bản đồ. 40 Hình 2.16 Sơ đồ Scree Plot. 43 Hình 2.17 Sơ đồ Shepard. 44 Hình 2.18 Mặt phẳng Cartesian với các điểm i, j được nối với nhau bởi các đoạn thẳng và được tính bằng khoản cách Euclidean. 44 Hình 2.19 Các bước xác định tọa độ mới sử dụng MDS. 49 Hình 2.20 Sơ đồ mô tả các bước hoạt động của hệ thống MDS&SVM. 50 Hình 2.21 Ảnh sau khi được chuẩn hóa chuyển về dạng Gray. 51 Hình 3.1 Hình ảnh trong cơ sở dữ liệu Ifd. 53 Hình 3.2 Các ảnh trong cơ sở dư liệu att. 54 Hình 3.3 Giao diện hướng dẫn. 55 Hình 3.4 Giao diện chính của chương trình. 55 Hình 3.5 Giao diện huấn luyện và kiểm tra kết quả so sánh giữa hai phương pháp PCA-SVM và MDS-SVM. 56 Hình 3.6 Hình kết quả số chiều/vector, độ chính xác, thời gian xử lý. 57 Hình 3.7 Hình kết quả ID các ảnh dung Train & Test. 57 Hình 3.8 Hình bảng tổng hợp kết quả. 58 Hình 3.9 Giao diện nhận dạng mặt người sử dụng MDS-SVM. 58 7 Hình 3.10 Sơ đồ của cơ sở dữ liệu att, sử dụng 60% huấn luyện, 40% kiểm tra. 61 Hình 3.11 Sơ đồ của cơ sở dữ liệu att, sử dụng 70% huấn luyện, 30% kiểm tra. 62 Hình 3.12 Sơ đồ của cơ sở dữ liệu ifd, sử dụng 60% huấn luyện, 40% kiểm tra. 62 Hình 3.13 Sơ đồ của cơ sở dữ liệu ifd, sử dụng 80% huấn luyện, 20% kiểm tra. 63 Hình 3.14 Kết quả thể hiện chính xác đối tượng nhận dạng trong ifd. 64 Hình 3.15 Kết quả thể hiện không chính xác đối tượng nhận dạng trong ifd. 64 Hình 3.16 Sử dụng phương pháp dò tìm khuôn mặt để tách ảnh khuôn mặt. 65 Hình 3.17 Sử dụng phương pháp dò tìm khuôn mặt để tách ảnh nhiều khuôn mặt. 65 8 MỞ ĐẦU 1. Lý do chọn đề tài Trong thời đại công nghệ thông tin hiện nay lĩnh vực xử lý ảnh và nhận dạng ngày càng chiếm một vị trí quan trọng. Các hệ thống thông minh liên quan đến lĩnh vực này ngày càng phát triển như Robốt, máy bay không người lái, các hệ thống giám sát giao thông thông minh, các hệ thống nhận dạng trong y học Tuy nhiên vẫn còn rất nhiều vấn đề cần giải quyết - và cần cải tiến, trong các hệ thống như hệ thống nhận dạng mặt người, phân lớp và nhận dạng đối tượng, nhận dạng chữ viết tay, hay trong các lĩnh vực khác như y học, sinh học Việc tìm cách cải thiện các cách thức hệ thống phân lớp và nhận dạng vào các ứng dụng quan trọng đó luôn luôn cần, nó góp phần vào phát triển kinh tế, tăng hiệu quả công việc và giúp đỡ con người thực hiện được các công việc khó khăn và phức tạp. Đối với các hệ thống phân lớp và nhận dạng với lượng thông tin khổng lồ để thực hiện tốt trên phần dữ liệu lớn này đòi hỏi phải có những kỹ thuật phân lớp và nhận dạng phải thực hiện một vừa chóng vừa chính xác thì mới đáp ứng được yêu cầu cho ứng dụng ngày nay. Xuất phát từ những lý do trên mà tôi đã chọn đề tài: “Phân lớp ảnh sử dụng kỹ thuật MDS kết hợp SVM”. 2. Mục tiêu nghiên cứu: • Tìm hiểu các kỹ thuật áp dụng trong phân lớp và nhận dạng: MDS-SVM, PCA- SVM. • Xây dựng chương trình mô phỏng để lấy kết quả hoạt động các kỹ thuật trên. • Đánh giá và kết luận hiệu quả và hiệu năng làm việc của các kỹ thuật. • Xây dựng mô hình hệ thống phân lớp và nhận dạng của các phương pháp trên áp dụng vào phân lớp nhận dạng mặt người. 3. Đối tượng và phạm vi nghiên cứu: a. Đối tượng nghiên cứu: • Xử lý ảnh. • Lý thuyết nhận dạng. 9 • Các kỹ thuật loại bỏ không gian chứa ít thông tin và nhận dạng như: PCA, MDS, SVM b. Phạm vi nghiên cứu: • Luận văn chủ yếu nghiên cứu tập trung vào phân lớp ảnh mặt người. • Tìm hiểu phân lớp dữ liệu ảnh các đối tượng ảnh khác nhau. • Tìm ra thông số đánh giá hiệu năng các kỹ thuật áp dụng trong hệ thống phân lớp ảnh. 4. Phương pháp nghiên cứu Nghiên cứu, tìm hiểu các phương pháp kỹ thuật áp dụng vào bài toán phân lớp, tìm hiểu cách thức hoạt động của mô hình nhận dạng và các kỹ thuật hoạt động. Các phương pháp đã thực hiện để đạt được mục tiêu nghiên cứu: a. Phương pháp thu thập thông tin: Tìm kiếm dữ liệu mẫu phục vụ cho hệ thống phân lớp ảnh. Tìm kiếm và tham khảo các thông tin về hệ thống từ các nguồn khác nhau để phục vụ đối chiếu về thông số hoạt động của hệ thống. b. Phương pháp so sánh: Tổng hợp và đối chiếu các tài liệu thu được để đưa ra cái nhìn tổng quan nhất về hiệu quả và hiệu năng các kỹ thuật áp dụng vào phân lớp ảnh. c. Phương pháp phân tích: Phân tích về cách trích xuất và phân lớp dữ liệu ảnh của các kỹ thuật. Phân tích các kỹ thuật toán học được sử dụng cho các kỹ thuật. d. Phương pháp chuyên gia: Tham vấn các chuyên gia về lĩnh vực này nhằm cũng cố và hoàn thiện nội dung cần nghiên cứu e. Phương pháp thực nghiệm: Dựa trên các kỹ thuật đã tìm hiểu, xây dựng chương trình mô phỏng thực nghiệm để có kết quả về các thông số kỹ thuật cần quan tâm như thời gian thực hiện hệ thống, độ chính xác và sai lệch của các kỹ thuật từ đó có đánh giá về hiệu quả và hiệu năng của các kỹ thuật khi sử dụng vào bài toán phân lớp ảnh. 5. Kết quả đạt được: • Phân tích được quy trình xử lý ảnh và nhận dạng. 10 [...]... Khái quát về xử lý ảnh, tổng quan về các kỹ thuật phân lớp ảnh và nhận dạng Chương này giới thiệu về bài toán phân lớp và nhận dạng, giới thiệu các kỹ thuật tiếp cận trong phân lớp như SVM, PCA, PCA -MDS Xác định phạm vi thực hiện đề tài cũng như giới thiệu mô hình hệ thống phân lớp PCA kết hợp MDS • Chương 2: Giới thiệu về kỹ thuật MDS, MDS kết hợp SVM, xây dựng mô hình phân lớp MDS- SVM, mô tả hoạt động... quả phân lớp • Chiến lược OVR (One-vs-Rest) Với N lớp, ta chỉ cần xây dựng đúng N máy phân lớp nhị phân, một máy cho mỗi lớp Máy phân lớp thứ i sẽ được huấn luyện trên toàn bộ tập mẫu để phân lớp i với các lớp còn lại • Chiến lược phân cấp Ý tưởng của chiến lược này dựa trên cấu trúc phân cấp, sử dụng cây nhị phân Nút gốc của cây là một máy phân lớp nhị phân chia toàn bộ các lớp thành hai nhóm lớp, ... tính Kết quả phân lớp dữ liệu cũng dựa vào hàm quyết định: h Các kỹ thuật cài đặt và phân lớp • Thuật toán Chunking • Thuật toán phân rã • Thuật toán SMO (Sequential Minimal Optimization) • Chiến lược OVO (One-vs-One) Với N lớp, chúng ta phải xây dựng tất cả N(N-1)/2 máy phân lớp nhị phân, thông qua phương pháp bỏ phiếu để đánh giá kết quả phân lớp: lớp nào 31 có số phiếu nhiều nhất sẽ được chọn làm kết. ..• Phân tích và xây dựng quy trình hoạt động của phương pháp MDS kết hợp với SVM để cho kết quả thực nghiệm • Phân tích và xây dựng quy trình hoạt động của phương pháp PCA kết hợp với SVM để cho kết quả thực nghiệm • So sánh đánh giá kết quả của 2 phương pháp MDS& SVM và PCA &SVM • Kiểm tra mức độ chính xác nhận dạng mặt người bằng phương pháp MDS kết hợp SVM 6 Ý nghĩa khoa học và... để thực hiện quá trình phân loại 16 Lớp 1 Lớp 2 Dữ liệu vào Thuật toán phân lớp hoạt động (SVM) Hình 1.2: Phân lớp dữ liệu Lớp 3 Lớp n Hình 1: Phân lớp dữ liệu 1.2.1 Bài toán về phân loại Một bài toán phân loại và nhận dạng bao gồm 2 bước sau: Bước 1: Huấn luyện Mục đích của bước này là xây dựng một mô hình xác định một tập các lớp dữ liệu Mô hình này được xây dựng bằng cách phân tích các bộ dữ liệu... xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận Quá trình bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhận ảnh dạng số hoặc tương tự) gửi đến máy tính Dữ liệu ảnh được lưu trữ ở định dạng phù hợp với quá trình xử lý Người lập trình sẽ tác động các thuật toán tương ứng lên dữ liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với các ứng dụng khác nhau Hình 1.1: Quá trình xử lý ảnh Ảnh có... đánh giá, bước này sử dụng mô hình phân lớp đã được xây dựng ở bước 1 vào việc phân lớp Đầu tiên, đánh giá độ chính xác của mô hình hay bộ phân lớp này, bằng cách sử dụng một tập các mẫu đã được phân lớp để thử (test) gọi là bộ thử (test set) Những mẫu này được chọn ngẫu nhiên và độc lập với các mẫu đã được học ở bước 1 gọi là mẫu thử (test sample) Độ chính xác của một mô hình phân lớp dựa trên bộ thử... áp dụng trên toàn bộ bề mặt của bức ảnh hoặc một phần để trích ra các đặc trưng và phát hiện ra sự thay đổi của khuôn mặt Một số kỹ thuật: + Trích chọn đặc trưng wavelet Haar + Phương pháp PCA (Phân tích các thành phần chính ) + Phương pháp MDS( Hướng tiếp cận dựa trên diện mạo) Bước 4: Huấn luyện: Chọn mô hình huấn luyện phù hợp như sử dụng một trong số các kỹ thuật phân lớp để huấn luyện ví dụ như SVM, ... 20 1.2.4 Giới thiệu về kỹ thuật SVM, PCA, PCA -SVM 1.2.4.1 Giới thiệu về kỹ thuật SVM a Cở sở lý thuyết của SVM SVM là phương pháp học do Vladimir N Vapnik đề xuất vào năm 1995, và ngày càng được sử dụng phổ biến trong nhiều lĩnh vực, đặc biệt là lĩnh vực phân loại mẫu và nhận dạng mẫu Đồng thời có nhiều tính năng ưu việt so với các phương pháp cổ điển khác: dễ dàng xử lý, xử lý với tính ổn định cao trên... màn hình rộng hơn thì độ mịn (liên tục của các điểm) kém hơn • Các cách phân loại ảnh Ảnh nhị phân: Giá trị xám của tất cả các điểm ảnh chỉ nhận giá trị 1 hoặc 0 như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit Ảnh xám: Giá trị xám nằm trong [0, 255] như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 byte Ảnh màu: Hệ màu RGB: Một pixel được biểu diễn bằng 3 giá trị (R, G, . các kỹ thuật áp dụng vào phân lớp ảnh. c. Phương pháp phân tích: Phân tích về cách trích xuất và phân lớp dữ liệu ảnh của các kỹ thuật. Phân tích các kỹ thuật toán học được sử dụng cho các kỹ thuật. d hệ thống phân lớp PCA kết hợp MDS. • Chương 2: Giới thiệu về kỹ thuật MDS, MDS kết hợp SVM, xây dựng mô hình phân lớp MDS- SVM, mô tả hoạt động của hệ thống phân lớp cũng như lưu đồ giải thuật của. TÂM PHÂN LỚP ẢNH SỬ DỤNG KỸ THUẬT MDS KẾT HỢP VỚI SVM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG – 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN NGÔ THÀNH TÂM PHÂN LỚP ẢNH SỬ DỤNG KỸ