CUDA

CUDA

Lời cám ơnXin chân thành cám ơn các thầy, các cô thuộc khoa Công Nghệ Thông Tin trường Đại Học Khoa Học Tự Nhiên đã tận tình dạy dỗ, truyền đạt cho chúng em nhiều kiến thức quý báu.Chúng em xin gửi lời cám ơn sâu sắc đến Thầy Lê Hoàng Thái, Thầy đã tận tình hướng dẫn, giúp đỡ chúng em trong suốt thời gian thực hiện đề tài.Xin chân thành cảm ơn các bạn trong chuyên ngành Khoa Học Máy Tính khoa Công Nghệ Thông Tin đã giúp đỡ chúng tôi rất nhiều trong quá trình thực hiện đề tài.Cuối cùng, lời cám ơn sâu sắc nhất xin gởi đến cha mẹ vì ơn sinh thành và giáo dưỡng.Xin cám ơn! Thành phố Hồ Chí Minh, tháng 7/2007Nhóm sinh viên thực hiệnĐỗ Thanh Toàn – Đoàn Ngọc Khiêm Trình bày luận vănNội dung của luận văn được tổ chức và trình bày trong 6 chương:Chương 0: Mở đầu: Giới thiệu về đề tài.Chương 1: Tổng quan về bài toán nhận dạng mặt người và các cách tiệp cận.Chương 2:Dò tìm khuôn mặt trong ảnh.Chương 3: Trích chọn đặc trưng cho ảnh khuôn mặt.Chương 4:Nhận dạng ảnh khuôn mặt.Chương 5: Ứng dụng thử nghiệm.Chương 6: Đánh giá và hướng phát triển.2 Mục lụcSVM là phương pháp phân lớp nhị phân được áp dụng trên nhiều lớp nên ở đây ta sẽ xét từng cặp, gọi là phương pháp phân lớp theo cặp 48Ta có c = 26 phân lớp đối với bộ dữ liệu nước ngoài và c = 19 phân lớp đối với bộ dữ liệu trong nước. Mẫu cần nhận dạng (phân lớp) là mẫu X là người cần xác định người này thuộc về lớp nào trong c lớp đã được huấn luyện .48Xác định hàm phân loại SVM(i,j) giữa hai phân lớp i,j bất kỳ (1,2),(1,3), . .,(c-1,c) như vậy ta có tổng cộng c(c-1)/2 = 26(26-1)/2 = 325 hàm phân loại SVM cho trường hợp bộ dữ liệu nước ngoài và 20(20-1)/2 = 190 cho trường hợp bộ dữ liệu trong nước 48Khởi tạo mảng int vote[c] gồm c phần tử với giá trị ban đầu bằng 0 :vote[0]=0, . . , vote[c-1]=0; .48Với mỗi cặp (i,j) hàm phân loại SVM xác định mẫu X thuộc về lớp i hay lớp j .Nếu thuộc về lớp i thì vote[i]++ còn ngược lại vote[j]++; 48Giá trị lớn nhất của phần tử nào trong mảng vote sẽ cho biết mẫu X thuộc về lớp đó 48Các tham số của phương pháp phân loại SVM trong luận văn: 48Số lớp huấn luyện : 48Bộ dữ liệu trong nước : 19 48Bộ dữ liệu ngoài nước : 26 .48Tổng số véc tơ hỗ trợ : .48Bộ dữ liệu trong nước : 83 48Bộ dữ liệu ngoài nước : 120 .49Kiểu mô hình SVM : c_svc 49Hàm Kernel RBF (Radial Basis Function) .49 49Hằng số cân bằng độ phức tạp giữa hệ và tỉ lệ lỗi C=5 .49Gamma = 0.3 .49FANN được áp dụng để phân loại một lớp với tất cả các lớp còn lại .50 Ta có n = c = 26 phân lớp đối với bộ dữ liệu nước ngoài và c = 19 phân lớp đối với bộ dữ liệu trong nước. Mẫu cần nhận dạng (phân lớp) là mẫu X là người cần xác định người này thuộc về lớp nào trong c lớp đã được huấn luyện .50Trong quá trình huấn luyện một mạng FANN ta phân toàn bộ mẫu học thành 2 phần : 50Phần 1 : mẫu của phân lớp cần huấn luyện (giá trị đầu ra mong ước là 1) .50Phần 2: tất cả mẫu của các phân lớp còn lại.(giá trị đầu ra mong ước là 0) 50Với 26 phân lớp của bộ nước ngoài thì ta sẽ có 26 mạng nơron tương ứng để phân biệt từng lớp với tất cả các lớp còn lại, tương tự cho bộ dữ liệu trong nước .50Khi nhận dạng ta cho mẫu X qua tất cả các mạng nơron (26 mạng với bộ dữ liệu nước ngoài và 19 mạng với bộ dữ liệu trong nước), giá trị đầu ra của mạng nơron nào lớn nhất thì X thuộc lớp đó .50Các tham số của phương pháp FANN 50Số lớp huấn luyện : 50Bộ dữ liệu trong nước : 19 503 Bộ dữ liệu ngoài nước : 26 .50Số nơron tầng xuất của một mạng: 1 50 Qua nhiều lần thực nghiệm, luận văn đã chọn ra được bộ tham số tốt nhất cho mạng nơron như sau: 50Ngưỡng lỗi : 10-5 51Hằng số học : 0.8 51Số nơron tầng nhập: 51Bộ dữ liệu trong nước : 280 51Bộ dữ liệu ngoài nước: 230 51Số nơron tầng ẩn: 51Bộ dữ liệu trong nước : 280 51Bộ dữ liệu ngoài nước: 230 51Hàm truyền: hàm Sigmoid: 51Số lớp huấn luyện : 22 (tương ứng có 22 mạng nơron) .60Số nơron tầng xuất của một mạng: 1 60Ngưỡng lỗi : 10-3 60Hằng số học : 0.8 60Số nơron tầng nhập: 280 .60Số nơron tầng ẩn: 280 .60A.2 Phương pháp AdaBoost [1][11][12][13][14] . 69 A.2.1 Tiếp cận Boosting . 69 A.2.2 AdaBoost (Adaptive Boost) 70 A.2.3 Cách trích chọn đặc trưng cho AdaBoost . 77 A.2.4 Cascade of Classifiers: 79 A.2.5 Cascade of Boosted Classifiers 80 A.6 Cơ sở lý thuyết mạng nơron [25] . 116 A.6.1 Mở đầu: . 116 A.6.2 Mạng Nơron nhân tạo (Artificial Neural network - ANN) 118 A.6.2.1 Mô hình tổng quát của một Nơron nhân tạo . 118 A.6.2.1.1 Định nghĩa Nơron nhân tạo 119 A.6.2.1.2 Hoạt động xử lý thông tin của một Nơron [1] . 120 A.6.2.1.3 Các biến đổi toán học trong Nơron 120 A.6.2.1.4 véc tơ tham số [25] . 122 A.6.2.1.5 Ánh xạ phi tuyến . 123 A.6.2.2 Các cấu trúc mạng Nơron nhân tạo: . 124 A.6.2.3 Các luật học . 127 A.6.2.4 Hàm truyền: . 133 A.6.2.5 Các loại liên kết trọng nơron: 136 A.6.4 Mạng lan truyền thẳng ba lớp và thuật giải lan truyền ngược [25]: 141 A.6.4.2 Thuật giải lan truyền ngược với luật học tổng quát delta: [25] 143 B.1.1 Thuật toán hiển thị Video lên khung hiển thị . 144 B.1.2 Thuật toán Giải mã Video đầu vào . 145 4 Danh sách các hìnhHình 1.3.1 – 1 : Mô hình tổng quát của bài toán nhận dạng mặt người 20Hình 2.2.1 – 1 : Sơ đồ hệ dò tìm khuôn mặt bằng AdaBoost – NN 25Hình 2.2.2 – 1 : Minh hoạ hệ dò tìm khuôn mặt bằng AdaBoost-Adaboost .26Hình 2.3.1 – 1 : Một số ảnh có mặt người trong tập mẫu huấn luyện 26Hình 2.3.1 – 2 : Một số ảnh không chứa mặt người trong tập mẫu huấn luyện 27Hình 2.3.1 – 3 : Ví dụ về ảnh ngược sáng 27Hình 2.3.1 – 4: Ví dụ về ảnh bị che khuất thành phần quan trọng 28Hình 2.3.1 – 5 : Ví dụ về ảnh có cảm xúc đặc biệt 28Bảng 2.3.2 – 1 : So sánh các phương pháp phát hiện + chứng thực khuôn mặt 28Hình 2.3.2 – 1 : So sánh các phương pháp detect + chứng thực khuôn mặt .29Hình 3.2.1 – 1 : Hướng của véc tơ riêng 30Hình 3.2.1 – 2 : Minh hoạ phát hiện vị trí mắt, miệng trên khuôn mặt 31Hình 3.2.1 – 3 : Minh hoạ kiểu kết hợp toàn cục và bộ phận 32Hình 3.2.2 – 1 : . Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA. Mỗi trục là một cột của ma trận nghịch đảo của ma trận trộn W-1 tìm thấy bới PCA và ICA. Các trục của PCA trực giao trong khi ICA thì không, do đó khoảng cách các điểm dữ liệu sẽ thay đổi khi chiếu xuống không gian mới này .35Hình 3.2.2 – 2 : véctơ đặc trưng cho mỗi kĩ thuật. Hàng đầu chứa 8 véctơ riêng với 8 trị riêng lớn nhất trong PCA. Hàng 2 chứa các vectơ đặc trưng trong ICA với kiến trúc I, hàng 3 chỉ ra 8 véctơ đặc trưng trong ICA với kiến trúc 2 .35Hình 3.2.2 – 3 :minh họa kiến trúc 1 trong mô hình ICA 36Hình 3.2.2 – 4 :minh họa kiến trúc 2 trong mô hình ICA .37Hình 3.2.2 – 5 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA .37Hình 3.2.2 -6 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel .38Bảng 3.3.2 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu CalTech .405 Hình 3.3.2 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA trên bộ dữ liệu CalTech: thống kê trên bộ test .41Hình 3.3.2 – 2: Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu nước ngoài 42Hình 3.3.2 – 3 : Các ảnh với phương pháp rút trích ICA bị nhận dạng sai với bộ dữ liệu nước ngoài 43Hình 3.3.3 – 1 : Một số ảnh quay phải, trái, quá tối hoặc độ sáng không đồng đều trên khuôn mặt trong tập ảnh tự tạo 44Bảng 3.3.4 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu trong nước .45Hình 3.3.4 – 1 :Biểu đồ kết quả thử nghiệm hai phương pháp rút trích đặc trưng PCA – ICA trên bộ dữ liệu tự tạo: thống kê trên bộ test .45Hình 3.3.4 – 2 : Các ảnh với phương pháp rút trích PCA bị nhận dạng sai với bộ dữ liệu tự tạo .46Hình 4.2.1 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng SVM 47Hình 4.2.2 – 1 :Sơ đồ hệ thống nhận dạng mặt người dùng mạng Nơron .49Bảng4.3.2 – 1 : Thời gian huấn luyện SVM và NN bộ dữ liệu nước ngoài 51Bảng 4.3.2 – 2 : Thời gian nhận dạng thư mục test nước ngoài bằng SVM và NN 52Bảng 4.3.2 – 3 : Kết quả so sánh nhận dạng SVM và NN trên bộ dữ liệu nước ngoài .53Hình 4.3.2 – 1 : Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN trên .53bộ dữ liệu nước ngoài: thống kê trên bộ test .53Bảng 4.3.4 - 1: Thời gian huấn luyện SVM và NN bộ dữ liệu trong nước .53Bảng 4.3.4 - 2: Thời gian nhận dạng thư mục test trong nước bằng SVM và NN 54Bảng 4.3.4 - 3: Kết quả so sánh SVM và NN trên bộ dữ liệu trong nước .54Hình 4.3.4 - 1 :Biểu đồ kết quả thử nghiệm hai phương pháp nhận dạng SVM và NN .55 trên bộ dữ liệu trong nước: thống kê trên bộ test 55Hình 5.2.1 – 1 : Một số ảnh train trong ứng dụng 56Hình 5.2.1 – 2 : Một số ảnh test trong ứng dụng 57Hình 5.2.1 – 3 : 1 đoạn Video trong ứng dụng .57Hình 5.2.3 – 1 : Sơ đồ quá trình tách frame từ video .596 Bảng 5.3-1 : Kết quả nhận dạng trên ảnh tĩnh .60Hình A.2.2 – 1 : Strong classifier H(x) được xây dựng bằng AdaBoost .71Hình A.2.2 - 2: Ví dụ minh hoạ sự kết hợp của 3 phân lớp tuyến tính .72Bảng A.2.2 – 1 : Thuật toán AdaBoost .73Bảng A.2.2 – 2 : Một phiên bản khác của thuật toán AdaBoost 76Hình A.2.3 - 1 : Các đặc trưng Haar-like cơ sở .77Hình A.2.3 - 2: Các miền hình học đặc trưng Haar – like 77Hình A.2.3 - 3: Ý nghĩa hình học của đạo hàm ảnh 78Hình A.2.3 - 4: Cách tính giá trị một ô đặc trưng .78Hình A.2.3 - 5: Dò tìm bàn tay bằng đặc trưng Haar – like .79Hình A.2.3 - 6: Dò tìm khuôn mặt bằng đặc trưng haar – like .79 .80Hình A.2.4 - 1: Cascade Classifier 80Hình A.3.3 - 1 Hướng của véc tơ riêng .83Hình A.4.2 - 1: Hai tín hiệu nguồn ( không quan sát trực tiếp được, tức các tính hiệu ẩn là s1(t) và s2(t)), hai tín hiệu trộn (quan sát được là x1(t) và x2(t) ) .88Hình A.4.3 - 1: Các kí hiệu trong ICA .90Hình A.4.6 - 1: Phân bố kết hợp của hai thành phần độc lập s1, s2 có phân bố đồng nhất (trục ngang: s1, trục đứng s2) 93Hình A.4.6 - 2: Phân bố kết hợp của các trộn lẫn x1, x2 (trục ngang x1, trục đứng x2) 93Hình A.4.6 - 3: Phân phối kết hợp của hai biến Gauss 94Hình A.4.7.2.1 - 1: Hàm mật độ của phân phối Laplace, một điển hình của phân phối siêu Gauss, so với phân phối Gauss ở đường gạch nét, cả hai mật độ được chuẩn hóa phương sai đơn vị 96Hình A.4.10.2 - 1:Minh họa kiến trúc 1 trong mô hình ICA .105Hình A.4.10.2 - 2: véctơ đặc trưng cho mỗi kĩ thuật. Hàng đầu chứa 8 véctơ riêng với 8 trị riêng lớn nhất trong PCA. Hàng 2 chứa các vectơ đặc trưng trong ICA với kiến trúc I, hàng 3 chỉ ra 8 véctơ đặc trưng trong ICA với kiến trúc 2 .106Hình A.4.10.2 - 3:Mô hình tổng hợp ảnh cho kiến trúc 1 của ICA .107Hình A.4.10.3 - 1:minh họa kiến trúc 2 trong mô hình ICA 1087 Hình A.4.10.3 - 2:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA .109Hình A.4.10.3 - 3:Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel .109Hình A.4.11.1- 2. Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA. Mỗi trục là một cột của ma trận nghịch đảo của ma trận trộn W-1 tìm thấy bới PCA và ICA. Các trục của PCA trực giao trong khi ICA thì không, do đó khoảng cách các điểm dữ liệu sẽ thay đổi khi chiếu xuống không gian mới này 111Hình A.5.1 - 1 : Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và 112kí hiệu các support véc tơr chính là các điểm được bao bằng viền tròn 112Hình A.6.1-1: Mô hình một Nơron thần kinh 117Hình A.6.2.1 - 1: Mô hình Nơron nhân tạo 119Hình A.6.2.1.1 - 1: Mô hình toán học tổng quát của một Nơron .120Hình A.6.2.1.3 - 1: Các xử lý tương đương trong một Nơron .121Hình A.6.2.1.4 - 1: Hoạt động tính toán của Nơron .123Hình A.6.2.2 - 1: Năm sơ đồ liên kết cơ bản của mạng Nơron: (a) mô hình mạngtruyền thẳng một lớp; (b) mô hình mạng truyền thẳng đa lớp; (c) mô hình: một Nơron đơn với liên kết phản hồi đến chính nó; (d) mô hình: mạng lặp một lớp; (e) mô hình: mạng lặp đa lớp 126Hình A.6.2.2 - 2: Liên kết bên trong của phản hồi .127Hình A.6.2.3 - 1: Ma trận trọng số nối kết .128Hình A.6.2.3 - 2 : Học có giám sát 129Hình A.6.2.3 - 3 : Học tăng cường .129Hình A.6.2.3 - 4: Học không giám sát .130Hình A.6.2.3 - 5: Luật học phát sinh trọng số (di không được cung cấp trong trường hợp học không giám sát) .132Hình A.6.2.4 - 1: Một số dạng hàm dùng trong ánh xạ từ đầu vào -> đầu ra 134Bảng A.6.2.4 – 1 : Một số hàm truyền thông dụng trong mạng Nơron 135Hình A.6.2.5 – 1 : Các loại liên kết của Nơron 136Hình A.6.3.1 - 1 : Cấu hình mạng RBF tiêu biểu .137 Hình A.6.3.1 - 2 : Những tập phân lớp trong không gian 2 chiều .139HìnhA.6.3.1 - 3 : Ánh xạ các tập phân lớp lên neuron RBF .1408 Hình A.6.4.1-1: Minh họa mạng lan truyền thẳng ba lớp 142Hình B.3.1 – 1: Giao diện chính của chương trình 151Hình B.3.2 -1: Màn hình minh họa chức năng test trên video .152Hình B.3.2 – 2 : Giao diện của chương trình khi hoạt động 153Hình B.3.3 – 1 : Màn hình tham số huấn luyện cho mạng nơron 154Hình B.3.4 -1 : Màn hình đọc dữ liệu đã huấn luyện .155Hình B.3.5 – 1: Màn hình test thư mục 156Hình B.3.6 – 1 : Màn hình nhận dạng trên ảnh tĩnh .1579 Danh sách các bảngHình 1.3.1 – 1 : Mô hình tổng quát của bài toán nhận dạng mặt người 20Hình 2.2.1 – 1 : Sơ đồ hệ dò tìm khuôn mặt bằng AdaBoost – NN 25Hình 2.2.2 – 1 : Minh hoạ hệ dò tìm khuôn mặt bằng AdaBoost-Adaboost .26Hình 2.3.1 – 1 : Một số ảnh có mặt người trong tập mẫu huấn luyện 26Hình 2.3.1 – 2 : Một số ảnh không chứa mặt người trong tập mẫu huấn luyện 27Hình 2.3.1 – 3 : Ví dụ về ảnh ngược sáng 27Hình 2.3.1 – 4: Ví dụ về ảnh bị che khuất thành phần quan trọng 28Hình 2.3.1 – 5 : Ví dụ về ảnh có cảm xúc đặc biệt 28Bảng 2.3.2 – 1 : So sánh các phương pháp phát hiện + chứng thực khuôn mặt 28Hình 2.3.2 – 1 : So sánh các phương pháp detect + chứng thực khuôn mặt .29Hình 3.2.1 – 1 : Hướng của véc tơ riêng 30Hình 3.2.1 – 2 : Minh hoạ phát hiện vị trí mắt, miệng trên khuôn mặt 31Hình 3.2.1 – 3 : Minh hoạ kiểu kết hợp toàn cục và bộ phận 32Hình 3.2.2 – 1 : . Sự phân phối dữ liệu trong không gian 3 chiều và các trục tương ứng của PCA và ICA. Mỗi trục là một cột của ma trận nghịch đảo của ma trận trộn W-1 tìm thấy bới PCA và ICA. Các trục của PCA trực giao trong khi ICA thì không, do đó khoảng cách các điểm dữ liệu sẽ thay đổi khi chiếu xuống không gian mới này .35Hình 3.2.2 – 2 : véctơ đặc trưng cho mỗi kĩ thuật. Hàng đầu chứa 8 véctơ riêng với 8 trị riêng lớn nhất trong PCA. Hàng 2 chứa các vectơ đặc trưng trong ICA với kiến trúc I, hàng 3 chỉ ra 8 véctơ đặc trưng trong ICA với kiến trúc 2 .35Hình 3.2.2 – 3 :minh họa kiến trúc 1 trong mô hình ICA 36Hình 3.2.2 – 4 :minh họa kiến trúc 2 trong mô hình ICA .37Hình 3.2.2 – 5 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA .37Hình 3.2.2 -6 :Mô hình tổng hợp ảnh cho kiến trúc 2 của ICA trên pixel .38Bảng 3.3.2 – 1 : Kết quả so sánh PCA và ICA trên bộ dữ liệu CalTech .4010 123doc.vn