Trình bày các cơ sở lý thuyết và thuật toán dùng mạng nơron vào pháthiện khuôn mặt người trong ảnh số

MỤC LỤC MỤC LỤC .5 TỔNG QUAN DANH MỤC CÁC HÌNH .7 Chương 1.GIỚI THIỆU BÀI TOÁN – PHẠM VI NGHIÊN CỨU CỦA KHÓA LUẬN .1 1.1Giới thiệu toán 1.1.1Nhận diện vật thể ảnh số, tầm quan trọng ứng dụng thực tế 1.1.2Nhận diện khuôn mặt người ảnh số .2 1.2Các khó khăn toán nhận diện khuôn mặt 1.3Các công trình nghiên cứu hướng tiếp cận liên quan đến nhận diện khuôn mặt 1.4Thuật toán sử dụng mạng nơron để phát khuôn mặt 11 1.4.1Giới thiệu 11 1.4.2Ưu điểm 13 1.4.3Khuyết điểm 14 1.5Giới thiệu mục đích giới hạn phạm vi nghiên cứu khóa luận 14 1.5.1Mục đích .14 1.5.2Giới hạn phạm vi nghiên cứu 14 Chương 2.CÁC CƠ SỞ LÝ THUYẾT VÀ THUẬT TOÁN ÁP DỤNG VÀO PHÁT HIỆN KHUÔN MẶT NGƯỜI 15 2.1Hướng tiếp cận khóa luận 15 2.2Các thuật toán tiền xử lý ảnh : 16 2.2.1Cân ánh sáng 20 2.2.2Làm ảnh (Histogram Equalizer) 22 2.3Giới thiệu khái niệm cửa sổ (Window) mặt nạ (Mask) 24 2.3.1Cửa sổ (Window) 24 2.3.2Mặt nạ (Mask) .25 2.4Các bước trình phát khuôn mặt 26 2.4.1Tạo cửa sổ (Window) từ độ căng (Scale) ảnh 26 2.4.2Tiền xử lý ảnh nhỏ vùng cửa sổ 28 2.4.3Đưa điểm ảnh cửa sổ không bị che mặt nạ vào mạng, đưa kết 28 2.5Mã giả hàm tìm kiếm (Search) 29 GVHD: SVTH : Chương 3.THIẾT KẾ MẠNG NƠRON, THU THẬP DỮ LIỆU HUẤN LUYỆN VÀ HUẤN LUYỆN MẠNG 31 3.1Thiết kế mạng 31 3.2Thu thập liệu huấn luyện huấn luyện mạng .34 Chương 4.HIỆN THỰC, KẾT QUẢ CHẠY THỬ, CÁC CẢI TIẾN VÀ HƯỚNG PHÁT TRIỂN CỦA KHÓA LUẬN 40 4.1.1Hiện thực lõi kiến trúc mạng nơron 40 4.1.2Hiện thực Demo phát khuôn mặt 46 4.1.3Kết chạy Demo chương trình chưa cải tiến 52 4.1.4Các cải tiến 52 4.2Hướng phát triển luận văn tương lai 56 PHỤ LỤC .58 Phụ lục A: GIỚI THIỆU MẠNG NƠRON NHÂN TẠO .59 1.Từ ý tưởng mạng nơron sinh học 59 Đến mạng nơron nhân tạo 60 Ứng dụng mạng nơron nhân tạo 62 Huấn luyện mạng nơron 63 5.Thu thập liệu huấn luyện mạng nơron 63 Phụ lục B: CƠ SỞ LÝ THUYẾT CỦA MẠNG NƠRON NHÂN TẠO 65 1.Phần tử xử lý 65 2.Kiến trúc mạng nơron nhân tạo 67 Huấn luyện mạng nơron truyền thẳng: .70 Phụ Lục C : MINH HỌA GIẢI THUẬT LAN TRUYỀN NGƯỢC TRONG HUẤN LUYỆN MẠNG NHIỀU LỚP 75 DANH MỤC TÀI LIỆU THAM KHẢO .85 GVHD: SVTH : TỔNG QUAN Chương Trình bày tổng quan toán nhận diện vật thể ảnh số có ứng dụng quan trọng thức tế Và toán phát mẫu khuôn mặt người dùng mạng nơron toán đặt biệt toán nhận dạng vật thể Trình bày số công trình nghiên cứu gần hướng tiếp cận khóa luận đến toán nhận diện khuôn mặt Chương Trình bày sở lý thuyết thuật toán dùng mạng nơron vào phát khuôn mặt người ảnh số Chương Trình bày bước thiết kế mạng nơron, thu thập liệu gồm tập ảnh mẫu khuôn mặt và tập ảnh mẫu khuôn mặt Sau bước huấn luyện cho mạng nhận dạng đâu mẫu khuôn mặt người không khuôn mặt người Chương Hiện thực chương trình, kết thu trước sau cải tiến Kết luận định hướng phát triển khóa luận GVHD: SVTH : DANH MỤC CÁC HÌNH Hình 1.1 Nhận diện vật thể ảnh số Hình 1.2 Nhận diện khuôn mặt ảnh số Hình 1.3 Các bước nhận diện khuôn mặt Hình 1.4 a) b) :Các tư thế, góc chụp khác Hình 1.5 : Ảnh chụp râu che số phần khuôn mặt Hình 1.6 a) b) : Ảnh chụp phức tạp biểu cảm Hình 1.7 : Ảnh chụp phức tạp che khuất Hình 1.8 a) Ảnh chụp nhà b) Ảnh chụp trời Hình 1.9 Sử dụng cấu trúc mạng nơron nhân tạo (Aftificial Neural Network) để phát mẫu khuôn mặt khuôn mặt Hình 2.1 Ảnh gốc Hình 2.2 Ảnh đen trắng Hình 2.3 Ảnh chưa cân sáng Hình 2.4 Ảnh cân sáng Hình 2.5 Ảnh chưa làm Hình 2.6 Ảnh làm Hình 2.7 Định vị cửa sổ (window) ảnh số Hình 2.8 Cửa sổ trước áp mặt nạ Hình 2.9 Mặt nạ cửa sổ sau áp mặt nạ Hình 2.10 Cửa sổ thu với tỷ lệ scale ảnh gốc lớn Hình 2.11 Cửa sổ thu với tỷ lệ scale ảnh gốc lớn Hình 2.12 Cửa sổ mặt nạ Hình 2.13 Cửa sổ ảnh sau áp mặt nạ Hình 3.1 Cấu trúc mạng nơron Hình 3.2 Công thức đồ thị minh hoạ hàm nén lướng cực (Bipolar Sigmoid) Hình 3.3 Minh hoạ Vectơ đầu vào Hình 3.5 Tập mẫu huấn luyện Hình 3.6 Tập mẫu huấn luyện sai Hình 3.7 Minh hoạ trình huấn luyện GVHD: SVTH : 1/93 Chương GIỚI THIỆU BÀI TOÁN – PHẠM VI NGHIÊN CỨU CỦA KHÓA LUẬN 1.1 Giới thiệu toán Hơn thập kỷ qua có nhiều công trình nghiên cứu toán xác định khuôn mặt người từ ảnh đen trắng, đến ảnh màu ngày hôm Các nghiên cứu từ toán đơn giản, ảnh có khuôn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Đến toán mở rộng cho ảnh màu, có nhiều khuôn mặt ảnh, có nhiều tư thay đổi ảnh Không mà mở rộng phạm vi từ môi trường xung quanh đơn giản (trong phòng thí nghiệm) môi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thực tiễn người 1.1.1 Nhận diện vật thể ảnh số, tầm quan trọng ứng dụng thực tế Hệ thống nhận diện vật thể hệ thống nhận vào ảnh đoạn Video (một chuỗi ảnh) Qua xử lý tính toán hệ thống xác định vị trí vật thể ảnh (nếu có) xác định vật thể số vật thể hệ thống biết (qua trình học) vật thể lạ Nhận diện vật thể ảnh số minh họa hình 1.1 Quả bóng rổ Chiếc xe đạp Không biết Hình 1.1 Nhận diện vật thể ảnh số GVHD: SVTH : 2/93 1.1.2 Nhận diện khuôn mặt người ảnh số 1.1.2.1 Giới thiệu nhận diện khuôn mặt Phát khuôn mặt người (Face Detection) kỹ thuật máy tính để xác định vị trí kích thước khuôn mặt ảnh (ảnh kỹ thuật số) Kỹ thuật nhận biết đặc trưng khuôn mặt bỏ qua thứ khác, như: tòa nhà, cối, thể, … Nói xác khu biệt hóa khuôn mặt (khả tìm nhận khuôn mặt toàn khung hình) Ở hệ thống này, từ đầu vào ảnh đoạn Video (một chuỗi ảnh), máy tính khu biệt hóa khuôn mặt nằm vị trí Qua xử lý tính toán hệ thống xác định vị trí mặt người ảnh (nếu có) xác định người số người hệ thống biết (qua trình học) người lạ Có nhiều thuật toán phát triển nhằm cải thiện trình nhận dạng khuôn mặt người ngày tốt Với sở liệu so sánh lớn, thuật toán phức tạp, hỗ trợ từ phần cứng hay chíp xử lý riêng, hệ thống nhận diện nhận diện mặt người quay ngang hay nhìn lên, nhìn xuống, chuyển động hay đứng yên, chí mặt chiếm phần nhỏ toàn khung hình Bài toán nhận dạng mặt người toán đặc biệt nhận dạng vật thể Tuy nhiên, toán khó nên nghiên cứu chưa đạt kết mong muốn Chính vấn đề nhiều nhà nghiên cứu giới quan tâm Đây vấn đề lớn ngành thị giác máy tính (Computer Vision – viết tắt CV) GVHD: SVTH : 3/93 Hệ thống nhận diện mặt người ảnh số minh họa hình 1.2: Ảnh Inputs Ảnh Outputs Bin Laden 1) 2) Hệ thống nhận dạng khuôn mặt Obama Không biết khuôn mặt sở liệu 3) Hình 1.2 Nhận diện khuôn mặt ảnh số 1.1.2.2 Bốn bước nhận diện mặt người ảnh số Một hệ thống nhận dạng mặt người thông thường bao gồm bốn [1] bước xử lý sau: phát khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction) phân lớp khuôn mặt (face classification) Các bước nhận diện mặt người ảnh số minh họa hình 1.3 GVHD: SVTH : 4/93 Hình/video Phát khuôn mặt ( tìm kiếm ) Vị trí khuôn mặt Phân đoạn khuôn mặt Khuôn mặt phân đoạn Vec-tơ đặc trưng Rút trích đặc trưng Phân lớp khuôn mặt Chỉ số khuôn mặt (Face ID) Hình 1.3 Các bước nhận diện khuôn mặt Phát khuôn mặt dò tìm định vị vị trí khuôn mặt xuất ảnh Frame Video Phân đoạn khuôn mặt xác định vị trí mắt, mũi, miệng, thành phần khác khuôn mặt chuyển kết cho bước rút trích đặc trưng Từ thông tin thành phần khuôn mặt, dễ dàng tính véc-tơ đặc trưng bước rút trích đặc trưng Những véc-tơ đặc trưng liệu đầu vào cho mô hình huấn luyện trước để phân loại khuôn mặt Bên cạnh bước nêu trên, áp dụng thêm số bước khác tiền xử lý, hậu xử lý nhằm làm tăng độ xác cho hệ thống Do số thông số như: tư khuôn mặt, độ sáng, điều kiện ánh sáng… phát khuôn mặt đánh giá bước khó khăn quan trọng so với bước lại hệ thống Trong khóa luận này, tập trung chủ yếu vào bước phát khuôn mặt GVHD: SVTH : 5/93 1.1.2.3 Các ứng dụng nhận diện khuôn mặt Bài toán nhận diện mặt người áp dụng rộng rãi nhiều ứng dụng thực tế khác Đó lý mà toán hấp dẫn nhiều nhóm nghiên cứu thời gian dài Các ứng dụng liên quan đến nhận dạng mặt người kể như: - Hệ thống phát tội phạm: Camera đặt số điểm công cộng như: siêu thị, nhà sách, trạm xe buýt, sân bay, v.v Khi phát xuất đối tượng tội phạm, hệ thống gởi thông điệp cho trung tâm xử lý Ví dụ nhận dạng người A có phải tội phạm truy nã hay không? giúp quan an ninh thực tốt chức Công việc nhận dạng môi trường bình thường bóng tối (sử dụng camera hồng ngoại) - Hệ thống theo dõi nhân đơn vị: Giám sát vào nhân viên chấm công Điều khiển vào ra: văn phòng, công ty, trụ sở, máy tính, Palm, … Kết hợp thêm vân tay mống mắt Cho phép nhân viên vào nơi cần thiết, hay người đăng nhập máy tính cá nhân mà không cần nhớ tên đăng nhập mật mà cần xác định thông qua khuôn mặt - Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết - Lưu trữ (rút tiền ATM, để biết rút tiền vào thời điểm đó) Các ngân hàng có nhu cầu có giao dịch tiền kiểm tra hay lưu trữ khuôn mặt người rút tiền để sau đối chứng xử lý - Hệ thống giao tiếp người máy: Thay việc tương tác người máy theo cách truyền thống như: bàn phím, chuột,v.v Thay vào sử dụng giao tiếp trực quan: biểu cảm khuôn mặt, dấu hiệu, cử tay (Visual Input, Visual Interaction) - Tìm kiếm tổ chức liệu liên quan đến người thông qua khuôn mặt người nhiều hệ sở liệu lưu trữ thật lớn, internet, hãng truyền hình, … Ví dụ tìm đoạn video có tổng thống Bush phát biểu, tìm GVHD: SVTH : 6/93 phim có diễn viên Lý Liên Kiệt đóng, tìm trận đá banh có cầu thủ Ronaldo … - An ninh sân bay, xuất nhập cảnh (hiện quan xuất nhập cảnh Mỹ áp dụng) Dùng để xác thực người xuất nhập cảnh kiểm tra có phải nhân vật khủng bố không - Các thệ thống bảo mật dựa thông tin trắc sinh học: Mặt người, vân tay,v.v thay xác nhận mật khẩu, khóa 1.2 Các khó khăn toán nhận diện khuôn mặt Đây toán khó nên nghiên cứu chưa đạt kết mong muốn Chính vấn đề nhiều nhóm giới quan tâm nghiên cứu Khó khăn toán nhận diện mặt người kể tư thế, góc chụp, xuất thiếu số thành phần khuôn mặt, biểu cảm, che khuất, hướng ảnh, điều kiện ảnh[1]… o Tư thế, góc chụp Ảnh chụp khuôn mặt thay đổi nhiều góc chụp Camera khuôn mặt Chẳng hạn như: chụp thẳng, chụp xéo bên trái 450 hay xéo bên phải 450, chụp từ xuống, chụp từ lên, v.v ) Với tư khác nhau, thành phần khuôn mặt mắt, mũi, miệng bị khuất phần chí khuất hết a) a) b) b) Hình 1.4 a) b) :Các tư thế, góc chụp khác GVHD: SVTH : 73/93 Kế tiếp, ta xét mạng truyền thẳng ba lớp tổng quát là: lớp nơron ngõ vào, lớp nơron ẩn lớp nơron ngõ ra[25] - Giả sử lớp nơron ngõ vào mạng có m ngõ vào x1, x2, …xj…, xm; lớp ẩn có l phần tử xử lý với ngõ z1, z2, zq,…zl lớp nơron ngõ mạng có n phần tử xử lý với ngõ y1, y2,…yi,…yn Ta giả sử vqj trọng số kết nối ngõ thứ j lớp nơron ngõ vào với phần tử xử lý q lớp nơron ẩn wiq trọng số kết nối phần xử lý thứ q lớp ẩn với phần tử xử lý thứ i lớp nơron ngõ hình 2.5 y1 x1 yi xj yn xm xj( j= 1, ,m) vqj Zq (q=1, l) yi (i= 1,…n) Wiq Hình 0.8 Mô tả mạng nơron truyền thẳng gồm lớp nhập, lớp ẩn lớp xuất - Cho cặp mẫu huấn luyện ( x,d ), hàm tổng hợp cho phần tử xử lý thứ q lớp nơron ẩn là: ngõ là: zq =f(uq) GVHD: SVTH : 74/93 - Hàm tổng hợp cho phần tử xử lý thứ i lớp nơron ngõ là: l ui= ∑ wiq zq q =1 ngõ là: yi =f (ui) - Tổng bình phương sai số mạng nơron: - Trọng số kết nối lớp nơron ẩn lớp nơron ngõ là: Δwiq =η δ qi zq ; với δ qi = f ’(ui)ei - Trọng số kết nối lớp nơron ẩn lớp nơron ngõ vào là: Δwqj =η δ hq xj ; với η hệ số học, δ hq = f ’(uq) ∑ n δ wiq i =1 qi Tóm lại , giải toán mạng nơron theo thủ tục truyền ngược có vấn đề rút là: - Sẽ có nơron mạng, ngõ vào, ngõ lớp ẩn Càng nhiều lớp ẩn toán trở nên phức tạp giải vấn đề lớn - Thuật toán Back propagation cung cấp phương pháp “xấp xỉ” cho việc tìm không gian trọng số (nhằm tìm trọng số phù hợp cho mạng) Chúng ta lấy giá trị tham số học nhỏ thay đổi trọng số nhỏ nhiêu quỹ đạo không gian học trơn Tuy nhiên điều lại làm cho tốc độ học chậm Trái lại, chọn tham số tốc độ học lớn, thay đổi lớn trọng số làm cho mạng trở nên không ổn định Về mặt ý tưởng, tất nơron mạng nên chọn tốc độ học, tham số học η nên gán giá trị nhỏ Các nơron với nhiều ngõ vào nên chọn tham số tốc độ học nhỏ để giữ thời gian học tương tự cho cho tất nơron mạng GVHD: SVTH : 75/93 Phụ Lục C : MINH HỌA GIẢI THUẬT LAN TRUYỀN NGƯỢC TRONG HUẤN LUYỆN MẠNG NHIỀU LỚP Các hình vẽ minh họa trình lan truyền ngược mạng lớp : lớp nhập, lớp ẩn lớp xuất Quá trình huấn luyện mạng gồm pha :  Lan truyền tiến mẫu học Tính kết để tìm sai số  Lan truyền ngược gồm bước : Lan truyền ngược lỗi cho toàn mạng Cập nhật ma trận trọng số mạng Pha : Quá trình lan truyền tiến Trong : - x1, x2 liệu nhập - f1(e), f2(e) fn(e) hàm lan truyền tiến nơron thứ n Có công thức f(e)=2/(1+exp(-alpha*e)) -1 ( với hàm exp hàm lũy thừa số e) - y kết trình tính toán mạng Mỗi noron tính tổng tích trọng số với liệu nhập Sau đưa giá trị vào hàm truyền f cho giá trị xuất GVHD: SVTH : 76/93 Ví dụ: Trong : e=x1*w1 + x2*w2 f(e)=2/(1+exp-alpha*e) - yn=fn(e) Áp dụng toàn mạng : Lớp nhập : GVHD: SVTH : 77/93 Lớp ẩn : GVHD: SVTH : 78/93 Lớp xuất : Kết thúc lan truyền tiến GVHD: SVTH : 79/93 Pha : Quá trình lan truyền ngược Bước : Tính sai số cho noron tất lớp Trong : • • • • z giá trị xuất mong muốn y kết tính toán mạng δ sai số yn giá trị xuất noron thứ n trình lan truyền tiến • e biến nhận giá trị xuất noron tương ứng • f’(e)=alpha * (1 - f(e)2) / (với alpha hệ số góc) • Tính đạo hàm theo e thay giá trị xuất noron vào e( với f’n(e) ta thay e=yn) Lan truyền sai số sang lớp ẩn: GVHD: SVTH : 80/93 Lan truyền ngược sai số sang lớp nhập : GVHD: SVTH : 81/93 GVHD: SVTH : 82/93 Bước 2: Cập nhật sai số cho trọng số : Trong : • η tốc độ học.Nhận giá trị khoảng [0,1].Tốc độ học tỉ lệ nghịch với độ xác tỉ lệ thuận với thời gian học • w(x1)1 trọng số xét • xn giá trị nhập • df1(e)/de đạo hàm cấp f1(e) • yn giá trị xuất noron xét Cập nhật trọng số cho lớp nhập : GVHD: SVTH : 83/93 Cập nhật trọng số cho lớp ẩn : GVHD: SVTH : 84/93 Cập nhật trọng số cho lớp xuất : Kết thúc trình lan truyền ngược GVHD: SVTH : 85/93 DANH MỤC TÀI LIỆU THAM KHẢO [1] Henry A Rowley, Neural Network-Based Face Detection, May 1999, CMU-CS-99-117 [2] Ming-Hsuan Yang, David J Kriegman, Narendra Ahuja, “Detecting Faces in Images: A Survey”, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI), Vol 24, No 1, pp 34-47, Jan 2002 [3] T Kanade, “Picture Processing Computer Complex and Recognition of Human Faces”, PhD thesis, Kyoto Univ., 1973 [4] G Yang, T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, Vol 27, No 1, pp 53-63, 1994 [5] C Kotropoulos, I Pitas, “Rule-based Face Detection in Frontal Views”, Proc Int’l Conf Acoustics, Speech and Signal Processing, Vol 4, pp 2637-2540, 1997 [6] Jianping Fan, David K.Y Yau, Ahmed K.Elmagarmid, an Walid G Arref, IEEE Transactionson Image Processing, vol 10, no 10, IEEE, 2001 [7] Hichem Sabbi and Nozha Boujemaa, “Coarse to Fine Face Detection Based on Skin Color Adaption”, Biometric Authentication, LNCS 2359, pp 112-120, Springer-Verlag Berlin Heidelberg, 2002 [8] Douglas Chai and Kim N Ngan, “Locating Facial Region of a Head-and-Shoulders Color Image”, Proc Third Int’l Conf Automatic Face and Gesture Recognition, pp 124-129, 1998 [9] Hannes Kruppa, Martin A Bauer, and Bernt Schiele,“ Skin Patch Detection in Real-World Images”, DAGM 2002, LNCS 2449, pp 109-116, Springer-Verlag Berlin Heidelberg, 2002 [10]Kang Ryoung Park, “Gaze Detection System by Wide and Auto Pan/Tilt Narrow View Camera”, DAGM 2003, LNCS 2781, pp 76-83, Springer- Verlag Berlin Heidelberg, 2003 GVHD: SVTH : 86/93 [11]K C Yow, R Cipolla, “Feature-Based Human Face Detection”, Image and Vision Computing, Vol 15, No 9, pp 713-735, 1997 [13] T K Leung, M.C Burl, P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc 5th IEEE Conf Computer Vision (ICCV’95), pp 637-644, 1995 [14] A Lanitis, C J Taylor, T F Cootes, “An Automatic Face Identification System Using Flexible Appearance Models”, Image and Vision Computing, Vol.13, No 5, pp 393-401, 1995 [15] I Craw, D Tock, A Bennett, “Finding Face Features”, Proc 2nd European Conf Computer Vision (ECCV’92), Vol 2, pp 92-96, 1992 [16]M Turk, A Pentland, “Eigenfaces for Recognition”, Journal of Cognitive Neuroscience, Vol 3, No 1, pp 71-86, 1991 [17]E Osuna, R Freund, F Girosi, “Training Support Vector Machines: An Application to Face Detection”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’97), pp 130-136, 1997 [18]P Viola, M Jones, “Robust Real Time Object Detection”, Proc IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Jul 2001 [19] P Viola, M Jones, “Rapid object detection using a boosted cascade of simple features”, Proc IEEE Conf Computer Vision and Pattern Recognition (CVPR’01), pp 511-518, Dec 2001 [20] K K Sung, T Poggio, “Example-based learning for view-based human face detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence(PAMI), Vol 20, No 1, pp 39-51, Jan 1998 GVHD: SVTH : 87/93 [21] Ths.Trần Lê Hồng Vũ , “Phát khuôn mặt dựa đặt trưng lồi lõm”, Luận văn Thạc sỹ, Đại học quốc gia TP Hồ Chí Minh, 2005 [22] Phạm Thế Bảo, Nguyễn Thành Nhật, Cao Minh Thịnh , Trần Anh Tuấn, Nguyễn Phúc Dõan, “Tổng quan phương pháp xác định khuôn mặt người” [23] Trần Phúc Trị, “Phát mặt người AdaBoost kết hợp mạng nơron” [24] Ts.Nguyễn Đình Thúc, “Mạng nơron Phương pháp ứng dụng”, Nhà xuất giáo dục 2000 [25] Nguyễn Thiện Thành,” Trí Tuệ Nhân Tạo”, Nhà xuất Đại học quốc gia Thành phố Hồ Chí Minh 2001, Chương GVHD: SVTH : [...]... khi dùng mạng nơron để xác định khuôn mặt là tính khả thi của hệ thống học khi có sự phức tạp trong lớp của các mẫu khuôn mặt Theo đánh giá các phương pháp dùng mạng nơron để xác định khuôn mặt người của nhiều tác giả, thì nghiên cứu của Rowley [1] được xem là tốt nhất đối với ảnh xám Một mạng đa tầng được dùng để học các mẫu khuôn mặt và không phải khuôn mặt từ các ảnh tương ứng 1.4.1 Giới thiệu Thuật. .. lên nhau, có các biểu cảm đặc biệt (1.2) GVHD: SVTH : 15/93 Chương 2 CÁC CƠ SỞ LÝ THUYẾT VÀ THUẬT TOÁN ÁP DỤNG VÀO PHÁT HIỆN KHUÔN MẶT NGƯỜI 2.1 Hướng tiếp cận của khóa luận Chương trình xử lý ảnh được nhóm chúng tôi tham khảo từ luận án tiến sỹ của Herry Rowley[1] Trong luận án ông đã trình bày chi tiết về chương trình phát hiện khuôn mặt trong ảnh số cùng với hướng tiếp cận là dùng mạng neuron nhân... nhiều mạng nơron mỗi mạng tìm khuôn mặt ở những tư thế riêng rồi sau đó tổng hợp các giá trị của các mạng lại…) Với mức độ khóa luận đại học chúng tôi chỉ đi sâu vào tìm hiểu nhận diện khuôn mặt nhìn thẳng và cải tiến thuật toán nhằm tăng tốc ứng dụng 2.2 Các thuật toán tiền xử lý ảnh : Ảnh màu có 3 thông số màu khác nhau cho các giá trị màu RGB nếu dùng cả 3 giá trị này để tính toán thì phải xử lý rất... cân bằng sáng, làm nổi ảnh 4 Cửa sổ ảnh thu được sau giai đoạn tiền xử lý ở bước 3 sẽ đưa vào mạng nơron đã được huấn luyện để xác định đây có phải là mẫu khuôn mặt người hay không Thuật toán được minh họa như hình 1.9 GVHD: SVTH : 12/93 Hình 1.9 Sử dụng cấu trúc mạng nơron nhân tạo (Aftificial Neural Network) để phát hiện các mẫu khuôn mặt và không phải khuôn mặt o Ảnh đầu vào Ảnh có thể được thu nhận... Kết quả ảnh ở giai đoạn này trung thực với ảnh gốc, có độ chứng thực bởi mạng nơron chính xác cao o Nhận dạng ảnh bằng mạng nơron Để xác định vùng ảnh trong cửa sổ nào có chứa mẫu khuôn mặt người, dùng một mạng nơron đã huấn luyện để nhận một vùng ảnh có kích thước 25x25 điểm ảnh và xuất ra một giá trị trong khoảng từ -1 đến 1 Khi đưa vào một vùng ảnh, nếu kết quả gần -1 thì nghĩa là vùng ảnh này không... ảnh này không chứa mẫu khuôn mặt người, nhưng nếu kết quả gần 1 thì nhiều khả năng vùng ảnh này chứa mẫu khuôn mặt người 1.4.2 Ưu điểm • Một thuận lợi khi dùng mạng nơron để xác định khuôn mặt là tính khả thi của hệ thống học khi có sự phức tạp trong lớp của các mẫu khuôn mặt • Ngoài ra khả năng phát hiện mặt người của mạng nơron là rất tốt Mặt khác các phương pháp ra quyết định trong nhận dạng truyền... hoặc thiếu một số thành phần của khuôn mặt Các đặc trưng như: râu mép, râu hàm, mắt kính, v.v có thể xuất hiện hoặc không Vấn đề này làm cho bài toán càng trở nên khó hơn rất nhiều Hình 1.5 : Ảnh chụp do râu che một số phần khuôn mặt o Sự biểu cảm của khuôn mặt Biểu cảm của khuôn mặt người có thể làm ảnh hưởng đáng kể lên các thông số của khuôn mặt Chẳng hạn, cùng một khuôn mặt một người, nhưng có... nhau Cộng với nền của bức ảnh sẽ gây nhiễu nhiều hay ít • Cuối cùng là hình dáng của khuôn mặt như chớp mắt, mở miệng hay nói tóm lại là trạng thái của khuôn mặt Trong luận án cũng đưa ra cách giải quyết các vấn đề trong tìm kiếm khuôn mặt như phương pháp loại bỏ nhiễu ánh sáng (bằng cách xử lý hình ảnh trước khi đưa vào mạng xử lý) , tìm những khuôn mặt trong tư thế nghiêng (bằng cách quay khung cửa sổ... ), Mạng Nơ-ron (H Rowley 1998 (E Osuna et al 1997 [19] [16] [17] [1] ), Support Vector Machine ), các mô hình tăng cường (AdaBoost của P Viola)[18] 11/93 1.4 Thuật toán sử dụng mạng nơron để phát hiện khuôn mặt Mạng nơron được áp dụng khá thành công trong các bài toán nhận dạng mẫu Xác định khuôn mặt người có thể xem là bài toán nhận dạng hai loại mẫu (mẫu là mặt người và mẫu không phải là mặt người) ... (Window) và mặt nạ (Mask) Để tìm được khuôn mặt trong một bức ảnh lớn chúng ta phải dùng một cửa sổ di chuyển toàn bộ khung hình lớn để lấy những pixel trong cửa sổ đó để tiến hành xác định khuôn mặt Đồng thời để loại bỏ đi những phần không cần xét đến trong cửa sổ(thường là hình nền lẫn với khuôn mặt ở các góc) chúng ta phải dùng đến mặt nạ Chi tiết về cửa sổ và mặt nạ sẽ được trình bày chi tiết trong các