xây dựng ứng dụng dựa trên kỹ thuật nhận dạng mẫu ảnh

Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ LỜI CẢM ƠN Trong trình nghiên „XÂY DỰNG ỨNG DỤNG DỰA TRÊN KỸ THUẬT NHẬN DẠNG MẪU ẢNH‟ em xin cám ơn thầy giáo cô giáo dạy sau đại học đặc biệt em xin cám ơn thầy Lê Dũng giúp đỡ em tận tình thời gian làm đề tài Đồng thời em xin cám ơn thầy giáo cô giáo, bạn bè anh em chuyên ngành trường cho em học kiến thức quý báu, tài liệu quan trọng để em có hành trang tự tin để nghiên cứu hoàn thành đề tài luận văn cao học Trân trọng cảm ơn ! HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu luận văn hoàn toàn trung thực, không vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, hoàn toàn chịu trách nhiệm trước pháp luật TÁC GIẢ LUẬN VĂN HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC CÁC KÝ HIỆU CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC ĐỒ THỊ HÌNH VẼ MỞ ĐẦU 10 Chƣơng CÁC PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT .12 1.1 Giới thiệu 12 1.2 Định nghĩa toán xác định mặt ngƣời 12 1.3 Ứng dụng phƣơng pháp xác định khuôn mặt ngƣời 12 1.4 Các phƣơng pháp xác định mặt ngƣời .14 1.4.1 Hƣớng tiếp cận dựa tri thức .14 1.4.2 Hƣớng tiếp cận dựa đặc trƣng không thay đổi 19 1.4.2.1 Các đặc trƣng khuôn mặt 20 1.4.2.2 Kết cấu 23 1.4.2.3 Sắc màu da 23 1.4.2.4 Đa đặc trƣng 24 1.4.3 Hƣớng tiếp cận dựa so khớp mẫu 26 1.4.3.1 Xác định mẫu trƣớc 26 1.4.3.2 Các mẫu bị biến dạng 31 1.4.4 Hƣớng tiếp cận dựa diện mạo 33 1.4.4.1 Eigenface 33 1.4.4.2 Hƣớng tiếp cận dựa phân bố 34 1.4.4.3 Mạng Neural 35 1.5 Những khó khăn việc xác định khuôn mặt ngƣời 38 1.6 Kết luận .39 Chƣơng LÝ THUYẾT CĂN BẢN VỀ PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT VÀ NHẬN DẠNG VỊ TRÍ MẮT 40 2.1 Tổng quan thuật giải Adaboost-Haar like feature 40 2.2 Thuật giải Adaboost 42 2.2.1 Định nghĩa 42 HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ 2.2.2 Tƣ tƣởng 42 2.2.3 Thuật toán Adaboost 44 2.3 Haar-Like 48 2.3.1 Đặc trƣng Haar-Like 48 2.3.2 Mô tả việc áp dụng đặc trƣng Haar-like để phát khuôn mặt 49 2.3.3 Lợi ích 50 2.3.4 Cascade of Classifiers 52 2.4 Cascade of boosting classifiers 54 2.5 Nhận dang mắt 55 2.5.1 Giới thiệu 55 2.5.2 Xác định tâm mắt 57 2.5.3 Kiến thức ƣu tiên tiền xử lý 58 2.5.4 Đánh giá 59 2.5.5 Các kết 60 2.5.5 So sánh với mức 62 2.6 Kết luận .65 Chƣơng XÂY DỰNG BÀI TOÁN PHẦN MỀM VÀ KẾT QUẢ THỰC NGHIỆM .66 3.1 Ứng dụng từ lý thuyết 66 3.2 Sơ đồ khối mô 66 3.2.1 Khối camera - ảnh đầu vào 67 3.2.2 Khối tiền xử lý ảnh 67 3.2.3 Khối rút trích trọn đặc trƣng 67 3.2.4 Khối nhận dạng khôn mặt 67 3.2.5 Khối xác định vị trí mắt 67 3.2.6 Khối giám sát mắt 67 3.2.7 Khối chấp hành 67 3.3 Thuật toán video demo 68 3.3.1 Thuật toán điều khiển xe lăn 68 3.3.2 Hình ảnh Video demo 73 3.3.2.1 Hình ảnh demo 73 3.3.2.2 Video demo điều khiển xe lăn 76 3.4 Đánh giá kết .76 HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ 3.5 Kết luận 77 Kết luận 79 TÀI LIỆU THAM KHẢO 80 HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ DANH MỤC CÁC KÝ HIỆU CHỮ VIẾT TẮT Từ viết tắt Tiếng anh Tiếng việt Automatic Teller Machine Máy rút tiền tự động PIN Personal Identification Number Số nhận dạng cá nhân GA Genetic Algorithm (Tên riêng) PDF Probility Density Function Hàm mật độ xác suất ML Maximum- Likelihood Cực đại khả ATM CART Classification and Regression Trees Phân loại hồi quy DoG CIE Difference of Gauss Commission Internationale del‟Eclairage Khác biệt cảu Gauss Hiệp hội không gian màu Vùng màu-Độ bão hòa màu-Độ HSV Hue- Saturation- Value QMS Quadrature Mirror Filter Bộ lọc gương tứ cầu PCA Principal Component Analysis Phân tích thành phần SVM Support Vector Machines Phương pháp thống kê PDM Point Distribution Model Phân bố điểm ASM Active Shape Model Hoạt động hình dáng kiểu mẫu MLP Multilayer Perceptron Network Mạng truyền thẳng đa tầng Self Organizing Map Optical Character Recognition Mạng tự tổ chức Summed Area Table Tổng giá trị mảng SOM OCR SAT sáng Nhận dạng ký tự quang học RSAT Rotated Summed Area Table Đặc trưng xoayn giá trị mảng WEC Worse eye characteristic Đặc trưng mắt tệ ROC receiver operating characteristic Đường cong đặc trưng hoạt động HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ DANH MỤC CÁC BẢNG Bảng 2.1 So sánh hiệu suất với giá trị e Bảng 3.1 Đánh giá kết thực nghiệm HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ DANH MỤC ĐỒ THỊ HÌNH VẼ Hình 1.1 Hình ảnh với mức độ phân giải khác giảm dần Hình 1.2 Một lọai tri trức người nghiên cứu phân tích khuôn mặt Hình 1.3 Phương pháp chiếu Hình Chiếu phần ứng viên để xác định khuôn mặt Hình 1.5 Một mẫu khuôn mặt, có 16 vùng 23 quan hệ Hình Phân nhóm liệu khuôn mặt nhóm liệu khuôn mặt Hình 1.7 (a) Khoảng cách mẫu cần kiểm tra nhóm; (b) hai thành phần khoảng cách Hình 1.8 Mô hình mạng Neural theo Rowley Hình 1.9 Một ví dụ cho liệu vào liệu mạng định hướng Hình 2.1 Các phân loại yếu Hình 2.2 Mô hình phân tần kết h p phân loại yếu để xác định khuôn mặt Hình 2.3 Kết h p phận loại yếu thành phận loại mạnh Hình 2.4 Sơ đồ khối Hình 2.5 Đặc trưng Haar-Like Hình 2.6 Mô tả đặc trưng Haar-like Hình 2.8.Ví dụ cách tính nhanh tổng điểm ảnh vùng D ảnh với đặc trưng xoay 450 Hình 2.10 Cascade of boosting classifiers Hình 2.11 Cách tiếp cận nhiều tầng xác định tâm mắt Hình 2.12 Ví dụ trí tuệ nhân tạo với vòng tròn đen sáng Hình 2.13 Xác định vị trí mắt Hình 2.14 Kết xác định vị trí mắt Hình 2.15 Phân tích định lư ng phương pháp đề xuất cho sở liệu BioID Hình 3.1 Sở đồ khối trình xử lý ảnh đầu vào tới khối chấp hành Hình 3.2 Sở đồ thuật toán trình xử lý Hình 3.3 Sử dụng nháy mắt phải điều khiển xe lăn sang phải sang trái HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Hình 3.3 Sử dụng nháy mắt phải điều khiển xe lăn sang phải sang trái Hình 3.4 Sử dụng nháy mắt trái điều khiển xe lăn tiến lùi Hình 3.5 Sử dụng đóng đồng thời hai mắt điều khiển xe lăn dừng lại tiến Hình 3.6 Trạng thái bình thường xe lăn thực tiến HV: Lương Hồng Sơn Trang Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ MỞ ĐẦU - Lý chọn đề tài Hiện điện tử sâu vào đời sống người với nhiều thiết bị đại giúp người có chất lư ng ngày hoàn hảo Để có đư c hoàn hảo chọn vẹn đòi hỏi người phải sáng tạo, phát minh nghiên cứu nhiều sống đôi với phát triển phát triển tác động ngư c lại làm cho sống ngày lên Đó kết h p hài hòa, mềm dẻo người lao động với học tập sáng tạo nhu cầu sống Người bình thường có sống chất lư ng tốt hơn, đư c hưởng l i nhiều từ phát công nghệ Những phát minh chế tạo thiết bị hay sản phẩm họ điều nhằm mục đích phục vụ đa số không phục vụ tiểu số, lẽ mà người tàn tật thiệt thòi nhiều Để người tàn tật có đư c sống bình thường người bình thường điều Với dấu chấm hết người không tài giỏi có trái tim nhân hậu bao dung cứng rắn Đam mê không ngại khó, mệt mỏi bắt tay vào nghiên cứu, tìm tòi, học hỏi với ý trí hun đúc nung nấu từ lâu muốn làm để phục vụ họ Đó lý chọn đề tài nhằm nghiên cứu xe lăn điều khiển mắt để phục vụ cho người khuyết tật với mục đích giúp họ di chuyển người bình thường họ đến vị trí mà họ cần đến - Lịch sử nghiên cứu Hơn thập kỷ qua có nhiều công trình nghiên cứu toán xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu ngày hôm Các nghiên cứu từ toán đơn giản, ảnh có khuôn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hôm toán mở rộng cho ảnh màu, có nhiều khuôn mặt ảnh, có nhiều tư thay đổi ảnh Không mà mở rộng phạm vi từ môi trường xung quanh đơn giản (trong phòng thí nghiệm) môi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thật nhiều người HV: Lương Hồng Sơn Trang 10 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ tư ng vào thư viện chưa ? chưa thực add Khi phát đư c khuôn mặt, vị trí hai mắt đồng thời theo dõi giám sát thay đổi hai mắt thực chương trình điều khiển + Đóng hai mắt xe lăn dừng lại + Nháy mắt phải lần điều khiển xe lăn sang phải + Nháy mắt phải lần điều khiển xe lăn sang trái + Nháy mắt phải lần điều khiển xe lăn tiến + Nháy mắt phải lần điều khiển xe lăn lùi Code điều khiển xe lăn Rectangle eyeRect = ey.rect; eyeRect.Offset(f.rect.X, f.rect.Y); currentFrame.Draw(eyeRect, new Bgr(Color.Blue), 2); if (eyesDetected[0].Length == 1) { // nháy mắt trái int posistion = ey.rect.Left; if (posistion < 50) { if (Start_or_Stop1 == false) // Khi nháy mắt trái chuyển động tiến lùi { if (demtimer > 2) { FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng mắt trái lần một-TIẾN"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button1.Text = "MẮT TRÁI"; demtimer = 0; timer1.Enabled = true; Start_or_Stop1 = true; panel4.BackColor = Color.Green; panel2.BackColor = Color.Black; panel3.BackColor = Color.Black; panel1.BackColor = Color.Black; panel5.BackColor = Color.Black; } } else { if (demtimer > 2) { HV: Lương Hồng Sơn Trang 69 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng mắt trái lần hai-LÙI"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button1.Text = "MẮT TRÁI"; timer1.Enabled = true; demtimer = 0; Start_or_Stop1 = false; panel5.BackColor = Color.Green; panel1.BackColor = Color.Black; panel3.BackColor = Color.Black; panel2.BackColor = Color.Black; panel4.BackColor = Color.Black; } } } // nháy mắt phải chuyển động sang phải trái else { if (Start_or_Stop2 == false) // Khi an nut chuyen sang che khoi dong Timer1 { if (demtimer > 2) { FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng mắt phải lần một-SANG PHẢI"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button2.Text = "MẮT PHẢI"; demtimer = 0; timer1.Enabled = true; Start_or_Stop2 = true; panel2.BackColor = Color.Green; panel1.BackColor = Color.Black; panel3.BackColor = Color.Black; panel4.BackColor = Color.Black; panel5.BackColor = Color.Black; } } else { if (demtimer > 2) { FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); HV: Lương Hồng Sơn Trang 70 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng mắt phải lần hai-SANG TRÁI"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button2.Text = "MẮT PHẢI"; demtimer = 0; timer1.Enabled = true; Start_or_Stop2 = false; panel1.BackColor = Color.Green; panel4.BackColor = Color.Black; panel2.BackColor = Color.Black; panel3.BackColor = Color.Black; panel5.BackColor = Color.Black; } } } } //endTime.Second - startTime.Second) // eyeFrame = grabber.QueryFrame().Resize(320, 240, Emgu.CV.CvEnum.INTER.CV_INTER_CUBIC); //Action for each element detected //Với mắt làm việc đây! if (i == 0) { leftEye=currentFrame.Copy(ey.rect).Convert().Resize(110,55,Emgu.CV.CvEnum.INTER.CV_INTER _CUBIC); leftEyes = currentFrame.Copy(ey.rect).Convert(); leftEyes = leftEye.Resize(110, 55, Emgu.CV.CvEnum.INTER.CV_INTER_CUBIC); } else { rightEye = currentFrame.Copy(f.rect).Convert().Resize(100, 100, Emgu.CV.CvEnum.INTER.CV_INTER_CUBIC); rightEyes = currentFrame.Copy(f.rect).Convert(); rightEyes = rightEye.Resize(100, 100, Emgu.CV.CvEnum.INTER.CV_INTER_CUBIC); } i++; } } else { eyeDeteched = false; } // mở hai mắt chạy thẳng if (eyeDeteched == true) { //panel4.BackColor = //panel1.BackColor = //panel3.BackColor = //panel2.BackColor = //stop(); //btnAddFace.Enabled Color.Green; Color.Black; Color.Black; Color.Black; = true; } // đóng mắt STOP else HV: Lương Hồng Sơn Trang 71 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ { if (Start_or_Stop3 == false) // ấn nút chuyển động sang chế độ Timer1 { if (demtimer > 2) { FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng hai mắt-STOP"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button3.Text = "ĐÓNG MẮT"; demtimer = 0; timer1.Enabled = true; Start_or_Stop3 = true; panel3.BackColor = Color.Green; panel1.BackColor = Color.Black; panel2.BackColor = Color.Black; panel4.BackColor = Color.Black; panel5.BackColor = Color.Black; } } else { if (demtimer > 2) { FileStream fs = new FileStream("D://LICH SU.txt", FileMode.Append); StreamWriter Writerfile = new StreamWriter(fs, Encoding.UTF8); if (tickCheck.Checked == true) { Writerfile.WriteLine(""); Writerfile.WriteLine(textBox2.Text); Writerfile.WriteLine("Đóng hai mắt-STOP"); Writerfile.Flush(); } else //Writerfile.WriteLine("0"); Writerfile.Close(); // button3.Text = "ĐÓNG MẮT"; demtimer = 0; timer1.Enabled = true; Start_or_Stop3 = false; panel3.BackColor = Color.Green; panel1.BackColor = Color.Black; panel2.BackColor = Color.Black; panel4.BackColor = Color.Black; panel5.BackColor = Color.Black; } } } } } t = 0; HV: Lương Hồng Sơn Trang 72 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ 3.3.2 Hình ảnh Video demo 3.3.2.1 Hình ảnh demo Hình 3.3 Sử dụng nháy mắt phải điều khiển xe lăn sang phải sang trái HV: Lương Hồng Sơn Trang 73 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Hình 3.4 Sử dụng nháy mắt trái điều khiển xe lăn tiến lùi HV: Lương Hồng Sơn Trang 74 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Hình 3.5 Sử dụng đóng đồng thời hai mắt điều khiển xe lăn dừng lại HV: Lương Hồng Sơn Trang 75 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Hình 3.6 Trạng thái bình thường xe lăn thực tiến 3.3.2.2 Video demo điều khiển xe lăn Khởi động chạy phần mềm demo máy tính 3.4 Đánh giá kết Trong trình thực nghiệm phần mềm điều khiển xe lăn nhiều hạn chế sai lệnh điều khiển Tuy nhiên bước đầu, tảng để phát triển phần mềm ứng hoàn thiện cho tương lai mở rộng Sau bảng đánh giá thực nghiệm mức độ điều kiện ánh sáng bình thường HV: Lương Hồng Sơn Trang 76 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ BẢNG ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM PHẦN MỀM ĐIỀU KHIỂN XE LĂN Số lần điều khiển Khoảng cách vị trí mắt tới camera Số lần thực chƣơng trình Số lần không thực chƣơng trình Tỉ lệ % đạt 1000 20cm + 5cm 892 108 89% 1000 30cm ± 5cm 938 62 94% 1000 40cm ± 5cm 357 643 36% Bảng 3.1 Đánh giá kết thực nghiệm Điều kiện giới hạn phạm vi hoạt đ ng camera - Chỉ cho người dùng điều khiển, người dấn đến nhận dạng sai làm sai lệch điều khiển - Các kết khác phụ thuộc vào khoảng cách mắt với Camera - Camera có độ phân giải, độ nét cao cho kết tốt - Điều kiện ánh sáng khác cho kết đánh giá khác - Phần mềm không sử dụng đư c cho người đeo kính phản quang kính cao phần mềm không xác định đư c vị trí tâm mắt Nên không xác định đư c vị trí mắt - Khoảng cách lớn 40cm phần mềm không xác định đư c mắt dẫn đến kết điều khiển trạng thái STOP 3.5 Kết luận Qua nhiều lần thực chay chương trình phần mềm chạy thực tương đối cao xác theo lệnh điều khiển người điều khiển mức khoảng cách từ mắt tới camera 30cm ± 5cm HV: Lương Hồng Sơn Trang 77 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Tuy nhiên phần mềm nhiều hạn chế mức độ ánh sáng khác nhau, khoảng cách khác Khoảng cách xa nhận biết bắt mắt cành khó phần mềm bị hạn chế Để đảm bảo phần mềm chạy tốt giám sát đư c thay đổi mắt tương đối xác người thiết kế nên để khoảng camera cách vị trí khuôn mặt người dùng 30cm HV: Lương Hồng Sơn Trang 78 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ Kết luận Hiện người tàn tật liệt tứ chi muốn di chuyển nhà, hay phải người phục vụ để đẩy xe đưa họ Đó bất tiện ngây phiền cho người thân đồng thời người tàn tật không thỏa mái phải làm phiền Do đề tài đư c xây dựng mục đích để đáp ứng nhu cầu người tàn tật liệt tứ chi ứng dụng toán làm móng để xây dựng phần mềm ứng dụng khác cần dùng mắt để điều khiển, ví dụ phần mềm nghe nhạc hay xem phim dùng mắt điều khiển chuyển hát, chuyển video, bệnh viện dùng cho bệnh nhân dùng mắt điều khiển bấm chuông gọi bác sĩ phòng trực trường h p người nhà chăm sóc phần mềm dùng mắt nói chuyện dành cho người câm điếc… Trong trình nghiên cứu luân văn đạt đư c kết sau: Thứ nhất: sử dụng hiệu thuật toán Adaboost áp dụng vào phần mềm nhận dạng đư c khuôn mặt, phân biệt đối tư ng mặt, xác định tính xác khuôn mặt ai, tên thông báo kết Thứ hai: xác định xác vị trí mắt, theo dõi vết chuyển động mắt, giám sát thay đổi mắt Thứ ba: phân biệt có thay đổi mắt nhắm mắt trái, nhắm mắt phải, hai mắt từ đưa lệnh điều khiển chuyển động sang trái, sang phải,… Thứ tƣ: hướng mở, luận văn xây dựng bước tiến khác với phương pháp điều khiển nguyên thủy trước dùng tay chân để điều khiển, phương pháp dùng mắt điều khiển Do điều kiện mặt thời gian hiểu biết học hỏi hạn chế nên bước xây dựng phần mềm ứng dụng đề tài nhiều thiếu sót, ứng dụng thực tiễn chưa cao Qua mọng đư c đóng góp tr giúp quý thầy cô toàn thể anh chị, bạn để đề tài đư c hoàn thiện xác ứng dụng thực tiễn cao Trân trọng cám ơn ! HV: Lương Hồng Sơn Trang 79 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ TÀI LIỆU THAM KHẢO [1] Accurate yey centre localisation by means of grandients , Fabian Timm and Erhardt Barth [2] Andrew King, “A Survey of Methods for Face Detection”, 2003 [3] A Yuille, P Hallinan, and D Cohen, “Feature Extraction from Faces Using eformable Templates”, Int’l J Computer Vision, vol 8, no 2, pp 99-111, 1992 [4] D.G Kendall, “Shape Manifolds, Procrustean Metrics, and Complex Projective Shapes”, Bull London Math Soc., vol 16, pp 81-121, 1984 [5] E Osuna, R Freund, and F Girosi, “Training Support Vector Machines: An Application to Face Detection” Proc IEEE Conf Computer Vision and Pattern Recognition, pp 130-136, 1997 [6] Fuzhen Huang and Jianbo Su, “Multiple Face Contour Detection Using adaptive Flows”, Sinobiometrics 2004, LNCS 3338, pp 137-143, SpringerVerlag Berlin eidelberg, 2004 [7] G Yang and T S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, vol 27, no 1, pp 53-63, 1994 [8] H.P Graf, T Chen, E Petajan, and E Cosatto, “Locating Faces and Facial Parts”, Proc First Int’l Workshop Automatic Face and Gesture Recognition, pp 41-46, 1995 [9] J Canny, “A Computational Approach to Edge Detection”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 8, no 6, pp 679-698, June 1986 [10] J Sobottka and I Pitas, “Segmentation and Tracking of Faces in Color Images”, Proc Second Int’l Conf Automatic Face and Gesture Recognition, pp 236-241, 1996 [11] K Lam and H Yan, “Fast Algorithm for Locating Head Boundaries,” J.Electronic Imaging, vol 3, no 4, pp 351-359, 1994 [12] K.V Mardia and I.L Dryden, “Shape Distributions for Landmark Data”, Advanced Applied Probability, vol 21, pp 742-755, 1989 HV: Lương Hồng Sơn Trang 80 Trường ĐH Bách Khoa Hà Nội [13] Luận văn thạc sĩ Ming-Hsuan Yang, David Kriegman, and Narendra Ahuja, "Detecting Faces in Images: A Survey", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol 24, no 1, pp 34-58, 2002 [14] M Kirby and L Sirovich, “Application of the Karhunen-LoeveProcedure for the Characterization of Human Faces”, IEEE Trans Pattern Analysis and Machine Intelligence, vol 12, no 1, pp 103-108, Jan 1990 [15] P Sinha, “Object Recognition via Image Invariants: A Case Study”, Investigative Ophthalmology and Visual Science, vol 35, no 4, pp 1735-1740, 1994 [16] P Sinha, “Processing and Recognizing 3D Forms,” PhD thesis, Massachusetts Inst of Technology, 1995 [17] P Viola and M J Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, Kluwer Academic Publishers, Netherlands, 2004 [18] T.F Cootes and C.J Taylor, “Locating Faces Using Statistical Feature Detectors”, Proc Second Int’l Conf Automatic Face and Gesture Recognition, pp 204-209, 1996 [19] T.K Leung, M.C Burl, and P Perona, “Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching”, Proc Fifth IEEE Int’l Conf Computer Vision, pp 637-644, 1995 [20] T Sakai, M Nagao, and S Fujibayashi, “Line Extraction and Pattern etection in a Photograph”, Pattern Recognition, vol 1, pp 233-248, 1969 [21] Robin Hewitt, “Seeing with OpenCV: A Five-Part Series”, 2007 [22] Henry A Rowley, Shumeet Baluja, and Takeo Kanade, “Neural NetworkBased Face Detection”, IEEE Trans Pattern Analysis and Machine [23] YoungOul Kim, SungHo Jang, SangJin Kim, chang- Woo Park, and Joonki Paik, “Pose-Invariant Face Detection Using Edge-Like Blob Map and Fuzzy Logic“, IEA/AIE 2005, LNCS 3533, pp 695-704, Springer-Verlag Berlin Heidelberg, 2005 HV: Lương Hồng Sơn Trang 81 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ [24] Henry A Rowley, Shumeet Baluja, and Takeo Kanade, “Rotation Invariant Neural Network-Based Face Detection”, Proc IEEE Conf Computer Vision and Pattern Recognition, pp 38-44, 1998 [25] Hazem El-Bakry, “A Rotation Invariant Algorithm for Recognition”, Fuzzy day 2001, LNCS 2206, pp 284-290, Springer-Verlag Berlin Heidelberg, 2001 [26] Các giảng neural networks web [27] http://vi.wikipedia.org [28] Tạp chí khoa học công nghệ,Đại học Đà Nẵng – Số 4(27).2008 [29] An Introduction to Neural Networks.pdf [30] http:/ /codeproject.com [32] A Jonathan Howell and Hilary Buxton, “Visual Mediated Interaction Using Learnt Gestures and Camera Control”, GW 2001, LNAI 2298, pp 272-284, Springer -Verlag Berlin Heidelberg, 2002 [33] Daniel Keren, Margarita Osadchy, and Craig Gotsman, “Antifaces: A Novel, Fast Method for Image Detection”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol 23, no 7, IEEE, 2001 [35] M.Castrillon Santana, J Lorenzo Navarro, J Cabrera Gamez, F M Hernandez Tejera, and J Mendez Rodriguez, “Detection of Frontal Faces in Video Streams”, Biometric Authentication, LNCS 2359, pp 91-102, SpringerVerlag Berlin Heidelberg, 2002 [36] Chang-Woo Lee, Yeon-Chul Lee, Sang-Yong Bak, and Hang-Joon Kim, “Real-Time Face Detection and Tracking Using PCA and NN”, PRICAI 2002, LNAI 2417, pp 615, Springer-Verlag Berlin Heidelberg [38] Hazem El-Bakry, “A Rotation Invariant Algorithm for Recognition”, Fuzzy day 2001, LNCS 2206, pp 284-290, Springer-Verlag Berlin Heidelberg, 2001 [39] Kenji Iwata, Hitoshi Hongo, Kazuhiko Yamamoto, and Yoshinori Niwa, “Robust Facial Parts Detection by Using Four Directional Features and Relaxation Matching“, KES 2003, LNAI 2774, pp 882-888, SpringerVerlag Berlin Heidelberg, 2003 HV: Lương Hồng Sơn Trang 82 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ [41] Hongmin Zhang, Debin Zhao, Wen Gao, and Xilin Chen, “Combining Skin Color Model and Neural Network for Rotation Invariant Face Detection”, ICMI 2000, LNCS 1948, pp 237-244, Springer-Verlag Berlin Heidelberg, 2000 [42] Rob McCready, “Real-Time Face Detection on a Configurable Hardware System”, FPL 2000, LNCS 1896, pp 157-162, Springer-Verlag Berlin Heidelberg, 2000 [43] J Fritsch, S Lang, M Kleinehagenbrock, G A Fink, and G Sagerer, “Improving Adaptive Skin Color Segmentation by Incorporating Results from Face Detection“, In Proc IEEE Int Workshop on Robot and Human Interactive Communication, Germany, IEEE, 2002 [44] Hansen, D and Ji, Q (2010) In the eye of the beholder: A survey of models for eyes and gaze IEEE Trans On PAMI, 32(3):478–500 [45] Valenti, R and Gevers, T (2008) Accurate eye center location and tracking using isophote curvature In Proceedings of the CVPR, pages 1–8, Alaska IEEE [46] Tổng quan phương pháp xác định khuôn mặt người - Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc Doãn HV: Lương Hồng Sơn Trang 83 [...]... mang ý nghĩa khoa học của ngành kỹ thuật máy tính, để xác định các vị trí và kích thước của các khuôn mặt người trong các ảnh bất kì Kỹ thuật này dựa trên nhận biết các đặc trưng của khuôn mặt và bỏ qua những thứ khác như: song, núi, bầu trời, tòa nhà, cây cối, động vật, cơ thể người… 1.3 Ứng dụng của phƣơng pháp xác định khuôn mặt ngƣời Có nhiều ứng dụng đã đư c sử dụng trọng cuộc sống hoặc đang đư... thẳng ứng trong ảnh đen trắng Cho đến ngày hôm nay bài toán mở rộng cho ảnh màu, có nhiều khuôn mặt trong cùng một ảnh, có nhiều tư thế thay đổi trong ảnh Đến nay các bài toán xác định mặt người đã mở rộng với nhiều miền nghiên cứu như nhận dạng khuôn mặt, định vị khuôn mặt, theo dõi mặt người hay nhận dạng cảm xúc mặt người… Phát hiện mặt người trong ảnh là phần đầu tiên của một hệ thống nhận dạng. .. của một hệ thống nhận dạng mặt người Các hệ thống nhận dạng khuôn mặt đư c bắt đầu xây dựng từ những năm 1970, tuy nhiên do còn hạn chế về các luật xác định mặt người nên chỉ đư c áp dụng trong một số ứng dụng như nhận dạng thẻ căn cước Nó chỉ đư c phát triển mạnh mẽ từ những năm 1990 khi có những tiến bộ trong công nghệ video và ngày nay thì các ứng dụng của xác định mặt người đã trở nên phổ biến trong... ứng dụng  Bảo mật: các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ nhận dạng mặt người của laptop, công nghệ này cho phép chủ nhân của máy tính chỉ cần ngồi trước máy là có thể đăng nhập đư c Để sử dụng công nghệ này, người dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình và cho máy “học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng nhập sau này  Nhận dạng. .. Gauss để mô hình hóa Một mẫu khuôn mặt đư c đưa ra thông qua trung bình tương ứng cho một tập đa hướng, đa tỷ lệ của bộ lọc đạo hàm Gauss Từ một ảnh, các đặc trưng ứng viên đư c xác định bằng cách so khớp từng điểm ảnh khi lọc tương ứng với vector mẫu (tương tự mối tương quan), chọn hai ứng viên đặc trưng ứng đầu để tìm kiếm cho các đặc trưng khác của khuôn mặt Giống như xây dựng một đồ thị quan hệ... xác định ứng viên khuôn mặt, từ ứng viên này sau đó so khớp với các mẫu đã xác định trước để biết ứng viên có phải là khuôn mặt hay không Tỷ lệ chính xác là 80% Darrell dùng phân đoạn đề tìm ứng viên, dùng ứng viên này để xác định khuôn mặt người dựa vào mẫu rồi theo vết chuyển động của người Dowdall dùng phổ của màu da người để xác định ứng viên Sau đó chiếu các ứng viên này để so sanh với các mẫu có... dựng mẫu mỗi đặc trưng gồm bốn đặc trưng theo bốn hướng: ngang, bên phải phía trên, ứng, và bên trái phía trên của khuôn mặt chụp thẳng hoặc gần thẳng trong ảnh xám Để so khớp từng phần của mẫu kết h p xác suất các láng giềng Tỷ lệ chính xác của phương pháp này là gần 99% Keren xây dựng khái niệm Antifaces để xác định khuôn mặt người (tổng quát cho các đối tư ng 3-chiều) Dựa trên nhiều loại mẫu kết... khớp mẫu theo hướng cạnh để xác định hình dáng khuôn mặt ở dạng chụp hình thẳng ở dạng xám Tỷ lệ chính xác trên 91% Shu và Jain xây dựng ngữ nghĩa khuôn mặt Ngữ nghĩa theo hình dáng và HV: Lương Hồng Sơn Trang 30 Trường ĐH Bách Khoa Hà Nội Luận văn thạc sĩ vị trí các thành phần khuôn mặt Hai ông từ bộ ngữ nghĩa này xây dựng một đồ thị quan hệ để dễ dàng so khớp khi xác định khuôn mặt người Iwata xây dựng. .. các hàm tính giá trị dựa trên quan hệ cân đối của khuôn mặt và vị trí hai mắt Đỉnh của mũi và tâm của miệng đư c ước lư ng qua khoảng cách tâm mắt Mặt hạn chế của phương pháp này là chỉ xác định trên ảnh chụp thẳng khuôn mặt, chỉ có duy nhất một khuôn mặt trong ảnh, và xác định đư c vị trí của cả hai mắt Trái ngư c với phương pháp xử lý trên điểm ảnh, một phương pháp đư c xây dựng trên cấu trúc, màu... quan của ảnh Các vector riêng sau này đư c biết đến với cái tên Eigenface Turk và Pentland áp dụng PCA để xác định và nhận dạng khuôn mặt Tương tự, dùng PCA trên tập huấn luyện ảnh các khuôn mặt để sinh các ảnh riêng (còn gọi là eigenface) để tìm một không gian con (không gian khuôn mặt) trong không gian ảnh Các ảnh khuôn mặt đư c chiếu vào không gian con này và đư c gom nhóm lại Tương tự các ảnh không