Mô hình phát hiện và nhận dạng cử động mắt của đối tượng trên video

giáo dục đào tạo trường đại học bách khoa hà nội - LUẬN VĂN THẠC SĨ KHOA HỌC MƠ HÌNH PHÁT HIỆN VÀ NHẬN DẠNG CỬ ĐỘNG MẮT CỦA ĐỐI TƯỢNG TRÊN VIDEO NGÀNH: ĐO LƯỜNG VÀ CÁC HỆ THỐNG ĐIỀU KHIỂN MÃ SỐ: HOÀNG VĂN HẢI Người hướng dẫn khoa học: PGS TSKH TRẦN HOÀI LINH Hà Nội - 2009 I Lời cam đoan Tôi xin cam đoan cơng trình nghiên cứu tơi chưa cơng bố cơng trình chưa đăng tài liệu nào, tạp chí, hội nghị khác Những kết nghiên cứu luận văn trung thực Hà Nội, ngày 11 tháng 11 năm 2009 Tác giả luận văn Hoàng Văn Hải II Mục lục Lời cam đoan I Mục lục .II Danh mục hình vẽ III Lời cám ơn IV Mở đầu V I Tổng quan I.1 Giới thiệu I.2 Cơ sở lí thuyết I.2.1 Đại cương ảnh số I.2.2 Xử lý ảnh số Matlab I.2.3 Một số thuật toán toán nhận dạng mắt người I.3 Giải pháp thực 11 II Phân tích, thiết kế mơ hình phát nhận dạng cử động mắt đối tượng 13 II.1 Sơ đồ khối mơ hình 13 II.2 Chức khối 14 II.2.1 Khối đọc luồng video từ camera 14 II.2.2 Khối trích ảnh từ luồng video & chuẩn hóa 15 II.2.3 Khối nhận dạng có người ảnh 16 II.2.4 Khối xác định biên giới đầu người 16 II.2.5 Khối phát vị trí mắt người nhận dạng trạng thái mắt 16 III Thực chi tiết 18 III.1 Khối đọc luồng video từ camera 18 III.1.1 Camera thu thập 18 III.1.2 Đọc luồng video từ camera 18 III.2 Khối trích ảnh từ luồng video & chuẩn hóa 19 III.2.1 Trích xuất ảnh từ luồng video 19 III.2.2 Chuẩn hóa ảnh 19 III.3 Khối nhận dạng có người ảnh 23 III.4 Khối xác định biên giới đầu người 24 III.4.1 Tác dụng lượng ảnh Eimg (v(s)) 25 III.4.2 Năng lượng nội snake Eint(v(s)) 27 III.4.3 Tối thiểu hóa hàm lượng snake 29 III.4.4 Phép xấp xỉ rời rạc 32 III.4.5 Xử lý nhận dạng biên giới đầu người 35 III.5 Khối xác định vị trí mắt người cảnh báo 37 IV Kết thực hướng phát triển đề tài 41 IV.1 Kết thực 41 IV.1.1 Cấu trúc liệu liệu 41 IV.1.2 Một số hàm lập trình sử dụng 41 IV.1.3 Lưu đồ thuật toán 44 IV.1.4 Một vài trường hợp sai 49 IV.1.5 Tổng hợp kết hai tập số liệu mẫu 53 IV.2 Tổng kết hướng phát triển đề tài 53 IV.2.1 Kết luận văn 54 IV.2.2 Hướng phát triển đề tài 54 Tài liệu tham khảo 55 Phụ lục 58 III Danh mục hình vẽ Hình 1.1: Đường cong cảm nhận S1, S2, S3 Hình 1.2: Hệ tọa độ RGB Hình 1.3: Đường biên đầu người 10 Hình 1.4: Mơ hình xác định vị trí mắt sử dụng PC 11 Hình 2.1: Sơ đồ khối mơ hình thực 14 Hình 2.2: Sơ đồ khối đọc luồng video tử camera 15 Hình 3.1: Hiệu cơng thức đề xuất 20 Hình 3.2: Ảnh xám histogram ảnh mẫu 21 Hình 3.3: Ảnh histogram chụp điều kiện ánh sáng 22 Hình 3.4: Ảnh histogram sau điều chỉnh độ sáng 23 Hình 3.5: Ảnh mẫu, ảnh có người mức xám tương ứng 23 Hình 3.6: Minh họa lượng ảnh 26 Hình 3.7: Minh họa đường cong tham số v số vector điểm v(s) 28 Hình 3.8 : Đường viền khởi tạo cho snake 36 Hình 3.9 : Một vài kết khoanh vùng biên giới đầu người 37 Hình 3.10: Thu hẹp pham vi tìm kiếm mắt 38 Hình 3.11: Tách kính khỏi vùng khả nghi mắt 39 Hình 3.12: tách tóc khỏi vùng khả nghi mắt 39 Hình 3.13: tách lơng mày khỏi vùng khả nghi mắt 40 Hình 3.14: Trích xuất đồng tử hai mắt 40 Hình 4.1: Lưu đồ thuật tốn chương trình 45 Hình 4.2: Lưu đồ thuật tốn hàm chuẩn hóa ảnh 46 Hình 4.3: Lưu đồ thuật tốn hàm tìm biên giới đầu người 47 Hình 4.4: Lưu đồ thuật tốn lọc bỏ vùng có diện tích q nhỏ q lớn 48 Hình 4.5: Lưu đồ thuật tốn đoạn chương trình lọc bỏ mũi, miệng, lơng mày, tai 48 Hình 4.6: Lưu đồ thuật tốn nhận dạng trạng thái mắt 49 Hình 4.7: Nhận dạng sai bị chiếu sáng 50 Hình 4.8: Nhận dạng sai mắt sâu 50 Hình 4.9: Nhận dạng sai đeo kính 51 Hình 4.10: Nhận dạng sai ảnh nhịe 52 Hình 4.11: Nhận dạng sai khoanh vùng biên giới chưa xác 52 Hình 5.1: Giao diện chương trình nhận giao thiết kế 58 Hình 5.2: Giao diện chạy chương trình nhận dạng 59 Hình 5.3: Lựa chọn file avi để nhận dạng 59 Hình 5.4: Trích xuất ảnh để nhạn dạng từ file video 60 Hình 5.5: Kết khoanh vùng biên giới đầu người 60 Hình 5.6: Lọc bỏ vùng có kích thước mắt 61 Hình 5.7: Hiển thị hai vùng đồng tử mắt đối tượng video 62 Hình 5.8: Hiển thị trạng thái mắt đối tượng 62 IV Lời cám ơn Em xin gửi lời cảm ơn sâu sắc PGS.TSKH.TRẦN HỒI LINH, người tận tình giúp đỡ em nhiều trình học tập làm luận văn Em xin chân thành cảm ơn TS VŨ QUANG THÀNH – Giám đốc công ty TNHH Tin hoc & Điện tử Thăng Long, người giúp đỡ em nhiều kiến thức kinh nghiệm thực tế Em xin cảm ơn thầy cô giáo trường Đại Học Bách Khoa, môn Kỹ thuật đo – Tin học công nghiệp cho em kiến thức, kinh nghiệm học giúp trưởng thành trình học tập trường Cuối cho gửi lời biết ơn kính trọng sâu sắc tới bố mẹ, người luôn bên lúc khó khăn nhất, ln chỗ dựa tinh thần vững cho Hà Nội, ngày 11 tháng 11 năm 2009 Học viên thực Hoàng Văn Hải V Mở đầu Kinh tế phát triển, nhu cầu lại phương tiện ô tô, xe máy ngày tăng, kéo theo mật độ giao thông tăng cao Số vụ tai nạn giao thơng có xu hướng tăng lên, nhiều trường hợp, đặc biệt với lái xe đường dài, lái xe chạy ban đêm, tượng lái xe ngủ gật gây tai nạn ngày tăng Theo thống kê , Theo thống kê, Đức năm có khoảng 3.000 tai nạn gây lái xe bị mệt mỏi sức Tại Mỹ, theo Cơ quan An tồn giao thơng quốc gia (NHTSA), số lớn nhiều: năm có đến 100,000 tai nạn mệt mỏi lái xe, khiến 1,500 người chết năm Các nhà khoa học ước lượng khoảng 10-20% tai nạn nghiêm trọng xảy lái xe ngủ gà ngủ gật Một tài xế bị coi ngủ gật nhắm mắt thay chớp mắt, đầu lắc lư phía trước gật gù phía sau thay đảo mắt quan sát đường hay nhìn gương, mắt thường đờ đẫn tập chung điểm cố định Tuy nhiên, khác với quan niệm thường thấy, phần lớn vụ tai nạn buồn ngủ xảy vào ban ngày thời điểm giao thông lại đông đúc Những vụ tai nạn xảy ban đêm lại thường có hậu nặng nề tốc độ cao tài xế có Hiện nay, số hãng ô tô nghiên cứu, phát triển lắp đặt hệ thống nhận biết cảnh báo lái xe ngủ gật giúp làm giảm bớt vụ tai nạn Chẳng hạn, hệ thống chống ngủ gật Saab có tên gọi Driver Attention Warning, sử dụng hai camera hồng ngoại loại nhỏ Một đặt cửa phía lái bảng điều khiển trung tâm Chúng chịu trách nhiệm ghi phân tích chuyển động mắt tài xế Nếu camera phát thấy nhắm mắt khoảng thời gian lâu bình thường hệ thống cảnh báo lái xe Hoặc tài xế quay đầu hướng khác lâu ghế rung lên VI Một hệ thống tương tự Driver Attention Warning Saab thương mại hóa mẫu xe hạng sang Lexus Lexus sử dụng camera hồng ngoại để phát tài xế đưa mặt hướng gói cơng nghệ tránh va chạm Pre-Collision khơng phải thiết bị độc lập Volvo sử dụng phương pháp khác với Saab thu kết tương tự cảnh báo tái xế giảm thiểu mức độ nguy hiểm Có tên gọi Driver Alert, cơng nghệ Volvo đo khoảng cách xe mặt đường để từ nhận tài xế đưa xe vào trạng thái điều khiển Khi tình trở nên nguy hiểm mà không ý, tiếng báo hiệu vang lên dòng chữ "Cảnh báo nguy hiểm, cần nghỉ ngơi" xuất cách cafe bốc khói Volvo tính đến việc quét mắt tài xế để cảnh báo vấn đề tồn người có kích thước khác dẫn đến kết sai Sắp tới hai cơng nghệ có mẫu S80, V70 XC70 dạng thiết bị tùy chọn Mercedes vừa cho biết họ có cơng nghệ có khả ngăn chặn tình trạng mệt mỏi này, cảnh báo tài xế trước anh ta/ cô ta gây tai nạn Đó Cơng nghệ chống ngủ gật Attention Assist antisleep Hệ thống Attention Assist tập hợp thông tin tài xế vài phút hành trình cách sử dụng gia tốc (sự tăng giảm tốc độ), điều khiển, liệu từ mơi trường bên ngồi Dữ liệu bất biến sử dụng để so sánh với lần cập khác phần lại hành trình Tại thời điểm hệ thống điện phát mệt mỏi, dùng tiếng ồn cảnh báo dịng chữ thơng báo hình “Bạn ngủ gật Hãy nghỉ ngơi!” chẳng hạn Đồng thời, Mercedes-Benz gấp rút chế tạo hệ thống tiêu chuẩn phát ngủ gật tài xế dòng E-class sedan vào năm 2009 VII Cũng tương tự, BMW giới thiệu hệ thống nhận diện người lái nhằm ngăn ngừa ngủ gật vào năm 2006, nhiều hãng xe sử dụng nhằm nâng cao an toàn cho người lái Hệ thống Face Recognition kết hợp chuyển động ghế ngồi camera hồng ngoại vơ-lăng qt khn mặt để kiểm tra tình trạng tỉnh táo người lái Đồng thời, luồng gió lạnh thổi vào gáy người lái giúp họ tránh ngủ gật nhận thấy nguy Thậm chí, có thể, hệ thống điều khiển vận hành lệnh giọng nói, điều chỉnh chân ga giảm xóc! cịn sử dụng hệ thống Face Recognition để chống trộm Trong hệ thống chống ngủ gật lái xe, việc phát nhận dạng cử động mắt yếu tố tảng hệ thống đưa định cảnh báo Vì vậy, với điều kiện thuận lợi kinh tế, kỹ thuật với nhu cầu xã hội thực tế nay, việc giải toán chống ngủ gật cho lái xe điều kiện hoàn toàn khả thi cần thiết Trên sở đó, luận văn tơi nghiên cứu “Mơ hình phát nhận dạng cử động mắt đối tượng video” Nội dung luận văn tập trung giải vấn đề sau:  Khoanh vùng biên giưới đầu người  Xác định trạng thái đóng mở mắt Để thực nội dung trên, luận văn chia làm phần Phần I: Tổng quan Trình bày vấn đề khoa học, thực tiễn đề tài, tóm tắt nội dung thực luận văn, đưa mơ hình mơ hình nhận dạng Phần II: Phân tích, thiết kế hệ thống Nội dung bao gồm tóm tắt mơ hình thực luận văn qua sơ đồ khối chức Phần III: Thực chi tiết VIII Chi tiết khối chức năng: Đây phần luận văn tập trung giải vấn đề sau:  Đọc luồng video từ camera  Trích ảnh từ luồng video chuẩn hóa  Xác định biên giới đầu người  Xác định ví trí, trạng thái mắt người  Kiểm tra mơ hình Phần IV: Kết thực hướng phát triển đề tài - Đưa kết thực sở mẫu thu thập, tập trung phân tích kết nhận dạng thành cơng kết chưa tập trung phân tích trường hợp chưa thành cơng - Đưa kiến nghị hướng phát triển đề tài - Thực demo chương trình Dự kiến kết - Có hiểu ảnh số, xử lý ảnh số video, kỹ thuật xử lý ảnh số ứng dụng toán nhận dạng hình ảnh - Xây dựng mơ hình nhận dạng cử động mắt đối tượng video I Tổng quan I.1 Giới thiệu Nhận dạng khả người Con người có khả nhận diện gần 1000 khuôn mặt suốt đời mình, có khả nhận khn mặt mà khơng gặp chút khó khăn Việc ứng dụng phương pháp nhận dạng khuôn mặt, phận gương mặt mà chủ yếu mắt bằng máy tính bắt đầu khoảng 40 năm trước, với ứng dụng nhận dạng khuôn mặt rộng rãi Ví dụ nhận dạng cảnh báo lái xe ngủ gật, giao tiếp người – máy hệ thống đại, xác nhận cảm xúc người, nhận dạng mặt người hệ thống bảo mật, nhận dạng tội phạm, nhân trắc học Có nhiều cách tiếp cận khác để nhận dạng mặt người phát triển liên tục Hầu hết, nhận dạng mặt người dựa đặc điểm nhân trắc học, tức người ta dựa số liệu thống kê đo khoảng cách vị trí đặc trưng hình dạng gương mặt người Mặc dù vậy, nhận dạng mặt người nói chung cử động mắt nói riêng tới chưa giải mong muốn nguyên nhân sau: Thứ nhất: khoảng cách, vị trí, góc lấy ảnh, tu người chụp độ nghiêng máy ảnh góc cạnh khác chụp trực diện, nghiêng sang trái, nghiêng sang phải ngửa lên hay cúi xuống ảnh màu sắc đường nét khác chí xuất hay biến số phần gương mặt Thứ hai: xuất “ngẫu nhiên” kính, râu, nốt ruồi, sẹo, mụn nhọt, vết bầm tím, tràm, nám hay che khuất gương mặt cho vấn đề nhận dạng trở nên phức tạp khó khăn nhiều Thứ ba: biểu cảm thái độ người làm biến đổi ảnh nhiều làm nếp nhăn, màu sắc gương mặt thay đổi tạo đường danh giới màu sắc 49 Lưu đồ thuật toán xác định trạng thái đóng mở mắt Hình 4.6: Lưu đồ thuật toán nhận dạng trạng thái mắt IV.1.4 Một vài trường hợp sai Chương trình hoạt động tốt điều kiện đủ ánh sáng phân bố đồng đều, nhiên điều kiện thực tế chương trình cịn nhận dạng sai số trường hợp sau: a Do bị hắt nắng không Hắt nắng chiếu sáng đèn có kích thước nhỏ gây tượng nhận dạng sai xuất vùng tối mắt đặc biệt quay đầu tạo Như hình 4.7 bị hắt nắng nên phần mắt trái người ảnh xuất vùng tối có chu vi diện tích q lớn nên bị hàm lọc bỏ vùng có diện tích nhỏ lớn lược Trên vùng tóc xuất vùng đen phân bố rời rạc cách ngẫu nhiên, làm 50 xuât thêm vùng mắt Hơn số pixel vùng lớn, chương trình nhận dạng bị sai Vì nhắm mắt số pixel vùng mắt phải nhỏ Hình 4.7: Nhận dạng sai bị chiếu sáng Để cải thiện kết nhận dạng ta cần tiến hành cân độ sáng toàn ảnh Một cách chia ảnh thành hai nửa theo chiều dọc, sau cân mức xám hai nửa ảnh cho độ sáng (mức xám) trung bình hai nửa ảnh b Do mắt sâu Đối với người già, gầy có nhiều nếp nhăn mắt, mắt sâu gây nhận dạng sai Vì vùng mắt xuất vùng tối rộng, co xuất vết làm cho diện tích vùng tối tăng lên Nên bị hàm lọc bỏ vùng diện tích lớn bé khử Do kết nhận dạng bị sai Hình 4.8: Nhận dạng sai mắt sâu 51 Để khắc phục nguyên nhân ta thực hàm xác định ngưỡng xám thích hợp cho ảnh Hàm xây dựng nhờ tượng sau: ngưỡng xám nhận giá trị “đủ bé” ảnh đen trắng tương ứng xuất vùng đen rời rạc tóc, mắt, lỗ mũi, tai, lơng mày Ta tăng dần ngưỡng xám, vùng đen có khuynh hướng loang rộng tiến tới hịa nhập làm Tuy nhiên, thơng thường có vùng mắt lơng mày vùng có mức xám thấp so với vùng lỗ mũi, tai xuất nếp nhăn vùng xuất nhiều vùng lồi lõm khác Do đó, tăng ngưỡng xám lên vùng mắt lơng mày có xu hướng hịa làm trước vùng khác Như ngưỡng xám thích hợp ngưỡng xám xác định tăng ngưỡng xám trước có hai vùng xem phủ với trở thành vùng diện tích vùng hình thành “đủ lớn” c Do xuất dị vật Hay điều kiện người có đeo kính, có phản xạ ánh sáng làm cho ảnh khơng nhìn thấy đồng tử nhìn thấy bé chương trình cho kết khơng xác Hình 4.9: Nhận dạng sai đeo kính Trong trường hợp trước chuyển sang ảnh nhị phân để nhận dạng ta tiến hành thay đổi mức xám cửa sổ mắt (là hai hình chữ nhật có chứa mắt xác định theo vị trí tương đối theo nhân trắc học) Ta cân mức xám hai cửa sổ mắt kích thước cho hệ số tương quan hai vùng ảnh xám tương ứng cao 52 d Do ảnh trích xuất từ video bị nhòe Do video ghi lại ảnh chuyển động, mặt khác đáp ứng thời gian camera có giới hạn, đối tượng chuyển động nhanh, ảnh trích xuất xó tượng bị nhịe hình gây nhận dạng sai Hình 4.10: Nhận dạng sai ảnh nhòe Để khắc phục tượng ta sử dụng camera ghi lại số khung hình 1s cao tốt e Do đặc thù người so với mơ hình nhân trắc học Do dựa tham số nhân trắc học, tóc tai bù xù đường ranh giới khơng rõ dàng làm cho chương trình nhận dạng sai kích thước đầu dẫn tới chương trình bị sai Hình 4.11: Nhận dạng sai khoanh vùng biên giới chưa xác Nguyên nhân khoanh vùng sai biên giưới đầu người vùng da gương mặt cổ không khác mấy, nên chuyển sang ảnh xám danh giới gương mặt với cổ khơng rõ ràng, thêm vào để tăng 53 tốc độ khoảng tìm kiếm biên giới ta có làm nhịe ảnh hàm Gaussian (hàm chuông) nên snake vượt qua biên giới mờ dẫn tới kết sai Để khắc phục ta sử dụng loại camera ghi lại hình ảnh sắc nét, chất lượng cao IV.1.5 Tổng hợp kết hai tập số liệu mẫu  Với số liệu “học” gồm 80 ảnh trích xuất từ luồng video Kết Số lượng Tỉ lệ (%) Tách thành công vùng biên giới chứa đầu người 75 93,75 Tách thành cơng kính tóc (tổng: 30 ảnh) 27 90,00 Tách thành công mũi, tai, lông mày 70 87,50 Trạng thái mắt nhận dạng xác 66 82,50  Với số liệu “kiểm tra” gồm 120 ảnh trích xuất từ luồng video Kết Số lượng Tỉ lệ (%) Tách thành công vùng biên giới chứa đầu người 113 94,17 Tách thành cơng kính tóc (tổng: 30 ảnh) 28 93,33 Tách thành cơng mũi, tai, lông mày 110 91,67 Trạng thái mắt nhận dạng xác 109 90,83 IV.2 Tổng kết hướng phát triển đề tài Nhận dạng cử động mắt người hướng trình xây dựng hệ thống giao tiếp thông minh người - máy mục tiêu luận văn Tuy nhiên, hướng mới, kinh phí, thời gian có hạn, tài liệu tham khảo hạn chế nên ta gặp nhiều khó khăn từ khâu tìm kiếm tài liệu, xác định đề tài khâu thực lấy số liệu thực thuật toán nhận dạng Mặc dù luận văn thực số kết 54 IV.2.1 Kết luận văn - Ứng dụng kỹ thuật xử lý ảnh số toán nhận dạng hình ảnh để giải tốn nhận dạng mắt nhắm hay mở làm tiền đề cho hệ thống chống ngủ gật lái xe - Độ xác kết nhận dạng lên tới 90,83 % số lượng lấy mẫu cịn chưa lớn - Chương trình nhận dạng gặp số trường hợp sai ảnh đầu vào thâm đối tượng xuất đường nét không mong muốn nếp nhăn, vết chàm, nút ruồi, sẹo - Chương trình xử lý thuật toán luận văn thiết kế theo mơđun tận dụng cho cơng trình nhận dạng khác thay lại để có chất lượng nhận dạng cao IV.2.2 Hướng phát triển đề tài - Xây dựng hồn chỉnh mơ hình phần cứng ứng dụng cho hệ thống - Giảm thời gian xử lý cách tối ưu tham số chương trình - Chuyển sang nhận dạng online luồng video thu trực tiếp camera - Chuyển hệ thống viết từ phần mền PC xuống tích hợp cho DSP TI TMS320C6000 code composer studio nhằm giảm giá thành đảm bảo tính nhỏ gọn, cơng nghiệp, thẩm mĩ hệ thống - Xây dựng thành sản phẩm hồn chỉnh để ứng dụng rộng rãi thực tế Tài liệu tham khảo 10 [Trần Hồi Linh] – Bài giảng mơn nhận dạng [Michael Kass, Andrew Witkin, Demetri Terzopoulos] - Snakes Active contour models, 1987, Int J Computer Vision, 1(4):321– 331 [Chenyang Xu, Jerry L Prince] - Gradient Vector Flow Deformable Models, 2008, Handbook of Medical Image Processing and Analysis, pages: 181-192 [D Salomon] - Curves and Surfaces for Computer Graphics, 2006, Springer, first edition [H Sagan] - Introduction to the Calculus of Variations, 1969, McGraw-Hill, first edition [M S Nixon and A S Aguado] - Feature Extraction and Image Processing 2002, Newnes, first edition [M T Heat] - Scientific Computing, An Introductory Survey 2002, McGraw-Hill, second edition [L D Cohen] - On active contour models and balloons 1991, Computer Vision, Graphics, and Image Processing Image Understanding [Donna J Williams, Mubarak Shah] - algorithm for active contours and curvature estimation [K.-M Lam and H Yan] - a fast greedy algorithm for active contours Tóm tắt Ngày nay, xu hướng tương tác người máy ngày thân thiện với người sử dụng Do công nghệ nhận dạng ảnh số, video phát triển mạnh mẽ Trong số có hệ thống phát nhận dạng cử động mắt đối tượng video, dùng hệ thống cảnh báo lái xe ngủ gật Trong luận văn trình bày vấn đề sau: Một là, giới thiệu sở lý thuyết nhận dạng ảnh số định hướng giải pháp thực mơ hình phát nhận dạng cử động mắt đối tượng video Hai là, phân tích, thiết kế sơ lựa chọn giải pháp khả thi cho mơ hình phát nhận dạng cử động mắt đối tượng video Ba là, trình bày vấn đề chi tiết q trình thực xây dựng mơ hình Bốn là, tổng kết kết đạt luận văn đề xuất phương hướng khắc phục thiếu sót hướng phát triển đề tài Từ khóa: nhận dạng gương mặt, đường viền động, nhận biết mắt, xử lý ảnh, nhận biết biểu cảm gương mặt Abstract Today, robots tend to interact more and more user friendly Thus technology to identify the camera, video growing strongly Of which system to detect and identify the eye movements of the object on video, and can be used in the warning system driver drowsiness In this thesis presents the following issues: First, introduce the basis of the theory of image recognition and solution-oriented implementation model to detect and identify the eye movements of the object on video Second, analysis, preliminary design and selection solutions for a model to detect and identify the eye movements of the object on video Thirdly, the issues presented details of the implementation process to build models Finally, summarizing the results achieved by essays and proposals to overcome deficiencies orientation and direction of development topics Keyword: Face recognition, active contours, eye detection, image processing, facial feature detection Phụ lục Sau hướng dẫn sử dụng chương trình mơ hình phát nhận dạng cử động mắt video Hình 5.1: Giao diện chương trình nhận giao thiết kế Trên giao diện thiết kế GUIDE cua Matlab bao gồm khung hình (axes) có tên (tag) exacImage, headBound, eyesImage irisImage Ngồi cịn có khung text tĩnh (static text) có nhãn eye state nhóm nút điều khiển:  Nút “Open a video” dùng để chọn mở file video kiểu avi  Nút “Exact a image” trích xuất nhr luồng khng ảnh file video lựa chọn  Nút “Head boundary” hiển thị kết khoanh vùng biên giới đầu theo thuật toán đường cong động – snake  Nút “Fillter for eyes” lọc phận mắt ảnh để lại vùng có kích thước gần giống với mắt  Nút “Iris area” trích xuất đồng tử mắt  Nút “Result” cho kết cảnh báo trạng thái đóng hay mở mắt đối tượng Hình 5.2: Giao diện chạy chương trình nhận dạng Để chạy chương trình Matlab, cửa sổ lệnh Matlab ta gõ “gui + enter” Trên hình xuất giao diện hình 5.2 Hình 5.3: Lựa chọn file avi để nhận dạng Ta click chuột trái vào nút “Open a video” cửa sổ “Select File to Open” để lựa chọn file avi cần nhận dạng minh họa hình 5.3 Hình 5.4: Trích xuất ảnh để nhạn dạng từ file video Tiếp theo ta click chuột trái vào nút “Exact a image” để trích xuất ảnh luồng video file video lựa minh họa hình 5.4 Hình 5.5: Kết khoanh vùng biên giới đầu người Ta click chuột trái vào nút “Head boundary” để hiển thị kết khoanh vùng biên giới đầu người theo thuật toán đường viền động minh họa hình 5.5 Hình 5.6: Lọc bỏ vùng có kích thước khơng phải mắt Để tiếp tục, ta click chuột trái vào nút “Fillter for eyes” để lọc bỏ vùng có kích thước khơng phù hợp ảnh đen trắng phần ảnh xác định biên giới đầu người theo kết phía trên, kết minh họa hình 5.6 Hình 5.7: Hiển thị hai vùng đồng tử mắt đối tượng video Ta click chuột trái vào nút “Iris area” để lọc bỏ phần đường viền hai mí mắt nhằm thu đồng tử mắt minh họa hình 5.7 Hình 5.8: Hiển thị trạng thái mắt đối tượng Ta click chuột trái vào nút “Result” để hiển thị kết nhận dạng trạng thái mắt đối tượng video minh họa hình 5.8 Sau đưa kết nhạn dạng chương trình chuyển sang nhận dạng cho khung hình tiêp theo luồng video lặp lại trinhg ... giới đầu người, phát nhận dạng hình dạng mắt nhận dạng cử động mắt 13 II Phân tích, thiết kế mơ hình phát nhận dạng cử động mắt đối tượng Để xác định vị trí mắt, ta thu thập hình ảnh thơng qua... chiếu sáng 50 Hình 4.8: Nhận dạng sai mắt sâu 50 Hình 4.9: Nhận dạng sai đeo kính 51 Hình 4.10: Nhận dạng sai ảnh nhòe 52 Hình 4.11: Nhận dạng sai khoanh vùng... Một số thuật toán toán nhận dạng mắt người I.3 Giải pháp thực 11 II Phân tích, thiết kế mơ hình phát nhận dạng cử động mắt đối tượng 13 II.1 Sơ đồ khối mơ hình 13