Kiểm tra trạng thái biểu cảm của khuôn mặt người lái xe

Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” LỜI CẢM ƠN Trước hết em xin gửi lời cảm ơn chân thành tới Thầy giáo PGS.TS Đỗ Năng Tồn, Viện Cơng Nghệ Thông Tin - Viện Khoa học Công nghệ Việt Nam, người định hướng đề tài tận tình hướng dẫn bảo em suốt trình thực luận văn cao học Em xin cảm ơn tới Thầy cô Viện Công Nghệ Thông Tin Trường Đại học Công nghệ Thông tin & Truyền thơng tận tình giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu suốt năm học Cao học Cuối em xin dành tình cảm biết ơn tới gia đình bạn bè, người luôn bên cạnh động viên, chia sẻ suốt thời gian học Cao học trình thực luận văn Thái Nguyên, ngày 01 tháng 10 năm 2011 Học viên Đỗ Khắc Lợi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” LỜI CAM ĐOAN Để hoàn thành luận văn thời gian quy định đáp ứng yêu cầu đề ra, thân em cố gắng nghiên cứu, học tập Em tham khảo số tài liệu nêu phần “Tài liệu tham khảo” không chép nội dung từ luận văn khác Toàn luận văn ý tưởng thân em bảo tận tình thầy hướng dẫn, em tự nghiên cứu xây dựng nên Toàn mã nguồn em nghiên cứu, tham khảo cài đặt Cho đến nội dung luận văn em chưa công bố hay xuất hình thức khơng chép từ luận văn học viên hay cơng trình nghiên cứu Em xin cam đoan lời khai đúng, thông tin sai lệch em xin hoàn toàn chịu trách nhiệm trước Hội đồng Thái Nguyên, ngày 01 tháng 10 năm 2011 Ngƣời cam đoan Học viên Đỗ Khắc Lợi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” PHẦN MỞ ĐẦU Xử lý ảnh ngành khoa học đem lại cho người bước tiến vượt bậc mang tính cách mạng, đưa người tiến sang kỉ nguyên Một vài năm trở lại công nghệ thông tin với phát triển kéo theo phát triển hàng loạt ngành khoa học nhiều lĩnh vực khác sinh học, kinh tế, viễn thông, quân sự, giải trí… có bước tiến nhanh so với quy trình mà đáng phải trải qua Với phát triển ngày hồn thiện cơng nghệ phần cứng, cơng nghệ phần mềm có bước tiến quan trọng đóng góp phần khơng nhỏ cho phát triển xã hội loài người đặc biệt lĩnh vực xử lý ảnh Hơn thập kỷ vừa qua, giới chứng kiến xuất nhiều cơng trình nghiên cứu tốn xác định khuôn mặt người, từ ảnh đen trắng, xám đến ảnh màu, từ ảnh tĩnh đến liệu ảnh thu nhận từ camera ngày hôm Các nghiên cứu từ toán đơn giản, ảnh có khn mặt người nhìn thẳng vào thiết bị thu hình đầu tư thẳng đứng ảnh đen trắng Cho đến ngày hôm tốn mở rộng cho ảnh màu, có nhiều khn mặt ảnh, có nhiều tư thay đổi ảnh Khơng mà cịn mở rộng phạm vi từ môi trường xung quanh đơn giản (trong phịng thí nghiệm) mơi trường xung quanh phức tạp (như tự nhiên) nhằm đáp ứng nhu cầu thật nhiều người Sở dĩ toán phát mặt người quan tâm nghiên cứu có nhiều ứng dụng thực tiễn sống Ở nước ta nay, việc kiểm soát tự động có nhiều bước phát triển đáng kể, việc ứng dụng công nghệ nhận dạng mặt người vào hệ thống giám sát tự động ngày thiết thực có khả ứng dụng rộng rãi nhiều lĩnh vực đời sống kinh tế xã hội Kiểm tra trạng thái người lái xe có ngủ gật, tập trung hay không, hỗ trợ thông báo cần thiết vấn đề cấp thiết giải Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” tốn an tồn giao thơng, điều kiện Việt Nam, hàng ngày tai nạn giao thơng trung bình cướp sinh mạng 30 người làm bị thương 60 người khác Vì vậy, em lựa chọn đề tài “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe”, bố cục nội dung luận văn bao gồm chương mục sau: Chương 1: Trình bày tổng quan sở lý thuyết xử lý ảnh phát mặt người ảnh Chương 2: Trình bày số vấn đề nhằm giải tốn kiểm tra trạng thái biểu cảm khn mặt người Chương 3: Trình bày chức chương trình thử nghiệm Sleep1.0 Phần kết luận: trình bày nội dung làm được, hạn chế định hướng phát triển đề tài Tài liệu tham khảo: trình bày tài liệu tham khảo sử dụng để hồn thành luận văn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN PHẦN MỞ ĐẦU MỤC LỤC DANH MỤC CÁC HÌNH CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH 1.1 Khái quát xử lý ảnh 1.2 Một số khái niệm xử lý ảnh 10 1.2.1 Ảnh số 10 1.2.2 Điểm ảnh .10 1.2.3 Mức xám (gray level) 10 1.2.4 Xử lý ảnh số cần phải xử lý ảnh số .11 1.3 Các vấn đề chung liên quan đến xử lý ảnh số 11 1.3.1 Xử lý ảnh mức thấp .12 1.3.2 Những khó khăn xử lý ảnh số 13 1.4 Ứng dụng hệ thống xử lý ảnh 14 1.5 Quá trình xử lý ảnh số 15 1.6 Các thành phần hệ thống xử lý ảnh 19 1.7 Phát mặt người ảnh 22 1.7.1 Khái niệm phát mặt người ảnh 22 1.7.2 Một số kỹ thuật xử lý ảnh sử dụng phát mặt người ảnh 22 CHƢƠNG 2: MỘT SỐ VẤN ĐỀ TRONG GIẢI QUYẾT BÀI TOÁN KIỂM TRA TRẠNG THÁI BIỂU CẢM CỦA KHUÔN MẶT 24 2.1 Trạng thái biểu cảm khuôn mặt người 24 2.1.1 Trạng thái, cảm xúc 27 2.1.2 Các trạng thái tâm lý 28 2.1.2.1 Trạng thái cân .29 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” 2.1.2.2 Vui vẻ 29 2.1.2.3 Buồn rầu .30 2.1.2.4 Ngạc nhiên 30 2.1.2.5 Cáu giận .31 2.1.2.6 Phẫn nộ 31 2.1.3 Trạng thái ngủ gật 31 2.2 Phát mặt người ảnh 32 2.2.1 Phương pháp phân tích thành phần 32 2.2.1.1 Eigenface 37 2.2.1.2 Cách triển khai .38 2.2.2 Phương pháp sử dụng đặc trưng Haar kết hợp Adaboost 41 2.2.2.1 Adaboost .41 2.2.2.2 Đặc trưng Haar 43 2.3 Phát ngủ gật 46 2.3.1 Mắt thời gian thực, Gaze tư khuôn mặt 46 2.3.2 Phát theo dõi đồng tử 55 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 66 3.1 Biểu cảm trạng thái ngủ gật người lái xe 66 3.2 Thay đổi trạng thái đôi mắt 67 3.3 Giới thiệu chương trình 68 PHẦN KẾT LUẬN 70 TÀI LIỆU THAM KHẢO 72 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” DANH MỤC CÁC HÌNH Hình 1.1 Mơ q trình biến đổi hình học 14 Hình 1.2 Các thành phần hệ thống xử lý ảnh 19 Hình 2.1 a) Mơ tả liệu đấu vào mặt phẳng chiều; b)Mô tả thành phần mặt phẳng 34 Hình 2.2 Dữ liệu khôi phục lại với thành phần 37 Hình 2.3 Mơ tả hình thức khơng gian ảnh khn mặt khơng gian ảnh 39 Hình 2.4 Vài đặc trưng Haar 44 Hình 2.5 Áp dụng đặc trưng Haar vào ảnh 44 Hình 2.6 Vài đặc trưng Haar xây dựng 44 Hình 2.7 Mơ tả SAT 45 Hình 2.8 Mơ tả RSAT 45 Hình 2.9 Mơ tả RSAT 46 Hình 2.10 Sơ đồ hệ thống giám sát cảnh báo 50 Hình 2.11 Tổng quan hệ thống giám sát cảnh giác cho tài xế 51 Hình 2.12 Nguyên lý hiệu ứng đồng tử sáng tối 52 Hình 2.13 Hồng ngoại chiếu sáng mắt 53 Hình 2.14 Cấu hình nguồn sáng IR 53 Hình 2.15 Bức ảnh thực tế hình dạng hai vịng hồng ngoại chiếu sáng 54 Hình 2.16 (a) sáng (b) hình ảnh đồng tử tối với tia sáng 54 Hình 2.17 Ví dụ thu hình ảnh với mong muốn hiệu ứng đồng tử sáng 55 Hình 2.18 Thiết kế camera bên động 56 Hình 2.19 Sơ đồ hệ thống theo dõi phát đồng tử 57 Hình 2.20 Hình loại bỏ can thiệp chiếu sáng …………………… 57 Hình 2.21 Loại bỏ can thiệp chiếu sáng qua việc loại trừ hình ảnh 58 Hình 2.22 Hình ảnh đồng tử sáng tối riêng biệt 59 Hình 2.23 Sơ đồ khối vịng loại trừ hình ảnh 60 Hình 2.24 Ánh sáng chói khung mắt có độ sáng cân với đồng tử.61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” Hình 2.25 Theo dõi phát đồng tử sử dụng lọc Kalman 62 Hình 2.26 Quỹ đạo thực dự đốn vị trí đồng tử 30 khung hình trình tự63 Hình 2.27 Lọc Kalman theo dõi kết với kính 63 Hình 2.28 Ví dụ theo dõi học trò theo can thiệp mạnh mẽ chiếu sáng bên 64 Hình 2.29 Định nghĩa thời gian nhắm mắt tốc độ mở /nhắm mắt 64 Hình 3.1 Trạng thái khn mặt thay đổi a) lúc bình thường, b) buồn ngủ 66 Hình 3.2 Sự thay đổi trạng thái mắt trái 67 Hình 3.3 Sự thay đổi trạng thái mắt phải 67 Hình 3.4 Sự thay đổi góc chụp đơi mắt 67 Hình 3.5 Lấy ảnh từ camera 68 Hình 3.6 Ảnh trạng thái mắt trái 69 Hình 3.7 Ảnh trạng thái mắt phải 69 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH 1.1 Khái quát xử lý ảnh Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chun dụng riêng cho Xử lý ảnh đưa vào giảng dạy bậc đại học nước ta khoảng chục năm Nó mơn học liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên phải kể đến Xử lý tín hiệu số mơn học cho xử lý tín hiệu chung, khái niệm tích chập, biến đổi Fourier, biến đổi Laplace, lọc hữu hạn…Thứ hai, công cụ tốn Đại số tuyến tính, Xác suất, thống kê Một số kiến thức cần thiết Trí tuệ nhân tạo, Mạng nơ ron nhân tạo đề cập q trình phân tích nhận dạng ảnh Các phương pháp xử lý ảnh ứng dụng chính: Nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ Luân Đôn đến New York từ năm 20 kỉ XX Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng độ phân giải ảnh Việc nâng cao chất lượng ảnh phát triển vào khoảng năm 50 kỉ XX Điều giải thích được, sau chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho trình xử lý ảnh số thuận lợi Năm 1964, máy tính có khả xử lý nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ bao gồm: làm đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo mạng nơron nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” 1.2 Một số khái niệm xử lý ảnh 1.2.1 Ảnh số Ảnh số tạo nên từ hàng trăm ngàn hàng triệu ô vuông nhỏ coi thành tố ảnh thường biết tên gọi pixels 1.2.2 Điểm ảnh Ảnh thực tế ảnh liên tục không gian giá trị độ sáng Để xử lý ảnh máy tính cần thiết phải tiến hành số hố ảnh Trong q trình số hố, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thơng qua q trình lấy mẫu (rời rạc hố khơng gian) lượng hố thành phần giá trị mà nguyên tắc mắt thường không phân biệt điểm kề Trong trình người ta sử dụng khái niệm điểm ảnh gọi từ picture element Như vậy, ảnh tập hợp pixel Điểm ảnh hay gọi pixel (picture element, pels, image elements) xem dấu hiệu hay cường độ sáng toạ độ không gian đối tượng Ảnh xem tập hợp điểm ảnh Khi số hoá thường biểu diễn ma trận chiều a[i][j] mà phần tử có giá trị nguyên véc tơ cấu trúc màu 1.2.3 Mức xám (gray level) Mức xám kết mã hoá tương ứng cường độ sáng điểm ảnh với giá trị số - kết q trình lượng hố Cách mã hố thường dùng 16, 32 hay 64 mức Mã hoá 256 mức phổ biến lý kỹ thuật Vì, 28=256 (0,…,255) nên với 256 mức, pixel mã hố bit Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” trường xung quanh Hình 2.20 (a) cho thấy ảnh mà phần (phía bên trái) hình trơng sáng, sáng với đồng tử Ngưỡng đơn giản hình ảnh hồn tồn dựa vào cường độ khơng phải lúc phát đồng tử vào xuất vùng sáng khác hình ảnh Để phát đồng tử, vùng sáng khác ảnh phải loại bỏ chúng gây bất lợi ảnh hưởng tới phát đồng tử Các cụm hình loại bỏ thực cách loại trừ hình ảnh chủ có chiếu sáng mơi trường bên ngồi từ nguồn sáng đèn hồng ngoại ánh sáng môi trường xung quanh Kết ảnh có chứa hiệu ứng chiếu sáng đèn hồng ngoại ta thấy đồng tử sáng hình tối Kết tìm thấy hiệu lớn việc cải thiện vững mạnh tính xác thuật toán theo dõi mắt dướisự can thiệp mạnh mẽ chiếu sáng phía ngồi, ánh sáng mạnh chiếu tới nguồn hồng ngoại gần mơ tả Hình 2.20 Hình 2.21 Loại bỏ can thiệp chiếu sáng qua việc loại trừ hình ảnh Để theo dõi mắt thực, loại trừ hình ảnh phải thực cách có hiệu thời gian thực Muốn làm điều cần thiết kế thiết bị thu Video phát từ khung hình chẵn xen kẽ (đầu máy ảnh) tín hiệu lẻ Sau sử dụng luân phiên để quay bên bên vịng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” hồng ngoại tạo khu vực hình ảnh đồng tử sáng tối Sau chương trình viết để chia khung hình hành hai dạng hình ảnh (chẵn lẻ), đại diện cho hình ảnh đồng tử sáng tối riêng biệt Khu vực hình ảnh chắn loại trừ số hóa từ khu vực hình ảnh lẻ để tạo ảnh khác biệt Hình 2.22 Hình ảnh đồng tử sáng tối riêng biệt Xác định vị trí ban đầu đồng tử Kết hình ảnh đưa từ việc loại trừ chiếu sáng từ bên ngồi, đồng tử phát cách tìm kiểm tồn hình ảnh để xác định vùng sáng mà chúng đáp ứng kích thước, hình dạng hạn chế khoảng cách Để làm cửa sổ tìm kiếm phải qt tồn ảnh Tại vị trí, phần hình ảnh bao phủ cửa sổ kiểm tra để xác định số lượng phương thức phân phối cường độ Người ta cho phân phối cường độ theo phân phối không theo mẫu, đồng tử không bị bao phủ cửa sổ theo hai phương thức phân phối cường độ cửa sổ bao gồm đồng tử Ngưỡng sau áp dụng cho hình ảnh cửa sổ phân phối cường độ xác định hai phương thức Ngưỡng xác định tự động sử giảm thiểu khoảng cách Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” thông tin (Kullback [22]) Điều mang lại hình ảnh đơi bao gồm đốm đơi chứa đồng tử Điểm đốm đơi sau xác định hình dạng, kích thước, khoảng cách so với đồng tử khác đặc điểm chuyển động để đảm bảo đồng tử Các bước nhận dạng quan trọng số khu vực hình ảnh ánh sáng chói kính có mức độ sáng (xem Hình 2.24, ánh sáng chói khơng thể bị loại bỏ tiến trình loại trừ hình ảnh) Chúng gây lỗi cho đồng tử mà khơng theo tiến trình xác minh Cửa sổ di chuyển đến vị trí việc xác nhận không thành công Trọng tâm đốm bị quay lại vị trí đồng tử bị phát việc xác nhận thành cơng Q trình sau lặp lại để phát đồng tử khác Theo dõi đồng tử qua lọc Kalman Một vấn đề vô quan trọng để liên tục theo dõi người qua việc theo dõi đồng tử họ từ khung hình đến khung hình khác thời gian thực Hình 2.23 Sơ đồ khối vịng loại trừ hình ảnh Điều thực cách phát đồng tử khung hình Đây phương pháp phức tạp nhiên làm chậm tốc độ theo dõi đồng thử, làm cho việc theo dõi tử thời gian thực khơng thể cần tìm kiếm hình ảnh cịn lại cho khung hình Điều hồn thành cách có hiệu cách sử dụng chương trình dự đốn định vị Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” Dự đốn liên quan tới việc xác định vị trí khoảng cách đồng tử khung hình dựa cào vị trí Định vị xác định xác vị trí thơng qua tìm kiếm khu vực Bước đầu đảm bảo định vị hiệu xác cho bước thứ hai giới hạn khu vực tìm kiếm trung khung hình khu vực nhỏ Hình 2.24 Ánh sáng chói khung mắt có độ sáng cân với đồng tử Hai yếu tố quan trọng cần xem xét thực kế hoach Nhân tố tìm kiếm kích cỡ cửa sổ cho nhân tố thứ hai Một cửa sổ tìm kiếm lớn có kết tìm kiếm khơng cần thiết tốn thời gian cửa sổ tìm kiếm nhỏ dễ dàng thông tin đồng tử Một vài nhân tố ảnh hưởng đến kích thước cửa sổ tìm kiếm bao gồm kích cỡ đồng tử khơng chắc vị trí dự đốn Sự đa dạng kích cỡ đồng tử khoảng cách, đối tượng vị trí khơng chắn phụ thuộc vào tính đăng đặc tính đặc điểm nhiễu hình ảnh Một cách hiệu sử dụng cửa sổ tìm kiếm thích nghi, khu vực tìm kiếm xác định tự động dựa kích cỡ đồng tử lỗi vị trí Bộ lọc Kalman cung cấp chế để thực diều Bộ lọc Kalman tập hợp thuật tốn đệ quy, ước tính vị trí đối tượng di chuyển không chắn khung thời gian Ở tìm kiếm đồng tử tính tốn độ rộng khu vực lớn thết để tìm khung hình tiếp theo, xung quanh vị trí dự đốn để chắn tìm đồng tử với chắn định Các điều kiện đệ quy ước tính qua phép đo trước tiến trình lặp lại với ước tính sử dụng cho dự án dự đốn cho ước tính tiếp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” theo Bản chất đệ quy tính hay lọc Kalman- làm cho việc thực khả thi nhiều thực tế Phương pháp theo dõi đồng tử dựa lọc Kalman định dạng cụ thể sau: Một chuỗi khung hình ảnh lưu lại Chuỗi hình ảnh cắt mẫu mối khung hình t, sau xử lý để xác định vị trí đồng tử Trạng thái đồng tử thời điểm (khung hình) đặc trưng vị trí vận tốc Đặt (ct,rt) đại cho vị trí điểm ảnh đồng tử ( trọng tâm nó) thời gian t (ut,vt) vận tốc thời điểm t theo hướng c r tương ứng Vector trạng thái thời điểm t thể xt = (ct,rt, ut,vt)t Hình 2.25 Theo dõi phát đồng tử sử dụng lọc Kalman Để nghiên cứu hiệu lực lọc Kalman cho theo dõi đồng tử, nghiên cứu khác biệt giữavị trí đồng tử dự đốn thực tế hình 2.26 Nó cho thấy quỹ đạo thực tế vị trí ước đốn 30 khung hình trình tự sử dụng lọc Kalman Nó rõ ràng từ minh họa vị trí đồng tử dự báo thực tế phụ hợp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” Hình 2.26 Quỹ đạo thực dự đốn vị trí đồng tử 30 khung hình trình tự Kết theo dõi Hình 2.27 Lọc Kalman theo dõi kết với kính Chuyển động tần số nhấp nháy mắt, thời gian nhắm mắt, tốc độ nhắm mắt, PERCLOS tham số phát triển gần PERCLOS đo tỷ lệ phần trăm nhắm mắt theo thời gian, không kể thời gian dành cho việc nhắm mắt bình thường Nó coi tham số mắt hợp lệ để mô tả mệt mỏi lái xe [13] Nghiên cứu thực Wierwillw et al [25] cho thấy các lái xe cảnh giác có thấp nhiều số đo PERCLOS so với người lái xe buồn ngủ Một tham số mắt khác có tiềm số tốt mệt mỏi tốc độ nhắm / mở mắt, tức số lượng thời gian cần thiết để hoàn toàn nhắm mắt mở mắt Nghiên cứu sơ tốc độ nhắm mắt khác rõ rệt mắt buồn ngủ chịu cảnh báo Đối với nghiên cứu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 63 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” này, tập trung vào tính tốn thời gian thực hai thơng số để mơ tả chuyển động mí mắt Để có số đo (PERCLOS tốc độ nhắm mắt), đề xuất tiếp tục theo dõi đồng tử / đối tượng xác định thời gian thực, số lượng nhắm mắt dựa diện tích em đồng tử / ngươiđã bịt mí mắt Cụ thể, mắt nhắm xảy kích thước co lại đồng tử /con phát thu lại phần nhỏ (20%) kích thước thực Hình 2.28 Ví dụ theo dõi học trị theo can thiệp mạnh mẽ chiếu sáng bên ngồi Hình 2.29 Định nghĩa thời gian nhắm mắt tốc độ mở /nhắm mắt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 64 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” Như thể hình 2.29, thời gian mắt nhắm riêng lẻ định nghĩa khác biệt thời gian hai khoảng khắc thời gian liên tiếp, t2 t3, kích thước đồng tử / 20% kích thước tối đa học sinh Và tốc độ mắt nhắm riêng lẻ định nghĩa khoảng thời gian t1 đến t2 t3 đến t4, thời gian kích thước đồng tử / từ 20% đến 80% kích thước thực tế Tính tốn PERCLOS tốc độ nhắm mắt trung bình (AECS) Thời gian nhắm mắt riêng lẻ tốc độ nhắm mắt phản ánh mức độ tỉnh táo lái xe Cả hai PERCLOS AECS khoảnh khắc thời gian cụ thể tính tốn khoảng thời gian cố định (30 s) Tốc độ trung bình nhắm/mở mắt tính trung bình số học tất tốc độ nhắm mắt thời gian cố định (30 s) Tuy nhiên, phép đo lường lần hai tham số khơng xác định lượng tỉnh táo người chất ngẫu nhiên Một cách xác mạnh mẽ tính tốn trung bình chạy (thời gian theo dõi) tham số Trung bình chạy tính toán hai tham số thời gian sử dụng liệu liệu trường hợp thời gian trước ví dụ Để có trung bình chạy đo lường PERCLOS, chương trình liên tục theo dõi kích thước người giám sát việc nhắm mắt trường hợp thời gian Thời gian mắt nhắm tích lũy sử dụng để tính tốn PER-Clos Chúng tơi tính tốn biện pháp đo PERCLOS dựa tỷ lệ nhắm mắt 30 giây Thời hạn tùy ý điều chỉnh người sử dụng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 65 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM Như biết, tốn phát mặt người đặt từ lâu với hàng loạt đề tài khoa học xác lập, cơng trình nghiên cứu công bố, ứng dụng triển khai Trong chương trình bày hệ thống hóa số vấn đề việc phát biểu cảm khn mặt người ảnh từ tiến hành cài đặt thử nghiệm thuật toán phát mặt người ngủ gật sở đánh giá trạng thái nhắm mắt người lái xe 3.1 Biểu cảm trạng thái ngủ gật ngƣời lái xe Kỹ thuật phát trạng thái ngủ gật người lái xe trập trung vào thay đổi trạng thái đôi mắt khuôn mặt nhận dạng a) b) Hình 3.1 Trạng thái khn mặt thay đổi a) lúc bình thường, b) buồn ngủ Đối tượng cần phân tích ảnh khn mặt người hai trạng thái bình thường ngủ gật, dựa vào kiện ban đầu khuôn mặt bình thường đặc điểm nhận dạng quanh vùng mắt dùng làm sở so sánh với kiện nhận dạng đôi mắt trạng thái ngủ gật Công việc cần nhận dạng hệ thống bao gồm hai giai đoạn phát giám sát đồng tử: - Phát đồng tử bắt đầu với trình loại bỏ can thiệp ánh sáng từ bên ngồi, sau định vị cặp đồng tử ảnh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 66 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” - Theo dõi vị trí đồng tử tìm kiếm đồng tử dựa vào vị trí đồng tử khung hình trước 3.2 Thay đổi trạng thái đơi mắt Hình ảnh mắt trái phải trạng thái từ bình thường có thay đổi góc chụp, đồng tử thay đổi vị trí đến trạng thái ngủ gật Hình 3.2 Sự thay đổi trạng thái mắt trái Hình 3.3 Sự thay đổi trạng thái mắt phải Các hình ảnh đơi mắt góc chụp camera bị thay đổi thu nhận để làm trích trọn đặc trưng so sánh trạng thái đơi mắt Hình 3.4 Sự thay đổi góc chụp đơi mắt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 67 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” 3.3 Giới thiệu chƣơng trình Chương trình sử dụng tập liệu thu nhận qua camera lưu lại trình thay đổi trạng thái khuôn mặt khoảng thời gian định với file đầu vào xử lý dạng video Sau lấy ảnh mẫu đơi mắt lấy làm liệu để so sánh: Hình 3.5 Lấy ảnh từ camera Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 68 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khn mặt ngƣời lái xe” Hình 3.6 Ảnh trạng thái mắt trái Hình 3.7 Ảnh trạng thái mắt phải Chức quản lý ảnh mẫu Chức phần mềm cài đặt đưa số khung ảnh làm mẫu Cho phép chụp hình ảnh từ camera phân tách ảnh đôi mắt theo thư mục hình 3.6 3.7 Các bước thực sau: - B1: Mở camera quay mặt người lấy từ file video có sẵn - B2: Phân tích trích trọn đặc trưng ảnh làm mẫu so sánh - B3: Lưu mẫu vừa định nghĩa: lưu ảnh mẫu với điểm đặc trưng Chức quản lý điểm đặc trƣng ảnh tiến hành so sánh, kết luận Các điểm đặc trưng ảnh hưởng trực tiếp đến kết luận chương trình cảnh bảo theo biểu cảm khn mặt Vì việc quản lý điểm đặc trưng cần thiết - B1: Dựa mẫu lưu lại , tiến hành phân tích đặc trưng theo quy tắc phân tích nêu chương - B2: Dựa kết phân tích đưa kết luận phù hợp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 69 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” PHẦN KẾT LUẬN Hiện quốc gia tiên tiến: Xe hơi, xe khách, xe tải phương tiện giao thông đường thiếu đời sống hàng ngày Điều cho người cư ngụ thành phố lớn trung tâm quận, huyện Bài toán đặt nước ta với hệ thống giao thông đường không đồng phức tạp không đáp ứng nhu cầu di chuyển đại chúng Thực tế đưa kinh tế phát triển, nhu cầu cần thiết Các sở đào tạo lái xe mở nhiều không đáp ứng thị trường, thường hay rút ngắn công đoạn đào tạo lý thuyết kỹ thuật lái xe mà đào tạo theo cách đơn quen thuộc hàng ngày Do khơng có kinh phí đầu tư để xây dựng địa hình thực tế, phịng thí nghiệm đào tạo kỹ thuật lái xe phân tích biểu cảm, trạng thái người lái xe tốt để xử lý tình nguy hiểm Bên cạnh đó, tốn phát mặt người đặt từ lâu với hàng loạt đề tài khoa học xác lập, cơng trình nghiên cứu công bố, ứng dụng triển khai Bài tốn ln đặt nhiều thách thức khó khăn Trong luận văn này, tác giả tập trung nghiên cứu hướng phát mặt người nhận dạng biểu cảm khuôn mặt, cụ thể đạt kết sau: - Trình bày khái quát xử lý ảnh toán phát mặt người ảnh - Hệ thống hóa số vấn đề việc phát biểu cảm khuôn mặt người ảnh - Cài đặt thử nghiệm thuật toán phát mặt người ngủ gật sở đánh giá trạng thái nhắm mắt người lái xe Để cải tiến độ xác cho mơ hình tại, cơng việc em tìm hiểu thêm việc triển khai giai đoạn phát số kỹ thuật học máy khác mạng neural, SVM, với cách trích rút đặc trưng khác mở rộng tập liệu khuôn mặt khuôn mặt Nhằm hướng tới hệ thống Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 70 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” phát hồn chỉnh, em tiếp tục tìm hiểu tiếp cận vấn đề thu nhận thông số trực tiếp xe tốc độ, độ đánh lái v.v sau hướng tới việc tích hợp vào hệ thống giám sát tự động Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 71 Đỗ Khắc Lợi “Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe” TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số”, NXB khoa học kỹ thuật [2] Đỗ Năng Tồn, Phạm Việt Bình (2008) “Giáo trình xử lý ảnh”, NXB khoa học kỹ thuật [3] Morimoto, C.H., Koons, D., Amir, A & Flickner, M (2000) “Pupil detection and tracking using multiple light sources” Image and Vision Computing, 18: 331–335 [4] Ueno, H., Kaneda, M & Tsukino, M (1994), “Development of drowsiness detection system” Proceedings of 1994 Vehicle Navigation and Information Systems Sonference, Yokohama, Japan, August 1994, pp.15–20 [5] Saito, H., Ishiwaka, T., Sakata, M & Okabayashi, S (1994), “Applications of driver’s line of sight to automobiles–what can driver’s eye tell” Proceedings of 1994 Vehicle Navigation and Information Systems Conference, Yokohama, Japan, August 1994, pp.21–26 [6] Ueno, H., Kaneda, M & Tsukino, M (1994), “Development of drowsiness detection system” Proceedings of 1994 Vehicle Navigation and Information Systems Sonference, Yokohama, Japan, August 1994, pp.15–20 [7] Kaneda, M et al (1994) “Development of a drowsiness warning system” The 11th International Conference on Enhanced Safety of Vehicle, Munich [8] Onken, R (1994)Daisy, “An adaptive knowledge-based driver monitoring and warning system” Proceedings of 1994 Vehicle Navigation and Information Systems Conference, Yokohama, Japan, August 1994, pp.3–10 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 72 ... TRA TRẠNG THÁI BIỂU CẢM CỦA KHUÔN MẶT 24 2.1 Trạng thái biểu cảm khuôn mặt người 24 2.1.1 Trạng thái, cảm xúc 27 2.1.2 Các trạng thái tâm lý 28 2.1.2.1 Trạng thái. .. Thái Nguyên http://www.lrc-tnu.edu.vn 23 Đỗ Khắc Lợi ? ?Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe? ?? CHƢƠNG 2: MỘT SỐ VẤN ĐỀ TRONG GIẢI QUYẾT BÀI TOÁN KIỂM TRA TRẠNG THÁI BIỂU CẢM KHN MẶT... http://www.lrc-tnu.edu.vn 31 Đỗ Khắc Lợi ? ?Kiểm tra trạng thái biểu cảm khuôn mặt ngƣời lái xe? ?? Khi thiết bị kiểm tra nhận dạng nhận biết cảnh báo cho người lái xe dừng lại để nghỉ ngơi để trở trạng thái tốt tiếp tục