KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018 2019 P a g e 40 | 82 XÂY DỰNG HỆ THỐNG CẢNH BÁO NGỦ GẬT TRÊN KIT RASPBERRY PI 3 Giảng viên hướng dẫn ThS Võ Thiện Lĩnh Sinh viên thực hiện Nguyễn Minh[.]
KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 XÂY DỰNG HỆ THỐNG CẢNH BÁO NGỦ GẬT TRÊN KIT RASPBERRY PI Giảng viên hướng dẫn: ThS Võ Thiện Lĩnh Sinh viên thực hiện: Nguyễn Minh Tiến Lớp: CQ.57.KTĐTTH Lê Trung Phương Lớp: CQ.57.KTĐTTH Tóm tắt: Trong khn khổ báo này, xây dựng hệ thống phát tình trạng ngủ gật tài xế dựa kỹ thuật xử lý ảnh Với camera dùng để quan sát gương mặt tài xế, hệ thống xử lý hình ảnh Kit Raspberry Pi phát âm cảnh báo tài xế có biểu ngủ gật dựa vào trạng thái mắt nhắm miệng ngáp Đề tài sử dụng phương pháp phát trạng thái nhắm mắt là: phương pháp xác định tỉ lệ khoảng cách hai mí mắt tỉ lệ khoảng cách môi môi ngáp Chúng sử dụng tập liệu huấn luyện để trích xuất 68 điểm đặc trưng khuôn mặt công cụ “frontal face detector” có thư viện Dlib để xác định vị trí mắt miệng cần thiết để tiến hành nhận dạng Thực nghiệm nhóm người Việt Nam cho thấy độ xác hệ thống cao Từ khóa: xử lý ảnh; nhận dạng khn mặt;phát ngủ gật ĐẶT VẤN ĐỀ Tai nạn giao thông đường có ảnh hưởng lớn đến cá nhân, cộng đồng quốc gia Nó tiêu tốn khoảng chi phí lớn để chăm sóc sức khỏe gây nên tình trạng thường xuyên tải hệ thống bệnh viện Năm 2016 Theo báo cáo WHO, 1,24 triệu ca tử vong giao thông đường xảy năm giới, điều làm cho tai nạn giao thông trở thành nguyên nhân số chết số người độ tuổi 15-29 Con số dự đoán tăng đến khoảng 1,9 triệu vào năm 2030 trở thành bảy nguyên nhân hàng đầu gây tử vong người[1] Thông báo hôm 8/2 Ủy ban An tồn giao thơng Quốc gia Việt Nam nói ngày nghỉ Tết Nguyên đán Kỷ Hợi 2019 nước xảy 214 vụ tai nạn giao thông, làm chết 135 người, bị thương 189 người[2] Có nhiều lý gây tai nạn giao thông, nguyên nhân chủ quan ý thức người điều khiển, sử dụng điện thoại, sử dụng rượu bia chất kích thích hay nguyên nhân khách quan việc mệt mỏi làm việc sức dẫn đến tình trạng ngủ gật tập trung Ngày nay, nhiều kỹ thuật phát tình trạng ngủ gật nghiên cứu Các kỹ thuật phát tình trạng ngủ gật chia thành hai loại bản: kỹ thuật dựa thay đổi biểu sinh lý sóng não, nhịp tim, ; kỹ thuật dựa thay đổi biểu vật lý thể tư thế, độ nghiêng đầu, trạng thái nhắm/mở mắt, chớp mắt, ngáp,… Hệ thống phát ngủ gật đề cập bao gồm ba thành phần Kit Raspberry Pi 3, Module Pi camera loa để phát âm cảnh báo Camera gắn xe bắt giữ khuôn mặt người lái xe liên tục theo dõi mắt miệng người lái xe Raspberry Pi phân tích khung hình liên tục cảnh báo người lái xe thời gian P a g e 40 | 82 KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 thực phát bất thường, để người lái trở lại tập trung Do cấu trúc nhỏ gọn nó, nên dễ dàng trang bị loại xe tơ Ngồi hệ thống tương đối rẻ biện pháp an toàn khác trang bị xe Để thực điều cần xác định khuôn mặt tài xế xác định vị trí đặc trưng khn mặt CÁC NỘI DUNG CHÍNH 2.1 Các phương pháp xác định khn mặt 2.1.1 Trình phân loại Haar Cascade Được đề xuất vào năm 2001 Paul Viola Michael Jones[3] để tìm đồ vật ảnh hay video thời gian thực Họ sử dụng loạt tính để phát nhanh chóng đối tượng Haar Cascade cịn gọi Máy dò Viola-Jones Phương thức huấn luyện so khớp tất Haar-like features mẫu sẵn có vào ảnh gốc xám hoá chuẩn hoá (chỉnh lại kích thước theo yêu cầu), Haar-like features phù hợp máy tính rút trích chọn mức ngưỡng (threshold) tối ưu theo 8-bit mức xám Hình Haar-like features Bộ phân loại thác đổ (Cascade classifiers) – dựa đặc trưng Haar (Haar feature)[4] Tất đặc trưng Haar-like sau huấn luyện quét khắp ảnh đầu vào, tức pixels ảnh lần bị nhân Haar-like trượt qua, khu vực so sánh cho giống với nhiều đặc trưng Haar-like đánh dấu lại phát gương mặt Hình So khớp để tạo đặc trưng P a g e 41 | 82 KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 2.1.2 HOG-Histogram of Oriented Gradients[4] Là cơng cụ mơ tả tính có chức tạo nên hình thái khác đối tượng khơng gian vector cách trích xuất đặc trưng HOG (HOG descriptors) đối tượng đó, hạn chế thơng tin khơng hữu ích làm lên phần viền đối tượng nhờ đặc tính dốc đường bao đối tượng (intensity gradient) Đối với toán nhận dạng mặt người, thơng tin hữu ích sau qua máy phân lớp SVM, kết đầu dự đốn kết ảnh có gương mặt hay khơng Vì vậy, HOG sử dụng chủ yếu để mơ tả hình dạng xuất đối tượng ảnh Bản chất phương pháp HOG sử dụng thông tin phân bố cường độ gradient (Intensity Gradient) hướng biên (Edge Directins) để mô tả đối tượng ảnh Các toán tử HOG triển khai cách chia nhỏ ảnh thành cells, cell (8x8px) rút histogram hướng gradients cho điểm nằm cell Để tăng cường hiệu nhận dạng, histogram chuẩn hóa độ tương phản cách tính ngưỡng cường độ vùng lớn cell, gọi blocks (4 cells) sử dụng giá trị ngưỡng để chuẩn hóa tất cells khối Kết sau bước chuẩn hóa giúp HOG có khả ổn định cao với thay đổi độ sáng tồn ảnh Hình Hình thái khác đối tượng không gian vector 2.2 Phương pháp đề xuất 2.2.1 Nhận dạng trạng thái ngủ gật Trong số tất biện pháp xác định trạng thái ngủ gật lái xe, kỹ thuật xác phụ thuộc vào biện pháp sinh lý người Mặc dù phương pháp mang lại kết xác nhất, địi hỏi phải đặt thiết bị đầu, tay hay ngực gây cảm giác khó chịu cho người lái xe Ngồi thiết bị cần phải đặt cẩn thận nơi thích hợp kết hồn hảo Do đó, chủ yếu tập trung vào hành vi nhắm mắt qua tỷ lệ nhắm hay mở hai mí mắt cung cấp nhiều thơng tin xác việc buồn ngủ Do khơng làm ảnh hưởng đến người lái xe người lái xe cảm thấy hoàn toàn thoải mái với hệ thống 2.2.2 Bộ phân loại sử dụng HOG tốt việc mơ tả đối tượng hình dạng tốt cho phát người có tỉ lệ xác cao Trong Haar cho tốc độ phát đối tượng nhanh P a g e 42 | 82 KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 Khi kết hợp chúng dẫn đến kết tốt hiệu suất Do đó, chúng tơi sử dụng HOG hệ thống 2.3 Xây dựng hệ thống Trong nghiên cứu này, sử dụng ngôn ngữ Python kết hợp với thư viện mã nguồn mở OpenCV Dlib tảng phần cứng máy tính nhúng Raspberry Pi model B+ để nhận dạng tình trạng ngủ gật tài xế Hệ thống nghiên cứu vận hành theo bước sau: - Nhận nguồn video từ buồng lái; - Xác định khn mặt có video; - Xác định vị trí điểm mắt miệng khn mặt; - Tính tỉ lệ mắt miệng so sánh với giá trị ngưỡng định trước(ngưỡng tỉ lệ mắt nằm khoảng mắt nhắm); - Phát dự đốn tình trạng ngủ gật; - Phát âm cảnh báo phát tình trạng ngủ gật Đầu tiên, chúng tơi qt tìm đối tượng mong muốn mặt người Điều thực công cụ HOG kết hợp với phân lớp SVM kết đầu có khn mặt người hay không Sau xác định khuôn mặt tiếp tục sử dụng thư viện Dlib để tiến hành nhận dạng điểm khuôn mặt Thư viện Dlib hỗ trợ nhận biết 68 điểm khuôn mặt thực thi qua hàm Facial Landmark[5] Hình Đánh dấu 68 điểm Để xác định 68 điểm khuôn mặt người, xác định Facial Landmark dlib huấn luyện với dataset iBUG 300-W, tập liệu training đầu vào 1000 ảnh mặt người đánh dấu 68 điểm hồn tồn thủ cơng P a g e 43 | 82 KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 Tiếp theo hệ thống tiến hành tính tỉ lệ khoảng cách hai mí mắt theo cơng thức[7]: ||𝑝2 −𝑝6 ||+||𝑝3 −𝑝5 || 2||𝑝1 −𝑝4 || EAR = Hình Tỉ lệ mắt nhắm hay mở Nếu tỉ lệ ngưỡng mà ta xác định(đã thực nghiệm với số người Việt Nam tỉ lệ nhắm mắt 0.22) khoảng 30 khung hình camera hệ thống cảnh báo kích hoạt 2.4 Sơ đồ khối hệ thống Hình Sơ đồ khối mơ tả hệ thống P a g e 44 | 82 KỶ YẾU NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2018-2019 KẾT LUẬN Bài viết tập trung trình bày giải pháp để cảnh báo người lái xe trước tai nạn xảy phát dấu hiệu tài xế buồn ngủ, ngun nhân gây tai nạn đường bộ, phương pháp giảm tỉ lệ tử vong bị thương mức độ lớn Trình phân loại HOG sử dụng cách tính tỷ lệ khung hình mắt miệng Do hệ thống phát buồn ngủ cảnh báo người lái xe xác thời gian thực Tài liệu tham khảo [1] WHO Road Safety: Basic Facts; 2016 [2] Ủy ban An tồn giao thơng Quốc gia Việt Nam 2019 [3] Paul Viola and Michael Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, 2001 [4] Paul Viola and Michael Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, 2001 [5] Kazemi and Sullivan, One Millisecond Face Alignment with an Ensemble of Regression Trees paper, 2014 [6] Dalal and Triggs in their seminal 2005 paper, Histogram of Oriented Gradients for Human Detection [7] Tereza Soukupova and Jan´Cech, Real-Time Eye Blink Detection using Facial Landmarks, 2016 P a g e 45 | 82 ... đó, sử dụng HOG hệ thống 2 .3 Xây dựng hệ thống Trong nghiên cứu này, sử dụng ngôn ngữ Python kết hợp với thư viện mã nguồn mở OpenCV Dlib tảng phần cứng máy tính nhúng Raspberry Pi model B+ để... định trước(ngưỡng tỉ lệ mắt nằm khoảng mắt nhắm); - Phát dự đốn tình trạng ngủ gật; - Phát âm cảnh báo phát tình trạng ngủ gật Đầu tiên, chúng tơi qt tìm đối tượng mong muốn mặt người Điều thực công... ||+||? ?3 −