Đồ án thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô

Đồ án thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô giúp người đọc: Tìm hiểu tổng quát về đề tài. − Khảo sát lựa chọn các bộ phận, cụm chi tiết phù hợp cho mô hình. − Xây dựng quy trình thi công, lắp ráp. − Làm PowerPoint thuyết trình. − Lựa chọn phần mềm lập trình. − Xây dựng thuật toán điều khiển. − Lập trình hệ thống trên phần mềm. − Lựa chọn phương án thiết kế mô hình tối ưu nhất. − Mua thiết bị cho mô hình. − Thực nghiệm hệ thống trên xe thực tế. − Viết báo cáo đồ án tốt nghiệp.

Trang 1

ĐỒ ÁN TỐT NGHIỆP

THIẾT KẾ HỆ THỐNG CẢNH BÁO TÀI XẾ NGỦ GẬT TRÊN Ô TÔ – THI CÔNG, LẮP ĐẶT VÀ THỰC

NGHIỆM HỆ THỐNG

NGÀNH: CÔNG NGHỆ KỸ THUẬT Ô TÔ

GIẢNG VIÊN HƯỚNG DẪN: TS NGUYỄN VĂN NHANH

Nguyễn Trung Hiếu 1711251926 17DOTC3

Nguyễn Kế Thức 1711251939 17DOTC3

TP Hồ Chí Minh, tháng 9 năm 2021

Trang 2

ĐỒ ÁN TỐT NGHIỆP

THIẾT KẾ HỆ THỐNG CẢNH BÁO TÀI XẾ NGỦ

GẬT TRÊN Ô TÔ – THI CÔNG, LẮP ĐẶT VÀ THỰC

NGHIỆM HỆ THỐNG

NGÀNH: CÔNG NGHỆ KỸ THUẬT Ô TÔ

GIẢNG VIÊN HƯỚNG DẪN: TS NGUYỄN VĂN NHANH

Nguyễn Trung Hiếu 1711251926 17DOTC3

Nguyễn Kế Thức 1711251939 17DOTC3

TP Hồ Chí Minh, tháng 9 năm 2021

Trang 3

PHIẾU ĐĂNG KÝ

ĐỀ TÀI ĐỒ ÁN/KHÓA LUẬN TỐT NGHIỆP

Hệ: Chính quy (CQ, LT, B2, VLVH)

1 Họ và tên sinh viên/ nhóm sinh viên đăng ký đề tài (sĩ số trong nhóm: 3):

(1) Nguyễn Trung Hiếu MSSV: 1711251926 Lớp: 17DOTC3

Điện thoại: 0338183019 Email: nth.3199@gmail.com

Điện thoại: 0388790543 Email: caogiabao4068@gmail.com

(3) Nguyễn Kế Thức MSSV: 1711251939 Lớp: 17DOTC3

Điện thoại: 0329686854 Email: nguyenkethuc300699@gmail.com

Ngành : Công nghệ Kỹ thuật ô tô

Chuyên ngành : Công nghệ Kỹ thuật ô tô

2 Tên đề tài đăng ký: Thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô – Thi

Trang 4

Viện Kỹ thuật Hutech

PHIẾU GIAO NHIỆM VỤ

THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP

1 Sinh viên thực hiện đề tài

Họ tên : Nguyễn Trung Hiếu MSSV: 1711251926 Lớp: 17DOTC3 Điện thoại : 0338183019 Email: nth.3199@gmail.com

Ngành : Công nghệ Kỹ thuật ô tô

2 Tên đề tài: Thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô – Thi công, lắp đặt

và thực nghiệm hệ thống

3 Nhiệm vụ thực hiện đề tài:

− Tìm hiểu tổng quát về đề tài

− Khảo sát lựa chọn các bộ phận, cụm chi tiết phù hợp cho mô hình

− Xây dựng quy trình thi công, lắp ráp

Trang 5

PHIẾU GIAO NHIỆM VỤ THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP

Họ tên : Cao Gia Bảo MSSV: 1711251942 Lớp: 17DOTC3 Điện thoại : 0388790543 Email: caogiabao4068@gmail.com Ngành : Công nghệ Kỹ thuật ô tô

2 Tên đề tài: Thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô – Lập trình hệ thống

− Lựa chọn phần mềm lập trình

− Xây dựng thuật toán điều khiển

− Lập trình hệ thống trên phần mềm

− Thực nghiệm hệ thống trên xe

− Viết báo cáo đồ án tốt nghiệp

Sinh viên thực hiện

Trang 6

PHIẾU GIAO NHIỆM VỤ THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP

Họ tên : Nguyễn Kế Thức MSSV: 1711251939 Lớp: 17DOTC3 Điện thoại : 0329686854 Email: nguyenkethuc300699@gmail.com Ngành : Công nghệ Kỹ thuật ô tô

2 Tên đề tài: Thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô – Tính toán thiết kế

phần cơ khí

− Tính toán, thiết kế phần cơ khí của hệ thống

− Lựa chọn phương án thiết kế mô hình tối ưu nhất

− Tính toán thiết kế giá đỡ mô hình

− Mua thiết bị cho mô hình

− Thực nghiệm hệ thống trên xe

Sinh viên thực hiện

Trang 7

CÔNG NGHỆ KỸ THUẬT Ô TÔ i 17DOTC3

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của chúng tôi được thực hiện dưới

sự hướng dẫn của TS Nguyễn Văn Nhanh và dựa vào một số tài liệu, đề tài trước đó

và không sao chép từ tài liệu hay công trình có trước

Tp Hồ Chí Minh, ngày … tháng 09 năm 2021

(Ký tên và ghi rõ họ tên)

Nguyễn Trung Hiếu Cao Gia Bảo Nguyễn Kế Thức

Trang 8

CÔNG NGHỆ KỸ THUẬT Ô TÔ ii 17DOTC3

LỜI CẢM ƠN

Trong quá trình thực hiện báo cáo, tuy gặp nhiều khó khăn, nhưng nhờ sự hướng dẫn tận tình của TS Nguyễn Văn Nhanh, nhóm tôi đã hoàn thành báo cáo đúng thời gian quy định Để hoàn thành cuốn báo cáo này, tôi xin bày tỏ lòng biết ơn sâu sắc đối với TS Nguyễn Văn Nhanh, thầy là người tận tâm hết lòng vì học viên, hướng dẫn nhiệt tình và cung cấp cho nhóm tôi những tài liệu vô cùng quý giá trong thời gian thực hiện báo cáo

Xin chân thành cám ơn tập thể thầy cô giáo trường Đại học Công Nghệ TP Hồ Chí Minh, đã giảng dạy và truyền đạt kiến thức cho tôi, giúp tôi học tập và nghiên cứu trong quá trình học tại trường

Xin chân thành cảm ơn Ban giám hiệu, Viện Kỹ thuật Đại học Công Nghệ TP Hồ Chí Minh, đã giúp đỡ, tạo điều kiện thuận lợi cho tôi trong quá trình học tập và làm báo cáo tại trường

Xin chân thành cảm ơn các anh, chị đồng nghiệp đã hỗ trợ, giúp đỡ cho tôi trong quá trình thực hiện báo cáo

Xin chân thành cảm ơn các anh, chị Viện Kỹ thuật đã đóng góp ý kiến cho tôi trong quá trình thực hiện báo cáo này

Trang 9

CÔNG NGHỆ KỸ THUẬT Ô TÔ iii 17DOTC3

MỤC LỤC

TRANG

PHIẾU ĐĂNG KÝ ĐỀ TÀI ĐỒ ÁN/KHÓA LUẬN TỐT NGHIỆP 3

PHIẾU GIAO NHIỆM VỤ THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP 4

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

MỤC LỤC iii

DANH MỤC CÁC TỪ VIẾT TẮT vi

DANH MỤC CÁC BẢNG vii

DANH MỤC CÁC HÌNH ẢNH viii

LỜI MỞ ĐẦU 11

Chương 1: GIỚI THIỆU ĐỀ TÀI 12

1.1 Đặt vấn đề 12

1.2 Mục tiêu của đề tài 12

1.3 Nhiệm vụ của đề tài 13

1.4 Phương pháp nghiên cứu 13

1.5 Đối tượng nghiên cứu 13

1.6 Ý nghĩa đề tài 14

1.7 Bố cục đề tài 14

Chương 2: TỔNG QUAN GIẢI PHÁP 15

2.1 Ưu nhược điểm của hệ thống cảnh báo tài xế ngủ gật 15

2.2 Các phương án thực hiện cảnh báo tài xế ngủ gật trên ô tô 15

2.2.1 Phương pháp dựa vào sinh lý người lái xe 15

2.2.2 Phương pháp dựa vào HĐ và phản ứng điều khiển xe của người lái xe 16 2.3 Các hệ thống cảnh báo tài xế ngủ gật 16

2.3.1 Dạng đeo lên tai người lái xe 16

2.3.2 Dạng lắp đặt trên xe ô tô 16

2.4 Hệ thống cảnh báo ngủ gật của các hãng xe 16

Trang 10

CÔNG NGHỆ KỸ THUẬT Ô TÔ iv 17DOTC3

2.4.1 Hãng Mercedes - Benz: thiết bị Attention 16

2.4.2 Hãng Hyundai: hệ thống chống ngủ gật DDREM cho tài xế 18

2.4.3 Hãng Honda: Hệ thống cảnh báo chống buồn ngủ Driver Attention Monitor 19

2.5 Các nghiên cứu hệ thống cảnh báo tài xế ngủ gật ở Việt Nam 20

2.5.1 Nghiên cứu thiết kế, chế tạo thiết bị nhúng kiểm soát trạng thái ngủ gật của lái xe 20

2.5.2 Thiết kế hệ thống cảnh báo lái xe ngủ gật bằng phương pháp xây dựng ứng dụng với thư viện mã nguồn OpenCV 23

2.6 Hướng phát triển đề tài 26

2.7 Kết luận 26

Chương 3: PHƯƠNG PHÁP GIẢI QUYẾT 27

3.1 Xác định những biểu hiện cơ bản và rút trích đặc trưng cơ bản xác định trạng thái ngủ gật 27

3.2 Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe trong điều kiện giao thông và thời tiết ở Việt Nam 28

3.2.1 Xác định tư thế của đầu dựa vào phát hiện khuôn mặt trong các trường hợp đầu chuyển động 28

3.2.2 Tìm con ngươi từ khuôn mặt để xác định mắt nhắm hay mở 31

3.2.3 Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe 33

3.3 Phần mềm xử lý ảnh 34

3.3.1 Thư viện OpenCV 34

3.3.2 Cách tổ chức thư viện OpenCV 34

3.3.3 Tổng quan phương pháp Haar-like 36

3.4 Kết luận 44

Chương 4: QUY TRÌNH THIẾT KẾ HỆ THỐNG CẢNH BÁO TÀI XẾ NGỦ GẬT 45

4.1 Mô hình hệ thống cảnh báo ngủ gật tài xế cần thiết kế 45

Trang 11

CÔNG NGHỆ KỸ THUẬT Ô TÔ v 17DOTC3

4.1.1 Yêu cầu của mô hình hệ thống 45

4.1.2 Mô tả về hệ thống cảnh báo ngủ gật tài xế cần thiết kế 45

4.2 Thiết kế tính toán phần điện của mô hình 46

4.2.1 Tín hiệu đầu vào 46

4.2.2 Khối nguồn cho hệ thống 47

4.2.3 Bộ xử lý trung tâm 47

4.2.4 Khối cảnh báo 51

4.2.5 Khối hiển thị 53

4.3 Thiết kế thuật toán và phần mềm phát hiện ngủ gật 53

4.3.1 Thiết kế các thuật toán xác định trạng thái buồn ngủ của lái xe 53

4.3.2 Thiết kế phần mềm phát hiện ngủ gật bằng các thuật toán đã đề xuất 60

4.4 Cài đặt phần mềm vào bộ xử lý trung tâm 66

Chương 5: THI CÔNG LẮP RÁP VÀ THỬ NGHIỆM 69

5.1 Thi công lắp ráp hệ thống cảnh báo tài xế ngủ gật lên xe ô tô 69

5.1.1 Lắp camera hồng ngoại 69

5.1.2 Lắp màn LCD theo dõi hoạt động của hệ thống 69

5.1.3 Lắp khối cảnh báo âm thanh 69

5.1.4 Lắp bộ xử lý trung tâm 70

5.1.5 Vị trí lấy nguồn 70

5.1.6 Mô hình sau khi lắp hoàn thiện 70

5.2 Xây dựng các trường hợp thực nghiệm và kết quả thực nghiệm thu được 71

5.2.1 Xây dựng các trường hợp thực nghiệm 71

5.2.2 Kết quả thử nghiệm 74

5.3 Kết luận 75

Chương 6: ĐÁNH GIÁ KẾT QUẢ VÀ KẾT LUẬN 76

6.1 Kết luận 76

6.2 Kiến nghị 77

TÀI LIỆU THAM KHẢO 78

PHỤ LỤC 79

Trang 12

CÔNG NGHỆ KỸ THUẬT Ô TÔ vi 17DOTC3

DANH MỤC CÁC TỪ VIẾT TẮT

DDREM Departed Driver Rescue & Exit Maneuver

AI Artificial Intelligence

GPS Global Positioning System

GPRS General Packet Radio Service

LED Light Emitting Diode

API Application Programming Interface

GIS Geographic Information System

GUI Graphical User Interface

XML eXtensible Markup Language

CPU Central Processing Unit

USB Universal Serial Bus

LCD Liquid-Crystal Display

LAN Local Area Network

LPDDR Low-Power Double Data Rate Synchronous Dynamic Random

Access Memory HDMI High-Definition Multimedia Interface

RAM Random Access Memory

Trang 13

CÔNG NGHỆ KỸ THUẬT Ô TÔ vii 17DOTC3

DANH MỤC CÁC BẢNG

Bảng 3.1: Các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của

lái xe 33

Bảng 4.1: Cấu hình Chip BCM2837 49

Bảng 4.2: Thông số kỹ thuật khối xử lý trung tâm 50

Bảng 5.1: Bảng ghi và tổng hợp kết quả thực nghiệm 73

Bảng 5.2: Bảng tổng hợp kết quả đo trên xe KIA MORNING 75

Trang 14

CÔNG NGHỆ KỸ THUẬT Ô TÔ viii 17DOTC3

DANH MỤC CÁC HÌNH ẢNH

Hình 2.1: Hệ thống chống ngủ gật DDREM 18

Hình 2.2: Mức cảnh báo chú ý được hiển thị theo từng cấp độ 19

Hình 2.3: Các mức cảnh báo buồn ngủ được hiển thị theo 4 cấp độ 20

Hình 2.4: Nhận dạng khuôn mặt và đôi mắt 25

Hình 3.1: Các phương pháp phát hiện trạng thái buồn ngủ [7] 27

Hình 3.2: Gốc tọa độ của frame ảnh trong hệ trục tọa độ 29

Hình 3.3: Trạng thái khuôn mặt ở vị trí chuẩn 29

Hình 3.4: Khuôn mặt đang quay sang bên phải 30

Hình 3.5: Khuôn mặt quay sang trái 30

Hình 3.6: Khuôn mặt ngửa ra sau 31

Hình 3.7: Khuôn mặt cúi xuống dưới 31

Hình 3.8: Vị trí con ngươi trong trường hợp mắt đang mở 31

Hình 3.9: Vị trí con ngươi trong trường hợp mắt đóng 32

Hình 3.10: Giám sát trạng thái mắt 33

Hình 3.11: Tổ chức thư viện OpenCV 35

Hình 3.12: Tổng quan phương pháp phát hiện mặt người bằng Haar-like 36

Hình 3.13: Giá trị của ảnh tích hợp tại vị trí (x, y) 38

Hình 3.14: Mô tả cách tính toán ảnh tích hợp từ ảnh ban đầu 39

Hình 3.15: Ví dụ các điểm ảnh trong một vùng hình chữ nhật 39

Hình 3.16: Đặc trưng thứ nhất và thứ hai được lựa chọn bởi AdaBoost 40

Hình 3.17: Các đặc trưng Haar-like cơ bản 41

Hình 3.18: Một số đặc trưng cạnh 41

Hình 3.19: Một số đặc trưng đường 41

Hình 3.20: Đặc trưng xung quanh tâm 41

Trang 15

CÔNG NGHỆ KỸ THUẬT Ô TÔ ix 17DOTC3

Hình 4.1: Sơ đồ khối thiết bị phát hiện và cảnh báo trạng thái ngủ gật 45

Hình 4.2: Camera hồng ngoại 46

Hình 4.3: Khối nguồn hệ thống 47

Hình 4.4: Sơ đồ kết nối chip BCM2837 trên Board Raspberry Pi 4 48

Hình 4.5: Khối xử lý trung tâm 51

Hình 4.6: Khối cảnh báo âm thanh 52

Hình 4.7: Khối cảnh báo ánh sáng 52

Hình 4.8: Màn hình LCD theo dõi hoạt động của hệ thống 53

Hình 4.9: Gốc tọa độ của frame ảnh trong hệ trục tọa độ 54

Hình 4.10: Trạng thái khuôn mặt ở vị trí chuẩn 54

Hình 4.11: Khuôn mặt quay sang trái 55

Hình 4.12: Khuôn mặt đang quay sang bên phải 55

Hình 4.13: Khuôn mặt ngửa ra sau 56

Hình 4.14: Khuôn mặt cúi xuống dưới 56

Hình 4.15: Cách tính diện tích khuôn mặt phát hiện được 57

Hình 4.16: Vị trí con ngươi trong trường hợp mắt đang mở 58

Hình 4.17: Vị trí con ngươi trong trường hợp mắt đóng 58

Hình 4.18: Xác định trạng thái mắt 59

Hình 4.19: Lưu đồ chương trình tổng quát phát hiện buồn ngủ của lái xe 61

Hình 4.20: Lưu đồ chương trình xác định vị trí đầu người lái xe 63

Hình 4.21: Lưu đồ chương trình xác định vùng mặt theo phát hiện vùng mũi 64

Hình 4.22: Lưu đồ thuật toán xác định vùng mắt và con ngươi 65

Hình 4.23: Cài đặt chương trình 66

Hình 4.24: Xây dựng code 66

Hình 4.25: Nạp code xuống thiết bị 67

Hình 4.26: Chạy chương trình 67

Hình 4.27: Hình ảnh và Code xác định trạng thái của tài xế 68

Trang 16

CÔNG NGHỆ KỸ THUẬT Ô TÔ x 17DOTC3

Hình 5.1: Lắp camera hồng ngoại 69

Hình 5.2: Lắp màn hình LCD 69

Hình 5.3: Lắp loa cảnh báo 69

Hình 5.4: Lắp bộ xử lý trung tâm 70

Hình 5.5: Vị trí lấy nguồn hệ thống 70

Hình 5.6: Mô hình hệ thống sau khi lắp đặt hoàn thiện 70

Hình 5.7: Thiết bị hoạt động ở điều kiện ban ngày 71

Hình 5.8: Thiết bị hoạt động ở điều kiện ban đêm 72

Hình 5.9: Biểu đồ tổng hợp kết quả đo trên xe 5 chỗ của đơn vị 74

Trang 17

CÔNG NGHỆ KỸ THUẬT Ô TÔ 11 17DOTC3

LỜI MỞ ĐẦU

Ngày nay ô tô được sử dụng rộng rãi như một phương tiện đi lại thông dụng, các trang thiết bị, bộ phận trên ô tô ngày càng hoàn thiện hơn và hiện đại đóng vai trò quan trọng đối với việc đảm bảo độ tin cậy, an toàn cho người vận hành và chuyển động của ô tô Là những sinh viên được đào tạo tại trường Đại Học Công Nghệ TP

Hồ Chí Minh chúng em được các thầy cô trang bị cho những kiến thức cơ bản về chuyên môn Để tổng kết và đánh giá quá trình học tập và rèn luyện tại trường em chọn đề tài báo cáo “Thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô – Thi công, lắp đặt và thực nghiệm hệ thống” Trong quá trình thực hiện báo cáo, do trình độ và

sự hiểu biết còn hạn chế Nhưng được sự chỉ bảo của các thầy (cô) trong Viện kỹ thuật đặc biệt là TS Nguyễn Văn Nhanh, nay đề tài của chúng em đã được hoàn thành đúng thời hạn Tuy vậy đề tài còn nhiều thiếu sót, kính mong các thầy (cô) đóng góp

ý kiến để đề tài của chúng em được hoàn thiện hơn Em xin chân thành cảm ơn

Trang 18

Chương 1 GIỚI THIỆU ĐỀ TÀI

Tại hội nghị khoa học thường niên Hội Hô hấp Việt Nam và Chương trình đào tạo

y khoa liên tục 2015 được tổ chức tại TP Hồ Chí Minh, Giáo sư Telfilo Lee Chiong, Trung tâm National Jewish Health, Mỹ cho biết: “Thiếu ngủ là một trong những nguyên nhân chính gây ra tai nạn giao thông trên thế giới Ước tính khoảng 10-15% tai nạn xe liên quan đến thiếu ngủ Nghiên cứu về giấc ngủ của các tài xế 19 quốc gia Châu Âu cho thấy, tỷ lệ buồn ngủ khi lái xe cao, trung bình 17% Trong đó 10,8% người buồn ngủ khi lái xe ít nhất một lần trong tháng, 7% từng gây ra tai nạn giao thông do buồn ngủ, 18% suýt gây ra tai nạn do buồn ngủ”

Việc cảnh báo sớm tình trạng buồn ngủ của tài xế sẽ hạn chế được rất nhiều rủi ro, đảm bảo tính mạng và an toàn đối với người lái, hay người ngồi trong xe Do đó, việc phát triển các ứng dụng để cảnh báo kịp thời tình trạng mất tập trung của tài xế hay

có dấu hiệu buồn ngủ là rất cần thiếc

1.2 Mục tiêu của đề tài

Mục tiêu nhóm thực hiện đề tài để nghiên cứu, thiết kế và tìm hiểu rõ hơn về các tính năng an toàn được trang bị trên ô tô ngày nay nói chung Bên cạnh điều này nhóm tập làm quen và trao dồi học hỏi kinh nghiệm làm việc với một tập thể từ việc quản lý phân công đến hỗ trợ giúp đở lẫn nhau Đây là một trong những không gian

để sinh viên có thể học tập, thoải mái sáng tạo và học hỏi lẫn nhau Đây là một bài đồ

Trang 19

án vô cùng quan trọng đối với sinh viên chúng em nên cũng góp phần rất nhiều giúp cho chúng em có thêm kinh nghiệm làm báo cáo, thuyết trình, biện luận… từ những kinh nghiệm nhỏ này sẽ góp thêm dần dần và tăng trưởng để sau này chúng em khi

đi làm không gặp khó khăn mà thành công hơn

1.3 Nhiệm vụ của đề tài

− Khảo sát lựa chọn các bộ phận, cụm chi tiết phù hợp cho mô hình

− Xây dựng quy trình thi công, lắp ráp

− Làm PowerPoint thuyết trình

− Lựa chọn phần mềm lập trình

− Xây dựng thuật toán điều khiển

− Lập trình hệ thống trên phần mềm

− Lựa chọn phương án thiết kế mô hình tối ưu nhất

− Mua thiết bị cho mô hình

− Thực nghiệm hệ thống trên xe thực tế

1.4 Phương pháp nghiên cứu

− Thu thập và đọc hiểu các tài liệu liên quan như sách, các bài báo và internet

− Tìm hiểu dấu hiệu ngủ gật của người lái xe ô tô

− Nghiên cứu phần mềm lập trình điều khiển

− Lập trình phần mềm, kết nối phần cứng và chạy thử

− Đánh giá hiệu quả của hệ thống điều khiển

1.5 Đối tượng nghiên cứu

Theo thống kê của Ủy ban An toàn giao thông quốc gia, những vụ tai nạn giao thông liên quan tới giấc ngủ chiếm tới 30% tổng các vụ giao thông trong một năm Chỉ trong năm 2019, nhiều vụ tai nạn nghiêm trọng đã xảy ra do tài xế ngủ gật Vì vậy chúng em chọn đối tượng nghiên cứu là thiết bị cảnh báo tài xế ngủ gật dành cho những tài xế lái xe đường dài

Trang 20

1.6 Ý nghĩa đề tài

Hiện nay, một số hãng sản xuất ô tô như Luxus, Volvo, Volkswagen, Hyundai…

đã tích hợp một số thiết bị cảnh báo ngủ gật khi lái xe Tuy nhiên, đó là ở các nước phát triển như Mỹ, Châu Âu, Nhật Bản, còn ở Việt Nam thì chưa có nhiều các nghiên cứu hay thiết bị như vậy được áp dụng vào thực tế để giảm thiếu các tai nạn liên quan đến ngủ gật khi đang lái xe, trong khi số lượng và mức độ thiệt hại về người

và tài sản do các tai nạn như vậy gây ra ngày càng lớn

Do vậy, đề tài được thực hiện với mục đích nâng cao ý thức, về vấn đề mất an toàn

do điều khiển phương tiện khi buồn ngủ Thiết bị tạo ra để giúp hạn chế phần nào các tai nạn đáng tiếc xảy ra với phương tiện, bản thân và những người xung quanh do tình trạng buồn ngủ khi lái xe mà có thể ứng dụng trong điều kiện thực tế ở Việt Nam hiện nay và cũng góp phần thúc đẩy các nghiên cứu về các vấn để liên quan đến ô tô

1.7 Bố cục đề tài

Nội dung báo cáo gồm 4 chương:

Chương 1: Giới thiệu đề tài

Chương 2: Cơ sở lý thuyết

Chương 3: Thiết kế thi công lắp ráp và thử nghiệm

Chương 4: Kết luận và hướng phát triển

Trang 21

Chương 2 TỔNG QUAN GIẢI PHÁP

2.1 Ưu nhược điểm của hệ thống cảnh báo tài xế ngủ gật

− Ưu điểm:

+ Hạn chế tối đa các trường hợp tai nạn do tài xế ngủ gục khi lái xe

+ Thiết bị nhỏ gọn, tính năng làm việc cao

+ Công nghệ hiện đại, thông minh

− Nhược điểm:

+ Do chi phí còn cao, nên còn chưa lắp đạt đại trà lên các dòng xe

2.2 Các phương án thực hiện cảnh báo tài xế ngủ gật trên ô tô

Trên thế giới và Việt Nam đã áp dụng nhiều phương pháp khác nhau để giải quyết việc cảnh báo sự mất tập trung do buồn ngủ của tài xế Những phương pháp chú yếu

đó là: dựa vào sinh lý người tài xế và dựa vào hoạt động, phản ứng diều khiển xe của người tài xế

2.2.1 Phương pháp dựa vào sinh lý người lái xe

Đây là phương pháp cho độ chính xác cao và được thực hiện qua hai kỹ thuật sau:

− Kỹ thuật thứ nhất: Theo dõi, đánh giá các thay đổi về sinh lý của người lái

xe như sự thay đổi nhịp tim, sóng não và nháy mắt Để thực hiện kỹ thuật này, các thiết bị sẽ được gắn trực tiếp lên cơ thể người lái xe Do đó, chúng gây cảm giác khó chịu cho người lái xe Mặt khác, trong quá trình hoạt động

cơ thể xuất hiện mổ hôi trên bề mặt da làm giảm độ chính xác của các thiết

bị

− Kỹ thuật thứ hai: Đây là phương pháp xác định và đo lường sự thay đổi trên

cơ thể như tư thế ngồi, vị trí nghiêng đầu, trạng thái nhắm mắt hoặc mờ mắt,

cử động miệng của lái xe Với kỹ thuật này thì không cần tác động trực tiếp vào cơ thể mà sử dụng các thiết bị ghi hình để ghi lại các thay đổi đó

Trang 22

2.2.2 Phương pháp dựa vào hoạt động và phản ứng điều khiển xe của người lái

xe

Đây là kỹ thuật được thực hiện bằng cách theo dõi chuyển động của tay lái, phanh

xe, tốc độ xe, sự di chuyển sang ngang,… Phương pháp này cũng không trực tiếp tác động vào người lái xe, tuy nhiên nó lại hạn chế bởi loại xe và điều kiện lái xe

2.3 Các hệ thống cảnh báo tài xế ngủ gật

Hiện nay, các hệ thống cảnh báo ngủ gật được sử dụng rộng rãi ở một số nước trên thể giới có hai dạng: dạng đeo lên tai lái xe và dạng gắn trên xe như một hệ thống hỗ trợ người lái nhận biết dấu hiệu buồn ngủ

2.3.1 Dạng đeo lên tai người lái xe

Về cấu tạo, hệ thống chống ngủ gật đeo tai được làm từ vật liệu dẻo siêu nhẹ với phần móc cài qua tai giống như tai nghe nhạc headphone Khi được kích hoạt, chức năng cảm biến bên trong máy sẽ đo góc vuông khi đầu thẳng Thiết bị báo động thông bảo góc đo ở mức 0° khi lái xe tính táo (đầu giữ ở tư thế thẳng), Khi người lái có dấu hiệu gà gật, đầu ngã xuống, góc đo của máy cảm biển tự động tăng từ 00 – 150 hay

300, máy lập tức phát âm thanh để cảnh báo người dùng Âm thanh này được thiết lập

đủ lớn để đánh thức lái xe song không quá chói để tránh tình trạng người đeo choáng tỉnh và nhấn nhầm ga hay bẻ vô lăng do giật mình

Một số hãng sản xuất: Nap Zapper 1, No Nap, Doze Alert

Ưu điểm: nhỏ gọn, dễ dàng sử dụng, giá cả vừa phái

Nhược diểm: có thể cành báo trong những trường hợp không mong muốn hoặc gây giật mình cho lái xe khi âm lượng quá cao

2.3.2 Dạng lắp đặt trên xe ô tô

Dạng này thì các thiết bị được lắp đặt trên xe ô tô với hệ thống camera và màn hình cảm biến

2.4 Hệ thống cảnh báo ngủ gật của các hãng xe

2.4.1 Hãng Mercedes - Benz: thiết bị Attention

Cách hoạt động của Attention Assist:

Trang 23

− Attention Assist phân tích hành vi lái xe trong vài phút đầu tiên của chuyến đi

và đánh giá kỹ thuật lái xe cá nhân của bạn bằng cách sử dụng hơn 70 thông số

− Trong khi bạn đang lái xe, Attention Assist xác định một số hiệu chỉnh lái cho thấy buồn ngủ và mệt mỏi Attention Assist cũng xem xét các yếu tố bên ngoài, bao gồm điều kiện đường xá, điều kiện gió và sự tương tác của bạn với việc điều khiển xe

− Sau khi xem xét các yếu tố bên ngoài này, Attention Assist sẽ gửi cho bạn một cảnh báo đề nghị bạn tạm dừng lái xe nếu hệ thống xác định rằng hành vi lái xe của bạn có dấu hiệu mệt mỏi

− Các cảnh báo của Attention Assist sẽ bắt đầu được kích hoạt trong dãy tốc độ

từ 60 km/h đến 200 km/h Nếu nhận thấy người lái đang có dấu hiệu mệt mỏi,

hệ thống lần lượt đưa ra các mức độ cảnh báo dựa trên các dữ liệu được thu thập

và sự phản hồi của tài xế:

+ Mức độ 1: Trên bảng đồng hồ táp-lô sẽ thông báo “Take a break!”

+ Mức độ 2: Khi người lái không phản hồi: Tín hiệu âm thanh: Ding!Ding!Ding!

và rung vô lăng để nhắc nhở người lái

− Người dùng chỉ có thể OFF các cảnh báo của hệ thống trước khi bắt đầu hành trình Khi các cảnh báo đã được đưa ra, tài xế sẽ không thể tắt được Thay vào

đó, tài xế buộc phải tấp vào lề, dừng xe, tắt máy, xuống xe và cuối cùng là đóng cửa lại để Attention Assist khởi động lại

Ưu điểm: Hệ thống cảnh báo mất tập trung – Attention Assist còn cho phép người điều khiển phương tiện kiểm tra mức độ tập trung thông qua màn hình táp

lô phía trước tài xế Khi tài xế chọn vào mục Attention Assist, trên màn hình sẽ hiển thị những thông tin sau:

− Chiều dài của hành trình kể từ lần nghỉ gần nhất

− Mức độ tập trung được xác định bởi hệ thống cảnh báo mất tập trung được hiển thị theo dạng cột theo năm mức từ thấp đến cao

Trang 24

Nhược điểm: Attention Assist hoạt động hoàn toàn dựa trên các dữ liệu thu thập nên đôi khi sẽ đưa ra những sai lệch trong cảnh báo nếu có sự đổi người lái hoặc hành vi lái xe vì một lý do nào đó

2.4.2 Hãng Hyundai: hệ thống chống ngủ gật DDREM cho tài xế

Hệ thống DDREM sử dụng một camera hồng ngoại để theo dõi và phân tích các chuyển động của mắt cũng như khuôn mặt để phát hiện dấu hiệu buồn ngủ của tài xế

Hệ thống này cũng giám sát hệ thống hỗ trợ lái xe để xem xe có đang đi chệch làn đường không và điều chỉnh sao cho xe đi đúng làn đường trở lại Nếu hệ thống xác nhận người lái đã ngủ và không phản hồi gì thì DDREM sẽ chuyển xe sang chế độ lái

tự động 4 để có thể tự tìm một nơi an toàn và dừng xe lại

Hình 2.1: Hệ thống chống ngủ gật DDREM

Công nghệ này tương tự chức năng cảnh báo của hệ thống tự lái cấp độ 3 trên chiếc Audi A8 Trong khi kích hoạt phím chức năng “hỗ trợ lái xe khi tắc đường” thì một camera kiểm tra xem người lái xe có chuẩn bị để tiếp tục công việc lái xe nếu cần thiết Camera này phân tích vị trí và chuyển động của đầu và mắt để tạo ra dữ liệu cho robot AI phân tích Nếu mắt của lái xe vẫn nhắm trong một khoảng thời gian dài,

hệ thống sẽ nhắc người lái xe tiếp tục công việc lái xe, tránh trường hợp lái xe ngủ gục rất nguy hiểm

Trang 25

Đối với hệ thống cảnh báo ngủ gật DDREM của Hyundai là nó sử dụng phần cứng

mà có trên hầu hết các xe đời mới, nên hệ thống DDREM sẽ dễ dàng trang bị phổ biến trên những mẫu xe phổ thông của Hyundai Hệ thống bao gồm: hệ thống trợ lực tay lái điện, camera, cảm biến radar và hệ thống định vị GPS

2.4.3 Hãng Honda: Hệ thống cảnh báo chống buồn ngủ Driver Attention Monitor

Hình 2.2: Mức cảnh báo chú ý được hiển thị theo từng cấp độ

Hệ thống cảnh báo chống buồn ngủ hoạt động khi lái xe trên đường cao tốc hay quốc lộ, căn cứ vào hoạt động của vô lăng để nhận diện mức độ tập trung của người lái xe giảm đi Hệ thống cảnh báo chống buồn ngủ sẽ phát ra tín hiệu cảnh báo theo mức độ thông qua: tin nhắn, âm thanh, rung tay lái

Mức hệ thống cảnh báo chống buồn ngủ được hiển thị theo 4 cấp độ từ 4 vạch đến

1 vạch (1 vạch là mức nguy hiểm nhất)

Trang 26

Hình 2.3: Các mức cảnh báo buồn ngủ được hiển thị theo 4 cấp độ

Hệ thống này vận hành khi xe ở tốc độ > 40km/h Hệ thống có thể không hoạt động khi thời gian lái xe ít hơn 30 phút, khi lái xe trên các đường ghồ ghề hoặc nhiều gió Khi nguồn OFF, cấp độ cảnh báo sẽ được cài đặt lại và hệ thống sẽ được phát hiện

từ cấp độ 4 Thậm chí ngay cả khi nguồn vẫn ở chế độ ON trong trường hợp xe đang dừng, không thắt dây đai an toàn, cửa xe bên lái mở, hệ thống sẽ cho rằng sẽ thay đổi người lái Hệ thống cũng sẽ bắt đầu phát hiện từ cấp độ 4

2.5 Các nghiên cứu hệ thống cảnh báo tài xế ngủ gật ở Việt Nam

2.5.1 Nghiên cứu thiết kế, chế tạo thiết bị nhúng kiểm soát trạng thái ngủ gật

của lái xe

Nhằm nghiên cứu thiết kế chế tạo máy giám sát trạng thái buồn ngủ của lái xe có tính năng kết nối mạng, nhỏ gọn, giá thành thấp Cung cấp cho các doanh nghiệp vận tải, góp phần giảm thiểu tai nạn giao thông gây bởi trạng thái buồn ngủ của lái xe và tiến tới tích hợp với hộp đen chế tạo trong nước để tạo sản phẩm ứng dụng mới, nhóm

Trang 27

nghiên cứu do TS Nguyễn Minh Sơn, Phân Viện Nghiên cứu Điện tử, Tin học, Tự

động hóa tại Tp HCM đứng đầu đã tiến hành nghiên cứu đề tài: “Nghiên cứu thiết

kế, chế tạo thiết bị nhúng kiểm soát trạng thái ngủ gật của lái xe”

Nhóm nghiến cứu đã triển khai thực hiện các nội dung chính bao gồm:

− Nghiên cứu tổng quan Khảo sát, phân tích một số thiết bị chống ngủ gật có

− Thiết kế phần cứng và phần mềm của thiết bị cảnh báo ngủ gật

− Chế tạo phần cứng, cài đặt phần mềm và thực nghiệm với thiết bị cảnh báo ngủ gật được thiết kế, chế tạo

− Đề xuất mô hình ứng dụng

− Kết quả đo đạc trên thiết bị VDAS-01 được thiết kế chế tạo như sau:

+ Khối thiết bị nhúng: Kích thước nhỏ (không quá 150 x 100 mm) lắp đặt được trong mọi loại ô tô

+ Sử dụng camera số: Kết nối với bộ xử lý nhúng

+ Phát hiện buồn ngủ: Theo 5 thông số quan sát đặc trưng: 1) mắt nhắm, 2) mắt không chớp, 3) góc nghiêng của đầu do ngủ gục, 4) chuyển động đột ngột của đầu, 5) sự không thay đổi tư thế của đầu trong khoảng thời gian đủ dài

+ Thời gian cập nhật khuôn mặt lái xe: 10 giây, xử lý ảnh nhắm mắt 1,5 giây + Cập nhật tầm vóc tài xế Tự động cập nhật thông số hình dạng đầu của tài

xế

+ Cảnh báo tại chỗ và truyền thông báo về trung tâm

Như vậy, đề tài thực hiện nhiệm vụ nghiên cứu, thiết kế, chế tạo và ứng dụng thử nghiệm một hệ thống giám sát và phát hiện từ xa trạng thái buồn ngủ của lái xe Trên

cơ sở rút trích 5 đặc trưng cơ bản phát hiện buồn ngủ, các tác giả đã xây dựng giải

Trang 28

thuật và phần mềm có tính kết hợp để xác định các đặc trưng, nhằm giải quyết nhanh những trường hợp nhiễu, chiếu sáng kém, Đặc biệt, đề tài thiết kế phần mềm huấn luyện máy theo đặc điểm của lái xe (hình dạng mặt, mũi, tai, thời gian nháy mắt, )

Do đó, các ngưỡng phát hiện buồn ngủ được tự động hiệu chỉnh theo từng lái xe Thiết bị xây dựng trên cơ sở board vi xử lý kết nối với các ngoại vi Camera, LED hồng ngoại, GPS/GPRS,… cho phép cảnh báo tại chỗ và truyền về trung tâm giám sát Hệ thống cho phép nhận diện trạng thái buồn ngủ của lái xe với thời gian nhỏ hơn 1,5 giây và độ tin cậy đạt 90%

Nhóm nghiên cứu đề xuất mô hình ứng dụng như sau: Đối với công ty vận tải hàng

hoá đã có hệ thống tin học giám sát hành trình của xe vận tải, tín hiệu định vị của xe (qua GPS) được thể hiện trên bản đồ Hệ thống được xây dựng trên nền web, sử dụng các công nghệ GIS, Google Maps API Trong đó GIS là một hệ thống thông tin mà

nó sử dụng dữ liệu đầu vào, thao tác phân tích, cơ sở dữ liệu đầu ra liên quan về mặt địa lý không gian, nhằm trợ giúp việc thu nhận, lưu trữ, quản lý, xử lý, phân tích và hiển thị các thông tin không gian từ thế giới thực để giải quyết các vấn đề tổng hợp thông tin cho các mục đích con người đặt ra Còn Google Maps API bao gồm các API hỗ trợ cho người dùng sử dụng các chức năng của google maps vào việc tạo lớp

dữ liệu riêng cho ứng dụng của mình Dựa trên các công nghệ đó để xây dựng nên lớp bản đồ định vị xe cho hệ thống Người dùng có thể thao tác trên bản đồ xe buýt như: phóng to, thu nhỏ, kéo bản đồ, xem thông tin trên bản đồ,… Hệ thống phát hiện

và cảnh báo ngủ gật của lái xe đối với hệ thống có sẵn này được cài đặt đơn giản Thiết bị phát hiện ngủ gật của lái xe đặt trong ca bin sẽ giám sát lái xe qua camera và khi phát hiện trạng thái ngủ gật sẽ cảnh báo tại chỗ và qua mạng gửi về trung tâm để thông báo Người điều hành trung tâm có thể có tác động cần thiết để nhắc nhở lái

xe Phần mềm giám sát trạng thái buồn ngủ của lái xe được cài đặt vào server trung tâm Trường hợp công ty xe tải chưa có hệ thống giám sát hành trình, Thiết bị phát hiện ngủ gật có chứa sẵn bộ định vị bằng GPS Tín hiệu định vị được gửi về trung tâm, với phần mềm sử dụng công nghệ GIS, vị trí của xe được thể hiện trên bản đồ,

Trang 29

giúp cho trung tâm vừa giám sát trạng thái buồn ngủ của lái xe, vừa có tính năng giám

sát hành trình của xe

Mô hình ứng dụng cho công ty xe khách đường dài: Tương tự như hệ thống quản

lý giám sát xe vận tải hàng hoá, thiết bị phát hiện ngủ gật lái xe đặt trên cabin sẽ theo dõi trạng thái lái xe, khi phát hiện có triệu chứng ngủ gật của lái xe sẽ cảnh báo về trung tâm Trường hợp công ty xe khách chưa có hệ thống giám sát hành trình, Thiết

bị phát hiện ngủ gật có chứa sẵn bộ định vị bằng GPS Tín hiệu định vị được gửi về trung tâm, với phần mềm sử dụng công nghệ GIS, vị trí của xe được thể hiện trên bản

đồ, giúp cho trung tâm vừa giám sát trạng thái buồn ngủ của lái xe, vừa có tính năng giám sát hành trình của xe Máy chủ của Công ty có thể kết nối mạng với máy chủ của bến xe Từ đây, máy chỉ bến xe kết nối mạng với hệ thống quản lý theo ngành của địa phương và trung ương Với sự phát triển hiện nay của điện thoại thông minh, máy tính bảng, dễ dàng biên soạn một phần mềm giao diện (GUI) để giám sát xe bằng phương tiện di động

2.5.2 Thiết kế hệ thống cảnh báo lái xe ngủ gật bằng phương pháp xây dựng ứng dụng với thư viện mã nguồn OpenCV

2.5.2.1 Mô hình đề xuất của ứng dụng với thư viện mã nguồn OpenCV

Hệ thống được xây dựng với 3 khối chức năng chính là: Khối thu nhận hình ảnh (camera), khối nhận diện (khuôn mặt và mắt), khối cảnh báo (xác định trạng thái ngủ gật và phát thông tin cảnh báo)

2.5.2.2 Các công nghệ sử dụng để xây dựng ứng dụng

Ứng dụng được xây dựng trên cơ sở:

− Ngôn ngữ lập trình C+

− Thư viện mã nguồn mở OpenCV

− Bộ phân loại Haar Cascade Classifiers

2.5.2.3 Triển khai ứng dụng với thư viện mã nguồn OpenCV

2.5.2.3.1 Thu nhận hình ảnh và tiền xử lý

Hình ảnh đầu vào được thu nhận bởi camera, sau đó phân tách video thành các khung hình và chuyển tất cả hình ảnh về ảnh xám

Trang 30

2.5.2.3.2 Nhận diện khuôn mặt và đôi mắt

➢ Nhận diện khuôn mặt:

− Khởi tạo bộ dò tìm khuôn mặt:

Mă nguồn mở OpenCV đã tích hợp nhiều phân loại (Classifliers) phục vụ cho việc huấn luyện nhận dạng khuôn mặt, mắt, nụ cười, Dó là những file XML được lưu trữ trong thư mục: opencv/data/haarcascades

Ở đây sử dụng các bộ phân loại sau đây:

+ haarcascade_frontalface_alt_tree.xml: bộ đữ liệu huấn luyện (training) cho quá trình xử lý mặt

+ haarcascade mcs lefteve.xml, haarcascade eye_tree_eveglasses.xml, haarcascade eye.xml: các bộ dữ liệu huấn luyện (training) cho quá trình xử lý đôi mắt

− Thực hiện dò tìm khuôn mặt:

Phương pháp nhận diện khuôn mặt dựa vào đặc trưng Ilaar-like kết hợp Adaboost được cài sẵn trong bộ thư viện OpenCV, Để sử dụng phương pháp này trong OpenCV, chương trình đã sử dụng hàm deteciMultiScale

Hàm detectMultiScale sau khi tìm kiếm xong sẽ trả về bộ giá trị gồm tọa độ gốc của khung chứa khuôn mặt x.y; chiều dài, rộng của khung w,h Các giá trị này năm trong mảng faces Sử dụng cấu trúc lặp để duyệt qua toàn bộ các bộ giá trị này, với mỗi bộ giá trị ta dùng hàm rectangle để vẽ một hình chữ nhật lên ảnh ban đầu img với tọa độ 2 điểm trái trên và phải dưới: (x.y), (x+w.y+h) (0,255,0) là màu sẽ vẽ hình chữ nhật

Trang 31

2.5.2.3.3 Cảnh báo tình trạng buồn ngủ

➢ Phát hiện trạng thái nhấp nháy của mắt:

Để phát hiện trạng thái nhấp nháy mắt (eye blinking detection), cần biết trạng thái hiện tại của mắt là đang mở hay nhắm (open/closed)

Trong hệ thống này, quá trình đó sẽ được thực hiện như sau:

− Nếu đôi mắt thay đổi từ trạng thái nhắm mắt sang mở mắt, thi hệ thống sẽ xác định đó là một cái nháy mắt

− Và nếu trạng thái của mắt tiếp tục nhắm trong một khoảng thời gian nhất định (2 giây trong hệ thống này và có thể tùy chỉnh để phù hợp điều kiện thực tế), thì mắt sẽ được phát hiện là nhắm

OpenCV hỗ trợ một số bộ huấn luyện (traning) có thể phát hiện đôi mắt trong hai trạng thái khác nhau như sau:

Phát hiện mắt ở trạng thái nhắm hoặc mở: Với bộ traning cascade đầu vào là haarcaseade_mcs_lefteye.xml và haarcascade_mcs_righteve.xml

Chi phát hiện mắt ở trạng thái đang mở: Với bộ traning cascade đầu vào là haarcascade eye.xml hoặc haarcascade_eve_tree_eyeglas.ses.x ml (sử dụng cho trường hợp có đeo kinh)

Hình 2.4: Nhận dạng khuôn mặt và đôi mắt

a – Không đeo kính; b – Có đeo kính

➢ Phát hiện và cảnh báo tình trạng buồn ngủ:

Chương trình sẽ thực hiện thuật toán xác định trạng thái nhấp nháy mắt trên suốt thời gian thực để có thể cảnh báo nếu người lải xe rơi vào trạng thái buồn ngủ và mất tập trung Bất cứ khi nào phát hiện lái xe đang nhắm hẳn mắt, hệ thống sẽ kích hoạt

Trang 32

âm thanh cảnh báo và đồng thời tiếp tục theo dõi Sau đó nếu trạng thái mở mắt của người lái xe được phát hiện trở lại, chương trình sẽ ngừng cảnh báo tiếp tục theo dõi

2.6 Hướng phát triển đề tài

Đề tài sẽ được phát triển theo hướng sử dụng camera để phát hiện trạng thái nhấm

mở mắt và góc nghiêng của đầu bằng phương pháp xây dựng ứng dụng với thư viện

mã nguồn OpenCV

2.7 Kết luận

Đề tài thiết kế hệ thống chống tài xế ngủ gật của chúng em xây dựng trên cơ sở thuật toán OpenCV để thiết kế hệ thống này

Trang 33

Chương 3 PHƯƠNG PHÁP GIẢI QUYẾT

3.1 Xác định những biểu hiện cơ bản và rút trích đặc trưng cơ bản xác định trạng thái ngủ gật

Để phát hiện trạng thái buồn ngủ có nhiều phương pháp khác nhau như trình bày trên Hình 3.1 [3, 7], bao gồm:

− Giám sát mô hình lái: Thu nhận các thông số hành vi lái Tín hiệu góc lái từ ESP hoặc hệ thống trợ lực điện, âm thanh nghe được [13, 14], sự rung động của xe [18, 21]

− Vị trí của xe trong máy theo dõi làn đường: Giám sát từ hành vi giữ làn đường,

sử dụng camera đa năng (MPC) [12]

− Giám sát mắt và khuôn mặt lái xe: Phân tích hành vi nhắm mắt, phát hiện ngáp [11, 15]

− Đo lường các hiệu ứng sinh lý học về hoạt động não, nhịp tim, độ dẫn điện của

da, Tác động điện bằng các cơ khung xương,… sử dụng điện não đồ (EEG), điện tâm đồ (EMG) [2], tác động điện giải (EDA)

Hình 3.1: Các phương pháp phát hiện trạng thái buồn ngủ [7]

Trang 34

Các mô hình chỉ báo buồn ngủ nêu trên dựa trên đặc tính của con người khi buồn ngủ như sau: Khi mất tập trung, các kỹ năng vận động của con người cũng sẽ kém đi, dẫn đến việc không chỉnh tay lái và hành vi lái xe không còn chính xác Trong trường hợp cực đoan của hiện tượng ngủ gật, ta có thể quan sát được chuỗi các phản ứng liên quan đến hoạt động của con người

− Góc lái không đổi

− Mí mắt sẽ được đóng lại hoặc mở nhìn chằm chằm không chớp mắt

− Vị trí định hướng lái của xe không bình thường

− Điều chỉnh quá mức góc lái

Các mô hình chỉ báo này cũng có thể xảy ra trong điều kiện lái xe bình thường, nhưng sẽ xuất hiện thường xuyên hơn khi tăng mức độ buồn ngủ

Trong các phương pháp nêu trên Hình 3.1, hầu hết đều cần nhiều thiết bị mà ta khó thực hiện trong thực tế vì không thể đặt các thiết bị này trên xe Vì vậy, phương pháp dùng camera để giám sát mắt, con ngươi, vị trí đầu của lái xe - là phương pháp có nhiều ưu thế để phát hiện trạng thái buồn ngủ của lái xe Tuy nhiên, phương pháp này gặp trở ngại thực tế là hình ảnh thu được từ camera phụ thuộc thời tiết, ánh sáng mặt trời, ngày hay đêm, vị trí đặt camera, …

3.2 Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe trong điều kiện giao thông và thời tiết ở Việt Nam

Để xác định trạng thái không tập trung, buồn ngủ của tài xế lái xe cần xác định những biểu hiện trạng thái cơ bản sau:

3.2.1 Xác định tư thế của đầu dựa vào phát hiện khuôn mặt trong các trường hợp đầu chuyển động

Xác định gốc tọa độ khuôn mặt hay tư thế tài xế ở vị trí tiêu chuẩn khi phát hiện mặt ở vị trí ổn định Trong xử lý ảnh thì gốc tọa độ của frame ảnh sẽ được biểu diễn theo hệ trục tọa độ sau (hình 3.2):

Trang 35

Hình 3.2: Gốc tọa độ của frame ảnh trong hệ trục tọa độ

Từ đó gọi O0 (x, y) là gốc tọa độ khuôn mặt ở vị trí tiêu chuẩn của tài xế (Hình 3.3) Gốc tọa độ này sẽ được xác định khi tài xế ngồi vào vị trí lái xe trong khoảng thời gian 10 giây và vị trí tương đối ổn định

Hình 3.3: Trạng thái khuôn mặt ở vị trí chuẩn

Để xác định vị trí khuôn mặt tài xế cần dựa vào độ lệch của khuôn mặt tại vị trí hiện tại so với khuôn mặt ở vị trí tiêu chuẩn nhờ công thức sau:

− Gọi ∆Ox1, ∆Ox2, ∆Oy1, ∆Oy2 là độ lệch vị trí khuôn mặt hiện tại so với khuôn mặt ở vị trí tiêu chuẩn

∆Ox1 = O1x − Ox

∆Ox2 = Ox − O1x

∆Oy1 = O1y − Oy

∆Oy2 = Oy − O1y

Trang 36

Trong đó:

Ox, Oy là tọa độ khuôn mặt tại vị trí chuẩn

O1x, O1y là tọa độ khuôn mặt tại vị trí hiện tại so với vị trí chuẩn

Trục Ox biểu diễn cho trục ngang (bên trái, bên phải) nên:

− Nếu ∆Ox1 > width * 0,25 thì khuôn mặt quay sang bên phải (Hình 3.4)

− Nếu ∆Ox2 > width * 0,25 thì khuôn mặt quay sang bên trái (Hình 3.5)

Hình 3.4: Khuôn mặt đang quay sang bên phải

Hình 3.5: Khuôn mặt quay sang trái

Trục Oy biểu diễn cho trục dọc (lên,xuống) nên:

− Nếu ∆Oy1 > height * 0,05 thì khuôn mặt đang ngửa ra phía sau (Hình 3.6)

− Nếu ∆Oy2 > height * 0,2 thì khuôn mặt đang cúi xuống phía dưới (Hình 3.7)

Trang 37

Hình 3.6: Khuôn mặt ngửa ra sau

Hình 3.7: Khuôn mặt cúi xuống dưới 3.2.2 Tìm con ngươi từ khuôn mặt để xác định mắt nhắm hay mở

Dựa trên vùng mặt đã phát hiện, ta xác định được vùng mắt và con ngươi từ đó xác định được trạng thái nhắm mở của mắt → Đưa ra cảnh báo buồn ngủ trong trường hợp mắt nhắm

Để xác định mắt nhắm hay mở trước tiên xác định được vùng mắt sau đó xác định con ngươi (Hình 3.8)

Hình 3.8: Vị trí con ngươi trong trường hợp mắt đang mở

Trang 38

Dựa vào vùng mặt và vùng mũi phóng lớn thì công thức xác định vùng mắt được tính như sau (Hình 3.9):

Chiều rộng và cao vùng mắt [31, 32]:

He = Fheight * α * 0,01

We = Fwidth * β * 0,01 hoặc:

He = Nheight * α * 0,01

We = Nwidth * β * 0,01 Trong đó:

α = 35; β = 30

He; We lần lược là chiều cao, chiều rộng vùng mắt

Fheight; Fwidth lần lượt là chiều cao, chiều rộng vùng mặt

Nheight; Nwidth lần lượt là chiều cao, chiều rộng vùng mũi phóng lớn để xác định vùng mặt

Hình 3.9: Vị trí con ngươi trong trường hợp mắt đóng

Xác định vị trí con ngươi ta dựa trên tỉ lệ vùng mắt vừa xác định được Nếu con ngươi nằm giữa vùng mí mắt trên tới chân mày thì mắt đang ở trạng thái đóng (nhắm), nếu con ngươi nằm trong vùng mắt chứa con ngươi thì mắt đang ở trạng thái mở (Hình 3.10)

Trang 39

Hình 3.10: Giám sát trạng thái mắt

Hạn chế: Khoảng cách từ thiết bị tới vùng mắt phải gần khoảng từ 20 ÷ 30 cm thì

độ chính xác sẽ cao, khi khoảng cách càng xa thì vùng con ngươi càng bé nên khó phát hiện chính xác con ngươi

3.2.3 Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe

Bảng 3.1: Các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái

buồn ngủ của lái xe

Nội dung Thiết bị giám sát trạng thái lái xe dự kiến của Đề tài

Chip điều khiển Broadcom BCM2837, Quad core Cortex-A53 ARM 64-bit SoC Thiết bị nhúng sử dụng chip điều khiển xây dựng trên

@ 1.2GHz tích hợp trên Raspberry Pi 4

Bộ nhớ

Tín hiệu đầu vào

Sử dụng camera số kết nối với bộ xử lý nhúng

Sử dụng camera hồng ngoại để hoạt động tốt vào ban đêm và khi lưu thông trong đường hầm

USB 2 cổng USB 3.0 và 2 cổng USB 2.0

Thuật toán điều

khiển

Thuật toán phát hiện buồn ngủ theo các thông số quan sát đặc trưng:

− Tìm con ngươi từ khuôn mặt để xác định mặt nhắm hay mở

− Xác định vùng tai trái, vùng tai phải đề phát hiện tài xế đang quay phải hay trái

Trang 40

Thời gian xử lý Thời gian cập nhật khuôn mặt lái xe: 10 giây, xử lý ảnh nhắm

mắt 1,5 giây

Hệ thống bảo vệ và giảm thiểu tiếng ồn Mạch bảo vệ điện áp quá áp/quá dòng, cắm ngược điện nguồn Nguồn mạch Làm việc với cả nguồn 12 V và 24 V, phù hợp cho mọi loại xe Công suất Công suất tiêu thụ 6 W

Tránh chói Loại bỏ sự phản xạ bất thường của ánh mặt trời bằng cách sử

dụng các bộ lọc đặc biệt

3.3 Phần mềm xử lý ảnh

3.3.1 Thư viện OpenCV

OpenCV (Open Computer Vision library) do Intel phát triển, được giới thiệu năm

1999 và hoàn thiện thành phiên bản 1.0 năm 2006 Nó là một thư viện mã nguồn mở phục vụ cho việc nghiên cứu hay phát triển về thị giác máy tính, tối ưu hóa và xử lý các ứng dụng trong thời gian thực Nó giúp cho việc xây dựng các ứng dụng xử lý ảnh, thị giác máy tính, trở nên nhanh hơn [28, 39]

Thư viện OpenCV gồm khoảng 500 Hàm, được viết bằng ngôn ngữ lập trình C/C++ và tương thích với các hệ điều hành Windows, Linux, Mac OS đóng vai trò xác lập chuẩn giao tiếp, dữ liệu, thuật toán cho lĩnh vực Computer Vision và tạo điều kiện cho mọi người tham gia nghiên cứu và phát triển ứng dụng

Trước đây OpenCV không có một công cụ chuẩn nào cho lĩnh vực xử lý ảnh Các đoạn mã đơn lẻ do các nhà nghiên cứu tự viết thường không thống nhất và không ổn định Các bộ công cụ thương mại như Matlab, Simulink, Halcon, v.v lại có giá cao chỉ thích hợp cho các công ty phát triển các ứng dụng lớn Ngoài ra còn có các giải pháp kèm theo thiết bị phần cứng mà phần lớn là mã đóng và được thiết kế riêng cho từng thiết bị, rất khó khăn cho việc mở rộng ứng dụng

3.3.2 Cách tổ chức thư viện OpenCV

Tổ chức thư viện OpenCV khá đơn giản, bao gồm 4 module chính và 2 module

mở rộng, được mô tả ở Hình 3.11

CXCORE chứa các định nghĩa kiểu dữ liệu cơ sở Ví dụ như các cấu trúc dữ liệu cho ảnh, điểm và hình chữ nhật được định nghĩa trong cxtypes.h CXCORE cũng

Định dạng
Số trang	85
Dung lượng	2,86 MB