XU LY ANH TREN RASPBERRY PI 4 VA GOOGLE CORAL USB
Chuong 4. KET LUẬN VA HƯỚNG PHAT TRIEN
4.1. Kết quả và kết luận.
4.1.1. Môi trường hệ thống sử dụng.
Môi trường mà hệ thống sử dụng là:
- _ Hệ điều hành Raspberry Pi OS hay còn gọi là Raspbian là nền tảng hệ thống.
- _ Ngôn ngữ lập trình Python 3.7.
- Thu viện TensorFlow Lite Python API và Edge TPU Runtime.
- Thu viện OpenCV v4.
- Thu viện Dlib.
- Bộ dataset YawDD với các video không mang kính, camera gắn trước vô lăng. 4.1.2. Kết quả thực nghiệm.
Bảng 4.1: Kết quả chạy hệ thống với YawDD.
Video Tổng số
lượng Nam không 60 đeo kính
Nữ không 50 đeo kính
Số video dự | Số video dự | Độ chính
đoán đúng đoán sai xác
89%
& Thực nghiệm 110 video về trường hợp tài xế dang ngồi trong xe 6 tô và có ánh
sáng đầy đủ cho kết quả là 98 video được dự đoán chính xác và 12 video dự đoán
sai với độ chính xác là 89%. Kêt quả này đã vượt qua mục tiêu ban dau ma nhóm
đã đặt ra với độ chính xác đạt được hơn 80% và tốc độ hơn 20fps.
50
Bảng 4.2: Bảng so sánh kết quả giữa phương pháp đề xuất và tham khảo.
Tên phương Phần cứng thực Độ chính xác Tôc độ xử lý
pháp hiện
Đếm số lần chớp | Máy tính cá nhân 93% ~6fps
mắt trong một |với bộ xử lý
khoảng thời gian. |2.9GHz và RAM
[7] 8G
Phương pháp dé | Raspberry Pi4 với 89% ~26fps
xuat cua nhom —
Tinh thoi gian
chớp mắt.
bộ xử lý 1.5GHz,
RAM 4G kết hợp
với Google Coral USB
Bảng 4.2 thé hiện kết qua so sánh giữa phương pháp mà nhóm đề xuất và phương pháp nhóm tham khảo về độ chính xác và tốc độ thực hiện. Có thay rằng độ chĩnh xác của phương pháp nhóm đề xuất thấp hơn 4% so với phương pháp nhóm tham khảo. Về tốc độ thực hiện thi mặc di phương pháp của nhóm đề xuất không được thực hiện trên phần cứng của một máy tính cá nhân có bộ xử lý tốc độ nhanh và RAM nhiều nhưng vẫn có tốc độ nhanh hơn khoảng 20fps khi kết hợp với Google
Coral USB.
4.1.3. Kết luận.
Qua thời gian 05 tháng nghiên cứu và tiễn hành thực nghiệm khóa luận tốt nghiệp, nhóm đã tìm ra được giải pháp giải quyết bài toán phát hiện buồn ngủ dựa vào xử
lý ảnh trên hệ thống nhúng thời gian thực.
Sử dụng phần cứng TPU dé cho tốc độ xử lý model phát hiện khuôn mặt nhanh nhất và phát hiện vùng mắt dựa trên CPU của Raspberry Pi4, kết hợp hai phần cứng cho kết quả xử lý khoảng 26fps với độ chính xác khoảng 89% trong điều
51
kiện ánh sáng ban ngày, đạt mục tiêu ban đâu của khóa luận, đảm bảo được hệ
thống chạy và xử lý thời gian thực.
Sử dụng ngôn ngữ lập trình Python 3.7 trên nền tảng hệ điều hành Raspberry OS cùng các thư viện Dlib 19, OpenCV4, EdgeTPU cho hướng tiếp cận đơn giản trên hai phần cứng dé hiện thực giải thuật. Cùng với đó là cộng đồng hỗ trợ của các thư viện này lớn, dễ dàng tìm giải pháp khi gặp khó khăn, từ đó rút ngắn thời gian
xử lý vấn đề.
Việc ứng dụng TPU vào xử lý ảnh trên hệ thống nhúng là một hướng đi mới mà khóa luận muốn đưa ra, trong tương lai có thé phát triển nhiều hơn nữa các giải thuật khác nhằm chuyên hệ thống thành một hệ thống đa năng và én định trên 6
to.^
4.2. Diém han chế va hướng phat triển.
4.2.1. Diém han ché
Tu những két quả dat được khi chạy thực nghiệm hệ thống, phân tích các số liệu
thu thập được thì đề tài có những điểm hạn chế như sau:
- _ Hệ thống không thê chạy được vào ban đêm và các trường hợp thiếu ánh sáng.
- _ Khi ma quay mặt sang một bên hoặc cúi mặt xuống thì hệ thống sẽ xác định được các điểm xung quanh hai mắt một cách chính xác.
Những nguyên nhân dẫn đến những hạn chế của hệ thống:
- Dohé thống đang sử dụng loại camera thông thường chỉ có thé ứng dụng trong điều kiện ban ngày hoặc có ánh sáng đầy đủ. Với những hệ thống trên xe để có thé chạy được vào ban đêm thi đó phải là những loại camera hồng ngoại và có sự
hỗ trợ từ phần cứng dé bức ảnh khi được lấy vào cho hệ thống xử lý thì nó phải loại bỏ được nhiễu nhiều nhất có thể. Từ đó khi hệ thống xử lý bức ảnh được lấy vào thì tính chính xác được nâng lên đáng ké. Hình 4.2 cho thấy được những điểm cải thiện của camera giúp cho việc khi áp dụng các model học sâu thì có thể tăng
52
được sự chính xác. Bên cạnh đó việc xây dựng một bộ dataset khi sử dụng camera
cũng là một thách thức được đặt ra dé làm huấn luyện các model học sâu.
- Viéc sử dụng model của “Coral” là model “Face detection” dù khi mặt bi quay
đi hay là ngửa cao lên thì nó vẫn phát hiện và lấy nguyên một khuôn mặt. Tuy nhiên, trong các bài toán về “Face Recognition” và “Facial Landmarks” thì việc lấy nguyên khuôn mặt với diện tích lớn như vậy sẽ rất khó khăn trong việc trích xuất những đặc trưng và xác định vì trí tương quan của các bộ phận trên khuôn mặt. Hình 4.1 cho thấy sự khác biệt về Output của hai Model đều là “Face
Detection”.
Hình 4.1: Sự khác nhau giữa hai model “Face detection”.
Ba hình ở phía trên là ba hình sử dụng model “Face detection” của mô hình Dlib.
Ba hình ở phía dưới là ba hình sử dụng model “Face detection” của Google Coral
USB. Các hình cho thấy sự khác biệt rõ rệt trong việc xác định “Bounding box”
xung quanh khuôn mặt dẫn tới việc khi mà mặt quay đi chỗ khác thì sự tương quan
vi trí của đôi mat sẽ có sự khác biệt giữa hai model.
53
Kế tiếp là các hình ảnh mô tả môi trường được xử lý hong ngoại:
(Nguồn ba hình: www.flir.eu)
54
4.2.2. Hướng phát triển.
Hiện tại khóa luận đã đạt được tốc độ mong muốn và thử nghiệm thành công khi kết hợp với model “Face detection” của Google Coral USB. Tuy nhiên dé có được
độ chính xác cao hơn nữa thì cần phải có một model “Face detection” chỉ lấy những khu vực cần thiết của khuôn mặt. Do đó, nó cũng là cái hướng phát triển tiếp theo của nhóm. Thực hiện thu thập dữ liệu về khuôn mặt và xác định những khu vực cần thiết của khuôn mặt. Tiếp đó sẽ huấn luyện một model “Face detection” với Google Coral USB dé tận dụng được nguồn tài nguyên phan cứng
hỗ trợ “Deep learning” của thiết bị này.
Bên cạnh đó, nhóm đã tìm hiểu thì thay một nhóm nghiên cứu thuộc trường Đại học MIT ở Thành phố Cambride, Hoa Kỳ cũng đang phát trién một hệ thống trên
xe Tesla phát hiện những hành vi không đúng của tài xế khi đang lái xe và đưa ra cảnh báo. Do đó, một phần trong hướng phát triển tiếp theo của nhóm là muốn kết hợp nó vào hệ thong của khóa luận dé tạo thành một thiết bi thực hiện được nhiều
chức năng trên xe.
Off Road Glonce
Smartphone Use:
Hình 4.5: Thử nghiệm hệ thống của trường Dai hoc MIT.
(Nguôn www.veoneer.com)
55