Tiêu đề: Hệ Thống Chống Ngủ Gật trên Ô Tô Kết Hợp với Nhận Diện Bàn Tay Mô tả: Đề tài Hệ Thống Chống Ngủ Gật trên Ô Tô Kết Hợp với Nhận Diện Bàn Tay là một nghiên cứu và ứng dụng sáng tạo nhằm cải thiện an toàn cho người lái xe trong quá trình lái xe. Bằng cách kết hợp các công nghệ nhận diện hình ảnh và phân tích dữ liệu, hệ thống này giúp phát hiện và ngăn chặn tình trạng ngủ gật của người lái, đồng thời nhận diện các hành động của bàn tay để tăng cường khả năng kiểm soát xe hơi. Chức năng Chính: Phát Hiện Ngủ Gật: Hệ thống sử dụng camera và cảm biến để giám sát biểu hiện của người lái và các dấu hiệu của việc ngủ gật như mắt đóng lại, động tác cử động không bình thường, và thái độ lái xe không ổn định. Cảnh Báo Người Lái: Khi phát hiện ngủ gật hoặc dấu hiệu nguy cơ, hệ thống sẽ phát ra cảnh báo âm thanh hoặc hình ảnh để cảnh báo người lái và đề xuất các biện pháp an toàn. Nhận Diện Bàn Tay: Hệ thống cũng sử dụng công nghệ nhận diện hình ảnh để nhận biết các hành động của bàn tay của người lái, như việc giữ vô lăng, thao tác trên các nút điều khiển, hoặc sự rời bỏ vô tình. Kiểm Soát An Toàn: Dựa trên thông tin nhận diện được từ bàn tay, hệ thống có thể thực hiện các biện pháp an toàn như giảm tốc độ, cảnh báo nguy cơ va chạm, hoặc tăng cường hệ thống giữ làn đường tự động. Công Nghệ và Công Cụ: Sử dụng các thuật toán và mô hình học sâu trong lĩnh vực Computer Vision để nhận diện ngủ gật và các hành động của bàn tay. Sử dụng ngôn ngữ lập trình Python cùng các thư viện như OpenCV, TensorFlow để phát triển và triển khai hệ thống trên các thiết bị ô tô. Tích hợp cảm biến và camera trên ô tô để thu thập dữ liệu và giám sát. AnToànGiaoThông ChốngNgủGật NhậnDiệnHìnhẢnh ÔTôTựLái AnToànLáiXe Python OpenCV ComputerVision HọcSâu BànTayLáiXe Đề tài này sẽ mang lại một giải pháp hiệu quả và tiên tiến để cải thiện an toàn cho người lái và người điều khiển xe, đồng thời giảm thiểu nguy cơ tai nạn giao thông liên quan đến việc ngủ gật và sự mất kiểm soát của người lái.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KĨ THUẬT TP.HCM - - BÁO CÁO MÔN HỌC : XỬ LÝ ẢNH ĐỀ TÀI: HỆ THỐNG CHỐNG NGỦ GẬT TRÊN Ô TÔ KẾT HỢP VỚI NHẬN DIỆN BÀN TAY GVHD : TS NGUYỄN VĂN THÁI 21151236 Nhóm thực : Trần Minh Hoàng 21151198 21151408 Nguyễn Minh Chiến Báo Ngọc Đăng Khoa LỜI CAM ĐOAN TP.Thủ Đức, tháng 06 năm 2023 Đề tài này là nhóm dựa tài liệu tham khảo internet kết hợp phát triển với tính tiện ích khơng chép hồn toàn tài liệu BẢNG PHÂN CÔNG NHIỆM VỤ STT HỌ VÀ TÊN MSSV NHIỆM VỤ TIẾN ĐỘ Lập trình giao diện, nhận Trần Minh Hồng 21151236 diện khn miệng, đồ thị 100% theo dõi tổng hợp Word Lập trình nhận diện và đếm Nguyễn Minh Chiến 21151198 số ngón tay, chỉnh sửa tổng 100% hợp code Lập trình đếm số lần nhắm Báo Ngọc Đăng Khoa 21151408 mắt, nghiên cứu tài liệu 100% thư viện Ghi chú: NHẬN XÉT CỦA GIẢNG VIÊN Điểm: Chữ kí GVHD TS Nguyễn Văn Thái MỤC LỤC CHƯƠNG : GIỚI THIỆU TỔNG QUAN ĐỀ TÀI XỬ LÝ ẢNH 1.1 Giới thiệu : .5 1.2 Đặt vấn đề : 1.3 Mục tiêu : .6 1.4 Phương pháp nghiên cứu : .6 1.5 Giới hạn đề tài : CHƯƠNG : CƠ SỞ LÝ THUYẾT .8 2.1 Lý thuyết xử lý ảnh : .8 2.2 Các thư viện thường gặp : 2.2.1 PILOW Xử lý hình ảnh : .8 2.2.2 Matplotlib – Vẽ đồ thị 2D: 2.2.3 Numpy – Xử lý mảng đa chiều, ma trận: 2.2.4 OpenCV – Xử lý hình ảnh: 10 2.2.5 Requests – Thư viện HTTP: 10 2.2.6 Keras – Deep Learning: 11 CHƯƠNG : NỘI DUNG THỰC HIỆN 12 3.1 Yêu cầu đề tài : 12 3.2 Lưu đồ giải thuật : 12 CHƯƠNG : CODE VÀ GIẢI THÍCH HOẠT ĐỘNG CHƯƠNG TRÌNH 14 4.1 Giao diện ban đầu : 14 4.2 Nhận diện khuôn mặt và đếm số lần nháy mắt: 15 4.2.1 Đếm số lần nhắm mắt : .15 Bước đầu ta khai báo thư viện : 15 4.2.2 Phát hiện trạng thái mở miệng mức độ mở miệng (ngáp) : 19 4.2.3 Các thư viện : 20 4.3 Phương pháp dùng để thực hiện chương trình : 21 ❖ Phương pháp nhận dạng dựa đặc trưng khuôn mặt .21 4.4 Nhận diện đếm số ngón tay : .25 CHƯƠNG : KẾT QUẢ VÀ KẾT LUẬN 32 5.1 Vấn đề gặp phải và hướng giải : .32 5.2 Kết quả đạt : 33 5.3 Hạn chế đề tài : 34 5.4 Hướng phát triển : 34 CHƯƠNG : GIỚI THIỆU TỔNG QUAN ĐỀ TÀI XỬ LÝ ẢNH 1.1 Giới thiệu : Từ xưa đến người luôn quan sát thu thập thông tin phần lớn thơng qua hình ảnh Vì cơng nghệ xử lí ảnh đời có vai trị vơ quan trọng nền văn minh nhân loại Nó xử lí xác phát hiện cấu trúc nhỏ mà người quan sát Đã có nhiều phát minh có giá trị to lớn hầu hết lĩnh vực: y tế, quân sự, khoa học … Điển số ứng dụng nhận dạng khuôn mặt, nhận dạng vật thể, xử lí nhiễu, nhận dạng hành động Hình 1.1 Nhận diện người Hình 1.2 Phân loại sản phẩm Hình 1.3 Nhận diện biển số xe Hình 1.4 Nhận diện khuôn mặt 1.2 Đặt vấn đề : Ngày nay, xã hội ngày phát triển Cơng nghiệp hóa, hiện đại hóa ngày nâng cao để phát triển đất nước cải thiện sống người dân Vì việc ứng dụng khoa học kỹ thuật ngày trở nên rộng rãi, phổ biến mang lại hiệu quả cao hầu hết lịnh vực kinh tế, kỹ thuật đời sống xã hội.Thị giác máy lĩnh vực và phát triển Thị giác máy bao gồm lý thuyết kỹ thuật liên quan đến mục đích nhằm tạo hệ thống nhân tạo tiếp nhận thơng tin từ hình ảnh thu tập liệu đa chiều Việc kết hợp thị giác máy với kỹ thuật khác trùn thơng, điện tử, điều khiển tự động, khí….cho nhiều ứng dụng hàng ngày khoa học, an ninh, quân sự… Trong đó, hiện đất nước ta khuyến khích người dân chuyển đổi từ chứng nhân dân sang cước cơng dân có gắn chip để thuận lợi cho nhà nước trình quản lý dân cư Cộng thêm q trình học tập mơn xử lý ảnh chúng em tiếp cận ban đầu nghiên cứu về xử lý ảnh số sử dụng mã nguồn OpenCV, ngôn ngữ C#, python Từ đó chúng em định nghiên cứu về đề tài “Hệ thống chống ngủ gật xe ô tô kết hợp với nhận diện bàn tay” với hướng dẫn thầy T.s Nguyễn Văn Thái nhóm chúng em nghiên cứu thành công mong muốn tiếp tục phát triển ứng dụng vào lĩnh vực khác 1.3 Mục tiêu : Đề tài: “Hệ thống chống ngủ gật xe ô tô kết hợp với nhận diện bàn tay” với mục tiêu giúp tài xế tránh tình trạng ngủ gật làm nguy hiểm trình tham gia giao thơng Hệ thống cảnh báo có dấu hiệu buồn ngủ tài xế lựa chọn chế độ cử bàn tay 1.4 Phương pháp nghiên cứu : Vận dụng kiến thức học tham khảo mơ hình internet để tìm phương pháp tối ưu cho đề tài 1.5 Giới hạn đề tài : - Chỉ hiển thị số lần đếm, chưa hiển thị tần suất - Chưa có thông tin từ tần suất chớp mắt ( chưa áp dụng tâm lí học chớp mắt vào để tài) - Khơng đếm khoảng cách cho phép( khoảng cách từ đối tượng đến camera) - Bàn tay nhận tối đa ngón - Khi phát âm thanh, giao diện phải chờ hết âm thực hiện tiếp - Không phát hiện nhiều đối tượng CHƯƠNG : CƠ SỞ LÝ THUYẾT 2.1 Lý thuyết xử lý ảnh : Xử lý ảnh (XLA) là đối tượng nghiên cứu lĩnh vực thị giác máy, là trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính và tuân theo ý muốn người sử dụng Xử lý ảnh có thể gồm trình phân tích, phân lớp đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay q trình biên dịch thơng tin hình ảnh ảnh Cũng xử lý liệu đồ hoạ, xử lý ảnh số là lĩnh vực tin học ứng dụng Xử lý liệu đồ họa đề cập đến ảnh nhân tạo, ảnh này xem xét là cấu trúc liệu và tạo chương trình Xử lý ảnh số bao gồm phương pháp và kỹ thuật biến đổi, để truyền tải mã hoá ảnh tự nhiên Mục đích xử lý ảnh gồm: • Biến đổi ảnh làm tăng chất lượng ảnh • Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá nội dung ảnh Nhận biết và đánh giá nội dung ảnh là phân tích hình ảnh thành phần có ý nghĩa để phân biệt đối tượng này với đối tượng khác, dựa vào ta có thể mơ tả cấu trúc hình ảnh ban đầu Có thể liệt kê số phương pháp nhận dạng bản nhận dạng ảnh đối tượng ảnh, tách cạnh, phân đoạn hình ảnh,… Kỹ thuật này dùng nhiều y học (xử lý tế bào, nhiễm sắc thể), nhận dạng chữ văn bản.Module tiết diện: 2.2 Các thư viện thường gặp : 2.2.1 PILOW Xử lý hình ảnh : Khi sử dụng Pilow, người dùng có thể mở và lưu hình ảnh, mà cịn có thể xử lý đặc điểm hình ảnh, chẳng hạn màu sắc, độ mờ, độ sáng, tối, Pilow hỗ trợ xử lý nhiều tệp hình ảnh khác PDF, WebP, PCX, PNG, JPEG, GIF, PSD, WebP, PCX, GIF, IM, EPS, ICO, BMP, và nhiều Với Piloư, bạn có thể dễ dàng tạo ảnh thu nhỏ (thumbnails) cho hình ảnh, ảnh thu nhỏ này mang hầu hết đặc điểm hình ảnh và gần khơng khác ảnh gốc ngoại trừ chúng thu nhỏ lại Pillow hỗ trợ sưu tập lọc hình ảnh – FIND_EDGES, DETAIL, SMOOTH, BLUR, CONTOUR, SHARPEN, SMOOTH_MORE, etc 2.2.2 Matplotlib – Vẽ đồ thị 2D: Matplotlib có thể tạo đồ thị chất lượng và xuất cách dễ dàng và thuận tiện, hoàn toàn đáp ứng nhu cầu ngành học Các đồ thị tạo Matplotlib có sẵn bản cứng nền tảng tương tác khác Bạn có thể dùng Matplotlib với nhiều công cụ Python Scripts, IPython Shells, Jupyter Notebook, và nhiều công cụ khác Một số thư viện bên thứ ba có thể tích hợp với ứng dụng Matplotlib Chẳng hạn seaborn, ggplot, và công cụ chiếu xạ, mapping khác basemap Ngoài ra, bạn có thể theo dõi lỗi nào phát sinh trình coding, bản vá mới, đồng thời có thể đóng góp tính GitHub Đó là trang thức để nêu vấn đề liên quan đến Matplotlib và giải chúng 2.2.3 Numpy – Xử lý mảng đa chiều, ma trận: Numpy là mô-đun mở rộng mã nguồn mở cho Python, cung cấp chức biên dịch nhanh cho thao tác tốn học và số, chí là với ma trận và mảng có lượng liệu khổng lồ Bên cạnh đó mô-đun cung cấp thư viện lớn chức toán học cấp cao để hoạt động ma trận và mảng cách dễ dàng và thuận tiện Numpy cung cấp masked arrays đồng thời với mảng gốc Nó kèm với chức thao tác với hình dạng logic, biến đổi Fourier rời rạc, đại số tuyến tính tổng quát, và nhiều Gói mơ-đun này cung cấp cơng cụ hữu ích để tích hợp với ngơn ngữ lập trình khác Chẳng hạn C, C++, và ngơn ngữ lập trình Fortran Numpy cung cấp chức tương đương với MATLAB Cả hai đều cho phép người dùng thao tác nhanh 2.2.4 OpenCV – Xử lý hình ảnh: OpenCV là gói mơ-đun hình ảnh lý tưởng cho phép bạn đọc và ghi, thay đổi liệu nhiều hình ảnh lúc Tạo thị giác máy tính cho phép bạn xây dựng lại, gián đoạn và thông hiểu môi trường 3D từ môi trường 2D tương ứng nó OpenCV xử dùng nhiều nhận diện vật thể và hình ảnh thiết lập trước, chẳng hạn khuôn mặt, động vật, cối, vật thể di chuyển, etc Bạn lưu và chụp khoảnh khắc nào video và có thể phân tích thuộc tính khác nó chuyển động, nền, etc OpenCV tương thích với nhiều hệ điều hành Windows, OS-X, Open BSD và nhiều hệ điều hành khác 2.2.5 Requests – Thư viện HTTP: Sử dụng Từ điển Python bản Requests, bạn có thể thêm tham số, tiêu đề, multi-part file và liệu biểu mẫu Đây là thư viện dễ dàng với nhiều tính cho phép bạn xử lý tiêu đề tùy chỉnh, xác minh chứng SSL và quét tham số về URL Với Requests, bạn có thể dễ dàng tải lên nhiều tệp lúc Nó cho phép bạn làm việc môi trường nhanh và hiệu quả Requests có tính giải nén tự động cho phép bạn khôi phục và phục hồi liệu nén thành dạng xác thực nó Tận hưởng lợi ích hỗ trợ proxy HTTP với Requests Và cho phép người dùng bạn tuyến nhanh và đơn giản đến tệp và trang bạn Requests có cookie giá trị, quan phản hồi Unicode, xác thực Basic/Digest, an toàn luồng, tổng hợp kết nối và nhiều 10 Hình 4.2.8 Tính tốn tỉ lệ (ratio) ❖ Các thư viện và phương pháp thực hiện chương trình : 4.2.3 Các thư viện : • CVZone: Là thư viện Python phát triển để hỗ trợ xử lý hình ảnh thị giác máy tính Nó cung cấp loạt công cụ chức để xây dựng ứng dụng thị giác máy tính, nhận dạng khn mặt, xử lý video hình ảnh, và tương tác với thiết bị webcam • CVZone có số tính như: - Điểm mắt: Cho phép nhận dạng và theo dõi điểm mắt khn mặt - Điểm hình vng: Cho phép nhận dạng theo dõi hình vng hình ảnh - Điểm đường tròn: Cho phép nhận dạng và theo dõi đường trịn hình ảnh - Điểm khuôn mặt: Cho phép nhận dạng theo dõi khn mặt hình ảnh video - Bộ đồ họa: Cung cấp cơng cụ để vẽ hình dạng thích lên hình ảnh video - Đọc và ghi video: Cho phép đọc ghi video từ webcam từ tệp video Để sử dụng thư viện "cvzone", bạn cần cài đặt nó mơi trường Python Bạn có thể cài đặt nó câu lệnh sau Command Prompt Terminal: “ pip install cvzone” 20