(Đồ án tốt nghiệp) ứng dụng xử lý ảnh vào việc phát hiện ngủ gật dùng kit raspberry

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ỨNG DỤNG XỬ LÝ ẢNH VÀO VIỆC PHÁT HIỆN NGỦ GẬT DÙNG KIT RASPBERRY GVHD: NGUYỄN DUY THẢO SVTH: NÔNG VĂN TÂN MSSV:13141299 SVTH: TRẦN THỊ MỸ KHIÊM MSSV: 13141147 SKL006519 Tp Hồ Chí Minh, tháng 01/2018 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀO VIỆC PHÁT HIỆN NGỦ GẬT DÙNG KIT RASPBERRY GVHD: Th.s Nguyễn Duy Thảo SVTH: Nông Văn Tân MSSV: 13141299 SVTH: Trần Thị Mỹ Khiêm MSSV: 13141147 Tp Hồ Chí Minh - 01/2018 TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH BẢNG MÔ TẢ CƠNG VIỆC Họ tên sinh viên 1: Nơng Văn Tân MSSV: 13141299 Lớp: 13141DT2C Họ tên sinh viên 2: Trần Thị Mỹ Khiêm MSSV: 13141147 Lớp: 13141DT1D Tên đề tài: Ứng dụng xử lý ảnh vào việc phát ngủ gật dùng Kit Raspberry MÔ TẢ MỤC TIÊU CỦA ĐỀ TÀI: Đề tài tìm hiểu kit Raspberry, kiến thức xử lý ảnh, kỹ thuật nhận dạng xây dụng toán phát ngủ gật MÔ TẢ CÔNG VIỆC THỰC HIỆN ĐỀ TÀI CỦA TỪNG SINH VIÊN: Họ tên Sinh viên 1: Nông Văn Tân Các công việc thực đề tài: STT NỘI DUNG CƠNG VIỆC Tìm kiếm tài liệu lập trình Python, OpenCV Cài đặt hệ điều hành thư viện liên quan Viết chương phát ngủ gật Viết báo cáo Họ tên Sinh viên 2: Trần Thị Mỹ Khiêm Các công việc thực đề tài: STT NỘI DUNG CƠNG VIỆC Tìm kiếm tài liệu lập trình Python, OpenCV Tìm kiếm lý thuyết nhận dạng, phát Viết chỉnh sửa báo cáo SINH VIÊN SINH VIÊN (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) Nông Văn Tân Trần Thị Mỹ Khiêm XÁC NHẬN CỦA GIẢNG VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) Th.s Nguyễn Duy Thảo TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP HỒ CHÍ MINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP- Y SINH Tp HCM, ngày 01 tháng 01 năm 2018 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Chuyên ngành: Hệ đào tạo: Khóa: I TÊN ĐỀ TÀI: Ứng dụng xử lý ảnh vào việc phát ngủ gật dùng Kit Raspberry II NHIỆM VỤ Các số liệu ban đầu:  kit Raspberry Pi  camera  loa  Các hình ảnh cần xử lý Nội dung thực hiện:  Tìm hiểu xử lý ảnh  Tìm hiểu kit Raspberry Pi  Các kỹ thuật nhận dạng • Phát ngủ gật Raspberry Pi • Viết báo cáo III NGÀY GIAO NHIỆM VỤ: 25/9/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 15/01/2018 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: Th.s Nguyễn Duy Thảo CÁN BỘ HƯỚNG DẪN Th.s Nguyễn Duy Thảo BM ĐIỆN TỬ CÔNG NGHIỆP-Y SINH TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO TP HỒ CHÍ HẠNH PHÚC MINH KHOA ĐIỆN-ĐIỆN TỬ CÔNG NGHIỆP BỘ MÔN ĐIỆN TỬ Tp H C M, ng ày 01 th án g 01 nă m 20 18 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Nông Văn Tân Lớp: 13141DT2C Họ tên sinh viên 2: Trần Thị Mỹ Khiêm Lớp: 13141DT Tên đề tài: Ứng dụng xử lý ảnh vào việc phát ngủ gật dùng Kit Raspberry Tuần/ngày Tuần Tuần Tuần → Tuần → 10 Tuần 10 → 13 Tuần 14+15 Tuần 16 → 20 Tuần 21 GV HƯỚNG DẪN (Ký ghi rõ họ tên) Th.s Nguyễn Duy Thảo LỜI CAM ĐOAN Đề tài tự thực hướng dẫn Th.s Nguyễn Duy Thảo dựa vào số tài liệu, đề tài trước khơng chép từ tài liệu hay cơng trình có trước Người thực đề tài Người thực đề tài Nông Văn Tân Trần Thị Mỹ Khiêm i CHƯƠNG THI CƠNG HỆ THỐNG Hình 4.4: Phát ngủ gật Hình 4.4 kết trình phát ngủ gật Trên hình ảnh, thấy vùng mắt đánh dấu Sau xử lý phát đối tượng cần xử lý ngủ gật thơng báo hình chữ “NGU GAT” âm phát từ loa BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Chương 5.1 KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Kết Hình 5.1: Phát khn mặt Hình 5.2: Đánh dấu 68 điểm khuôn mặt dùng giải thuật Facial Landmarks BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Hình 5.3: Phát trạng thái mắt nhiều trường hợp Hình 5.4: Phát ngủ gật vào ban ngày khơng đeo kính Hình 5.5: Phát ngủ gật vào ban ngày có đeo kính BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Hình 5.6: Phát ngủ gật vào ban đêm không đeo kính 5.2 Nhận xét Để đánh giá, nhận xét cách thực tế, nhóm phát ngủ gật ảnh tĩnh nhiều góc độ trường hợp khác Nhóm sử dụng hình ảnh nhiều trường hợp khác như: mặt người góc thẳng, góc nghiêng, mắt nhắm, mắt mở, đeo kính, khơng đeo kính, đủ ánh sáng, thiếu ánh sáng, ban ngày, ban đêm.v.v Kết thể bảng 5.1 5.2: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Bảng 5.1: Kết nhận dạng trạng thái mắt với trường hợp góc thẳng Nhắm Mở Bảng 5.1 cho ta thấy kết việc nhận dạng trạng thái mắt với trường hợp khn mặt đối diện với camera Độ xác tương đối cao tương đồng trường hợp đủ ánh sáng thiếu ánh sáng Trường hợp người không đeo kính đạt xác cao (trên 90%) thấp (trung bình đạt 80%) trường hợp người có đeo kính Khi đeo kính, hệ thống khó nhận biết mắt sử dụng dự đoán để vẽ mí mắt nên độ xác thấp trường hợp có đeo kính BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Bảng 5.2: Kết nhận dạng trạng thái mắt với trường hợp góc nghiêng Nhắm Mở Bảng 5.2 cho ta thấy kết việc nhận dạng trạng thái mắt với trường hợp khuôn mặt xoay nhiều góc khác khơng q 45 Độ xác gần tương đồng trường hợp đủ ánh sáng thiếu ánh sáng Trường hợp người khơng đeo kính đạt xác tương đối cao thấp trường hợp người có đeo kính Qua bảng 5.2, ta thấy khác biệt việc nhận dạng trạng thái nhắm hay mở mắt Trường hợp nhận dạng mắt mở đạt độ xác cao (trên 95%) trường hợp nhận dạng mắt nhắm đạt 80% khơng đeo kính 60% có đeo kính Kết cho thấy độ xác cao phát vào ban ngày Nhưng ban đêm, thiếu ánh sáng nên độ xác thấp so với ban ngày Và việc nhận o dạng phải diện khn mặt, khơng vượt q 30 BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ Đối với việc đeo kính, gây khó khăn việc đánh dấu mắt Vì vậy, ban đêm việc sử dụng kính gây ảnh hưởng cho việc phát ngủ gật làm cho việc phát khơng xác, thật chí khơng thể phát Việc phát ngủ gật, khoảng cách camera mắt người khoảng 1,2 mét việc phát xác Việc sử dụng kính vơ quan trọng Chỉ phát đối tượng sử dụng loại kính suốt để dễ dàng phát mắt xử lý Đối với loại kính râm, kính chống nắng khơng nhận dạng mắt nên việc phát ngủ gật khơng thể BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương 6.1 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT LUẬN Trong suốt trình thực đề tài nhóm xây dựng hệ thống ứng dụng cho tài xế điều khiển phương tiện tham gia giao thông Đề tài xây dựng hệ điều hành Linux để mô kit Raspberry Pi để sử dụng thực tế với hỗ trợ phương tiện phần mềm xử lý ảnh thư viện mã nguồn mở OpenCV dlib với nhiệm vụ phát cảnh báo tài xế điều khiển phương tiện gia thơng có dấu hiệu buồn ngủ Trên thực tế chương trình đáp ứng yêu cầu sau: Chương trình ứng dụng thực tế chạy kit Raspberry Pi Chương trình ứng dụng Linux viết từ ngôn ngữ Python truy xuất hàm từ thư viện mã nguồn mở OpenCV dlib để xử lý ảnh kit Raspberry Pi Với kết chạy thiết bị kit Raspberry Pi tốc độ xử lý 1.2GHz, RAM 1GB, camera với độ phân giải 3MP, kích thước khung ảnh rộng 400 pixel Tốc độ xử lý khung ảnh tương ứng khoảng 0.15 giây chậm mô khoảng lần không ảnh hưởng nhiều đến kết cuối cho việc phát cảnh báo tài xế ngủ gật đảm bảo độ xác cao thời gian thực Kết đáp ứng tốt với yêu cầu hệ thống 6.1.1 Ưu điểm - Là chương trình lập trình tiết kiệm chi phí thiết kế thi cơng phần cứng cho hệ thống cảnh báo với chức tương tự - Linh hoạt tiện lợi kích thước kit Raspberry Pi nhỏ nên tích hợp trực tiếp xe tơ dựa vào hệ thống an ninh có sẵn xe Từ phát triển ứng dụng cách hiệu - Kết mô ứng dụng thực tế kit Raspberry Pi cho độ xác cao - Chương trình đáp ứng yêu cầu thực tế, thời gian xử lý cảnh báo đủ nhanh để đáp ứng cho ứng dụng yêu cầu thời gian thực BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1.2 Nhược điểm Giải thuật sử dụng kit Raspberry Pi để phát khuôn mặt Haar Cascade giải thuật đơn giản phụ thuộc nhiều vào điều kiện ngoại cảnh ánh sáng, góc quay, tọa độ di chuyển nên thực hương trình cịn số nhược điểm sau: - Khi người theo dõi mang kính phát mắt khơng xác, vị trí đánh dấu mắt bị lệch phản chiếu ánh sáng ánh sáng chiếu trực tiếp vào kính - Giải thuật phát nhiều khuôn mặt lúc nên chưa nhận dạng đâu tài xế, đâu người vơ tình lọt vào camera nên việc thực phát cảnh báo ngủ gật chưa chuẩn xác khung ảnh có hai người trở lên - Hướng mặt phải tương đối trực diện Nghiêng, xoay trái, xoay phải góc lớn 455̊, ngẩng đầu cuối xuống 305̊thì giải thuật khơng phát khn mặt mắt 6.2 HƯỚNG PHÁT TRIỂN 6.2.1 Hướng khắc phục - Tiền xử lý ảnh qua nhiều bước để có kết chuẩn xác - Ứng dụng chương trình điều kiện ngoại cảnh phù hợp khoảng cách, ánh sáng (lắp đặt đèn chiếu sáng vừa đủ xe vào ban đêm), hạn chế số lượng thời gian mà khuôn mặt người khác tài xế làm nhiễu khung ảnh, hướng góc nghiêng mặt… để đảm bảo độ tin cậy giảm sai số tới mức thấp cho hệ thống - Cải thiện chất lượng camera sử dụng camera hồng ngoại khơng phụ thuộc vào điều kiện ánh sáng để thu khung ảnh ảnh xám, camera có độ phân giải cao… BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.2.2 Hướng phát triển - Nghiên cứu cải tiến giải thuật phát hiện, nhận diện hiệu quả, xác tối ưu - Xây dựng hệ thống với cảnh báo đa dạng hệ thống phát thấy tình trạng ngủ gật gửi tin nhắn, thực gọi, kích hoạt động quay, rung… để đánh thức tài xế - Để tiện lợi chủ động sử dụng việc nghiên cứu phát triển hệ thống thiết bị di động cần thiết ví dụ lập trình phần mềm, ứng dụng cài đặt điện thoại thông minh Phát phân tích cấu trúc khn mặt người khơng gian chiều BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO Sách tham khảo [1] Nguyễn Thanh Hải, “Giáo Trình: Xử Lý Ảnh”, Xuất Đại Học Quốc Gia TP.HCM, 2013 [2] Simon Monk, “Programming the Raspberry Pi Getting Started with Python”, 2015 [3] Joseph Howse, Prateek Joshi, Micheal Beyeler, “OpenCV: Computer Vision Projects with Python”, 2016 [4] Tereza Soukupova and Jan Čech, “Real-Time Eye Blink Detection using Facial Landmarks”, 2016 Trang web tham khảo [5] “Adaboost - Haar Features - Face detection” [Online] Available: http://www.ieev.org/2010/03/adaboost-haar-features-face-detection_22.html [6] “ Facial landmarks with dlib, OpenCV, and Python” [Online] Available: https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/ [7] WIKIPEDIA, "Khoảng cách Euclid," [Online] Available: https://vi.wikipedia.org/wiki/Kho%E1%BA%A3ng_c%C3%A1ch_Euclid “Raspbian Stretch: Install OpenCV + Python on your Raspberry Pi” https://www.pyimagesearch.com/2017/09/04/raspbian-stretch-install-opencv-3-pythonon-your-raspberry-pi/ [8] BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH PHỤ LỤC PHỤ LỤC PHỤ LỤC: CHƯƠNG TRÌNH PHÁT HIỆN NGỦ GẬT # python PhatHienNguGat.py #nhap nhung goi can thiet from scipy.spatial import distance as dist from imutils.video import VideoStream from imutils import face_utils from threading import Thread import numpy as np import imutils import time import dlib import cv2 start_time = time.time() def danh_dau_moc(im): rects = detector.detectMultiScale(im, 1.3,5) x,y,w,h =rects[0] rect=dlib.rectangle(x,y,x+w,y+h) return np.matrix([[p.x, p.y] for p in predictor(im, rect).parts()]) def ty_so_mat(eye): # tinh khoang cach euclide giua bo danh dau mat doc toa (x, y) A = dist.euclidean(eye[1], eye[5]) B = dist.euclidean(eye[2], eye[4]) # tinh khoang cach euclide giua diem moc danh dau mat ngang toa (x, y) C = dist.euclidean(eye[0], eye[3]) # tinh ti le mat ear = (A + B) / (2.0 * C) # tra ve ti le mat return ear # xac dinh hang so, cho ti le khia canh mat de biet mat nhap nhay va cho so khung lien tiep ma mat phai nam duoi nguong de dat canh bao NGUONG_MAT = 0.25 SO_KHUNG_HINH = 10 DEM=0 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH PHỤ LỤC # khoi tao bo phat hien khuon mat cua opencv (dua tren haar cascade) va tao bo du doan danh dau moc cua khuon mat cua dlib #print("[INFO] loading facial landmark predictor ") cascade_path='haarcascade_frontalface_default.xml' detector = cv2.CascadeClassifier(cascade_path) PREDICTOR_PATH = "shape_predictor_68_face_landmarks.dat" predictor = dlib.shape_predictor(PREDICTOR_PATH) # lay cac chi so cua cac dau moc tren khuon mat # cho mat trai va mat phai tuong ung (lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"] (rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"] # bat dau thu luong video #print("[INFO] starting video stream thread ") vs = VideoStream(src=0).start() time.sleep(1.0) print ( " - %s seconds -" % (time.time() - start_time)) # vong lap qua cac khung hinh tu luong video while True: start_time_1 = time.time() # lay khung tu luong tep video, thay doi kich thuoc # va chuyen doi no sang cac kenh mau xam frame = vs.read() frame = imutils.resize(frame, width=400) gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # phat hien cac khuon mat khung anh xam rects = detector.detectMultiScale(gray, 1.3, 5) # vong lap tren phat hien khuon mat for rect in rects: # xac dinh diem moc tren mat # doi voi vung khuon mat, sau # chuyen doi diem moc tren mat toa (x, y) voi mang NumPy shape = danh_dau_moc(gray) # trich xuat toa mat trai va phai, # sau su dung toa de tinh ti le mat cho ca2 mat leftEye = shape[lStart:lEnd] rightEye = shape[rStart:rEnd] leftEAR = ty_so_mat(leftEye) rightEAR = ty_so_mat(rightEye) # tinh ti le mat trung binh cho ca mat ear = (leftEAR + rightEAR) / 2.0 255, 0), 1) # tinh vien bao loi cho mat trai va mat phai, # sau hinh dung (ve ra) vien bao cho moi mat leftEyeHull = cv2.convexHull(leftEye) rightEyeHull = cv2.convexHull(rightEye) cv2.drawContours(frame, [leftEyeHull], -1, (0, BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH PHỤ LỤC cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1) # kiem tra ti le mat co nam duoi nguong nhay mat hay khong, # neu co tang bo dem khung nhap nhay if ear < NGUONG_MAT: DEM += # neu nham mat du so luong khung da dat thi bao dong if DEM >= SO_KHUNG_HINH: cv2.putText(frame, "NGU GAT!", (50, 150), cv2.FONT_HERSHEY_SIMPLEX, 2, (0, 0, 255), 5) # mat khac neu ty le mat khong duoi nguong nhay mat else: DEM=0 # ve thong so ty le mat da tinh tren khung de giup viec kiem tra # sua loi va thiet lap lai dung nguong ty le mat va bo dem khung cv2.putText(frame, "TY SO MAT: {:.2f}".format(ear), (250, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 2) # show khung hinh cv2.imshow("PHAT HIEN NGU GAT", frame) key = cv2.waitKey(1) & 0xFF # nhan 'q' de thoat khoi vong lap va xoa ngo pi if key == ord("q"): break print ( " - %s seconds -" % (time.time() start_time_1)) # ngung thu video va dong tat ca cua so cv2.destroyAllWindows() vs.stop() BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ... NGHIỆP – Y SINH - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀO VIỆC PHÁT HIỆN NGỦ GẬT DÙNG KIT RASPBERRY GVHD: Th.s Nguyễn Duy Thảo... Tp HCM, ngày 01 tháng 01 năm 2018 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Chuyên ngành: Hệ đào tạo: Khóa: I TÊN ĐỀ TÀI: Ứng dụng xử lý ảnh vào việc phát ngủ gật dùng Kit Raspberry II NHIỆM... mặt, ứng dụng y học, sản xuất, hiệu chỉnh video… Thời gian gần đây, phổ biến sử dụng kit Raspberry Pi vào ứng dụng khoa học kỹ thuật thúc nhóm nghiên cứu ứng dụng kit Raspberry Pi vào xử lý ảnh