BAO CAO KI m TRA ê học phần trí tuệ nhân tạo trong kinh doanh đề bài nhân dạng trạng thi bun ng ca  ngưi li xe

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ BAO CAO KIÊM TRA Học phần: Trí tuệ nhân tạo kinh doanh Đề bài: Nhâ n dạng trạng thi bun ng ca ngưi li xe Giảng viên hướng dẫn : V' Duy Hi+n Nh,m thực : 18 Lớp : K22KTDTA Hà Nội, ngày tháng năm 2022 Ph=n chia công viêc@ cAa nh,m HB tên MSV Bi Th Lan Anh 22A4050409 V Th Phương Tho 22A4050257 H Th Thy 22A4050193 Nguy"n Đ$c Dương 22A4030279 Ph=n viêc@ Đánh giá CHƯƠNG I: PHGT BIIU BÀI TOGN, LÝ DO CHỌN BÀI TOGN VÀ PHƯƠNG PHGP LIÊN QUAN Phát biểu toán lý chBn toán 1.1 B(i to*n v( l- ch/n b(i to*n Mấy chục năm trở lại đây, cng với ph*t triển mạng lưới giao thơng đường tình hình tai nạn giao thơng xy ng(y c(ng nhiều v( ng(y c(ng nghiêm tr/ng Một nguyên nhân gây tai nạn l( vấn đề giấc ngủ l*i xe Đi đôi với ph*t triển mạng lưới giao thơng đường l( tình hình tai nạn giao thông xy ng(y c(ng tăng v( nghiêm tr/ng Một nguyên nhân gây tai nạn khơng đ*ng có l( vấn đề mệt mỏi, bun ngủ c*c xế t(i Gi*o sư Lee-Chiong Teofilo (Trung tâm National Jewish Health, Mỹ) cho biết, thiếu ngủ l( nguyên nhân gây tai nạn giao thơng giới Ước tính khong 10-15% tai nạn xe có liên quan đến thiếu ngủ Nghiên c$u giấc ngủ c*c t(i xế 19 quốc gia châu Âu cho thấy tỷ lệ bun ngủ l*i xe cao, trung bình 17% Trong 10,8% người bun ngủ l*i xe lần th*ng, 7% gây tai nạn giao thông bun ngủ, 18% su-t xy tai nạn bun ngủ Việc cnh b*o sớm tình trạng bun ngủ người l*i xe hạn chế nhiều tình trạng v( đm bo tính mạng cng ci Do b(i to*n đặt l( cần xây dựng hệ thống ph*t v( cnh b*o kp thời tình trạng bun ngủ 1.2 C*c phương ph*p liên quan 1.2.1 Phương php da vo ngưi li xe Phương ph*p n(y địi hỏi kỹ thuật chun mơn cao b lại mang tới hiệu qu x*c cao Kỹ thuật thực chia l(m nhóm:  Theo dõi v( đ*nh gi* thay đổi sinh l- t(i xế nhp tim, sóng não v( tần số nh*y mắt Vì vậy, c*c thiết b gắn trực tiếp lên thể người l*i xe Đó cng l( nhược điểm gây khó chu cho người l*i cng m đổ l(m gim độ x*c  Theo dõi, x*c đnh v( đ*nh gi* thay đổi thể tư ngi, nhắm mắt, miệng người l*i xe Kỹ thuật n(y không t*c động trực tiếp lên người l*i m( sử dụng c*c thiết b ghi hình để ghi lại c*c thay đổi v( đưa cnh b*o 1.2.2 Phương php da vo phn ng điu khin ca ngưi li xe Đây l( kỹ thuật thực c*ch theo dõi thay đổi tay l*i, phanh xe, tốc độ xe, hướng di chuyển xe Kỹ thuật n(y hạn chế loại xe v( không chắn l( người l*i xe trạng th*i bun ngủ CHƯƠNG II: GIPI THIÊ@U CGCH THQC THU THÂ@P DƯ LIÊ@U, CGC KIIU DƯ LIÊ@U CSN THU, SỐ LƯTNG ẢNH, CGCH TU CHQC DƯ LIÊ@U TRÊN MGY TXNH Cách thYc thu thâp@ d[ liêu@ 2.1 C*c kiểu dự liêuo nh cần thu nhâpo Để phục vụ cho b(i to*n ta cần liệu hình nh người l*i xe trạng th*i bun ngủ Drowsiness) v( hình nh người l*i xe trạng th*i không bun ngủ (No Drowsiness) Với hình nh người l*i xe bun ngủ cần c*c thuộc tính v( cng l( đặc trưng mấu chốt ngáp nhắm mắt, Ngược lại với hình nh người l*i xe trạng th*i bình thường Như hình nh minh h/a: Trạng th*i không bun ngủ Trạng th*i bun ngủ V( nhãn tương $ng b(i to*n m( mô hình cần dự đo*n l( Buồn NgA hay Khơng Buồn NgA 2.2 Ngun gốc liêuo Dữ liệu cần thu thập phi đa dạng, l( hình nh nhiều người, c*c hình nh phi có thay đổi cử khn mặt, góc camera Trong hệ thống n(y, nhóm cần lượng liệu lớn cho việc huấn luyện mơ hình để hệ thống đạt độ x*c cao Vì vậy, liệu lấy phần từ Kaggle v( nhóm sưu tầm thêm cơng cụ tìm kiếm Google 2.3 Số lượng liêuo Bộ liệu phục vụ cho việc huấn luyện v( đ*nh gi* nằm thư mục Train v( Val, gm 800 hình nh đó: 400 hình nh ch$a người l*i xe bun ngủ v( 400 hình nh người l*i xe trạng th*i bình thường 2.4 Tổ ch$c liêuo m*y tính Tạo file dự liêuo data m*y tính Tìm đủ số lượng nh cần dng ti nh tìm file data Trong file data chia th(nh ba file nhỏ Test, Train, Val Trong có tâ op Test có nh bun ngủ v( khơng bun ngủ, tâ po Train có 200 nh bun ngủ v( 200 nh không bun ngủ, tâ po Val 200 nh buổn ngủ v( 200 nh không bun ngủ Ho(n th(nh xong chrng ta ti file lên My Drive thư mục Drowsy-Detection-CNN Dữ liệu phục vụ cho việc thử nghiệm, sử dụng mơ hình khơng trng với liệu Dưới l( phần liệu nhóm sau ho(n th(nh My Drive Nhãn BuonNgu (Bun Ngủ) Nhãn KhongBuonNgu ( Không Bun Ngủ) CHƯƠNG III: GIPI THIÊ@U TUNG QUAN THUÂ@T TOGN SƯ D`NG Tbng quan thuât@ toán se dfng Hệ thống thực tế đề có khối ch$c hình đây:  Khối thu nhận hình nh từ camera: Hình nh đầu v(o thu nhận camera, sau phân t*ch video th(nh c*c khung hình (Frame) v( chuyển tất c hình nh nh x*m (gray)  Khối nhận diện khn mặt: Hình nh thu ta dị tìm phần khn mặt v( loại bỏ phần background khơng cần thiết  Khối dự đo*n, x*c đnh trạng th*i bun ngủ: Sử dụng mơ hình CNN sau huấn luyện với dự liệu để dự đo*n c*c đặc trưng khuôn mặt thuộc hai trạng th*i bun ngủ hay không bun ngủ để đưa cnh b*o kp thời Do điều kiện thực tế, cơng việc nhóm l( thực khối ch$c nhận diện khuôn mặt v( khối x*c đnh trạng th*i bun ngủ  Với tập liệu nhóm thu thập v( h(m tích hợp sẵn mã ngun mở OpenCV nhóm tiến h(nh tiền xử l- hình nh đ/c từ thư mực lưu trữ, sau để cắt bỏ phần background v( giữ lại phần khn mặt  Đã có tập liệu đầu v(o v( nhãn tương $ng, nhóm sử dụng thư viện Tensorflow để xây dựng mơ hình CNN, huấn luyện mơ hình v( gi*m s*t độ x*c mơ hình CHƯƠNG V: Mg LÊ@NH CHƯƠNG TRhNH Mj lênh @ chương trmnh 4.1 Chuvn b 4.1.1 Ti d" liê $u lên Google drive 4.1.2 Tạo file Google Colaboratory 4.1.3 Khai bo cc thư viện sử dụng mã nguồn Thư viện l( mã ngun cộng đng viết sẵn, cần c(i đặt v( import v(o dự *n để sử dụng Chi tiết thư viện nói sau 4.2 Đ/c liệu v( tiền xử l- liệu 4.2.1 Kết nối với Google Drive đ đọc file v lưu file 4.2.2 Khai bo đưng dẫn thư mục cha d" liệu nh 4.2.3 Gn nhãn d" liệu 4.2.4 Khi bo công cụ nhâ $n diê $n khuôn măt$ Đây l( liệu huấn luyện cho qu* trình xử l- nhận dạng mặt 10 Khai b*o đường dẫn v( công cụ nhận diện khuôn mặt cung cấp sẵn OpenCV2 4.2.5  Tiền xử lý d" liệu nh Khai b*o biến danh s*ch liệu, đơn v liệu gm hình nh đầu v(o v( nhãn đầu tương $ng  Dng cấu trrc vòng lặp qua thư mục để lấy đường dẫn tương $ng H(m nối c*c th(nh phần đường dẫn kh*c với dấu phân t*ch thư mục (‘/’) H(m tr danh s*ch ch$a tên c*c mục thư mục cung cấp đường dẫn 11  Sử dụng h(m để đ/c liệu hình nh với đường dẫn tới file tương $ng Sau chuyển hình nh đ/c kênh m(u x*m với h(m để phục vụ cho việc x*c đnh v trí khn mặt  Sử dụng công cụ nhận diện khuôn mặt khai b*o với h(m tìm kiếm Sau tìm kiếm xong tr DANH SÁCH c*c gi* tr khung chữ nhật bao quanh khn mặt, bao gm gốc t/a bên tr*i (x, y) v( chiều d(i, chiều rộng khung chữ nhật (w, h) Danh s*ch n(y lưu trữ mng faces 12  Sử dụng cấu trrc vòng lặp dể duyệt qua to(n bộ gi* tr n(y, với gi* tr ta dng để giữ lại hình nh khuôn mặt v( loại bỏ hết background  Sử dụng h(m để đưa hình nh khn mặt cng kích thước Sau thêm v(o mng liệu khai b*o Với nh đầu v(o (kích thước 128 x 128 x 3), index l( nhãn đầu  Dưới l( to(n phần code miêu t  Kết qu trước v( sau tiền xử l- 14 4.2.6  Chia d" liê $u thnh nh thnh tâ $p d" liêu$ v tâ p$ đnh gi T*ch danh s*ch liệu th(nh danh s*ch riêng lẻ l( danh s*ch ch$a hình nh đầu v(o (X) v( s*ch ch$a nhãn đầu (y)  Chuvn hóa liệu Tham số rescale=1/255 có t*c dụng chuvn hóa liệu nh c*c gi* tr nằm khong [0, 1]  Tạo biến sinh liệu 15 4.3 Xây dựng mơ hình Mơ hình gm tầng: Input image → CNN1 → CNN2 → CNN3 → Fully connected layer → Output Ảnh đầu v(o có kích thước width x height = 128x128 v( có độ sâu l( có kênh m(u  o Xét Lớp CNN1 kết nối với đầu v(o Lớp CNN1 gm 32 l/c kích thước 3x3, bước dch chuyển stride=1 Số l/c cng l( độ sâu đầu Vì l/c cho đầu l( ma trận nên ta thu 32 ma trận có kích thước 128x128 o Sau cho qua lớp MaxPooling có kích thước 2x2, bước dch chuyển stride=2 để gim kích thước liệu phần tư ⇒ Vậy sau cho qua lớp CNN1 + MaxPooling ta thu 32 ma trận có kích thước 64x64 Tính to*n tương tự ta có 16  Lớp CNN2 gm 64 l/c kích thước 3x3 Đầu thu 64 ma trận có kích thước 32x32  Lớp CNN3 gm 128 l/c kích thước 3x3 Đầu thu 128 ma trận có kích thước 16x16 Sử dụng h(m kích hoạt ReLU để loại c*c gi* tr âm Sau nh truyền qua nhiều lớp CNN mơ hình h/c c*c đặc trưng nh, output lớp CNN cuối cng l( ma trận Sử dụng Flatten để chuyển liệu từ dạng ma trận th(nh vector (có độ d(i l( 128x16x16 = 32768), nói c*ch kh*c để l(m phẳng liệu Lớp Fully Connected (FC) nhận đầu v(o l( liệu l(m phẳng, dng để tăng độ x*c dự đo*n mơ hình B(i to*n nhóm thực phân lớp, hiểu theo c*ch kh*c mơ hình đưa x*c suất lớp v( x*c suất lớp lại tính lấy trừ Vì lớp Output nhóm sử dụng h(m kích hoạt sigmoid H(m kích hoạt sigmoid l( h(m phi tuyến với đầu v(o l( c*c số thực v( cho kết qu nằm khong [0,1] v( xem l( x*c xuất ta cần tìm 4.4 Huấn luno v( gi*m s*t mơ hình 4.4.1 Thiết lâ $p cc tham số đề huCn luyên$ mô hDnh  compile: ch/n c*c tham số để huấn luyện mơ hình  optimizer: Sử dụng thuật to*n tối ưu  loss: sử dụng h(m tính lỗi trường hợp dự đo*n lớp  metrics: sử dụng thước đo để ta đ*nh gi* mơ hình 4.4.2 HuCn lun$ mơ hDnh 17 Nhóm huấn luyện mơ hình với 10 epochs Kết qu nhận được: 4.4.3 Đô $ chGnh xc ca mơ hDnh Truy xuất độ x*c mơ hình thơng qua biến Để d" d(ng hình dung, nhóm sử dụng c*c h(m thư viện matplotlib.pyplot để vẽ biểu đổ minh h/a Kết qu nhận 4.5 Sử dụng mơ hình Trong h(m phục vụ việc x*c đnh v trí khn mặt, resize v( chuvn hóa đầu v(o khong [0,1] Dưới l( kết qu nhận sử dụng mơ hình với hình nh khơng nằm liệu huấn luyện CHƯƠNG V: KnT LUÂ@N VÀ ĐGNH GIG Sau qu* trình tìm hiểu, xây dựng v( thử nghiệm mơ hình nhóm rrt số hạn chế sau:  Ưu điểm: hệ thống xây dựng dựa thư viện mã ngun mở OpenCV, tận dụng c*c thiết b có (camera webcam) nên tiết kiệm kinh phí  Nhược điểm: mơ hình cho kết qu khơng x*c liệu hình nh đầu v(o c*c yếu tố từ camera b mờ, khuất, góc quay khơng trực diện hay c*c yếu tố từ người l*i xe đeo kính râm, có *nh s*ng chiếu trực tiếp v(o kính trắng, …  Hướng ph*t triển: tương lai ci tiến, xây dựng hệ thống ho(n chỉnh lắp đặt xe ô tô để theo dõi người l*i xe v( ph*t triển $ng dụng c*c thiets b di động thông minh Tài liêu@ tham khảo https://www.kaggle.com/adinishad/driver-drowsiness-using-keras https://www.researchgate.net/publication/317431241_Detection_of_Driver_Sleepiness _and_Warning_The_Driver_in_RealTime_Using_Image_Processing_and_Machine_Learning_Techniques 20 ... đ/c kênh m( u x *m với h (m để phục vụ cho việc x*c đnh v trí khn m? ??t  Sử dụng công cụ nhận diện khuôn m? ??t khai b*o với h (m t? ?m ki? ? ?m Sau t? ?m ki? ? ?m xong tr DANH SÁCH c*c gi* tr khung chữ nhật bao. .. độ x*c cao Vì vậy, liệu lấy phần từ Kaggle v( nh? ?m sưu t? ?m th? ?m cơng cụ t? ?m ki? ? ?m Google 2.3 Số lượng liêuo Bộ liệu phục vụ cho việc huấn luyện v( đ*nh gi* n? ?m thư m? ??c Train v( Val, g? ?m 800 hình... nghi? ?m tr/ng M? ??t nguyên nhân gây tai nạn l( vấn đề giấc ngủ l*i xe Đi đôi với ph*t triển m? ??ng lưới giao thơng đường l( tình hình tai nạn giao thông xy ng(y c(ng tăng v( nghi? ?m tr/ng M? ??t nguyên nhân