Trang 1 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNGKHOA VIỄN THƠNG ITIỂU LUẬN MƠN HỌC PHÁT TRIỂN HỆ THỐNG VÀ ỨNG DỤNG IOTĐỀ TÀI :Mô hình học sâu cho bài toán báo hiệu khi tài xế ngủgậtNhóm :
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA VIỄN THÔNG I TIỂU LUẬN MÔN HỌC PHÁT TRIỂN HỆ THỐNG VÀ ỨNG DỤNG IOT ĐỀ TÀI : Mơ hình học sâu cho toán báo hiệu tài xế ngủ gật Nhóm : 10 Thành viên : Dương Tuấn Thành B19DCVT041 Nguyễn Minh Châu Nguyễn Văn Hoàng Lê Tuấn Anh B19DCVT372 B19DCVT159 B19DCVT010 Giảng viên giảng dạy: Nguyễn Chiến Trinh Hà Nội – 2023 LỜI MỞ ĐẦU Trong cách mạng số hóa đại, chứng kiến trỗi dậy mạnh mẽ Trí Tuệ Nhân Tạo (AI) sức mạnh biến đổi toàn cách tương tác với công nghệ liệu Trong tất đột phá AI, Neural Network lên trụ cột quan trọng, làm nên thành công tương lai lĩnh vực Neural Network khơng cịn lĩnh vực nghiên cứu, mà trở thành phần khơng thể thiếu sống hàng ngày Lịch sử Neural Network đưa trở lại từ năm AI, lại thường bị đánh giá thấp bỏ lại sau lưng năm gần Mãi đến nhận mạng nơ-ron có khả học điều chỉnh dựa liệu, trở thành công cụ mạnh mẽ cho nhiều ứng dụng, từ xử lý hình ảnh đến xử lý ngơn ngữ tự nhiên Trong viết này, tìm hiểu sâu cách Neural Network biến đổi cách nhìn vào cơng nghệ cách tương tác với giới xung quanh Tiểu luận tập trung vào việc giới thiệu Neural Network, cun cấp nhìn tổng quan cấu cách chúng hoạt động Chúng ta khám phá tiến gần đây, bao gồm Convolutional Neural Networks (CNN) Deep Learning, ứng dụng thú vị chúng giới thực Cuối cùng, thảo luận tầm ảnh hưởng thách thức mà Neural Network đặt cách mạng công nghệ này, đồng thời đặt câu hỏi tương lai AI người Trên hành trình này, khám phá cách mà Neural Network làm thay đổi cách nghĩ làm việc, cách tận dụng phát triển để xây dựng tương lai tốt đẹp hơn, đầy triển vọng sáng tạo I Chương 1: Trí tuệ nhân tạo (Artificial Intelligence) Trí tuệ nhân tạo (AI) kĩ thuật làm cho máy móc bắt chước theo hành vi người Học máy (Machine Learning) dạng trí tuệ nhân tạo dựa thuật toán đào tạo liệu.Các thuật tốn phát khn mẫu tìm cách đưa dự đốn cách xử lý liệu kinh nghiệm, thay lập trình rõ ràng Học sâu (Deep Learning) loại học máy xử lý nhiều loại tài nguyên liệu (chẳng hạn hình ảnh, ngồi văn bản,….),cần can thiệp người thường tạo kết xác so với học máy truyền thống Học sâu sử dụng mạng lưới thần kinh dựa cách tế bào thần kinh tương tác não người (Mạng nơ ron ) để tiếp thu liệu xử lý liệu qua nhiều lần lặp nhằm tìm hiểu tính ngày phức tạp liệu.Sau đó, mạng nơ-ron đưa định liệu, tìm hiểu xem định có hay khơng sử dụng học để đưa định liệu (Unseen data: liệu mà mơ hình chưa học trình huấn luyện ) Hình 1.1 Mối liên hệ AI, ML DL Hình Một minh họa học máy - Lập trình AI khác với lập trình truyền thống : Lập trình truyền thống cho đầu vào input lập trình hướng để tìm output Lập trình AI cho ta đầu vào input đầu output từ tìm thấy đường từ input đến output Có thể hiểu đơn giản đầu vào có giá trị X , Y X : ảnh đầu vào Y : giá trị thực ảnh đầu vào (nhãn gán với ảnh) Ta có biểu thức sau : F(X) = Y_hat ≈ Y Y_hat : giá trị dự đốn mơ hình đưa sau qua layer Mạng Nơ-ron Document continues below Discover more Hệ Thống Thông from: Tin httt-1 Học viện Công ng… 382 documents Go to course Giáo trình Hệ thống 190 thong tin quản lý… Hệ Thống Thơng Tin 100% (17) Phân tích Hệ thống 18 thông tin chuỗi… Hệ Thống Thông Tin 100% (5) 123doc huong dan su 29 41 dung tems pocket Hệ Thống Thông Tin 100% (4) Lý thuyết truyền tin ôn tập Hệ Thống Thông Tin 100% (3) Ngân hàng Ttdidong 62 Nhatptit Hệ Thống Thông Tin 100% (3) Hình Tác dụng học máy CÂU HỎI HỆ THỐNG 35 THÔNG TIN TRONG… Hệ Thống Thông Tin 100% (2) “Học máy chuyển đổi thứ dạng số tìm điểm tương đồng số đó” Machine learning học thứ nghĩa ta chuyển đổi điều dạng Tensor (tensor đối tượng đại số mơ tả mối quan hệ đa tuyến tính tập hợp đối tượng đại số liên quan đến không gian vectơ , thường dạng vector, ma trận đa chiều, scalar, v.v) Machine Learning học dạng liệu có cấu trúc ( ví dụ: liệu xếp theo định dạng cụ thể file csv , liệu từ database , … ) , Deep Learning học dạng liệu phi cấu trúc ( hình ảnh , âm , ngơn ngữ lời nói , v.v … ) Hình Khác biệt học máy deep learnin Chương 2: Neural Network Nguồn gốc : Ở sinh vật sống, não đơn vị điều khiển mạng lưới thần kinh bên có đơn vị khác đảm nhiệm thị giác, giác quan, chuyển động thính giác Bộ não kết nối với mạng lưới dây thần kinh dày đặc đến cảm biến tác nhân cịn lại thể Có khoảng 10¹¹ tế bào thần kinh não khối xây dựng nên hệ thống thần kinh trung ương hoàn chỉnh thể sống Tế bào thần kinh khối xây dựng mạng lưới thần kinh Trong hệ thống sinh học, tế bào thần kinh tế bào giống tế bào khác thể, có mã DNA tạo theo cách giống tế bào khác Mặc dù có DNA khác chức tất sinh vật giống Một tế bào thần kinh bao gồm ba phần chính: thân tế bào (body cell hay cịn gọi Soma), gai (the dendrites) sợi trục (the axon) Các sợi nhánh giống sợi phân nhánh theo hướng khác kết nối với nhiều tế bào cụm Hình 2.1 Các sợi nhánh nhận tín hiệu từ nơ-ron xung quanh sợi trục truyền tín hiệu đến nơ-ron khác Ở đầu cuối sợi trục, tiếp xúc với dendrite thực thông qua khớp thần kinh Sợi trục sợi dài truyền tín hiệu đầu dạng xung điện dọc theo chiều dài Mỗi nơron có sợi trục Các sợi trục truyền xung động từ tế bào thần kinh sang tế bào thần kinh khác giống hiệu ứng domino Để tạo mơ hình tốn học cho mạng nơ-ron nhân tạo, việc phân tích lý thuyết mạng nơ-ron sinh học cần thiết chúng có mối quan hệ chặt chẽ Và hiểu biết mạng lưới thần kinh não mở đường cho phát triển hệ thống mạng lưới thần kinh nhân tạo hệ thống thích ứng thiết kế để học hỏi thích ứng với kiểu Hình 2.17 - Cách kernel quét qua ảnh đầu vào, tổng Hình 2.18 Kernel Convolutional Layer có tham số quan trọng: Size : Kích thước kernel ta chọn kích thước kernel tuỳ thích thường chọn kernel có dạng hình vng có kích thước lẻ 1x1 , 3x3 , 5x5 , v.v….vì có pixel kernel , ta lấy feature kernel Stride : bước nhảy kernel , kernel di chuyển sang bên phải pixel lần Hình 2.19 Padding : ta thêm pixel có giá trị phía ảnh đầu vào Hình 2.20 Hình 2.21 - Sau kernel quét qua toàn ảnh , cho ta có kết gọi Feature map Hình 2.22 - Ta đưa feature map qua layer ReLU - - Hình 2.23 Hàm ReLU đưa giá trị = giữ nguyên sử dụng công thức Max(0,z) ta dùng LeakyReLU Hàm LeakyReLU có cơng thức Max(0.1*x , x) Đây Layer quan trọng mơ hình Neural Network Làm cho mơ hình tránh bị việc Vanishing Gradient ( Sẽ nhắc đến sau ) Giúp cho mô Neural Network học phức tạp, phi tuyến tính liệu Ở trường hợp ta dùng hàm ReLU Hình 2.24 Tiếp theo ta đưa Feature Map qua hàm MaxPooling Hình 2.25 Lấy giá trị lớn ô mà kernel quét qua Hoặc sử dụng hàm Average Pooling ( gọi Mean Pooling) Hàm trả giá trị trung bình giá trị ô mà kernel quét qua.Nhưng hàm sử dụng so với MaxPooling làm giảm giá trị feature mà cần lấy dẫn đến ảnh hưởng kết đầu Hình 2.26 - Đây layer quan trọng mơ hình Neural Network Thông thường gọi chung Pooling Layers Ưu điểm Pooling Layers giúp giảm kích thước không gian Feature map Điều làm giảm bớt tài ngun để tính tốn giúp tránh việc overfitting cách giảm số lượng tham số mơ hình Giúp cho mơ hình tập trung vào feature quan trọng để đưa kết quả.Ở mơ hình cũ người ta thường sử dụng Average Pooling Average Pooling lại làm giảm giá trị Pixel lớn đáng kể pixel xung quanh bé hơn, làm mờ pixel quan trọng Các mơ hình CNN gần sử dụng Max Pooling không cịn sử dụng Average Pooling Hình 2.27 Ở ta làm phẳng, đưa kết hidden layer có channel Hình 2.28 Lấy kết từ hidden layer đưa kết output layer Hình 2.29 Hình 2.30 Vậy mơ hình Convolutional Neural Network dự đoán ảnh ta đưa vào Chữ “O” III Chương 3: Cách mơ hình Deep Learning học Hình 3.1 Đây gọi q trình Forward Propagation Sau mơ hình đưa kết , ta lấy kết để tính giá trị Loss (sự chênh lệch giá trị mơ hình dự đốn giá trị thực tế đầu vào) Hình 3.2 Hình 3.3 Hình 3.4 - Gradient tức độ dốc, gradient vector chiều , biểu tốc độ thay đổi hàm số , vector hướng mà giá trị hàm số thay đổi nhiều trở thành vector mà giá trị hàm số đạt giá trị cực đại cực tiểu địa phương Từ ta xác định giá trị cực đại cực tiểu hàm Loss dựa giá trị Gradient Hình 3.5 Sau xác định Gradient hàm Loss , ta dùng giá trị để tối thiểu hố giá trị Loss cho bé tốt , gọi Optimization function hay gọi Gradient Descent (ngược lại với hướng Gradient để xác định giá trị Loss nhỏ cách thay đổi Weight Bias sau lần mơ hình học toàn liệu từ tệp liệu chúng ta) Hình 3.6 - Có phương pháp để đưa liệu vào mơ hình để xác định Gradient: Batch Gradient Descent: Toàn liệu đưa vào mơ hình lúc để tính Gradient Phương pháp chậm phải tính tốn Loss toàn liệu lúc có tính Gradient Khơng phù hợp với Online Learning Stochasitc Gradient Descent : Ta đưa điểm liệu vào mơ hình lần học Phương pháp chậm khơng tận dụng hết tài nguyên máy tính Mini-batch Gradient Descent : Phương pháp kết hợp phương pháp , tức ta đưa liệu vào theo gói tính tốn gói , gói liệu thường có kích thước luỹ thừa ví dụ : 2, 4, , 16 , … - Vậy Weight Bias thay đổi qua lần đưa liệu vào mơ hình ? Hình 3.7 - Tốc độ hàm Loss đạt giá trị cực tiểu phụ thuộc vào giá trị Learning Rate Learning rate q bé khiến cho mơ hình phải huấn luyện qua nhiều lần tối thiểu hố hàm Loss Learning rate lớn khiến cho hàm Loss vượt qua điểm có giá trị bé Learning rate vừa phải hồn hảo cho việc tìm thấy điểm bé hàm Loss , để xác định giá trị việc không dễ.Q trình mơ hình học lặp lặp lại tuỳ thuộc vào số lần người lập trình Mỗi lần tồn liệu đưa vào mơ hình thường gọi Epoch ( khơng có nghĩa cho mơ hình học nhiều lần cho kết ) Các mô hình tiếng đạt giải thưởng cao thi cho tốn Image Classification Hình 3.8 Các mơ hình vs tệp dataset có nghìn class khác cho kết khác : độ xác , dung lượng mơ hình (phụ thuộc vào số lượng tham số), thời gian huấn luyện Đây hình ảnh minh họa mơ hình VGG16: Hình 3.9 Có framework tiếng để lập trình mơ hình Neural Network Pytorch Tensorflow Trong trường hợp ta sử dụng framework Tensorflow Vấn đề ta hướng tới báo hiệu ngủ gật cho tài xế lái xe Việc ta cần làm huấn luyện mô hình với hình mắt nhắm mở Hình 3.10 Hình 3.11 Vì liệu khơng q phức tập nên ta cần xây dựng mơ hình đơn giản Hình 3.12 Như ta thấy Loss giảm dần Accuracy tăng dần qua Epoch Ta thử cho mơ hình đưa dự đốn với ảnh mà mơ hình chưa học Hình 3.14 Vậy mơ hình dự đốn với hình động Tiếp theo ta test với camera laptop Hình 3.15 Ta đặt hẹn giây khung hình giây Nếu nhắm mắt liên tục giây, điều có nghĩa người mẫu chụp liên tục khung hình nhắm mắt cảnh báo người lái xe tiếng bíp báo động