Dự đoán góc quay vô lăng của xe tự lái sử dụng mạng nơ ron tích chập

Bài viết Dự đoán góc quay vô lăng của xe tự lái sử dụng mạng nơ ron tích chập trình bày việc phát triển cấu trúc mạng nơ-ron tích chập (CNNs) để có thể dự báo trực tiếp góc quay vô lăng của xe tự lái từ hình ảnh. Trong đó, các lớp tích chập dùng để trích xuất các đặc trưng của dữ liệu ảnh thu thập từ camera.

Tuyển tập Hội nghị Khoa học thường niên năm 2021 ISBN: 978-604-82-5957-0 DỰ ĐỐN GĨC QUAY VƠ LĂNG CỦA XE TỰ LÁI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP Bùi Văn Hiệu Trường Đại học Thủy lợi, email: hieubv@tlu.edu.vn GIỚI THIỆU PHƯƠNG PHÁP Các xe vận chuyển có vai trò quan trọng nhiều lĩnh vực vận chuyển người, vận chuyển nguyên vật liệu xây dựng công nghiệp Nghiên cứu xe tự lái phát triển mạnh giới với nhiều thành tựu đột phá [1] Tuy nhiên, xây dựng mô hình xe tự lái để vận chuyển người, hàng hóa phù hợp với điều kiện đặc trưng thực tế nhà máy công nghiệp, công trường, khn viên trường học cịn chưa phát triển nhiều Phát triển xe tự lái có nhiều cách tiếp cận khác nhau, cách tiếp cận phổ biến dùng mạng nơ-ron nhân tạo để xử lý hình ảnh thu từ camera [1] Để xử lý thơng tin hình ảnh đưa đặc trưng hình ảnh cho q trình dự báo cần có mạng nơ-ron phù hợp Quá trình xây dựng cấu trúc mạng nơ-ron phù hợp với đa dạng tính chất liệu đóng vai trị quan trọng phát triển mơ hình xe tự lái Bài báo thể nỗ lực tác giả việc phát triển cấu trúc mạng nơ-ron tích chập (CNNs) để dự báo trực tiếp góc quay vơ lăng xe tự lái từ hình ảnh Trong đó, lớp tích chập dùng để trích xuất đặc trưng liệu ảnh thu thập từ camera Các đặc trưng phẳng hóa đưa đến lớp kết nối đầy đủ dùng để dự báo góc quay vơ lăng So sánh kết dự báo mạng nơ-ron tích chập kết thực tế liệu cho thấy mô hình dự báo thành cơng góc quay vơ lăng từ liệu hình ảnh 2.1 Mơ hình xe tự lái Một tảng xe tự lái cấu thành từ thành phần: kết cấu xe, máy tính xe, mạng nơ-ron nhân tạo, hệ thống máy tính cấu hình cao (Hình 1) Hình Nền tảng xe tự lái phái triển NVDIA Phần đưa tín hiệu điều khiển xe tự lái máy tính tích hợp mơ hình học sâu mạng nơ-ron nhiều lớp Các tín hiệu đầu vào hệ thống thu thập từ camera, cảm biến khoảng cách tia hồng ngoại (LiDAR), cảm biến sóng âm Các tín hiệu chuyển đến xử lý tín hiệu xử lý đồ họa thiết kế để đảm nhiệm vai trò xử lý khối liệu hình ảnh, đồ họa video với thơng tin đa luồng khác tốc độ cao Các mạng nơ-ron nhân tạo xe nhận trọng số ban đầu huấn luyện từ liệu lớn hệ thống siêu máy tính Sự kết hợp trọng số huấn luyện tín hiệu thu theo thời gian thực cho phép mạng nơ-ron nhanh 15 Tuyển tập Hội nghị Khoa học thường niên năm 2021 ISBN: 978-604-82-5957-0 chóng tìm hiểu cách giải thách thức việc lái xe hàng ngày mảnh vỡ bất ngờ đường, chướng ngại vật khu vực xây dựng Mạng nơ-ron nhân tạo giải nhiều vấn đề mà kỹ thuật thị giác máy tính truyền thống không đủ, chẳng hạn điều kiện thời tiết xấu mưa, tuyết sương mù điều kiện ánh sáng khó khăn bình minh, hồng bóng tối Tín hiệu đầu hệ thống máy tính xe tín hiệu điện để điều khiển vô lăng, phanh, động hệ thống khác xe 2.1 Mạng nơ-ron tích chập Mạng nơ-ron nghiên cứu xây dựng tảng thư viện mã nguồn mở Tensorflow phát triển nhà nghiên cứu từ Google Tensorflow tạo luồng liệu dạng biểu đồ với nút toán tử cạnh mảng liệu đa chiều ‘tensor’ phép toán khái quát hóa Tensorflow giúp tăng tốc đơn giản q trình tính tốn mảng liệu với số chiều kích thước khác Xây dựng cấu trúc CNNs trình xác định số lượng lớp lựa chọn ma trận lọc phù hợp chọn phần đệm Quá trình lựa chọn phụ thuộc nhiều vào đặc trưng liệu Phương pháp thử dần áp dụng để tìm cấu trúc mạng phù hợp [1,2] Qua đó, cấu trúc mạng phát triển gồm lớp nơ-ron tích chập, nơ-ron kết nối đầy đủ lớp với số lượng nơ-ron lớp 1158, 90, 60, 10, nơ-ron (Hình 2) Huấn luyện CNNs trình cập nhật tối ưu trọng số liệu qua lớp mạng [2] Một ảnh thông thường (là không gian véc tơ chiều W×H×3 với chiều rộng (W), chiều cao (H), chiều sâu (3- ứng với màu bản) ban đầu chuẩn hóa để đưa giá trị từ (0:1) trước vào lớp tích chập Tiếp đó, ma trận lọc nhân với kích thước (3×3, 5×5) qt tồn ảnh để trích xuất đặc trưng thơng qua phép tích chập vùng ảnh bị quét ma trận lọc Giá trị đạt phép tích chập đưa qua hàm kích hoạt để chuẩn hóa tín hiệu chuẩn bị cho lớp tích chập tiếp Khi ảnh qua lớp tích chập, đặc trưng thu khơng gian véc tơ chiều có giảm chiều cao chiều rộng tăng chiều sâu so với ảnh đầu vào Các tín hiệu đặc trưng phẳng hóa thành ma trận cột để kết nối với mạng kết nối đầy đủ (FCN) Các đặc trưng qua mạng kết nối đầy đủ lớp nơ-ron ẩn đưa kết dự đốn góc quay vơ lăng Sai số dự đốn có từ so sánh kết dự đoán liệu chuẩn truyền lại lớp trước cập nhật lại trọng số lớp Quá trình huấn luyện lặp lại với tập liệu khác trọng số mơ hình cập nhật đến kết dự đốn liệu có sai khác nhỏ mức chấp nhận Trọng số mơ hình đạt trình huấn luyện thể mối quan hệ đặc trưng ảnh giá trị góc quay vơ lăng, trọng số sử dụng để dự đốn cho hình ảnh thu thập từ camera đường (Hình 2) 16 Hình Cấu trúc mạng CNNs gồm lớp lớp tích chập lớp kết nối đầy đủ Tuyển tập Hội nghị Khoa học thường niên năm 2021 ISBN: 978-604-82-5957-0 KẾT QUẢ Hình 3a thể kết huấn luyện mơ hình với hàm mát (loss) trả thể chênh lệch góc quay vơ lăng dự đốn góc quay vơ lăng tập liệu Biểu đồ cho thấy giai đoạn đầu chênh lệch giảm nhanh, giai đoạn sau chênh lệch giảm chậm dần tiệm cận Giá trị nhỏ hàm mát đạt 0.164 qua 30 lần duyệt liệu Những kết thể phù hợp cấu trúc mạng tập liệu huấn luyện Hình 3b thể kết dự báo góc quay vơ lăng 600 giây với 10000 ảnh cắt từ camera với bước thời gian 0.06 giây ảnh Sự so sánh giá trị góc quay vơ lăng từ mơ hình dự báo (đường xanh thẫm) góc quay thực tế từ tập liệu (đường màu cam) thể hình 3b Từ hình ảnh ta thấy mơ hình CNNs cho kết dự báo tốt kể với điểm có thay đổi đột ngột vị trí -120 độ Tuy nhiên có số điểm mơ hình chưa dự báo tốt điểm góc quay trả đột ngột Các số để đánh giá mơ hình dự báo cho kết tốt (hệ tương quan sai số có giá trị là: R = 0.97, RMSE = 3.63, MAE = 2.28) Xét cách tổng qt, đường dự báo góc quay vơ lăng mơ hình có phù hợp tốt với đường kết từ tập liệu KẾT LUẬN Trong nghiên cứu này, xây dựng cấu trúc mạng CNNs phù hợp để dự báo góc quay vơ lăng từ hình ảnh Kết dự báo mơ hình với độ tương quan cao, sai số nhỏ so với góc quay vô lăng thật liệu Sử dụng mạng CNNs để dự báo kết góc quay vơ lăng từ liệu camera phương pháp tốn Phương pháp chuyển xe có sẵn thành xe tự lái cấp thấp giúp giảm chi phí, sức người giảm tiếp từ xúc nâng cao hiệu vận chuyển Trong bước tiếp theo, kết nghiên cứu so sánh với mơ hình khác áp dụng để làm xe tự lái khuân viên trường học, nhà máy, cơng trường Hình (a) Hàm mát (b) Kết dự báo góc quay vơ lăng CNNs TÀI LIỆU THAM KHẢO: [1] Mariusz Bojarski and Davide Del Testa and Daniel Dworakowski and Bernhard Firner and Beat Flepp and Prasoon Goyal and Lawrence D Jackel and Mathew Monfort and Urs Muller and Jiakai Zhang and Xin Zhang and Jake Zhao and Karol Zieba End to End Learning for Self-Driving Cars arXiv, 2016, 1604.07316 [2] Bùi Văn Hiệu; Bùi Minh Đức; Peter Rutschmann 2020 The Prediction of Fine Sediment Distribution in Gravel-Bed Rivers Using a Combination of DEM and FNN Water , 12(6), 10.3390/w12061515 17 ... cao, sai số nhỏ so với góc quay vơ lăng thật liệu Sử dụng mạng CNNs để dự báo kết góc quay vơ lăng từ liệu camera phương pháp tốn Phương pháp chuyển xe có sẵn thành xe tự lái cấp thấp giúp giảm... trúc mạng phát triển gồm lớp nơ- ron tích chập, nơ- ron kết nối đầy đủ lớp với số lượng nơ- ron lớp 1158, 90, 60, 10, nơ- ron (Hình 2) Huấn luyện CNNs trình cập nhật tối ưu trọng số liệu qua lớp mạng. .. tối Tín hiệu đầu hệ thống máy tính xe tín hiệu điện để điều khiển vơ lăng, phanh, động hệ thống khác xe 2.1 Mạng nơ- ron tích chập Mạng nơ- ron nghiên cứu xây dựng tảng thư viện mã nguồn mở Tensorflow