MỤC LỤC Tóm tắt ................................................................................................................. 3 I. Giới thiệu .......................................................................................................... 3 II. Cảm biến trên xe tự động .................................................................................. 5 1. Camera ........................................................................................................... 6 2. Radar .............................................................................................................. 7 3. Lidar ............................................................................................................... 8 III. Hệ thống đa cảm biến .................................................................................... 9 IV. Kết luận và hướng nghiên cứu trong tương lai ............................................ 11 V. Tài liệu tham khảo .......................................................................................... 12
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -**************** - BÁO CÁO TIỂU LUẬN CÁC VẤN ĐỀ HIỆN ĐẠI CỦA KỸ THUẬT MÁY TÍNH CẢM BIẾN VÀ ĐA CẢM BIẾN TRÊN XE TỰ HÀNH Sinh viên: Đỗ Nguyên Đăng Thi Mã sinh viên: 21020149 Hà Nội tháng 12 năm 2023 MỤC LỤC Tóm tắt I Giới thiệu II Cảm biến xe tự động Camera Radar Lidar III Hệ thống đa cảm biến IV Kết luận hướng nghiên cứu tương lai 11 V Tài liệu tham khảo 12 Tóm tắt Với tiến công nghệ kỹ thuật, xe tự hành trở thành xu hướng then chốt cách mạng hóa tương lai giao thơng vận tải Và cảm biến tảng quan trọng cho nhận thức môi trường xung quanh xe hệ thống hành xe tự hành, đồng thời sử dụng nhiều cảm biến tích hợp trực tiếp xác định tính an tồn tính khả thi cho xe tự hành Trong viết trình bày cảm biến hệ thống đa cảm biến xe tự hành: camera, radar, lidar Các công nghệ tiên tiến lĩnh vực trình bày việc sử dụng thơng tin hình ảnh điểm liệu không gian ba chiều để phát hiện, theo dõi đối tượng chuyển động Điều cho thấy việc đưa nhiều cảm biến vào hệ thống mang lại hiệu suất độ tin cậy tốt Hơn nữa, việc sử dụng liệu camera việc định vị vốn giải theo cách truyền thống liệu radar lidar cải thiện việc cảm nhận xe tự hành môi trường xung quanh Bài viết kết luận cách nêu bật số thách thức lĩnh vực hệ thống đa cảm biến đề xuất hướng nghiên cứu khả thi tương lai cho hệ thống xe tự hành I Giới thiệu Vào năm 2014, SAE International giới thiệu tiêu chuẩn “Levels of Driving Automation” hiểu cấp độ tự động hóa lái xe, với cấp độ khác xe tự hành Bắt đầu từ cấp số người lái xe có tồn quyền điều khiển phương tiện kết thúc với cấp độ 5, xe có tồn quyền kiểm sốt cơng việc lái xe Tổng quan cấp độ mơ tả Hình Hiện nhà sản xuất xe ô tô Audi Tesla áp dụng tiêu chuẩn tự động hóa SAE cấp việc phát triển xe ô tô tự hành chẳng hạn Autopilot Tesla hay Traffic Jam Pilot Audi A8 Hình 1: Tổng quan sáu cấp độ tự động hóa lái xe mô tả tiêu chuẩn J3016 SAE International Hệ thống xe tự hành chia thành bốn loại hiển thị Hình Xe tự hành quan sát mơi trường xung quanh cách sử dụng nhiều cảm biến khác gắn xe Đây thành phần phần cứng thu thập liệu môi trường Thông tin từ cảm biến xử lý khối nhận thức hệ thống đa cảm biến thành thơng tin có ý nghĩa Hệ thống sử dụng đầu từ khối nhận thức để lập kế hoạch hành vi cho kế hoạch đường ngắn hạn dài hạn Mô-đun điều khiển đảm bảo phương tiện theo đường dẫn hệ thống lập kế hoạch cung cấp gửi lệnh điều khiển đến phương tiện Hầu hết hệ thống xe tự hành có chung nhiều thách thức hạn chế tình thực tế việc lái xe điều hướng an toàn điều kiện thời tiết khắc nghiệt, tương tác an toàn với người phương tiện khác Điều kiện thời tiết khắc nghiệt, chẳng hạn ánh sáng chói, tuyết, sương mù, mưa to ảnh hưởng đáng kể đến hiệu suất cảm biến để nhận thức điều hướng Bên cạnh Đối với xe tự hành di chuyển đường, mức độ phức tạp thách thức tăng lên điều kiện hành vi bất ngờ từ phương tiện khác Do đó, hệ thống cảm biến dự đốn tồn diện quan trọng để xác định tất chuyển động tương lai môi trường xung quanh để giảm nguy va chạm Hình 2: Sơ đồ khối hệ thống xe tự hành II Cảm biến xe tự động Thành phần xe tự hành cảm biến Các cảm biến giúp ánh xạ thay đổi môi trường xung quanh thành giá trị số học để tiếp tục xử lý Cảm biến nói chung chia thành hai loại dựa nguyên lý hoạt động chúng cảm biến “nội cảm” cảm biến “ngoại cảm” Cảm biến “nội cảm” cảm biến đo thơng số hoạt động bên xe ví dụ đơn vị đo trọng lực (IMU), mã hóa, cảm biến trọng lực Ngược lại, cảm biến “ngoại cảm” đo thông tin từ môi trường xung quanh hệ thống camera, radar – phát đo khoảng cách sóng vơ tuyến hay lidar – phát đo khoảng cách sóng ánh sáng Các xe tự hành chủ yếu sử dụng nhiều camera giám sát, cảm biến radar cảm biến lidar Vị trí cảm biến để nhận biết môi trường xung quanh xe tự hành phạm vị phủ sóng ứng dụng cụ thể miêu tả hình Nói chung phần xem xét ưu điểm, nhược điểm ba cảm biến chính: camera, radar, lidar Hình 3: ví dụ loại vị trí cảm biến xe tự động để giúp xe nhận biết môi trường xung quanh Camera Camera loại cảm biến sử dụng xe tự hành lựa chọn nhà sản xuất ô tô Camera hoạt động theo nguyên tắc phát ánh sáng phát từ môi trường xung quanh bề mặt cảm quang (mặt phẳng ảnh) thông qua ống kính camera (gắn phía trước cảm biến) để tạo hình ảnh rõ nét xung quanh Camear tương đối rẻ tiền phát chướng ngại vật chuyển động tĩnh tầm nhìn chúng cung cấp hình ảnh có độ phân giải cao mơi trường xung quanh Đó nhược điểm camera phải tính tốn lượng lớn để xử lý liệu Các camera độ phân giải cao tạo hàng triệu pixel khung hình, với tốc độ 30 đến 60 khung hình giây, để phát triển hình ảnh phức tạp Điều dẫn đến cần nhiều megabyte liệu để xử lý thời gian thực Camera cho phép hệ thống nhận thức phương tiện xác định biển báo đường, đèn giao thông, vạch kẻ đường trường hợp phương tiện giao thông đường loạt thông tin khác trường hợp phương tiện địa hình Xe tự hành chủ yếu sử dụng camera gồm chức chính: • Camera RGB – sử dụng để chụp ảnh với dải màu đẩy đủ để nhận dạng đối tượng thông tin môi trường xung quanh xe • Camera hồng ngoại – sử dụng ánh hồng ngoại để nhận dạng đối tượng môi trường ánh sáng yếu ban đêm • Camera 360° – sử dụng để tạo hình ảnh tồn cảnh xung quanh xe • Camera đo độ sâu – sử dụng để biết khoảng cách cấu trúc đối tượng xung quanh • Camera chụp chuyển động – sử dụng theo dõi chuyển động dự đốn hành vi đối tượng xung quanh Radar Radar sử dụng để phát đối tượng đo khoảng cách sóng vơ tuyến, hoạt động theo ngun tắc sóng điện từ khu vực quan tâm nhận sóng phản xạ đối tượng để tiếp tục xử lý tín hiệu thiết lập phạm vi thơng tin đối tượng Các radar thương mại có thị trường hoạt động tần số 24 GHz 60 GHz, 77 GHz 79 GHz So với cảm biến radar 79 GHz, cảm biến radar 24 GHz có độ phân giải phạm vi, vận tốc góc hạn chế hơn, dẫn đến vấn đề việc xác định ứng phó với nhiều mối nguy hiểm dự đoán bị loại bỏ tương lai Sự lan truyền sóng radar khơng bị ảnh hưởng điều kiện thời tiết bất lợi chức radar không phụ thuộc vào điều kiện ánh sáng mơi trường chúng hoạt động vào ban ngày ban đêm điều kiện sương mù, tuyết mây mù Tuy nhiên nhược điểm cảm biến radar khả phát sai vật thể kim loại xung quanh môi trường xung quanh biển báo đường lan can khó khăn việc phân biệt vật thể tĩnh, cố định Ví dụ, khác biệt xác động vật (vật thể tĩnh) đường làm khó khăn cho radar giải giống hai không chuyển động Cảm biến radar xe tự hành thường tích hợp vơ hình số vị trí chẳng hạn xe, gần phía kính chắn gió, phía sau xe nhãn hiệu biểu tượng Điều cần thiết đảm bảo độ xác vị trí hướng lắp đặt radar xe Nhìn chung, cảm biến radar cảm biến tiếng lĩnh vực tự động thường sử dụng tỏng xe tự hành để cung cấp thơng tin xác đáng tin cậy ngày lẫn đêm khả hoạt động ánh sáng điều kiện thời tiết bất lợi Nó cung cấp thông tin bổ sung tốc độ phát chướng ngại vật chuyển động thực lập đồ phạm vi ngắn, trung bình dài tùy thuộc vào chế độ cấu hình Tuy nhiên, cảm biến radar nhìn chung khơng phù hợp cho ứng dụng nhận dạng đối tượng độ phân giải so với camera Do đó, nhà nghiên cứu xe tự hành thường kết hợp thông tin radar với liệu cảm biến khác, chẳng hạn camera lidar, để bù đắp cho hạn chế cảm biến radar Lidar Lidar sử dụng để phát đối tượng đo khoảng cách sóng ánh sáng, sử dụng rộng rãi lĩnh vực hàng không, vũ trụ Hầu hết lidar sử dụng ánh sáng dải bước sóng 900 nm, số lidar sử dụng bước sóng dài hơn, hoạt động tốt mưa sương mù Lidar chia thành loại chính: • Cảm biến 1D đo thông tin khoảng cách (tọa độ x) vật thể xung quanh • Cảm biến 2D cung cấp thêm so với 1D góc (tọa độ y) đối tượng nhắm mục tiêu • Cảm biến 3D bắn tia laze qua trục thẳng đứng để xác định thêm độ cao (tọa độ z) vật thể xung quanh Trong lidar 3D khớp xoay xoay quét chùm tia laser qua tầm nhìn rộng Các tia laser phát xung, xung phản xạ vật thể Những phản xạ trả điểm đại diện cho đối tượng gọi “point cloud” Lidar có độ phân giải khơng gian cao nhiều so với radar chùm tia laser tập trung hơn, số lượng lớp quét theo hướng thẳng đứng lớn mật độ điểm lidar lớp cao Nhìn chung, tại, LiDAR cảm biến 3D áp dụng phổ biến phương tiện tự lái để mang lại nhận thức xác đáng tin cậy ngày đêm trường nhìn rộng hơn, phạm vi phát xa nhận thức sâu Dữ liệu thu từ “point cloud” cung cấp hình ảnh khơng gian 3D dày môi trường xung quanh xe tự hành Tuy nhiên cảm biến LiDAR không cung cấp thông tin màu sắc môi trường xung quanh so với hệ thống camera lý khiến “point cloud data” thường kết hợp với liệu từ cảm biến khác thuật toán tổng hợp cảm biến III Hệ thống đa cảm biến Hệ thống đa cảm biến phương pháp kết hợp liệu lấy từ cảm biến khác để tạo thông tin chung hiệu Thông tin thu chắn tốt liệu sử dụng riêng lẻ cảm biến Ví dụ, xe tự hành, điều quan trọng phải có camera để chép tầm nhìn người, thơng tin khoảng cách chướng ngại vật thu tốt thông qua cảm biến lidar radar Vì lý đó, kết hợp liệu camera với liệu lidar radar quan trọng có bổ sung Mặt khác, việc kết hợp thông tin từ lidar radar cung cấp thông tin chắn khoảng cách chướng ngại vật phía trước xe hay khoảng cách chung vật thể môi trường Bảng tóm tắt điểm mạnh hạn chế cảm biến dựa nhận thức thường sử dụng xe tự hành dựa đặc tính kỹ thuật chúng yếu tố bên khác, chẳng hạn thời tiết ánh sáng điều kiện Nhân tố ảnh hưởng Camera Lidar Radar Hệ thống đa cảm biến Phạm vi ~ ~ √ √ Độ phân giải √ ~ x √ Khoảng cách xác ~ √ √ √ Tốc độ ~ x √ √ Nhận thức màu sắc √ x x √ Phát đối tượng ~ √ √ √ Phân loại đối tượng √ ~ x √ Phát chướng ngại vật √ √ x √ Điều kiện ánh sáng x √ √ √ Điều kiện thời tiết x ~ √ √ Bảng 1: So sánh cảm biến: camera, radar, lidar Biểu tượng “ √ ” cho biết cảm biến hoạt động tốt Biểu tượng “ x ” cho biết cảm biến hoạt động chưa tốt Biểu tượng “ ~ ” cho biết cảm biến hoạt động tốt Hiện ba tổ hợp cảm biến để phát chướng ngại vật phổ biến tài liệu, bao gồm Camera – Lidar (CL); Camera – Radar (CR) kết hợp Camera – Lidar – Radar (CLR) Tổ hợp cảm biến CR sử dụng nhiều hệ thống đa cảm biến, CLR CL Các tổ hợp cảm biến hiệu cụ thể việc phát theo dõi đối tượng chuyển động Vì việc giải vấn đề quan trọng việc lái xe tự động nên khả chấp nhận hiệu suất giải pháp quan trọng Do thơng thường tất cảm biến đồng thời gắn xe để sử dụng Các phương pháp việc phát theo dõi đối tượng chuyển động tập trung vào việc hợp liệu cảm biến, sau theo dõi với thơng tin bổ sung từ q trình đồ hóa ánh xạ đồng thời (SLAM) Sự kết hợp bổ sung thực cấp độ cao để có nhìn tổng thể môi trường Một cách tiếp cận lĩnh vực thực phát cấp độ radar lidar, sau gửi vùng quan tâm từ đám mây điểm lidar vào phân loại dựa camera, sau hợp tất thơng tin lại với Thông tin tổng hợp cung cấp cho xe theo dõi danh sách đối tượng chuyển động Bằng cách phân loại đối tượng từ nhiều cảm biến, mơ hình mơi trường xung quanh xe cải thiện Sơ đồ khối hệ thống nhận thức đa cảm biến trình bày Hình Hình 4: Hệ thống nhận thức đa cảm biến IV Kết luận hướng nghiên cứu tương lai Trong viết này, tơi trình bày nhìn tổng quan đầy đủ khối nhận thức hệ thống xe tự hành Tơi trình bày tổng quan ba loại cảm biến coi khối tảng hệ thống tự động Lĩnh vực xe tự hành rộng lớn bao gồm nhiều lĩnh vực kỹ thuật công nghệ, từ thiết bị điện tử, cảm biến phần cứng đến thuật toán kiểm soát trạng thái phương tiện định khía cạnh kinh tế, pháp lý xã hội Cảm biến nhận thức môi trường xung quanh, địa phương hóa lập đồ kiểm sốt trạng thái phương tiện Hiện nay, xe tự hành chủ yếu kết hợp nhiều cảm biến bổ sung, chẳng hạn radar, lidar camera để khắc phục hạn chế cảm biến hoạt động độc lập Xu hướng phát triển cảm biến cho thấy bước đột phá lớn mong đợi dạng lidar với micromirror MEMS cung cấp đám mây điểm mật độ cao tốc độ khung hình cao giảm kích thước giá thành cảm biến Đạt điều quan trọng trở ngại cho việc tích hợp lidar vào phương tiện tự hành để sử dụng đại trà kích thước chi phí thiết bị cảm biến Những thách thức phản ứng tổng hợp cảm biến xe tự hành xác định lập kế hoạch đường tránh chướng ngại vật ước tính vị trí theo khung tham chiếu, định vị dựa mốc đường bao gồm thông tin theo ngữ cảnh môi trường giao thông đô thị V Tài liệu tham khảo http://openaccess.thecvf.com/content_CVPRW_2019/html/WAD/Meyer_Sensor_ Fusion_for_Joint_3D_Object_Detection_and_Semantic_Segmentation_CVPRW_ 2019_paper.html https://www.mdpi.com/1424-8220/21/6/2140 https://ieeexplore.ieee.org/abstract/document/8612054/ https://www.mdpi.com/1424-8220/20/15/4220 https://www.thinkautonomous.ai/blog/lidar-and-camera-sensor-fusion-in-selfdriving-cars/ https://ieeexplore.ieee.org/abstract/document/9444574/