Phát hiện đường trực tuyến được tạo ra chủ yếu do sử dụng phạm vi và cường độ dữ liệu từ hướng nhìn xuống của LIDAR tầm ngắn. Thay đổi trong cường độ của dữ liệu laser truyền về được biểu thị bằng màu sơn của vạch kẻ đường. Có 2 gợi ý được sử dụng để phát hiện ranh giới của làn đường và vì vậy xác định tất cả hình dạng của con đường. Nhiều thuật toán đồng nhất hình dạng con đường từ dự liệu LIDAR truyền về. Nó bao gồm chuyển đổi sóng Haar, phát hiện phỏng đoán với ngưỡng thích nghi, và hệ thống chương trình di động cho phân tích vạch kẻ đường tối ưu. Trong lợi ích của không gian, chỉ có cái đầu tiên sẽ được mô tả ở đây.
Biến đổi sóng cung cấp kỹ thuật để thực hiện có hiệu quả nhiều quyết định phân tích tín hiệu (Daubechies199). Mẫu cơ sở nền, được biết như là sóng mẹ, được chọn cho việc chuyển đổi, trong trường hợp này, đó là sóng Haar. Sóng mẹ thì được sử dụng để tạo ra những sóng con, là phiên bản kéo dài của sóng mẹ. Những sóng con đại diện cho mẫu ở những tầng số khác nhau, và bằng sự trược của sóng con trên tín hiệu đầu vào và ghi nhận sự giống nhau của những phép đo giữa sóng con và tín hiệu đầu vào, nhiều quyết định phù hợp với mẫu thì được thực hiện. Sóng Haar đại diện cho một hàm số như là một mẫu, kết quả trong việc chuyển đổi sóng bắt nguồn từ nhiều quyết định (Haar 1910).
Cách tiếp cận này thúc đẩy 2 điểm chính, ở độ phân giải thô, sự khác nhau giữa đường và lề đường có khuynh hướng được làm rộng ra, và nhưng con đường có
khuynh hướng giống nhau trên một khu vực nhỏ. Thuật toán cơ sở thực hiện chuyển đổi sóng Haar ở trên những điểm cao của máy quét LIDAR. Bắt nguồn từ kết quả này sau đó được thực hiện ở (độ phận giải thô), và được phân loại thành 2 phần là đường hoặc lề đường. Hai trường hợp sau đó được khuếch đại ở độ phân giải cao hơn, và mô hình thống kê của con đường thì được xây dựng từ con đường dự kiến. Mô hình này được sử dụng để phân loại lại những điểm đề xuất, và tiến hành lặp đi lặp lại cho đến khi độ phân giải cao nhất được tìm thấy.
Hình 3.9: Ví dụ về thuật toán phát hiện lề đường Haar trên đường thẳng và cong. Dấu chấm màu xanh lá cây và màu đỏ hiển thị dữ liệu từ lái xe và hành khách từ hướng nhìn bên của laser SICK. Lề đường được phát hiện là màu trắng.
Ví dụ cho hoạt động của thuật toán có thể được xem ở Hình 3.9, hiển thị giá trị tích lũy của thuật toán này. Trong hình, điểm trắng cho vị trí lề đường được phát hiện, với điểm màu xanh dương và xanh lá cây đại diện cho những điểm LIDAR thu được, 2 thiết bị được gắng theo chiều dọc, laser SICK quan sát một bên. Thuật toán phát hiện rõ mép đường, ngay cả trên các đường cong của gờ đường, hoặc khi lề đường thì không dể để nhận thấy. Thêm công việc trong việc cải thiện việc lọc các điểm phát hiện có thể thu hẹp phạm vi phát hiện lề đường, và cải thiện sự ổn định trong điều kiện xấu, như là những con đường được bao quanh bởi những cây cỏ thưa thớt.
CHƯƠNG IV: CẤU TRÚC VÀ PHƯƠNG PHÁP XỬ LÝ ẢNH TRÊN XE JUNIOR.
4.1. Giới thiệu.
Đội đua Stanford đã giành được chiến thắng trong cuộc thi DARPA Grand Challenge năm 2005 cùng với chiếc xe Stanley (dựa trên chiếc xe nguyên mẫu Touareg của Volkswagen). Stanford đã mang đến cuộc thi thách thức đô thị UCE 2007 chiếc xe có tên là Junior (Hình 4.1), Junior được phát triển dựa trên nền tảng xe Passat Wagon Diesel của Volkswagen[11].
Hình 4.1: Xe Junior của đội đua Stanford trên nền tảng xe Passat Wagon Diesel của Volkswagen.
Đội đua Stanford bao gồm các sinh viên, nhân viên, giảng viên của Đại học Stanford và các tổ chức khác. Thành phần đội đa số từ chương trình phát triển Stanley trong năm 2005. Các thành viên của đội đua Stanford gồm các học viện và công ty sau đây:
Đại học Stanford (chịu trách nhiệm chính cho phát triển phần mềm và chỉ huy dự án).
Volkswagen Mỹ, phòng thí nghiệm nghiên cứu điện tử (chịu trách nhiệm chính cho sự phát triển xe).
Mohr Davidow Ventures (chịu trách nhiệm chính cho truyền thông và tiếp cận cộng đồng).
NXP (thành lập bởi Philips).
Google.
Intel.
RedBull.
Lãnh đạo tổng thể là Sebastian Thrun (Stanford). Sự phát triển xe được dẫn dắt bởi Burkhard Huhnke cùng với Ganymed Stanek và Suhrid Bhat (đến từ
Volkswagen). Phát triển phần mềm được điều hành bởi Mike Montemerlo, với Jesse Levinson, Anya Petrovskaya, Gabe Hoffmann, Doug Johnston, và Dirk Hahnel (đến từ trường đại học Stanford), và Dmitri Dolgov (Trung tâm Công nghệ Toyota). Cuối cùng phụ trách truyền thông là Pamela Mahoney (MDV) với David Orenstein (Đại học Stanford) và Steve Keyes (Volkswagen). Khoảng 20 sinh viên và các nhân viên đang làm việc trên các lĩnh vực khác nhau về phần mềm và phần cứng. Hầu hết các thành viên trong nhóm làm việc toàn thời gian cho dự án. Một số thành viên trong nhóm ban đầu đã tham gia vào dự án thông qua các khóa học CS294-Dự án trong Trí tuệ nhân tạo của Stanford.
4.2. Nền tảng của xe.
4.2.1. Trang thiết bị trên xe.
Tổng cộng trong quá trình phát triển, đội đua Stanford đã sử dụng ba chiếc xe, một chiếc đóng vai trò là chiếc xe đua chính, và hai chiếc còn lại được sử dụng để sao lưu, thử nghiệm và cho các mục đích phát triển
Một trong những chiếc xe đã được sửa đổi cho việc điều khiển bằng máy tính. Động cơ DC có mô men xoắn thấp được kết nối với trục tay lái bằng một dây đai cho phép xe tự dẫn hướng. Giao tiếp điện tử điều khiển trợ lực phanh, ga, hộp số, và tín hiệu lần lượt cho phép kiểm soát chặt chẽ tốc độ và hướng của xe. Giao tiếp bổ sung cung cấp các máy tính tích hợp với các dữ liệu trạng thái xe, chẳng hạn như góc lái và tốc độ từng bánh xe. Một bộ chuyển đổi không dây và nút dừng điện tử hiện đang được tích hợp.
Hình 4.2: Quá trình lắp ráp các thiết bị trên Junior.
Chiếc xe được phát triển cũng có một hệ thống pin dự phòng, có thể được cắm vào một nguồn điện bên ngoài để giữ cho các máy tính vẫn chạy trong khi động cơ của chiếc xe ngừng hoạt động.
4.2.2. Hệ thống máy tính.
Tất cả các máy tính điều khiển được gắn trong thân của chiếc xe. Hệ thống bao gồm hai máy tính với CPU đa nhân của Intel, và mô đun giao tiếp điều khiển các cảm biến khác nhau và các thiết bị truyền động. Tất cả các máy tính chạy hệ điều hành Redhat Linux - FC6.
4.2.3. Hệ thống cảm biến.
Bộ điều hướng Applanix POS LV 420.
Junior sử dụng hệ thống điều hướng Applanix POS LV 420 để ước tính trạng
thái chiếc xe (địa điểm, định hướng, vận tốc). Hệ thống POS LV 420 đi kèm với ba
ăng ten GPS, gắn trên mui xe, cảm biến quán tính IMU được lắp trên cầu sau, và
một bộ mã hóa bánh xe bên ngoài gắn liền với bánh xe phía sau, bên trái.
Velodyne HD LIDAR.
Junior sử dụng máy đo khoảng cách laser Velodyne HD LIDAR (Hình 4.3).
Hình 4.3: Velodyne HD LIDAR (đã được tháo vỏ).
Hình 4.4 cho thấy phạm vi quét điển hình được thu lại bởi máy quét này. Các dữ liệu thu được đầy đủ cả 3 chiều.
Hình 4.4: Phạm vi quét điển hình, được thu lại bởi Velodyne HD LIDAR.
IBEO Alasca XT.
Hình 4.5: Cảm biến IBEO Alasca XT
Hình 4.6 cho thấy phạm vi quét điển hình của IBEO. Các dữ liệu IBEO thưa thớt hơn so với Velodyne HD LIDAR, nhưng bề mặt đất được lọc tự động, làm cho dữ liệu dễ dàng để xử lý hơn.
Hình 4.6: Phạm vi quét của IBEO.
Camera PointGray.
Junior sử dụng một camera đẳng hướng, sản xuất bởi PointGray. Camera này bao gồm sáu camera CMOS, kết nối với máy tính Junior thông qua một giao diện firewire. Hình 4.7 cho thấy ví dụ về một ảnh được chụp bởi nhiều camera.
Hình 4.7: Ảnh chụp bởi nhiều máy ảnh kết hợp.
Các camera được hiệu chỉnh và hình ảnh được chiếu lên một mô hình dạng cầu (Hình 4.8), để cung cấp đầy đủ hình ảnh toàn cảnh và được chồng lên trên một bản đồ trên không của môi trường.
Khối cầu này, cung cấp một cái nhìn đầy đủ về mọi hướng của khu vực xung quanh chiếc xe, bao gồm cả mặt đường.
Hình 4.8: Hình ảnh được chiếu lên mô hình dạng cầu.
Radar.
Hệ thống sở hữu hai bộ cảm biến radar tầm xa được sản xuất bởi Bosch. Các cảm biến này cung cấp dữ liệu phạm vi bổ sung. Radar được sử dụng để phát hiện xe ở phạm vi mở rộng, và các loại xe được che khuất bởi các xe khác.
SICK LD-LRS1000.
Hai laser SICK LD-LRS1000 sẽ được gắn trên hai góc sau của chiếc xe để đảm bảo phủ sóng hoàn toàn phía sau xe xe có thể đi lùi và đi qua các bài diễn tập.
4.3. Nhận thức và tìm đường đi của xe. 4.3.1. Nền tản phần mềm: 4.3.1. Nền tản phần mềm:
Junior kế thừa từ xe Stanley một cấu trúc phần mềm mô đun phân phối mô đun. Cấu trúc sử dụng phần mềm IPC Simmons để truyền dữ liệu.
Dữ liệu đến từ các robot và các cảm biến của nó được dẫn qua nhiều giai đoạn, bao gồm: giao tiếp cảm ứng, nhận thức và dự toán trạng thái, lập kế hoạch, điều khiển và giao tiếp với xe. Đường dẫn thực hiện song song trên tất cả các bộ vi xử lý, gây nên xử lý chậm trễ tổng cộng khoảng 300ms giữa các phép đo cảm biến.
Phần mềm này cũng ghi lại tất cả dữ liệu và tích hợp dữ liệu cảm biến với nguồn dữ liệu khác, chẳng hạn như hình ảnh trên không.
Một cơ sở quan trọng của phần mềm trên xe Junior là trực quan. Một bộ trực quan phong phú làm cho nó có thể giám sát trạng thái của robot và các vấn đề ngay tại chỗ. Hình 4.9 mô tả một tập tin RNDF của khuôn viên chồng trên hình ảnh trên không.
Đối với cuộc thi thách thức đô thị UCE, Stanford phát triển một bộ phần mềm mới để đọc các tập tin RNDF và theo dõi chiếc xe liên quan đến những tập tin này.
Hình 4.9: Hình ảnh tập tin RNDF chồng trên hình ảnh trên không.
4.3.2. RNDF cục bộ.
Chức năng chính của hệ thống camera toàn cảnh là phát hiện dấu hiệu làn đường và cục bộ hóa chính xác. Đội đua Stanford đã phát triển một đường dẫn xử lý đầy đủ cho việc tìm kiếm, đánh dấu làn đường trong hình ảnh, và liên kết chính xác tương đối so với RNDF. Đường dẫn này hoạt động trong thời gian thực, sử dụng một đơn vị xử lý đồ họa trên bo mạch đặc biệt (GPU).
Trong bước xử lý đầu tiên, đường dẫn của Junior hiệu chỉnh cho góc quay xe và độ cao của chiếc xe, và sau đó sữa chữa cho thẳng hình ảnh toàn cảnh thành một hình ảnh trên không bằng phẳng. Hình 4.10 mô tả đánh dấu làn đường đang trong hệ quy chiếu hình học tương tự như các thông tin đường trong RNDF, bằng cách sử dụng đơn vị đo lường tương đối giống nhau.
Hình ảnh liên kết này cho thấy RNDF chồng lên đường được tìm thấy bằng
thuật toán. Hình dung thanh nhỏ màu hồng là các lỗi còn sót lại trong quá trình này.
Độ chính xác của liên kết này thường là trong khoảng một vài cm.
Để tăng độ bền vững của phương pháp này, hệ thống tự động loại bỏ khu vực mặt đất cao, cũng như khu vực giao lộ. Ví dụ về các khu vực từ chối bao gồm vỉa hè (màu lục lam đậm), và nút giao thông (màu cam đậm) trong Hình 4.11 dưới đây. Tất cả được thực hiện mà không cần bất kỳ sự can thiệp của con người.
Hình 4.11: Mô tả các khu vực bị từ chối bao gồm vỉa hè (màu lục lam đậm), và nút giao thông (màu cam đậm).
Kết quả của quá trình liên kết này được đưa trở lại vào các mô đun ước tính đặt ra, tiếp tục tinh chỉnh các ước tính vị trí của hệ thống GPS. Kết quả là Junior biết vị trí bên của nó trên một làn đường thường với độ chính xác 5cm.
4.3.3. Tìm kiếm lề đường.
Junior cũng phân tích dữ liệu phạm vi Velodyne để xác định những chướng ngại vật nhỏ, giống lề đường. Những chướng ngại vật này được tìm thấy thông qua phân tích của các máy quét đường riêng lẻ. Trong phần mềm Junior, một phương pháp tìm kiếm của máy đã được tạo ra để phát hiện dấu hiệu lề đường.
Hình 4.12 minh họa tìm kiếm lề đường cho một phạm vi duy nhất khi cảm biến quét. Trong hình ảnh này, lề đường màu trắng và màu hồng. Lề đường màu trắng là ảo (ví dụ như thân cây); lề đường màu hồng phù hợp với RNDF. Nhưng có thể thấy trong hình ảnh này, Junior tìm lề đường chính xác, và tất cả các vỉa hè giả chỉ được tìm thấy bên ngoài khu vực đường RNDF và không ảnh hưởng đến khả năng vận hành của Junior.
Công cụ tìm lề đường hoạt động trong thời gian thực. Dữ liệu lề đường sẽ được sử dụng cho cả tránh va chạm và thực hiện cục bộ hóa.
4.3.4. Theo dõi xe.
Phương pháp đặc biệt đã được phát triển để theo dõi đối tượng chuyển động trong môi trường. Phương pháp theo dõi hiện tại có thể độc lập sử dụng dữ liệu phạm vi từ Velodyne và cảm biến phạm vi IBEO, nó sử dụng dữ liệu radar để tăng cường cho kết quả theo dõi.
Đường dẫn xử lý cho việc theo dõi đối tượng thu được trong nhiều bước. Đầu tiên, các dữ liệu phạm vi được lọc từ các chướng ngại vật theo chiều dọc, và các khu vực bên ngoài RNDF được loại bỏ, như là phép đo của mặt phẳng mặt đất.
Tiếp theo, các đường dẫn xử lý sử dụng các bộ lọc để kết hợp hình chữ nhật hai chiều với các dữ liệu còn sót lại (kích thước z được bỏ qua trong phân tích này). Mỗi hình chữ nhật có thể chuyển động hoặc đứng yên và nhiều hình chữ nhật có thể là cần thiết để giải thích cho bộ cảm biến quét. Với các đối tượng di chuyển, các hình chữ nhật theo dõi được chú thích với một ước tính vận tốc. Hình 4.13 minh họa một tình huống điển hình với nhiều đối tượng chuyển động.
Hình 4.13: Minh họa một tình huống điển hình với nhiều đối tượng chuyển động. Kết quả của việc theo dõi đối tượng chuyển động là một danh sách các đối tượng được theo dõi, chú giải bởi vận tốc của chúng. Đối tượng cố định được đánh dấu
đặc biệt, khi chúng có những trạng thái thay đổi. Trong thử nghiệm thực tế, phương pháp này cho thấy nó có độ chính xác cao và đáng tin cậy.
4.4. Kế hoạch và điều khiển.
4.4.1. Hoạch định tuyến đường toàn cầu.
Bộ hoạch định tuyến đường sử dụng chương trình đa năng để truyền hàm đánh giá trên toàn bộ mạng lưới đường bộ được xác định bởi các RNDF. Chức năng này ước tính thời gian dự kiến nó sẽ đi để đến một vị trí mục tiêu nhất định, từ bất kỳ nơi nào.
Hình 4.14: Tập tin RNDF cung cấp bởi DARPA.
Thực tế nghiên cứu này được thực hiện cho mỗi làn xe riêng biệt trong nhiều làn xe trên đường. Bằng cách xác định xác xuất thất bị cụ thể cho các hoạt động thay đổi làn đường, đánh giá gây bất lợi là khi xe ở trên làn đường bên trái gần một ngã tư mà muốn rẻ phải. Nếu không có dữ liệu khác, chức năng đánh giá này mô tả các trở ngại tối thiểu cho mục tiêu từ mọi vị trí trong RNDF. Khi sử dụng kết hợp với các dữ liệu cảm biến cục bộ, chức năng đánh giá có thể được sử dụng để đánh giá các trở ngại tương đối các tuyến đường, cho phép các robot ngay lập tức lập lại kế hoạch các tuyến đường khi giao thông bị trì trệ hoặc bị tắc đường.
Các chương trình đa năng được chạy lại mỗi lần khi vị trí mục tiêu của robot bị
