TÌM HIỂU về hệ THỐNG điều KHIỂN XE CHẠY tự ĐỘNG

Hệ thống phát hiện điểm mù Hệ thống phát hiện điểm mù là một trong những công nghệ được sử dụng trên xe ô tô thông qua máy ảnh, cảm biến radar và các hệ thống siêu âm cảnh báo cho người

BỘ MÔN ĐIỆN TỬ Ô TÔ

TRẦN NGỌC HOÀNG 09105041

TP.HỒ CHÍ MINH – 07/2013

TRƯỜNG ĐHSP KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

 Báo cáo đề tài: Một cuốn báo cáo

 Một đĩa CD: Tìm hiểu về hệ thống điều khiển xe chạy tự động III THỜI GIAN THỰC HIỆN

 Ngày bắt đầu: 14/05/2013

 Ngày hoàn thành: 10/07/2013

 Ngày bảo vệ: 20/07/2013

BỘ MÔN ĐIỆN TỬ Ô TÔ Trường ĐH.SPKT, ngày tháng năm 2013

LỜI CẢM ƠN

Sau ba tháng làm đồ án, nhận được sự giúp đỡ tận tình của các Thầy Cô trong khoa

CƠ KHÍ ĐỘNG LỰC và các bạn cùng khóa cùng với sự nỗ lực của bản thân, nhóm thực hiện đề tài đã hoàn thành Đồ Án Tốt Nghiệp vào đúng thời hạn được giao

Có được kết quả này là nhờ sự giúp đỡ tận tình của thầy LÊ THANH PHÚC, người đã hết lòng hướng dẫn nhóm thực hiện trong suốt quá trình làm đồ án Nhóm xin được gửi đến Thầy lòng biết ơn sâu sắc

Nhóm chúng em cũng xin chân thành cảm ơn quý Thầy Cô Trường ĐH Sư Phạm Kỹ Thuật nói chung và Khoa Cơ Khí Động Lực nói riêng đã hết lòng dạy dỗ, truyền đạt những kinh nghiệm và kiến thức cho chúng em trong suốt quá trình học tập và rèn luyện tại trường

Mội lần nữa xin chân thành cảm ơn!

TP.HCM – Tháng 07 năm 2013

Nhóm SV thực hiện đề tài:

Cao Anh Tú

Trần Ngọc Hoàng

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

Tp HCM, ngày……tháng……năm 2013

Giáo Viên Hướng Dẫn

TS Lê Thanh Phúc

NHẬN XÉT CỦA GIÁO VIÊN DUYỆT

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

Tp HCM, ngày … tháng… năm 2013

Giáo viên duyệt

ThS Nguyễn Văn Thình

PHẦN MỞ ĐẦU 9

PHẦN NỘI DUNG 11

CHƯƠNG I: CÁC THIẾT BỊ HỖ TRỢ CƠ BẢN 11

1.1 Lidar 11

1.2 Cảm biến hình ảnh quang học 12

1.3 Cảm biến khoảng cách Radar 14

1.4 Hệ thống định vị toàn cầu GPS 15

1.5 Hệ thống phát hiện điểm mù 16

1.6 Hệ thống cảnh báo va chạm CAS 18

CHƯƠNG II: CÁC PHẦN MỀM SỬ DỤNG TRÊN XE 21

I KHÁI QUÁT 21

II NỘI DUNG 21

2.1 Sơ đồ xe tự lái 21

2.2 Nhận dạng làn đường 22

2.3 Các phần mềm hỗ trợ 23

2.3.1 Phần mềm bản đồ 3D 23

2.3.2 Phần mềm GPS 25

2.3.3 Cách sử dụng dữ liệu cơ sở chung 26

2.3.4 Phần mềm nhận dạng biển báo 28

2.3.5 Phát hiện và theo dõi nhiều phương tiện sử dụng bộ lọc 30

2.3.6 Mạng lưới nơ-ron 40

CHƯƠNG III: THỬ NGHIỆM TRÊN XE TALOS 43

I Thuật toán lập kế hoạch và điều khiển 44

1.1 Bộ định hướng 44

1.1.1 Ưu tiên giao nhau 45

1.1.2 Vượt qua 46

1.1.3 Tắc nghẽn và chế độ chuẩn đoán 47

1.2 Bản đồ khả năng lái 48

1.3 Bộ lập kế hoạch chuyển động 51

1.3.1 Lập kế hoạch trên vòng lặp động lực học 52

1.3.2 Duy trì an toàn như một cài đặt bất biến 54

1.3.3 Lấy mẫu lệch 54

1.4.1 Bộ điều khiển lái 56

1.4.2 Bộ điều khiển tốc độ 57

II KẾT QUẢ CUỘC THI 58

2.1 Hoạt động trong sự kiện vòng loại quốc gia NQE 58

2.2 Hoạt động của xe Talos trong cuộc thi đô thị 66

2.2.1 Đường hẻo lánh (Outback) 69

2.2.2 Sự va chạm 71

III Thảo luận 75

3.1 Nhận thức- Phương pháp tiếp cận 76

3.2 Xe di chuyển chậm 76

3.3 Cải thiện mô phỏng 76

3.4 Kiểm tra phương pháp tiếp cận chuẩn đoán 77

IV Kết luận 77

PHẦN KẾT LUẬN 78

TÀI LIỆU THAM KHẢO 79

CÁC TỪ VIẾT TẮT

Chương I

Chương II

Chương III

DARPA Defense Advanced Research Projects Agency

PHẦN MỞ ĐẦU

I Dẫn nhập

Thế kỉ XXI là thế kỉ của công nghệ Xã hội con người bước vào kỉ nguyên mới, một

kỉ nguyên phát triển công nghệ về mọi mặt cuộc sống, giúp cho con người phát triển và hoàn thiện hơn trong mọi lĩnh việc “Cơ khí ô tô” cái tên này đã không còn phù hợp với

xu thế phát triển như hiện nay mà thay vào đó là cái tên “Công nghệ ô tô” Qua đó cho thấy công nghệ đã được ứng dụng vào ngành ô tô Và chiếc xe hơi tự lái mà không cần sự trợ giúp của con người sẽ sớm trở thành hiện thực

Những chiếc xe hơi mới trong tương lai không chỉ sạch, thân thiện với môi trường mà còn được trang bị những công nghệ "trợ giúp lái xe" tối tân nhất Công nghệ lái tự động không chỉ giúp con người bớt căng thẳng hơn trong những giờ cao điểm ùn tắc mà còn giúp giảm đáng kể lượng tai nạn giao thông

Trong tương lai, những chiếc xe hơi sẽ trở nên thông minh hơn Chúng có thể tự tìm chỗ đỗ xe, tự đọc biển báo giao thông hay tự duy trì khoảng cách an toàn và tránh tai nạn Không chỉ riêng ô tô, một số nhà sản xuất còn hứa hẹn sẽ áp dụng cả những công nghệ này cho người đi bộ và đi xe đạp Theo đó, người điều khiển xe và phương tiện có thể tự động dừng trước khi xảy ra va chạm

Chỉ cần công nghệ của cảm biến và phần mềm hỗ trợ lái xe chứng minh được khả năng giảm thiểu tai nạn giao thông, chắc chắn các nhà quản lý sẽ yêu cầu các loại xe mới phải áp dụng những công nghệ này Không giống như con người, máy tính không bao giờ lái xe khi say rượu hay vừa điều khiển vô lăng vừa nhắn tin gọi điện Do đó, con người

có thể an tâm hơn khi ngồi vào những chiếc xe lái tự động

Nếu công nghệ lái tự động được áp dụng rộng rãi, chắc chắn lợi ích mang lại sẽ rất lớn Những chiếc xe tự lái không chỉ giúp người khỏe mạnh, thậm chí cả người già và người tàn tật cũng có thể điều khiển xe tới nơi mà họ muốn Bên cạnh đó, mọi người cũng không cần phải đóng thêm phí bảo hiểm xe hơi vì tai nạn giao thông cũng giảm hẳn Theo thống kê, mỗi năm có khoảng 1,2 triệu người chết vì tai nạn giao thông Tại Mỹ, số

ca nhập viện do tai nạn giao thông cũng lên tới 2 triệu lượt mỗi năm

Những chiếc xe tự động cũng góp phần giảm bớt tình trạng tắc nghẽn và tiết kiệm nhiên liệu hơn Con người cũng trở nên thảnh thơi hơn, vừa có thể nghỉ ngơi, đọc báo hoặc giải trí sau một ngày làm việc mệt mỏi thay vì phải bực tức và căng thẳng khi lái xe vào giờ cao điểm Đó cũng là những lý do mà nhóm chúng em nghiên cứu đề tài này

II Mục đích nghiên cứu

Mục đích của đồ án này là tìm hiểu một chiếc xe tự lái mà không cần con người điều khiển Đề tài dựa trên nghiên cứu về lý thuyết nhằm tìm hiểu về những tính năng thay đổi trên một chiếc xe tự lái Nêu lên cấu tạo cơ bản các thiết bị cần thiết cho một chiếc xe hơi

tự lái Tìm hiểu các thiết bị phần mềm hỗ trợ và nguyên lý hoạt động

III Phương pháp nghiên cứu

Với mục đích nghiên cứu trên cơ sở tìm hiểu lý thuyết về cấu tạo và cách điều khiển

xe tự động Vì thế phương pháp nghiên cứu chính ở đây là phương pháp tham khảo tài liệu liên quan, kết hợp với việc dịch thuật tài liệu liên quan đến lĩnh vực nghiên cứu đề tài Từ đó, tiến hành chọn lọc, phân tích, hệ thống các tài liệu giúp người đọc có cái nhìn tổng quan về xe tự động

IV Phạm vi nghiên cứu

Hiện nay, các nghiên cứu về xe tự động không người lái dường như còn là điều mới

mẻ trong nước ta, các nghiên cứu chủ yếu được phát triển bên nước ngoài, nhưng nó cũng chỉ phát triển tại các cuộc đua, các nhà sản xuất xe hơi danh tiếng Do thời gian và kinh nghiệm thực tế còn nhiều hạn chế, chúng em chỉ nghiên cứu các hệ thống phần mềm hỗ trợ cơ bản cho một chiếc xe tự động và nhóm chúng em xin tập trung một số nội dung như sau:

 Khái quát các thiết bị hỗ trợ

 Các phần mềm ứng dụng

 Nghiên cứu cách vận hành xe tự lái Talos

PHẦN NỘI DUNG

CHƯƠNG I: CÁC THIẾT BỊ HỖ TRỢ CƠ BẢN 1.1 Lidar

Lidar là thiết bị quan trọng nhất trong các phương tiện tự lái, được gắn trên nóc của

xe Lidar bao gồm một bộ phát, bộ thu và gương phản chiếu Bộ phát sẽ phát ra một chùm tia Laser đến tấm gương phản chiếu quay cùng với giá đỡ hình trụ (10 vòng/phút) Các chùm tia này sau khi qua gương sẽ đập vào các đối tượng xung quanh và phản chiếu trở về gương và đi vào bộ thu Bộ thu sẽ phân tích các dữ liệu nhận được Từ đó, chiếc xe

có thể tạo ra bản đồ khu vực xung quanh và sử dụng nó để tránh các đối tượng cũng như chướng ngại vật [1]

Hình 1.1 Cấu tạo và hoạt động của Lidar

1.2 Cảm biến hình ảnh quang học

Bộ cảm biến hình ảnh quang học có nhiệm vụ chuyển đổi tín hiệu ánh sáng thành tín hiệu điện Trên xe ô tô các cảm biến này còn được sử dụng trong nhiều hệ thống khác bao gồm: hệ thống cảnh báo làn đường, hệ thống phát hiện tín hiệu biển báo, hỗ trợ đậu xe và tránh va chạm Cảm biến quang học thường dựa trên một trong hai công nghệ CCD hoặc CMOS Cả hai loại cảm biến đều thể hiện một loạt các yếu tố về hình ảnh

CCD: Là thiết bị bao gồm nhiều bộ phận bán dẫn được nối với nhau Trong đó tín hiệu ra của bộ phận này được sử dụng làm tín hiệu vào của bộ phận tiếp theo Ví dụ như các thiết bị dò ánh sáng trong máy ảnh kỹ thuật số Nguyên lí cơ bản là các tụ điện nhỏ có khả năng tập hợp lượng ánh sáng đập vào cảm biến Sau khi các cảm biến tiếp xúc với hình ảnh sẽ được chuyển lần lượt từ tụ điện đầu tiên đến tụ điện cuối cùng trong mảng, sau đó nó đi vào bộ khuếch đại để chuyển đổi thành tín hiệu điện Điện áp này tương ứng với cường độ sáng

Hình 1.2 Sơ đồ hệ thống CCD

CMOS: Là một chip sử dụng ít năng lượng, được chế tạo để thực hiện đúng các chức

năng như các chip khác (chip ghi nhớ hoặc vi xử lí) Chíp CMOS được sử dụng trong các máy tính xách tay và trong các bộ phận máy yêu cầu ít tiêu hao điện Chíp CMOS cũng được dùng làm đồng hồ đếm giờ trên bảng điều khiển, đồng thời cũng dùng để lưu trữ cấu hình cơ sở của hệ thống bao gồm các thông số về chủng loại ổ cứng và ổ mềm, dung lượng bộ nhớ đã lắp đặt và các thông số thiết lập về trạng thái chờ Các thông số này sẽ được giữ lại khi tắt máy tính nhờ một bộ pin nuôi Cảm biến hình ảnh CMOS có mạch kỹ thuật số bên cạnh mỗi điểm ảnh quang có thể chuyển đổi cường độ ánh sáng các điểm ảnh nổi bật với một điện áp tương tự

Hình 1.3 Sơ đồ hệ thống CMOS

Cảm biến CCD là một công nghệ phát triển hơn và có nhiều ứng dụng hơn so với cảm biến CMOS về phạm vi hoạt động và độ phân giải Tuy nhiên cảm biến CMOS chỉ cần ít năng lượng để hoạt động và có thể được xây dựng trên cùng một chất liệu silicon bằng cách sử dụng quá trình tương tự như các mạch kỹ thuật số điều khiển cảm biến Nói cách khác cảm biến CMOS sẽ là đối thủ của cảm biến CCD về phạm vi hoạt động và độ phân giải

1.3 Cảm biến khoảng cách Radar

Cảm biến Radar được trang bị trên xe để phát hiện khoảng cách giữa xe với các chướng ngại vật hoặc bất kỳ phương tiện nào đang lưu thông trên đường Các cảm biến này sử dụng để kiểm soát hành trình và tránh va chạm

Hình 1.4 Ứng dụng trên xe có dùng cảm biến Radar

Có hai phương pháp chính để đo khoảng cách khi sử dụng Radar Phương pháp đầu tiên là phương pháp truyền trực tiếp, là phương pháp liên quan đến việc làm chậm khả năng tiếp nhận tín hiệu hồi về, có thể tương quan với khoảng cách của đối tượng trả về như một chức năng của tốc độ ánh sáng và thời gian hay đúng hơn là thời gian trễ trong truyền và nhận sóng Phương pháp thứ hai là phương pháp truyền gián tiếp hoặc tần số điều chỉnh sóng liên tục Truyền gián tiếp là biến tần số được gửi đi và nhận về để tạo sự khác biệt trong tần số Có thể sử dụng nó để trực tiếp xác định khoảng cách cũng như tốc

độ tương đối của các đối tượng

Cảm biến Radar được ứng dụng rất tốt trong việc phát hiện các đối tượng phát ra bức

xạ điện từ (như vật bằng kim loại) Bởi vì nó hoạt động ở bước sóng vào khoảng vài mm, Radar cũng phát hiện khá tốt các đối tượng nhỏ chỉ vài cm hoặc lớn hơn

1.4 Hệ thống định vị toàn cầu GPS

GPS có nhiệm vụ xác định vị trí, địa điểm cụ thể và xác định con đường tốt nhất để di chuyển GPS sử dụng hệ tọa độ và bản đồ Google để xác định vị trí hiện tại của xe GPS cũng có thể truy cập thông tin về tốc độ và hướng của xe, để điều chỉnh hướng xe trong những tình huống tắc nghẽn hoặc gặp sự cố

Hình 1.5 Hệ thống định vị toàn cầu GPS

Vệ tinh GPS quay xung quanh trái đất hai lần mỗi ngày với một quỹ đạo rất chính xác

và truyền tín hiệu về trái đất Máy thu GPS nhận tín hiệu này và sử dụng để tính toán chính xác vị trí của xe Về cơ bản, các máy thu GPS so sánh thời gian tín hiệu được truyền bởi một vệ tinh với thời gian mà nó nhận được Bấy giờ với các phép đo khoảng cách từ mộtvài vệ tinh có thể xác định được vị trí của xe và hiển thị nó trên bản đồ điện

tử

Một máy thu GPS phải nhận tín hiệu của ít nhất ba vệ tinh để tính toán vị trí 2D (vĩ độ

và kinh độ) và theo dõi chuyển động Với bốn hoặc nhiều vệ tinh hơn nữa thì có thể xác định được vị trí 3D của xe (vĩ độ, kinh độ và cao độ) Một khi vị trí của xe được xác định, GPS có thể tính toán được các thông tin khác chẳng hạn như tốc độ, theo dõi con đường phía trước, khoảng cách đích đến

1.5 Hệ thống phát hiện điểm mù

Hệ thống phát hiện điểm mù là một trong những công nghệ được sử dụng trên xe ô tô thông qua máy ảnh, cảm biến radar và các hệ thống siêu âm cảnh báo cho người lái xe Khi bạn đang đi trong một con đường hẹp, bạn sẽ không thể thấy hết những gì đang xảy ra hoặc tiến tới xung quanh Trong trường hợp này, BSD cho phép người lái xe biết

về các đối tượng xung quanh

Hình 1.6 Cảm biến phát hiện xe ở đằng sau

Mới đây Mercedes-Benz đã đưa vào các dòng S, Cl-Class hệ thống Blind Spot

Assist có thể phát hiện các điểm mù, hỗ trợ cho tài xế khi chuyển làn đường

Hình 1.7 Cảm biến đặt tại kính chiếu hậu phát hiện khoảng cách các xe bên

Hệ thống này được trang bị 6 radar bố trí phía trước và sau xe để có thể phát hiện được các chướng ngại vật có thể gây va chạm khi chuyển làn đường Khi xe cộ phía sau

đi vào khu vực nhận biết của radar, đèn cảnh báo sẽ được báo phía gương chiếu hậu 2 bên sườn xe để cho tài xế biết có thể nguy hiểm khi chuyển làn

Các cảm biến phía trước làm việc trong tương quan của các cảm biến phía sau để đảm bảo rằng chiếc xe đang ở khoảng cách an toàn Nó sẽ gửi trực tiếp tình trạng của chiếc xe cho màn hình hiển thị trong xe

1.6 Hệ thống cảnh báo va chạm CAS

CAS là hệ thống được thiết kế để ngăn chặn va chạm từ phía trước cũng như phía sau với những xe khác đứng yên hoặc di chuyển trên cùng một hướng Một vài nghiên cứu đã cho thấy rằng người lái xe mất tập trung hoặc không chú ý là một yếu tố trong phần lớn các tai nạn Hệ thống có nhiệm vụ cảnh báo người lái xe sắp xảy ra va chạm ngay cả khi tốc độ thấp (như lái trong đô thị) và tốc độ cao (đường cao tốc)

Hệ thống CAS xác định va chạm có thể xảy ra dựa trên điều kiện lái xe, khoảng cách

và tốc độ với xe phía trước CAS sử dụng sóng Radar milimet để phát hiện chiếc xe phía trước trong phạm vi 100m Và sau đó nó tính khoảng cách với xe đó, tốc độ tương đối và

dự kiến đoạn đường xác định khả năng va chạm

Nếu hệ thống phát hiện có khả năng va chạm, nó sẽ phát ra cảnh báo âm thanh và xúc giác (xiết giây an toàn) để cảnh báo người lái xe tai nạn Hệ thống cũng kết hợp với một

số chức năng giảm va chạm cho hành khách khi va chạm không thể tránh được Như chức năng hỗ trợ phanh để bù đắp cho áp lực bàn đạp phanh không đủ, dây an toàn xiết chặt hơn đảm bảo người lái xe được giữ chặt CAS cũng là hệ thống phanh khẩn cấp tự động Ở tốc độ trên 30km/h những chiếc xe cố định hoặc di chuyển phía trước được phát hiện trong 100m Khi hệ thống cảm nhận chiếc xe có khả năng đụng vào một trong những chướng ngại vật đó, hệ thống sẽ xử lí với 3 giai đoạn sau:

Giai đoạn 1:

Hình 1.8 Cảnh báo được đưa ra trước 3s có thể xảy ra va chạm

Cảnh báo đầu tiên gồm âm thanh phát ra và tín hiệu đèn phanh trên màn hình hiển thị bảng điều khiển Cảnh báo được đưa ra khi khoảng cách giữa 2 xe gần hơn khoảng cách

an toàn đặt ra Cảnh báo được đưa ra trước 3s va chạm Tùy thuộc vào tình huống khoảng cách mà va chạm có thể tránh được bằng cách phanh chính xác Trong giai đoạn này, hỗ trợ phanh sẽ không kích hoạt bởi vì tai nạn có thể tránh được khi phanh bình thường Giai đoạn 2:

Hình 1.9 Cảnh báo được đưa ra trước 2s có thể xảy ra va chạm

Nếu khoảng cách giữa hai xe tiếp tục rút ngắn, CAS hỗ trợ phanh nhẹ và dây an toàn được xiết nhẹ hai đến ba lần bởi môt motor điện để cảnh báo xúc giác cho người lái xe Cảnh báo âm thanh và hình ảnh cũng được lặp lại, cảnh báo lần hai được đưa ra khoảng 2s trước khi va chạm Trong trường hợp này, thông số kích hoạt hỗ trợ phanh được thay đổi để dễ kích hoạt giảm tốc độ tối đa Phụ thuộc tình huống va chạm có thể được tránh nếu người lái xe phanh thích hợp, tuy nhiên trong trường hợp tốc độ tương đối cao hoặc khoảng cách nhỏ thì không thể tránh được

Giai đoạn 3: Cuối cùng, khi va chạm không thể tránh được, thông thường trong 1s trước khi va chạm, giây an toàn xiết lại đủ chặt bù cho độ chùng của dây đai hoặc quần

áo rộng, đảm bảo an toàn hơn so với giây đai bình thường chỉ hoạt động khi tai nạn xảy

ra CAS cũng hỗ trợ phanh mạnh để giảm tốc độ khi va chạm

Hình 1.10 Cảnh báo được đưa ra trước 2s có thể xảy ra va chạm

CHƯƠNG II: CÁC PHẦN MỀM SỬ DỤNG TRÊN XE

I KHÁI QUÁT

1.1 Mục tiêu

Mục đích của việc sử dụng các phần mềm là tạo ra một chiếc xe tự lái mà không cần con người điều khiển Để thực hiện điều này, một vài ứng dụng phần mềm sử dụng trí tuệ nhân tạo để tìm và đưa ra một con đường cho xe đi [2]

1.2 Phương pháp

Nguồn sử lí được cung cấp bởi 3 máy tính, sử dụng cho mục tiêu nhận dạng tín hiệu giao thông, làn đường, phương tiện giao thông Các nhà sản phát triển dữ liệu từ Lidar, phối hợp sử dụng GPS và bộ lọc hạt để định vị chiếc xe trên bản đồ Google, quản lí cơ sở

dữ liệu chung với tín hiệu giao thông, cảm biến từ, cảm biến gia tốc, một phần mềm phân phối, một hệ thống quan sát và phần mềm lái động cơ, quay vô lăng (tăng tốc và phanh)

1.3 Kết quả

Phần mềm có thể nhận ra tín hiệu giao thông và lưu nó trong dữ liệu cơ sở chung sử dụng bản đồ Google và GPS Phần mềm GPS ghi lại tín hiệu và hướng đi từ khu vực đó Một phần mềm cấu thành khác có thể nhận ra vạch phân chia làn đường Nó sử dụng 3 camera để tính toán chính xác vị trí xe trên đường và đưa ra một hướng đi mới mà không cần tín hiệu giao thông

II NỘI DUNG

2.1 Sơ đồ xe tự lái

Trong hình 2.1, ta có thể thấy thiết kế của chiếc xe tự lái gồm có hai camera được thiết kế để phát hiện làn đường từ bên trái và bên phải, camera thứ 3 được đặt tại vị trí người lái để phát hiện làn đường và biển báo giao thông từ vị trí người lái Lidar được gắn trên mui xe để tạo ra một mô hình 3D Thông tin 3D, làn đường và biển báo giao thông được gửi đến phần mềm giám sát để tính toán các va chạm và đường đi của chiếc

xe

Các laptop đồng bộ sử dụng phần mềm giám sát Phần mềm giám sát sẽ tổng hợp tất

cả các dữ liệu đã được xử lí bởi các phần mềm khác để điều khiển vô lăng giữ chiếc xe di chuyển trên đường

Hình 2.1 Sơ đồ các phần mềm được xây dựng và thiết kế cho xe tự lái

Tạo dấu cho vạch màu trắng

Tạo thành phần làn đường gần nhất

Tạo ra phương trình đường thẳng

từ vị trí làm dấu

Tính toán độ dốc của đường

Kiểm tra xem những

thành phần gần với

đường dốc

Kiểm tra xem thành phần này là đủ để được coi là một làn đường

Hình 2.3 Phần mềm này có khả năng nhận ra các làn đường giao thông từ hình ảnh và thay đổi các con đường, hướng của xe để giữ cho chiếc xe di chuyển trên đường

Phần mềm sử dụng ba camera để nhận dạng các làn đường Ảnh được chụp từ camera trái và phải của xe và một ảnh được chụp từ vị trí của người lái Phần mềm có thể tính toán khoảng cách giữa các làn đường và khoảng cách giữa bánh xe đến các làn đường

2.3 Các phần mềm hỗ trợ

2.3.1 Phần mềm bản đồ 3D

Một phần mềm khác được tính toán để tạo ra một bản đồ 3D sử dụng công nghệ OpenGL [3], sau đó sử dụng nó để sữa lỗi và giao tiếp với dữ liệu 3D từ Lidar Phần mềm cũng kết nối với phần mềm giám sát và nhận thêm hướng dẫn từ nó Khi Lidar chưa tiếp nhận đầy đủ thông tin, ta có thể thấy một bản đồ 3D ngẫu nhiên bằng cách sử dụng

dữ liệu 3D ngẫu nhiên như hình 2.4 Trong hình, một chấm là một chướng ngại vật 3D có khoảng cách X Khoảng cách của chướng ngại vật được mô tả bởi màu của nó

Từ khi chiếc xe di chuyển, ta phải tính vị trí mới nhất vào mỗi 1/20s Vị trí của xe được tính với dữ liệu thực tế lấy được từ máy đo gia tốc, nó không hiển thị trong sơ đồ

Dữ liệu phải được tính toán lại thông qua điều chỉnh, để chuyển động của chiếc xe không ảnh hưởng bởi khoảng cách của các chướng ngại

Hình 2.4 Đây là giao diện phần mềm và không gian được tạo ra Màu của các đối tượng được chọn để mô tả khoảng cách giữa xe và đối tượng Dữ liệu được tạo ra ngẫu nhiên

Có khoảng 180 điểm trên đường tròn

Hình 2.5 Trong hình trên là giao diện phần mềm và không gian được tạo ra bởi phần

mềm sử dụng OpenGL Màu của các đối tượng được chọn để mô tả khoảng cách giữa xe

và đối tượng Dữ liệu được tạo ngẫu nhiên

2.3.2 Phần mềm GPS

Đôi khi không thể phát hiện chính xác các biển báo giao thông vì bị các chướng ngại vật che khuất Để tránh điều này và tăng khả năng nhận dạng biển báo, tất cả các xe tự lái phối hợp để tạo ra một dữ liệu cơ sở chung với tất cả các biển báo và vị trí GPS của chúng Khi xe sử dụng dữ liệu cơ sở này, phần mềm GPS sẽ cập nhật dữ liệu cơ sở có biển báo mới và phần mềm giám sát sẽ nhận biển báo giao thông lưu trữ từ vị trí GPS đó Biển báo giao thông từ dữ liệu cở sở chung có một đặc điểm rất quan trọng là phản

hồi Phản hồi là cho phép tạo ra khả năng chắc chắn cho việc lưu trữ biển báo trong dữ

liệu cơ sở chung

Thông tin liên lạc giữa phần mềm giám sát, biển báo giao thông và phần mềm GPS được thực hiện bằng cách sử dụng các giao thức được xây dựng bởi chính nó

Hình 2.6 Trong hình trên là phần mềm GPS Đường màu xanh lam là con đường chiếc xe sẽ đi Biển báo giao thông được nhận dạng trong thực tế bởi phần mềm và dữ liệu cơ sở chung đang được lưu

2.3.3 Cách sử dụng dữ liệu cơ sở chung

Phần mềm dò tìm biển báo, nhận dạng các biển báo và gửi chúng đến phần mềm GPS Phần mềm GPS nhận tín hiệu, nếu nó thực sự tìm thấy trong dữ liệu cơ sở, phần mềm sẽ nhận vị trí phản hồi Nếu có các biển báo khác được lưu trong dữ liệu cơ sở nhưng không được nhận thấy từ phần mềm dò tìm, thì các biển báo đó sẽ nhận thông tin phản hồi và sử dụng các biển báo đó để tính toán con đường cho chiếc xe Nếu thông tin phản hồi đó rất yếu, các biển báo sẽ tự động loại bỏ khỏi dữ liệu cơ sở Thông tin liên lạc giữa hai phần mềm độc lập được thực hiện bằng cách sử dụng bộ giao thức TCP/IP [4]

No Yes

Yes No yes

Hình 2.7 Trong sơ đồ này ta thấy cơ sở dữ liệu chung GPS hoạt động và tính năng

"phản hồi" được sử dụng để tính toán xác suất chắc chắn cho bất kỳ biển báo giao thông

Phần mềm phát

hiện biển báo

giao thông

Sử dụng lập trình song song để nhận ra các biển báo giao thông

Thành phần

báo giao thông

Thành phần phần mềm GPS

Bất kỳ biển báo nào từ tọa độ GPS

được lưu trữ trong

cơ sở dữ liệu?

Một biển báo tại tọa độ GPS này phối hợp được lưu trữ trong cơ sở dữ

liệu?

Sử dụng tất cả biển báo giao

thông từ phối hợp này

Phản hồi tiêu cực đến tất cả các

biển báo giao thông từ tọa độ

này trong cơ sở dữ liệu chung

Lưu trữ biển báo giao thông trong

cơ sở dữ liệu GPS

Cho ý kiến phản hồi tích cực đối với cơ

sở dữ liệu biển báo giao thông Loại bỏ tất cả các biển báo giao thông để có nhiều phản hồi tiêu cực

2.3.4 Phần mềm nhận dạng biển báo

Như một người lái xe, chiếc xe tự động cũng phải quen thuộc với tất cả các biển báo giao thông Phần mềm nhận dạng biển báo giao thông hoạt động dựa trên hệ thống lọc màu quang phổ HSV, mạng lưới nơ-ron đa lớp, dữ liệu cơ sở sử dụng tọa độ GPS và bản

đồ Google

Hình 2.8 Sơ đồ này minh họa cách thuật toán phát hiện tín hiệu có thể nhận dạng biển báo từ hình ảnh đơn giản Nó được sử dụng giải pháp đa ngưỡng Mỗi ảnh được thực hiện bằng cách cho mỗi core CPU sử dụng một ngưỡng HSV khác nhau

Các thuật toán chạy song song và được phát triển sử dụng một mô phỏng đa ngưỡng Phần mềm tạo ra một ngưỡng cho mỗi core Hình ảnh được chụp từ Camera người lái sẽ được chèn trong một hàng đồng bộ Mỗi core CPU sau khi hoàn thành nhiệm vụ cuối

cùng, nó sẽ xác minh lại liệu có bất kì dấu hiệu gì trong hàng đồng bộ đó không Nếu có,

nó sẽ đưa ra một nhiệm vụ mới từ hàng đó

Nhận dạng biển báo sử dụng lưới nơ-ron đa lớp

Phát hiện biển báo giao thông dựa vào mạng lưới nơ-ron đa lớp Mạng lưới nơ-ron được tạo ra bằng cách sử dụng hình ảnh thực của biển báo giao thông và truyền ngược lại với thuật toán động lượng

Có hai mạng lưới nơ-ron cho các mẫu biển báo (xanh và đỏ) Với mỗi mẫu biển báo thì có một mạng lưới nơ-ron liên quan Các mạng lưới được nạp trong phần mềm này

Hình 2.9 Sơ đồ này mô tả mạng lướ i nơ-ron được sử dụng để nhận dạng biển báo

như thế nào Phương pháp nơ-ron này sử dụng mạng lưới nơ-ron với 9 lớp Mỗi mạng

Màu biển báo Mẫu biển báo Số biển báo khác nhau có

2.3.5 Phát hiện và theo dõi nhiều phương tiện sử dụng bộ lọc

Một hệ thống quan sát thực tế được phát triển, có thể phân tích video màu được lấy từ camera đặt tại vị trí người lái Hệ thống sử dụng một ô hình chữ nhật có màu sắc và thông tin di chuyển để nhận dạng và theo dõi các phương tiện trên đường Thuật toán dựa trên

bộ lọc hạt

Hình 2.10 Phần mềm sử dụng các ô hình chữ nhật để nhận dạng xe

Nguyên tắc của thuật toán dựa trên một biểu đồ Trong lí thuyết xử lí ảnh, biểu đồ hình ảnh liên quan đến biểu đồ tần suất giá trị cường độ điểm ảnh Biểu đồ tần suất là một

đồ thị hiển thị tất cả các điểm ảnh của một hình ảnh ở mỗi giá trị cường độ khác nhau được tìm thấy trong hình Ví dụ, trong một ảnh màu xám 8-bit, chỉ có 256 cường độ có

Hình 2.11 Biểu đồ tần suất hiển thị tất cả các điểm ảnh của một hình ảnh ở mỗi giá trị cường độ khác nhau được tìm thấy trong hình

Hình 2.12 Sơ đồ thể hiện hiệu suất của việc phát hiện dựa trên biểu đồ theo dõi sử dụng bộ lọc Kalman [5]

thể khác nhau, vì vậy biểu đồ sẽ hiển thị đồ họa 256 con số cho thấy sự phân bố của các điểm ảnh (cường độ của các điểm ảnh) trong những giá trị màu xám Biểu đồ cũng được tính toán cho màu sắc ảnh - biểu đồ riêng màu đỏ, xanh lục, lam và độ sáng tại mỗi điểm ứng với số điểm ảnh Theo tính toán của biểu đồ, phần mềm xử lí và sử dụng số liệu

thống kê để xác định các hạt và tính toán trọng lượng của mỗi hạt

Mô tả thuật toán phát hiện xe sử dụng bộ lọc hạt

1 Ban đầu, thuật toán tìm kiếm những hình dạng lớn được cấu tạo gần như từ một màu vì hầu hết những chiếc xe được sơn bằng một màu cơ bản Trong hình 2.12 dễ dàng

để xác định 4 chiếc xe (2 chiếc xe màu xanh lam, 1 chiếc xe màu đen và một chiếc xe màu lam đậm) Sử dụng các giới hạn màu sắc khác nhau để có thể xác định được đâu là một chiếc xe

Hình 2.12 Phần mềm nhận dạng 5 chiếc xe được vẽ hoàn toàn với màu như nhau

2 Để biết có bao nhiêu hình dạng màu đen lớn có trong ảnh cần thực hiện phân đoạn Phân đoạn chỉ là một cách tô màu đơn giản Sau khi phân đoạn nó sẽ kiểm tra lại xem hình dạng màu đen đã đủ và phù hợp với hình dạng chiếc xe

Hình 2.13 Hình ảnh chiếc xe được chụp khi chưa phân đoạn

Hình 2.14 Hình ảnh chiếc xe rõ rang hơn sau khi thực hiện phân đoạn

Trong nhiều trường hợp khi hình dạng của chiếc xe nhận được sẽ bị nhiễu Hình 2.15, trong ảnh trước, ta có thể thấy màu của xe thì giống với một “đám mây” với độ nhiễu nhỏ, nhưng ảnh sau thì giống kết quả xử lí lọc màu hơn Có thể nhận thấy được rằng, hình dạng chiếc xe luôn bị nhiễu so với những hình ảnh ban đầu

Hình 2.15 Hình dạng chiếc xe luôn bị nhiễu so với hình ảnh ban đầu

Để loại bỏ vấn đề này, các thuật toán xử lí hình ảnh được hình thành bằng cách làm một chức năng có hình thái “mở” 4 lần

3 Hình thái mở và đóng là hai bộ điều khiển thao tác chính xác Hình thái mở được bắt nguồn từ bộ hoạt động giãn nở Hình thái mở xử lý trong tầm nhìn máy tính và xử lí ảnh cho việc loại bỏ sự nhiễu Ảnh hưởng của bộ điều khiển được dự định để giữ khu vực gần, nó có hình dạng tương tự các yếu tố cấu trúc (hình dạng xe), hoặc hoàn toàn chứa các yếu tố cấu trúc, khi loại bỏ tất cả các khu vực khác của điểm ảnh gần (độ nhiễu xung quanh)

Trong hầu hết các ứng dụng, chức năng mở thì được sử dụng để xóa những đối tượng nhỏ xung quanh hình ảnh Công nghệ này cũng có thể sử dụng để tìm những hình dạng đặc biệt trong ảnh

Hình 2.16 Các điểm nhiễu được loại bỏ, hai hình được tách riêng

Ảnh hưởng của hoạt động hình thái mở như sự cắt bỏ trong nó có xu hướng loại bỏ một vài điểm ảnh cận cảnh từ viền của vùng cận cảnh Trong hình 2.16, ta có thể thấy rằng sau khi bộ điều khiển mở hai đối tượng sẽ được tách riêng và chức năng phân chia

sẽ trở lại với hai đối tượng khác

Hình 2.17 Hình dạng chiếc xe dần được khắc phục sau một vài hoạt động hình thái mở

4 Sau khi sử dụng một vài hoạt động điều khiển hình thái mở, hình dạng chiếc xe sẽ dần khắc phục so với hình ảnh bị nhiễu ban đầu Mục tiêu của việc phân chia ảnh là để

các cụm ảnh nổi bật trong ảnh sẽ được phát hiện trước (tương ứng với những bề mặt riêng lẻ, các đối tượng, các thành phần tự nhiên) Trong bước này, mục tiêu việc phân chia ảnh được sử dụng để nhận dạng tất cả các vùng trong ảnh

5 Để kiểm tra xem liệu chiếc xe được chọn ra có phải từ việc phân chia hay không, thuật toán sử dụng một mạng lưới nơ-ron đa lớp Bởi vì độ phân giải của ảnh cắt là rất cao, thuật toán được hình thành bằng cách thu nhỏ ảnh về 30x30

Hình 2.19 Ảnh được thu nhỏ về 30x30

6 Nguồn chuyển tiếp mạng lưới nơ-ron sẽ phân loại và nhận dạng xem liệu trong ảnh

đó có xe hay không, vì vậy các màu sắc là để dự phòng

Trong hình 2.20 ta có thể thấy sự chuyển tiếp cấu trúc liên kết của mạng lưới nơ-ron Mỗi ngõ ra của mạng lưới nơ-ron nằm giữa hai giá trị [0÷1] Nếu giá trị gần 1 hơn, có nghĩa nó là một xác suất lớn trong cụm đó (cụm của những chiếc xe hoặc không phải chiếc xe)

Hình 2.20 Mỗi ngõ ra của mạng lưới nơ-ron nằm giữa hai giá trị [0÷1]

7 Nếu kết quả của mạng lưới nơ-ron là thỏa đáng, thì thuật toán bộ lọc sẽ theo dõi chiếc xe trong cấu trúc tiếp theo Nguyên tắc đơn giản là: chiếc xe không bị mất đi trong những cấu trúc tiếp theo Bộ lọc hạt Kalman được sử dụng, ban đầu khối lượng cụm còn

ít, nhưng nếu trong nhiều cấu trúc hình liên tục, ta có thể nhận ra chiếc xe và vị trí của chiếc xe bị thay đổi, sau đó khối lượng bộ lọc sẽ tiếp tục tăng lên Để tính toán xác suất

và theo dõi những chiếc xe, thuật toán sử dụng các biểu đồ Giả thuyết rằng phần mềm có thể theo dõi chiếc xe sử dụng biểu đồ là: các màu của chiếc xe không được thay đổi đáng

kể trong các cấu trúc liên tiếp

Tính toán các biểu đồ khác nhau

Trong ảnh dưới có thể thấy sự khác nhau giữa hai biểu đồ liên tiếp (những điểm ảnh màu đen trong hình) Trong kết luận, ta có thể hiểu tại sao nhiều bộ lọc ảnh sử dụng một biểu đồ sẽ có thể nhận dạng và theo dõi xe

Hình 2.21 Thể hiện sự khác nhau giữa hai biểu đồ lien tiếp

Mô tả sơ đồ thuật toán

Sơ đồ hình 2.22 mô tả thuật toán dò tìm, nhận dạng và theo dõi xe sử dụng bộ lọc Kalman Ban đầu, thuật toán cố gắng nhận dạng hình dạng chiếc xe Nếu nhiều hình dạng được phát hiện bộ lọc theo dõi sẽ được kích hoạt

Hình 2.22 Sơ đồ mô tả thuật toán dò tìm, nhận dạng theo dõi xe sử dụng bộ lọc Kalman

Hình ảnh Webcam từ người lái:

Mạng truyền thẳng:

Phân loại hình đã được cắt

để kiểm tra xem nó là một chiếc xe hay không

Hình ảnh sử dụng ngưỡng màu

sắc khác nhau

Phân loại:

Nhập vào các hình ảnh khác nhau để lấy các đối tượng riêng biệt trong hình ảnh

Tính toán khối lượng hạt

đồ hạt

Tạo ra các điểm ngẫu nhiên

Phân tích hình ảnh bằng cách sử dụng toán tử hình thái mở Khôi phục khu vực phía trước

Bộ lọc màu HSV

Tất cả các biển báo giao thông đều được bao quanh bởi các hình đơn giản như hình tròn, tam giác… Để nhận dạng biển báo từ các hình ảnh, bước đầu tiên là xác định vị trí màu của các biển báo, sử dụng gam màu R-G-B (đỏ, lục,lam) đại diện cho các màu

Từ hình ảnh camera, ta cần nhận ra các màu sắc cơ bản Sử dụng HSV thì dễ hơn vì các thành phần màu sắc, độ bão hòa và độ sáng được lặp lại với cường độ của màu

Hình 2.24 Trong chương trình dưới, sơ đồ cho thấy giải pháp đa hướng được thực hiện bởi bộ lọc HSV Nó được sử dụng để tìm màu biển báo

Ban đầu, ảnh được chụp từ Camera sẽ được xử lí màu bởi bộ lọc HSV

Hình 2.23 Ảnh chụp các biển báo từ Camera