NGHIÊN cứu THU NHẬP và xử lý ẢNH để hỗ TRỢ ô tô CHẠY tự ĐỘNG

MỤC LỤC LÝ LỊCH KHOA HỌC ii LỜI CAM ĐOAN iii LỜI CẢM ƠN iv TÓM TĂT v ABSTRACT vi DANH MỤC HÌNH ẢNH PHẦN TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI: 1.2 CÁC KẾT QUẢ NGHIÊN CỨU: 1.2.1 Trong nước 1.2.2 Thế giới 10 1.3 MỤC ĐÍCH ĐỀ TÀI 11 1.4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 11 1.5 PHƯƠNG PHÁP NGHIÊN CỨU 11 1.6 Ý NGHĨA KHOA HỌC VÀ TÍNH THỰC TIỄN CỦA ĐỀ TÀI 12 1.7 GIỚI HẠN ĐỀ TÀI 12 1.8 KẾ HOẠCH THỰC HIỆN 12 PHẦN CƠ SỞ LÝ THUYẾT 13 2.1 GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH 13 2.2 CÁC BƯỚC TRONG XỬ LÝ ẢNH 14 2.2.1 Thu nhận ảnh 14 2.2.2 Tiền xử lý ảnh 14 2.2.3 Phân tích ảnh 14 2.2.4 Biểu diễn ảnh 14 2.2.5 Nhận dạng nội suy 15 2.2.6 Cơ sở tri thức 15 2.2.7 Mô tả ảnh 16 2.3 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 17 -1- 2.3.1 Điểm ảnh 17 2.3.2 Độ phân giải ảnh 18 2.3.3 Mức xám ảnh 18 2.3.4 Biến đổi ảnh nén ảnh 19 2.3.5 Các đặc trưng mức thấp ảnh 20 2.3.6 Nắn chỉnh ảnh 21 2.3.7 Trích chọn đặc điểm 21 2.4 CÁC MÔ HÌNH MÀU 21 2.5 BIẾN ĐỔI HOUGH (HOUGH TRANSFORM) 25 2.5.1 Biến đổi Hough cho đường thẳng 25 2.5.2 Biến đổi Hough cho đường thẳng tọa độ cực 26 2.6 CÔNG CỤ XỬ LÝ ẢNH LabVIEW 27 2.6.1 Lập trình với LabVIEW 29 2.6.2 Một số khối (hàm thức) thường sử dụng LabVIEW 30 PHẦN 3: THIẾT KẾ, LẮP ĐẶT CAMERA VÀ THUẬT TOÁN NHẬN DẠNG 37 3.1 THIẾT KẾ LẮP ĐẶT 37 3.2 ĐO KHOẢNG CÁCH VẬT CẢN 41 3.3 NHẬN DẠNG VÀ XỬ LÝ VỚI LabVIEW 56 3.3.1 Tổng quan hệ thống 56 3.3.2 Các thông số hệ thống 57 3.3.3 Ý tưởng thiết kế - điều khiển 58 3.3.4 Thuật toán xử lý ảnh truyền nhận liệu từ vi điều khiển 58 3.3.5 Kết thu thập hình ảnh 61 PHẦN 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 62 4.1 THỰC NGHIỆM 62 4.2 ĐÁNH GIÁ 71 4.2.1 Tốc độ thu thập 71 4.2.2 Độ xác: 72 PHẦN 5: KẾT LUẬN VÀ ĐỀ NGHỊ 75 -2- 5.1 KẾT QUẢ ĐẠT ĐƯỢC 75 5.2 NHỮNG VẤN ĐỀ TỒN TẠI 75 5.3 HƯỚNG PHÁT TRIỂN 76 TÀI LIỆU THAM KHẢO 77 -3- DANH MỤC HÌNH ẢNH Hình 1: Giao diện chương trình kết việc giám sát giao thông Hình 2: Vị trí đường 10 Hình 1: Quy trình xử lý ảnh 13 Hình 2: Hệ thống xử lý ảnh 14 Hình 3: Sơ đồ phân tích xử lý ảnh 17 Hình 4: Nắn chỉnh ảnh 21 Hình 5: Các mô hình màu 22 Hình 6: Hệ tọa độ màu RGB 23 Hình 7: Mô hình màu HSV 24 Hình 8: Bảng số giá trị 26 Hình 9: Đường thẳng Hough hệ tọa độ Đề-các 26 Hình 10: Giao diện phần mềm LabVIEW phiên 2013 27 Hình 11: Một robot nước dựa lập trình LabVIEW 28 Hình 12: Khả kết hợp phần cứng LabVIEW 28 Hình 13: Giao diện làm việc phần mềm LabVIEW 29 Hình 14: Bảng điều khiển thiết lập thông số 29 Hình 15: Bảng hàm, công thức bên cửa sổ Block Diagram 30 Hình 16: Khối While Loop 30 Hình 17: Khối Case Structure 30 Hình 18: Khối Time Delay 31 Hình 19: Hàm While Until Next ms Multiple 31 Hình 20: Các hàm tính toán LabVIEW 31 Hình 21: Các hàm so sánh LabVIEW 31 Hình 22: Các hàm logic 32 Hình 23: Các hàm xử lý ảnh 32 Hình 24: Các hàm thu thập ảnh 32 Hình 25: Các hàm xử lý ảnh 33 Hình 26: Các công cụ làm việc với ảnh 33 -4- Hình 27: Hai hàm thường dùng xử lý ảnh với LabVIEW 33 Hình 28: Hàm Vision Acquisition 34 Hình 29: Chọn nguồn thu thập ảnh 34 Hình 30: Chọn kiểu ảnh thu 35 Hình 31: Cài đặt định dạng cho ảnh thu 35 Hình 32: Chọn điều khiển/Hiển thị 36 Hình 33: Cửa sổ làm việc với hàm NI Vision Assistant 36 Hình 1: Bản vẽ thiết kế solidwork 37 Hình 2: Mô 3D 37 Hình 3: Hình ảnh nhìn từ phía 38 Hình 4: Sơ đồ bô trí tổng quát 39 Hình 5: Lắp đặt camera cảm biến siêu âm 40 Hình 6: Kết nối vi điều khiển với cổng giao tiếp UART 40 Hình 7: Sơ đồ chân Atmega 16 41 Hình 8: Cảm biến siêu âm SRF-05 45 Hình 9: Phát thu nhận sóng siêu âm 46 Hình 10: Nguyên lý phát thu nhận sóng siêu âm 46 Hình 11: Sơ đồ nguyên lý mạch đo khoảng cách 47 Hình 12: Thiết kế mạch in 47 Hình 13: Mạch đo khoảng cách hiển thị LCD 48 Hình 14: Mô đo khoảng cách protus 48 Hình 15: Khung truyền 49 Hình 16: Sơ dồ nguyên lý truyền tín hiệu từ vi điều khiển lên máy tính 49 Hình 17: RS232 49 Hình 18: Sự phân cấp VISA API 50 Hình 19: Cấu trúc Visa API 51 Hình 20: Thư viện hàm VISA LabVIEW 52 Hình 21: Các hàm Serial 53 Hình 22: Cổng Serial 53 -5- Hình 23: Cổng Port number 53 Hình 24: Serial port read 53 Hình 25: Sơ đồ thuật toán RS232 54 Hình 26: Thu thập xử lý liệu 55 Hình 27: Mô giao tiếp với máy tính 55 Hình 28: Nguyên lý hệ thống nhận dạng, xử lý điều khiển xe qua xử lý ảnh 56 Hình 29: Quy tắc hoạt động hệ thống 56 Hình 30: Camera 58 Hình 31: Máy tính 58 Hình 32: Lưu đồ thuật toán xử lý ảnh đo khoảng cách, điều khiển xe 59 Hình 33: Lưu đồ thuật toán LabVIEW xử lý ảnh giao tiếp với vi điều khiển 60 Hình 34: Thu thập vật cản bên trái 61 Hình 35: Thu nhận vật cản 61 Hình 36: Thu nhận vật cản bên phải 61 Hình 1: Thu nhận hình ảnh vật cản bên phải 62 Hình 2: Thu nhận hình ảnh vật cản bên trái 63 Hình 3: Thu nhận hình ảnh vật cản 63 Hình 4: Thu nhận hình ảnh vật cản bên trái 64 Hình 5: Thu nhận hình ảnh vật cản bên phải 64 Hình 6: Thu nhận hình ảnh vật cản 65 Hình 7: Thu nhận hình ảnh vật cản 65 Hình 8: Thu nhận hình ảnh vật cản 66 Hình 9: Thu nhận hình ảnh vật cản bên trái điều khiển xe chạy/dừng 66 Hình 10: Thu nhận hình ảnh vật cản bên trái điều khiển xe chạy/dừng 67 Hình 11: Thu nhận hình ảnh vật cản bên trái điều khiển xe chạy/dừng 67 Hình 12: Thu nhận hình ảnh vật cản điều khiển xe chạy/dừng 68 Hình 13: Thu nhận hình ảnh vật cản bên phải điều khiển xe chạy/dừng 68 Hình 14: Thu nhận hình ảnh vật cản điều khiển xe chạy/dừng 69 -6- Hình 15: Thu nhận hình ảnh vật cản bên phải điều khiển xe chạy/dừng 69 Hình 16: Thu nhận hình ảnh vật cản điều khiển xe chạy/dừng 70 Hình 17: Thu nhận hình ảnh vật cản điều khiển xe chạy/dừng 70 Hình 18: Thu nhận hình ảnh vật cản điều khiển xe chạy/dừng 71 -7- PHẦN TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI: Trong thập kỷ gần đây, xử lý ảnh nghiên cứu mạnh mẽ ứng dụng nhiều thực tế Như y học, xử lý ảnh dùng để phát nhận dạng khối u, cải thiện ảnh X-quang, nhận diện đường biên mạch máu từ ảnh chụp tia X Trong sống gia đình xử lý ảnh số dùng để cải thiện ảnh tivi Trong truyền thông video hội nghị video, điện thoại video vấn đề cần có dải tần rộng mà việc mã hóa thẳng video chất lượng quảng bá cần đến 100 triệu bit/s (điều đáp ứng được), cách mã hóa số khôi phục ảnh (vấn đề xử lý ảnh) việc giải với băng tần 100 nghìn bit/s Trong lĩnh vục khoa học kỹ thuật xử lý ảnh có đóng góp quan trọng, đặc biệt lĩnh vực chế tạo Robot thông minh… Hiện yêu cầu người đa dạng, khắt khe đòi hỏi người nghiên cứu lĩnh vực ô tô cần phải có bước mạnh mẽ để đáp ứng nhu cầu ngày lớn người Xử lý ảnh nghiên cứu rộng rãi với điều khiển tự động phát triển mạnh mẽ, hướng tương lai ngành ô tô Việc ứng dụng điều khiển tự động xử lý ảnh giúp người điều khiển ô tô an toàn hơn, khám phá nơi người tiếp cận được, ứng dụng tâm tới lĩnh vực quân sự… Ô tô gắn camera để thu nhận hình ảnh đối tượng bên ngoài: tín hiệu đèn giao thông, vật cản, hay người đường… Những hình ảnh thu lại, phân tích xử lý Sau hình ảnh gởi điều khiển, lúc điều khiển điều khiển hoạt động ô tô: báo rẽ, dừng lại, phát tín hiệu cảnh báo Ứng dụng giúp người nghỉ ngơi mệt mỏi xe chạy đường vắng, gặp vật cản cảnh báo cho người tài xế giúp lái xe an toàn đóng góp nhiều lĩnh vực quân sự… Để giải vấn đề trên, hướng dẫn Thầy TS Lê Thanh Phúc, học viên chọn đề tài: “ NGHIÊN CỨU VỀ THU THẬP VÀ XỬ LÝ ẢNH ĐỂ HỖ TRỢ Ô TÔ CHẠY TỰ ĐỘNG” -8- 1.2 CÁC KẾT QUẢ NGHIÊN CỨU: 1.2.1 Trong nước - Ứng dụng công nghệ xử lý ảnh thời gian thực toán tự động giám sát giao thông Việt Nam [1] Trọng tâm toán đếm số lượng xe ô tô, xe máy khoảng thời gian định, tính vận tốc trung bình dòng giao thông, tính chiều dài hàng đợi xảy ách tắc giao thông chuỗi hình ảnh thu từ camera thời gian thực Hình 1: Giao diện chương trình kết việc giám sát giao thông - Nghiên cứu kỹ thuật nhận dạng bàn tay người: để thuận lợi cho việc giao tiếp người máy có nhiều phương pháp ứng dụng vào lĩnh vực Một số nhận dạng cử bàn tay người Nó cho phép dễ dàng thao tác với máy mà không cần phải có thêm thiết bị ngoại vi: chuột, bàn phím [2] - Hệ thống giám sát giao thông xử lý ảnh: Hệ thống bao gồm: camera giám sát, camera chụp hình, mạng truyền thông, phần mềm xử lý ảnh liệu để phát lỗi vi phạm xử lý kịp thời đảm bảo an toàn, nâng cao ý thức chấp hành luật giao thông Với hệ thống video giao thông camera giám sát gởi server qua mạng cáp quang để lưu trữ xử lý để phát tách lỗi vi phạm giao thông [3] - Ứng dụng xử lý ảnh nhận dạng đường cho ô tô chạy tự động: xác định dấu phân cách đường, đường Tính toán khoảng cách dựa dấu phân cách thu để đưa tín hiệu đường cho phần điều khiển xe tự động thông qua chuẩn giao tiếp RS232 [4] -9- Hình 2: Vị trí đường - Robot tự hành ứng dụng xử lý ảnh với LabVIEW: xác định vật cản nhờ camera cảm biến khoảng cách, điều khiển xe tránh vật cản cách điều khiển rẽ lùi xe [5] 1.2.2 Thế giới: - Hệ thống đậu xe sử dụng xử lý ảnh [6] Với nạn kẹt xe thành phố gia tăng gia tăng thiếu hụt khoảng không gian đậu xe xe cần hệ thống cung cấp thông tin đậu xe hướng dẫn đậu xe tự động Kết bãi đậu xe đếm số lượng xe, nhận dạng vị trí đậu xe Hệ thống cung cấp thông tin hướng dẫn đậu xe thông qua xử lý ảnh thay cảm biến điện đặt sàn Các camera đặt trước cổng bãi đậu xe để chụp lại ảnh xe, ảnh so sánh với ảnh cài đặt trước hệ thống - Nghiên cứu đề tài: “Nghiên cứu kỹ thuật xử lý video để ứng dụng giao thông” V Kastrinaki, M Zervakis*, K Kalaitzakis chấp nhận công bố rộng rãi vào năm 2003 để kiểm tra tình trạng giao thông tự động hướng dẫn xe tham gia giao thông [7] - 10 - [12] JAE S.LIM, GS.Nguyễn Văn Ngọ, Giáo trình xử lý ảnh, Đại học Quốc Gia Hà Nội, 2001 [13] Oge Marques, Practical Image and video processing using Matlab, Wiley, 2011 [14] TS Nguyễn Bá Hải, “Lập trình LabVIEW”, NXB Đại học Quốc Gia TP.Hồ Chí Minh [15] PGS.TS Đỗ Văn Dũng, “Điện động điều khiển động cơ”, NXB Đại học Quốc Gia TPHCM, 2013 [16] Rafael C.Gonzalez-University of Tennessee, Richar E.Woods-MedData Interactive, “Digital Image Processing” [17] PGS.TS Đỗ Văn Dũng, “Từ điển Anh-Việt chuyên ngành công nghệ ô tô”, NXB Thống Kê, 2003 [18] M.Bertozzi and A.Broggi, “GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection”, IEEE Transaction on Image Processing, 1998, pp.199-213 [19] ZuWhan Kim, “Realtime Lane Tracking of Curved Local Road”, in IEEE Intelligent Transporation Systems, Toronto, Canada, 2006, pp.1149-1155 [20] Y Wang, E.K.Teoh, and D.Shen, "Lane detection and tracking using BSnake," Image and Vision Computing, vol 22, no.4, 2004, pp 269-280 [21] “http://luanvan.vn/” [22]“http://www.xilinx.com/applications/automotive/image-processing-and recognition/ [23] http://www.rob.cs.tu-bs.de/en/research/projects/parkspot/ [24] “hocdelam.org” [25] www.khoahoc.com.vn - 78 - PHỤ LỤC  Code tính khoảng cách điều khiển xe: #include #include #define trigger PORTB.0 #define echo PIND.2 unsigned int distance; // Bien luu gia tri thoi gian unsigned char range_ok; // Bien luu thong tin cho phep hoan long range; // Bien luu gia tri khoang cach // Alphanumeric LCD Module functions #include char dis[16]; unsigned char pwm, x; // Timer overflow interrupt service routine //Su dung timer dieu khien toc dong co theo khoang cach interrupt [TIM0_OVF] void timer0_ovf_isr(void) { // Place your code here x++; if (x>=pwm) { PORTB.1=1; } else { PORTB.1=0; } } // External Interrupt service routine - 79 - interrupt [EXT_INT0] void ext_int0_isr(void) { distance=TCNT1; // Doc gia tri timer range=(long)(distance)/58/10; range=range-1; TCNT1 = 0x00; // Xoa du lieu timer TCCR1B = 0x00; // Ngung timer 1, Timer chua hoat dong MCU yeu cau khoang cach range_ok=1; // Hoan phep } void StartRange() { trigger=1; delay_ms(22); // Tao xung it nhat 10ms trigger=0; // Bat dau giai lenh while(!(echo)); // Doi cho chan Echo keo len muc cao TCCR1B=0x01; // Cho phep timer hoat dong } // External Interrupt service routine interrupt [EXT_INT1] void ext_int1_isr(void) { // Place your code here } // External Interrupt service routine interrupt [EXT_INT2] void ext_int2_isr(void) { // Place your code here } #ifndef RXB8 - 80 - #define RXB8 #endif #ifndef TXB8 #define TXB8 #endif #ifndef UPE #define UPE #endif #ifndef DOR #define DOR #endif #ifndef FE #define FE #endif #ifndef UDRE #define UDRE #endif #ifndef RXC #define RXC #endif #define FRAMING_ERROR (1[...]... cách để hỗ trợ ô tô chạy tự động 1.4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU  Đối tượng và khách thể nghiên cứu: - Lý thuyết về điều khiển ô tô - Lý thuyết về xử lý ảnh - Thu t toán sử dụng LabVIEW - Xe, camera… - Lý thuyết về điện tử - điều khiển tự động  Phạm vi nghiên cứu - Nghiên cứu lắp đặt camera - Thiêt kế bộ thu nhận và xử lý ảnh - Nghiên cứu thu t toán xử lý ảnh và nhận dạng 1.5 PHƯƠNG PHÁP NGHIÊN CỨU... PHƯƠNG PHÁP NGHIÊN CỨU - Nghiên cứu đặc trưng thực tiễn khi tham gia giao thông - 11 - - Nghiên cứu về tính ổn định và điều kiện an toàn của xe khi làm việc ở ngoài thực tế - Thiết kế bộ thu thập xử lý ảnh và xây dựng thu t toán điều khiển sử dụng phần mềm LabVIEW 1.6 Ý NGHĨA KHOA HỌC VÀ TÍNH THỰC TIỄN CỦA ĐỀ TÀI Đề tài “NGHIÊN CỨU VỀ THU THẬP VÀ XỬ LÝ ẢNH ĐỂ HỖ TRỢ Ô TÔ CHẠY TỰ ĐỘNG” sẽ giúp cho người... trong lĩnh vực quân sự (xe không người lái) 1.7 GIỚI HẠN ĐỀ TÀI Do đề tài tổng hợp từ nhiều môn khoa học khác nhau rất phức tạp nên đề tài chỉ dừng lại ở mức thiết kế bộ thu thập và nhận dạng xử lý ảnh dùng LabVIEW 1.8 KẾ HOẠCH THỰC HIỆN - Nghiên cứu lý thuyết về xử lý ảnh - Nghiên cứu các công cụ xử lý ảnh của LabVIEW - Nghiên cứu lý thuyết về điều khiển ô tô, điều khiển tự động - Lên ý tưởng lắp đặt... dạng ảnh - Quá trình xử lý ảnh là quá trình thao tác với ảnh đầu vào nhằm đưa ra một kết quả Kết quả này là cho ra ảnh tốt hơn hoặc một kết luận Ảnh chất lượng hơn Ảnh đầu vào Xử lý ảnh Kết luận để điều khiển cái gì đó Hình 2 1: Quy trình xử lý ảnh - Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng ảnh và phân tích ảnh - 13 - - Sơ đồ tổng quát của một hệ thống xử lý ảnh: ... Các hàm về xử lý ảnh Hình 2 23: Các hàm về xử lý ảnh Trong LabVIEW có nhiều hàm hỗ trợ xử lý ảnh như: - NI-IMAQ: Hàm này thu thập các hình ảnh đầu vào từ thư viện ảnh có sẵn trong máy tính, video có sẵn trong bộ nhớ, hay từ camera Hình 2 24: Các hàm thu thập ảnh - Image Processing: ở hàm này thì nó sẽ xử lý màu của ảnh thu thập được, lọc ảnh, phân tích ảnh - 32 - Hình 2 25: Các hàm xử lý ảnh - Machine... 3: Sơ đồ phân tích và xử lý ảnh 2.3 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH: 2.3.1 Điểm ảnh: [10] - 17 - - Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng Để xử lý bằng máy tính (số), ảnh cần phải được số hoá Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật vềvị trí (không gian) và độ sáng (mức xám) Khoảng cách giữa các điểm ảnh đó được thiết... ứng dụng thông minh tự động với sự góp sức của xử lý ảnh mang tới rất nhiều sự tiện ích cho người sử dụng thay vì các loại cảm biến được sử dụng trước đó hoặc thủ công Nó đang kích thích các trung tâm đầu tư nghiên cứu khả năng ứng dụng, thực tiễn Hiện nay có rất nhiều ngành áp dụng xử lý ảnh như: công nghệ thông tin, ô tô, công nghệ tự động - Xử lý ảnh là lĩnh vực khó liên quan đến nhiều môn học, lĩnh... Áp dụng thu t toán cho việc điều khiển ô tô chạy tự động - Khảo sát, đánh giá và khắc phục lỗi - Thử nghiệm - Kết luận, đánh giá - 12 - PHẦN 2 CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH - Con người thu nhận thông tin qua các giác quan trong đó thị giác là quan trọng nhất Cùng với sự phát triển của máy tính, xử lý ảnh và đồ họa cũng phát triển với nhiều ứng dụng trong cuộc sống Xử lý ảnh là một... Hệ thống xử lý ảnh [10] 2.2 CÁC BƯỚC TRONG XỬ LÝ ẢNH: 2.2.1 Thu nhận ảnh: - Ảnh thường được thu thập bởi các camera, scanner với độ phân giải, tốc độ khác nhau Ảnh nhận được qua camera là ảnh dạng tương tự - Nhìn chung hệ thống thu nhận ảnh thực hiện 1 quá trình:  Cảm biến: Biến đổi năng lượng quang học thành năng lượng điện  Tổng hợp năng lượng điện thành ảnh 2.2.2 Tiền xử lý ảnh: - Ảnh thu thập... cảm biến mảng nhiều hình ảnh để thu về số lượng lớn điểm ảnh Hệ thống còn có bộ chuyển đổi từ tín hiệu tương tự sang tín hiệu số để lượng tử hóa những tín hiệu từ điểm ảnh sang giá trị số Từ đây điều khiển các thiết bị trong xe [9] 1.3 MỤC ĐÍCH ĐỀ TÀI Mục đích của đề tài là sử dụng lý thuyết điều khiển ô tô tự động, xử lý ảnh dùng LabVIEW… nghiên cứu thiết kế, lắp đặt camera, bộ thu thập tín hiệu nhận