Luận văn Thạc sĩ: NHẬN DẠNG XE TRÊN CƠ SỞ THỊ GIÁC MÁY TÍNH

TÓM TẮT LUẬN VĂN THẠC SĨ Trong thời đại của thế kỷ 21, với sự phát triển nhảy vọt của trình độ Khoa học kỹ thuật, con người đã tạo nên và phát triển nhiều công trình khoa học mang tính tầm cỡ. Với sự thay thế dần của máy móc cho con người trong các nhiệm vụ mang tính chính xác và tập trung cao thì kết quả đạt được đã hoàn toàn được tin cậy và đánh giá cao. Điều này thực sự có ý nghĩa to lớn và góp phần tăng thêm giá trị và chất lượng cuộc sống. Đề tài luận văn này, nhận dạng xe trên cơ sở thị giác máy tính, cũng không nằm ngoài ý nghĩa đó. Đây là một dạng ứng dụng thú vị mà nhiều nhà khoa học đã, đang và sẽ không ngừng nghiên cứu vì nhu cầu thực tiễn và đa dạng phương pháp tiếp cận. Trong đề tài này sẽ trình bày trong đó các vấn đề liên quan tới kiến thức nền tảng xây dựng nên luận văn. Học viên đã sử dụng công cụ OpenCV ứng dụng các đặc trưng Haarlike chạy trên nền tảng Visual C++.NET và thuật toán tăng tốc AdaBoost nhằm nâng cao tốc độ phát hiện và nhận dạng các hình thái khác nhau của xe. Kết quả thu được có đặc tính thời gian thực các diễn tiến của quá trình phát hiện và nhận dạng xe. Nội dung luận văn gồm 5 chương: Chương 1: Giới thiệu tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Xây dựng hệ thống Chương 4: Kết quả Nhận xét – Phân tích Chương 5: Kết luận và hướng phát triển đề tài

MỤC LỤC TÀI LIỆU THAM KHẢO & TRÍCH DẪN Võ Hồng Phong Luận văn tốt nghiệp T r a ng 2 LIỆT KÊ CÁC HÌNH Hình 2.1a, b, c, d: Các đặc trưng cạnh, đường, bao quanh tâm, đường chéo Hình 2.2 : Ảnh chia nhỏ tại tọa độ (x,y) Hình 2.3 : Tổng các giá trị pixel nằm trong vùng A Hình 2.4 : Ví dụ về các tư thế của hình chữ nhật đặc trưng Hình 2.5 : Lược đồ cơ bản của AdaBoost Hình 2.6 : Thuật toán học AdaBoost Hình 2.7 : Mô hình minh họa tác vụ phát hiện vật thể dùng chuỗi cascade Hình 2.8 : Dùng chuỗi cascade đã được huấn luyện để phát hiện cửa sổ con phù hợp Hình 2.9 : Cấu trúc các chuỗi cascade song song Hình 2.10 : Cấu trúc các chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện Hình 3.1 : Minh họa quá trình lấy mẫu Hình 3.2 : Minh họa quá trình học huấn luyện Hình 3.3 : Minh họa quá trình kiểm thử cơ sở dữ liệu “car_back.xml” Hình 3.4 : Minh họa quá trình kiểm thử cơ sở dữ liệu “bus_vn_full_22112008.xml” Hình 3.5 : Minh họa quá trình kiểm thử cơ sở dữ liệu “truck_vn_26112008.xml” Hình 3.6 : Sơ đồ khối của quá trình nhận dạng xe Hình 3.7 : Mô hình hóa thuật toán ước lượng khoảng cách Hình 3.8 : Mô hình camera quan sát trong không gian 3-D Hình 3.9 : Minh họa kết quả ước lượng khoảng cách Hình 3.10 : Minh họa kết quả đếm số lượng xe có trong hình Hình 3.11 : Sơ đồ khối tổ chức phần mềm hệ thống Hình 3.12 : Sơ đồ khối hệ thống hoàn chỉnh tổ chức phần mềm hệ thống Hình 3.13 : Mô tả hệ thống phát hiện xe dùng thuật toán Haar Hình 3.14 : Giao diện chương trình nhận dạng xe Hình 3.15 : Mẫu camera được sử dụng trong luận văn Võ Hồng Phong Luận văn tốt nghiệp T r a ng 3 LIỆT KÊ CÁC BẢNG Bảng 2.1 : Các dạng thuật toán học huấn luyện AdaBoost Bảng 2.2 : Thuật toán phát hiện đồng thời co giãn vùng đặc trưng đối tượng Bảng 3.1 Bảng 3.1a : Mẫu xe hơi du lịch cá nhân Bảng 3.1b : Mẫu xe buýt Bảng 3.1c : Mẫu xe tải Bảng 3.2 : Cấu trúc file cơ sở dữ liệu đặc trưng của đối tượng xe hơi cá nhân Bảng 3.3 : Kết quả kiểm thử cơ sở dữ liệu đặc trưng xe hơi cá nhân Bảng 3.4 : Kết quả kiểm thử cơ sở dữ liệu đặc trưng xe buýt Bảng 3.5 : Kết quả kiểm thử cơ sở dữ liệu đặc trưng xe tải Bảng 3.6 : Tổng kết các kết quả kiểm thử cơ sở dữ liệu Bảng 3.7 : Mã lệnh điển hình của thuật toán phát hiện và nhận dạng xe hơi Bảng 3.8 : Mã lệnh thực hiện thuật toán ước lượng khoảng cách Bảng 3.9 : Mã lệnh thực hiện thuật toán đếm xe Bảng 4.1 : Các kết quả xử lý nhận dạng Bảng 4.1a : Kết quả xử lý nhận dạng xe buýt Bảng 4.1b : Kết quả xử lý nhận dạng xe hơi cá nhân Bảng 4.1c : Kết quả xử lý nhận dạng tải Bảng 4.2 : Kết quả xử lý nhận dạng xe tổng hợp Bảng 4.3 : Đánh giá độ chính xác trong nhận dạng của phần mềm luận văn Võ Hồng Phong Luận văn tốt nghiệp T r a ng 4 PHẦN A GIỚI THIỆU Võ Hồng Phong Luận văn tốt nghiệp T r a ng 5 Đại Học Quốc Gia Tp. Hồ Chí Minh CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập – Tự Do – Hạnh Phúc - - - - - - - - o O o - - - - - - - - NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ và tên học viên : VÕ HỒNG PHONG Phái : Nam Ngày tháng năm sinh : Chuyên ngành : 22/02/1982 TỰ ĐỘNG HOÁ Nơi sinh : Mã số HV : Khánh Hòa 01506364 I. TÊN ĐỀ TÀI: NHẬN DẠNG XE TRÊN CƠ SỞ THỊ GIÁC MÁY TÍNH II. NHIỆM VỤ: - Phân tích và tổng hợp các phương pháp nhận dạng xe. - Xây dựng chương trình nhận dạng xe dựa trên công cụ Thị giác máy tính. III. NGÀY GIAO NHIỆM VỤ: ngày 30 tháng 01 năm 2008 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: ngày 30 tháng 11 năm 2008 V. CÁN BỘ HƯỚNG DẪN: TS. TRƯƠNG ĐÌNH CHÂU Giáo Viên Hướng Dẫn Chủ Nhiệm Ngành Bộ Môn Nội dung và đề cương Luận văn Thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua. Ngày … tháng … năm 200… PHÒNG ĐÀO TẠO SAU ĐẠI HỌC KHOA QUẢN LÝ NGÀNH Võ Hồng Phong Luận văn tốt nghiệp T r a ng 6 LỜI CẢM ƠN Trước tiên, xin cảm ơn thầy TS Trương Đình Châu vì đã gợi mở, quan tâm, giúp đỡ cho học viên trong suốt thời gian thực hiện đề tài tốt nghiệp này. Bên cạnh đó, học viên cũng xin gởi lời cảm ơn đến tất cả những thầy cô đã trực tiếp giảng dạy trong suốt khóa học; những người bạn đã quan tâm, động viên và chia sẻ kiến thức cũng như kinh nghiệm chuyên ngành trong quá trình học tập và rèn luyện vừa qua của học viên. Cũng xin chân thành cảm ơn sự quan tâm hỗ trợ, tạo điều kiện và hết lòng động viên về tinh thần lẫn vật chất của các thành viên trong gia đình trong suốt thời gian qua. Sau cùng, học viên gởi lời chúc sức khỏe, hạnh phúc đến quý thầy cô, gia đình và bạn bè. Trường Đại học Bách Khoa Tp. Hồ Chí Minh Tháng 11 năm 2008 Học viên Võ Hồng Phong Võ Hồng Phong Luận văn tốt nghiệp T r a ng 7 LÝ LỊCH TRÍCH NGANG Họ và tên : VÕ HỒNG PHONG Phái : Nam Ngày sinh : 22-02-1982 Nơi sinh : Tp Nha Trang – tỉnh Khánh Hòa Hộ khẩu TT : 8/C3 Âu Cơ – phường 10 – quận Tân Bình – Tp HCM Địa chỉ email : vhphong_nt@yahoo.com.vn hoặc vhphong@gmail.com QUÁ TRÌNH ĐÀO TẠO: 9/2000 – 4/2005 : Sinh viên khoa Điện - Điện tử, bộ môn Kỹ thuật Điện tử - hệ chính quy - trường ĐH SPKT Tp HCM. 9/2006 đến nay : học viên cao học Khoa Điện – Điện tử, chuyên ngành Tự động hóa - hệ chính quy – trường ĐH Bách Khoa Tp HCM. QUÁ TRÌNH CÔNG TÁC: 2005 – 11/2006 : Quản trị mạng tại Công ty Phần mềm Sài gòn (SSP – Saigon Software Park). Võ Hồng Phong Luận văn tốt nghiệp T r a ng 8 ABSTRACT Now, in the age of the 21 st century, thanks for the high speed development of Science and Technology, human is inventing and processing many scientific projects with theirs mega-structures. From the alternatives of machines and engines instead of human in works which required a high-level of decision and concentrating, the results, facts and effects is being trusted. These things are really huge meaning, thus increases values of lives ‘s quality days by days. In this thesis, issues named “Vehicles Detection and Recognition Based on Computer Vision”, also have same ways of thinking above. This is one of the most amazing applications and projects which is resrearched and approached by many sci entists who working in fields of “Computer Vision” and “Digital Image Processing” cause of demands in real lives and diversified approaching methods. This project shows some problems which related to the basic knowledge that being built on contents within. The author used tools called “OpenCV” to apply Haar-like features that ran on Visual C++.NET environment and AdaBoost (Adaptive Boost) algorithms to speed up the detection and recognition processing on all perspectives and types of vehicles. Results have got a feature called “real- time effects” in detection and recognition. This is importance for modifying traffics, controlling lanes, extracting information of vehicles, … Võ Hồng Phong Luận văn tốt nghiệp T r a ng 9 TÓM TẮT LUẬN VĂN THẠC SĨ Trong thời đại của thế kỷ 21, với sự phát triển nhảy vọt của trình độ Khoa học kỹ thuật, con người đã tạo nên và phát triển nhiều công trình khoa học mang tính tầm cỡ. Với sự thay thế dần của máy móc cho con người trong các nhiệm vụ mang tính chính xác và tập trung cao thì kết quả đạt được đã hoàn toàn được tin cậy và đánh giá cao. Điều này thực sự có ý nghĩa to lớn và góp phần tăng thêm giá trị và chất lượng cuộc sống. Đề tài luận văn này, nhận dạng xe trên cơ sở thị giác máy tính, cũng không nằm ngoài ý nghĩa đó. Đây là một dạng ứng dụng thú vị mà nhiều nhà khoa học đã, đang và sẽ không ngừng nghiên cứu vì nhu cầu thực tiễn và đa dạng phương pháp tiếp cận. Trong đề tài này sẽ trình bày trong đó các vấn đề liên quan tới kiến thức nền tảng xây dựng nên luận văn. Học viên đã sử dụng công cụ OpenCV ứng dụng các đặc trưng Haar-like chạy trên nền tảng Visual C++.NET và thuật toán tăng tốc AdaBoost nhằm nâng cao tốc độ phát hiện và nhận dạng các hình thái khác nhau của xe. Kết quả thu được có đặc tính thời gian thực các diễn tiến của quá trình phát hiện và nhận dạng xe. Nội dung luận văn gồm 5 chương: Chương 1: Giới thiệu tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Xây dựng hệ thống Chương 4: Kết quả - Nhận xét – Phân tích Chương 5: Kết luận và hướng phát triển đề tài Võ Hồng Phong Luận văn tốt nghiệp T r a ng 1010 PHẦN B NỘI DUNG [...]... nhóm lệnh trên máy tính chủ khiến cho tốc độ bị trì hoãn mặc dù không nhiều Vì vậy, nghiên cứu ứng dụng đề tài phát hiện và nhận dạng xe xử lý trên cơ sở thị giác máy tính trong thời gian thực mang tính cấp thiết 1.6 MỤC TIÊU ĐỀ TÀI Nghiên cứu ứng dụng phát hiện nhận dạng xe trên cơ sở thị giác máy tính, đáp ứng trong thời gian thực Trang 1414 Luận văn tốt nghiệp Võ Hồng Phong 1.7 NHIỆM VỤ LUẬN VĂN  Phân... LUẬN VĂN  Phân tích và tổng hợp các phương pháp nhận dạng xe  Xây dựng chương trình nhận dạng xe dựa trên công cụ Thị giác máy tính 1.7.1 Phạm vi thực hiện  Về lý thuyết: phương pháp phù hợp phát hiện và nhận dạng xe  Về ứng dụng: chương trình phần mềm phát hiện và nhận dạng xe  Các điều kiện thực hiện: camera ghi hình trực diện từ phía sau đuôi của xe, cường độ ánh sáng là 300 500 lux (độ sáng tiêu... hiện xe trên cơ sở thuật toán trích đặc trưng AdaBoost 1.4 TỔNG QUAN VỀ PHÁT HIỆN VÀ NHẬN DẠNG XE Bài toán phát hiện và nhận dạng xe hơi cụ thể gồm qua 2 bước 1.4.1 Phát hiện xe Phát hiện xe là thuật toán chuyên biệt xuất phát từ thuật toán phát hiện vật thể Khi cho một nguồn ảnh đầu vào (có thể là tín hiệu hình từ camera hoặc từ một file video định dạng AVI), thuật toán xác định xem trong khung hình nhận. .. ảnh,…) Trang 1313 Luận văn tốt nghiệp Võ Hồng Phong 1.4.2 Nhận dạng xe Với kết quả phát hiện xe ở bước trên, từ đó so sánh với cơ sở dữ liệu đã được xây dựng sẵn để tiến hành nhận dạng được kiểu dáng xe đó là loại xe nào Tư thế quan sát xe từ camera, vị trí của xe so với camera và các thông tin liên quan luôn được cập nhật tức thời bởi máy tính 1.5 LÝ DO THỰC HIỆN ĐỀ TÀI Nắm được ý nghĩa quan trọng... của một kiểu xe điển hình Nhược điểm của phương pháp này đòi hòi phải luôn có sẵn cơ sở dữ liệu hình xe rất lớn Để có thể phát hiện và nhận dạng được xe, máy tính phải luôn dò trong cơ sở dữ liệu hình này rồi mới đưa ra kết quả 2.1.2 Phát hiện dựa trên dạng hình học Khác với nhóm phương pháp vừa nêu ở trên, các phương pháp thuộc nhóm này quan tâm đến các đặc điểm cấu trúc hình học của xe Vì vậy chúng... DỤNG TRONG LUẬN VĂN Trong luận văn này, việc phát hiện xe là sự kết hợp giữa một thuật toán tăng tốc AdaBoost (Adaptive Boost – tăng tốc thích nghi) và đặc tính đáp ứng nhanh của các đặc trưng Haar Đây là một phương pháp được xem như là phối hợp của cả hai phương pháp đã nêu ở trên là : Phương pháp dựa trên ảnh và Phương pháp dựa trên dạng hình học Để thực hiện chức năng phát hiện và nhận dạng xe hơi,... được đó có xe đang được kỳ vọng hay không Nếu có xe thì ngay lập tức chỉ ra vị trí và phạm vi chiếm chỗ của đối tượng xe đó có trong ảnh Đây là bước quan trọng đầu tiên trong hầu hết các ứng dụng phân tích vật thể nói chung và xe tham gia giao thông nói riêng (ví dụ: nhận dạng kiểu dáng xe, định vị xe trong ảnh, bám theo xe, nhận biết vị trí và tư thế của xe có trong ảnh,…) Trang 1313 Luận văn tốt nghiệp... loại xe với các hình dáng khác nhau (xe hơi cá nhân, xe buýt, xe tải container) Việc nhận dạng được thực hiện từ phía sau đuôi của xe 1.7.2 Dự kiến các lĩnh vực ứng dụng của đề tài  Giám sát an ninh  Quan sát và điều tiết giao thông Trang 1515 Luận văn tốt nghiệp Võ Hồng Phong CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 CÁC PHƯƠNG PHÁP PHÁT HIỆN HÌNH ẢNH XE Phát hiện hay phát hiện đối tượng chuyên biệt, ví dụ như xe. .. quang giao thông cho máy tính xử lý  Sau thời gian tính toán, máy tính sẽ tiến hành phát hiện và nhận dạng xe xuất hiện trong chuỗi hình ảnh và tiến hành khoanh vùng có chứa đặc trưng xe  Trong quá trình nghiên cứu, học viên đã tích hợp thêm thuật toán ước lượng khoảng cách từ camera đến xe, đếm phân loại các xe, … từ đó người khảo sát có thể tính toán các thông số liên quan đến xe hoặc cảnh quang giao... tượng (dựa trên các đặc trưng Haar-like và thuật toán tăng tốc AdaBoost) trên từng frame ảnh thu được từ nguồn tín hiệu hình ảnh (camera hoặc file video) rồi dựa vào các thuật toán xử lý ảnh và thị giác máy tính để thi hành các tác vụ lên các xe đã được phát hiện và nhận dạng Sau đây là phần trình Trang 1919 Luận văn tốt nghiệp Võ Hồng Phong bày phương thức hoạt động của phương pháp phát hiện xe hơi bằng