Xây dựng hệ thống quan sát và theo vết đối tượng cho robot tự hành

I HC LC HNG U *** BÁO CÁO NGHIÊN CU KHOA HC  TÀI:   TRN CÔNG CHIN BIÊN HÒA, 2012 I HC LC HNG U *** BÁO CÁO NGHIÊN CU KHOA HC  TÀI:   CH NHIM: HUNH CAO TUN THC HIN: TRN CÔNG CHIN TRN THANH VIT NGUY BIÊN HÒA, 2012  Mục lục . i Các thuật ngữ và từ viết tắt . ii Danh mục hình vẽ . iii Mở đầu 1 ng 1.1. Giới thiệu 3 1.2. Quy trình theo vết đối tƣợng 5 1.2.1. Phát hiện đối tƣợng . 5 1.2.2. Phân vùng 6 1.2.3. Theo vết đối tƣợng 6 1.3. Các phƣơng pháp theo vết thông thƣờng . 6 1.3.1. So khớp mẫu (Template Matching) 6 1.3.2. Theo vết Meanshift . 8 1.3.3. Phƣơng pháp Bayesian 8 1.3.3.1. Ƣớc lƣợng Bayesian . 8 1.3.3.2. Một số phƣơng pháp dựa trên ƣớc lƣợng Bayesian . 10 1.3.3.3. Lọc Kalman 11 1.4. Kết luận 12 c ht (Particle Filter) 2.1. Phƣơng pháp Lọc . 13 2.2. Nền tảng toán học . 15 2.2.1. Phƣơng pháp Monte Carlo 18 2.2.2. Phƣơng pháp hàm tích lũy xác suất nghịch đảo 20 2.2.3. Phƣơng pháp lấy mẫu loại trừ . 21 2.2.4. Phƣơng pháp Metropolis-Hasting . 23 2.2.5. Phƣơng pháp lấy mẫu quan trọng . 25 2.2.6. Phƣơng pháp lấy mẫu quan trọng tuần tự . 28 2.3. Vấn đề chọn hàm mật độ đề xuất . 31 2.4. Tái chọn mẫu 34 2.4.1. Kích thƣớc mẫu hiệu dụng 35 2.4.2. Thuật toán tái chọn mẫu 37 2.5. Các phƣơng pháp quan sát (Observation Models) 40 2.5.1. Quan sát dựa vào Hình dáng (Shape Information) . 41 2.5.2. Quan sát dựa vào Màu (Colour- histogram) . 42 2.5.3. Quan sát dựa vào Mẫu (Template-based) . 45 2.6. Mô hình ƣớc lƣợng trạng thái 47 2.7. Thuật toán lọc Particle . 48 2.8. Nhận xét . 49  dng Particle Filter cho bài toán theo vt mng 3.1. Cài đặt thuật toán Particle Filter 52 3.1.1. Thử nghiệm với mô hình quan sát dựa vào màu (Colour - histogram) 58 3.1.2. Thử nghiệm với mô hình quan sát dựa vào mẫu (Template - based) . 66 3.2. Cải tiến thuật toán - kết hợp lọc Particle và Template Matching . 72 3.2.1. Xây dựng thuật toán PTM (Particle & Template Matching) 74 3.2.2. Kết quả thử nghiệm . 75 3.3. Nhận xét . 78 Kt lun 79 Tài liu tham kho  PP Phƣơng pháp CPU Control Processing Unit RAM Random Access Memory HMM Hidden Markov Model SIS Sequential Importance Sampling PTM Particle & Template Matching  Hình  Trang Hình 2.1 Ví dụ về phương pháp lấy mẫu loại trừ 23 Hình 2.2 Phương pháp lấy mẫu quan trọng tuần tự 32 Hình 2.3 Ví dụ về trường hợp dẫn đến sai lầm khi chọn hàm mật độ đề xuất tối ưu 36 Hình 2.4 Ví dụ về thuật toán tái chọn mẫu hệ thống 42 Hình 2.5 Ví dụ về bộ lọc hạt để khởi tạo và lấy mẫu 45 Hình 2.6 Biểu đồ màu của khung được chọn 48 Hình 3.1 Biểu đồ mức độ chính xác của số lượng hạt 57 Hình 3.2 Minh hoạ các bước tái chọn mẫu 68 Hình 3.3 Kết quả sau khi tái chọn mẫu (Resampling) 69 Hình 3.4 Video người đi bộ 62 Hình 3.5 Video người chạy xe 62 Hình 3.6 Video chạy theo xe ôtô 62 Hình 3.7 Video bình hoa 62    Trang Bảng 3.1 Thử nghiệm Colour-based, số lượng hạt là 50 64 Bảng 3.2 Thử nghiệm Colour-based, số lượng hạt là 100 64 Bảng 3.3 Thử nghiệm Colour-based, số lượng hạt là 300 65 Bảng 3.4 Thử nghiệm Colour-based, số lượng hạt là 500 65 Bảng 3.5 Thử nghiệm Colour-based, số lượng hạt là 1000 66 Bảng 3.6 Thử nghiệm Template-based, số lượng hạt là 50 68 Bảng 3.7 Thử nghiệm Template-based, số lượng hạt là 100 69 Bảng 3.8 Thử nghiệm Template-based, số lượng hạt là 300 70 Bảng 3.9 Thử nghiệm Template-based, số lượng hạt là 500 70 Bảng 3.10 Thử nghiệm Template-based, số lượng hạt là 1000 71 Bảng 3.11 Thử nghiệm PTM, số lượng hạt là 100 75 Bảng 3.12 Thử nghiệm PTM, số lượng hạt là 300 75 Bảng 3.13 Thử nghiệm PTM, số lượng hạt là 500 76 1 M u Trong giai đoạn khoa học và công nghệ đang phát triển hiện nay, việc chế tạo Robot nhằm giảm sức lao động cho con ngƣời luôn là mục tiêu của nhiều nghiên cứu trên thế giới. Từ lâu, chúng ta biết đến những Robot công nghiệp trong nhà máy sản xuất xe hơi, các nhà máy sản xuất linh kiện máy tính và một số nghành công nghiệp khác… Hiện nay, ngƣời ta chế tạo những Robot tiên tiến hơn, chúng có thể tự hành trên Sao Hoả để phân tích mẫu vật…Nhƣng nổi tiếng nhất đến giờ có lẽ là ngƣời máy Asimo của hãng Honda nó có thể di chuyển và thực hiện nhiều động tác giống con ngƣời. Một trong những bộ phận quan trọng nhất để Robot có thể tự hành đƣợc đó là hệ thống quan sát và theo vết một mục tiêu định trƣớc. Theo vết đối tƣợng thời gian thực là một công đoạn quan trọng trong rất nhiều ứng dụng thị giác máy tính và nó đang là bài toán của nhiều nghiên cứu. Một trong những mục tiêu quan trọng nhất của theo vết đối tƣợng là để “hiểu” đƣợc những chuyển động của đối tƣợng. “Hiểu” những thông tin về đối tƣợng nhƣ vị trí trong không gian, vận tốc chuyển động và những đặc trƣng vật lý khác. Một hệ thống thông minh có khả năng thực hiện các bƣớc xử lý ở cấp cao hơn nhƣ nhận dạng đối tƣợng, nhận dạng chuyển động và tính toán trên những đặc trƣng đã thu thập đƣợc. Mặc dù đã đƣợc nghiên cứu nhiều năm nhƣng bài toán “theo vết đối tƣợng” vẫn là vấn đề nghiên cứu thời sự. Mức khó khăn của vấn đề phụ thuộc vào loại đối tƣợng muốn phát hiện và theo vết. Việc đặt Camera trên Robot (cùng di chuyển với Robot) khiến cho việc phát hiện và theo vết khó khăn hơn là những bài toán với Camera đặt cố định. Hiện nay, việc nghiên cứu, chế tạo Robot ở các ngành cơ khí và điện tử tại trƣờng Đại học Lạc Hồng đặt ra nhiều bài toán liên quan đến vấn đề xử lý ảnh giúp điểu khiển các Robot này. Đề tài “Xây dựng hệ thống quan sát và theo vết đối tượng cho Robot tự hành” đƣợc thực hiện với hy vọng sẽ góp phần đƣa lĩnh vực thiết kế, chế tạo Robot của trƣờng Lạc Hồng tiến xa hơn nữa trong tƣơng lai. 2 Bố cục của đề tài này bao gồm phần Mở đầu, phần Kết luận và ba chƣơng nội dung đƣợc tổ chức nhƣ sau: ng quan v bài toán theo vng Chƣơng này đề cập đến các phƣơng pháp, các quy trình cơ bản của bài toán theo vết đối tƣợng. Phân tích, đánh giá ƣu khuyết điểm của từng phƣơng pháp từ đó rút ra kết luận nhằm chọn giải pháp tối ƣu. Lc ht (Particle Filter) Chƣơng này trình bày lý thuyết, khái niệm và cơ sở toán học gồm các thuật toán, hàm liên quan đến phƣơng pháp lọc hạt (Particle filter).  dng Particle Filter cho bài toán theo vt mng Tiến hành thực nghiệm, đánh giá thuật toán thông qua việc chọn số lƣợng hạt và chọn phƣơng pháp quan sát thích hợp cho bài toán. Cải tiến thuật toán Particle filter bằng cách kết hợp với Template Maching nhằm giải quyết các trƣờng hợp lỗi không thể theo vết đƣợc. 3 1 : Bài toán theo vng 1.1. Gii thiu Theo vết đối tƣợng thời gian thực là một công đoạn trong rất nhiều ứng dụng thị giác máy tính. Một trong những mục tiêu của theo vết đối tƣợng là để “hiểu” đƣợc những chuyển động của đối tƣợng, “hiểu” những thông tin về đối tƣợng gồm vị trí trong không gian, vận tốc chuyển động và những đặc trƣng vật lý khác. Mức khó khăn của vấn đề phụ thuộc vào loại đối tƣợng muốn phát hiện và theo vết. Nếu nhƣ chỉ có một vài đặc trƣng chẳng hạn nhƣ màu sắc … đƣợc dùng để biểu diễn đối tƣợng, thì khá dễ dàng xác định tất cả các pixel cùng màu với đối tƣợng. Nhƣng thực tế hoàn toàn khác, ví dụ nhƣ một ngƣời cụ thể sẽ có đầy đủ các chi tiết và thông tin nhiễu chẳng hạn nhƣ các tƣ thế và sự chiếu sáng khác nhau, khó phát hiện, nhận diện và theo vết. Hầu hết các khó khăn này nảy sinh từ khả năng biến động của ảnh video bởi vì các đối tƣợng video thƣờng là các đối tƣợng chuyển động. Khi đối tƣợng chuyển động qua vùng quan sát của camera, hình ảnh về đối tƣợng có thể thay đổi. Sự thay đổi này đến từ 3 nguồn chính: thay đổi tƣ thế đối tƣợng, sự biến dạng của đối tƣợng, thay đổi về độ chiếu sáng, và sự che khuất một phần hay toàn bộ đối tƣợng. Có rất nhiều phƣơng pháp để giải quyết bài toán trên, có thể phân thành bốn loại chính: dựa trên mô hình, dựa trên miền, dựa trên đƣờng viền và dựa trên đặc trƣng. Da trên mô hình Dựa trên mô hình là phƣơng pháp tạo mô hình cấu trúc của đối tƣợng. Nhƣng vấn đề là quá trình khởi tạo tự động khó, chi phí tính toán cao do độ phức tạp của mô hình. Da trên min Phƣơng pháp dựa trên miền là phƣơng pháp kết hợp một miền với mỗi đối tƣợng đang đƣợc theo vết. Miền đƣợc theo vết qua thời gian bằng 4 phép đo độ tƣơng tự. Lợi ích của PP này là khởi tạo khá dễ dàng, chỉ có vị trí và kích thƣớc của cửa sổ cần đƣợc định nghĩa. Dng vin Phƣơng pháp dựa trên đƣờng viền bao gồm tìm đƣờng viền bao của đối tƣợng và sau đó cố gắng làm khớp đƣờng viền với các đối tƣợng trong các frame sau. Quá trình này đƣợc lặp lại với mô hình đƣờng viền đƣợc cập nhật. Ƣu điểm của cách tiếp cận này là là khả năng xử lý hiệu quả sự che khuất một phần. Nhƣng vấn đề yêu cầu là khởi tạo chính xác, và điều này thì khó thực hiện tự động. D Phƣơng pháp dựa trên đặc trƣng chỉ theo vết một tập các đặc trƣng của đối tƣợng. Chẳng hạn chỉ theo vết các điểm ở góc của đối tƣợng, vị trí của đối tƣợng trong frame sau sẽ đƣợc tìm thấy bằng cách tìm các điểm góc mà khớp với các điểm của mô hình nhất. Ƣu điểm của cách tiếp cận này là xử lý đƣợc sự che khuất một phần. Khi đối tƣợng bị che khuất, một số đặc trƣng vẫn còn thấy đƣợc và có thể dùng trong quá trình theo vết. Khuyết điểm của phƣơng pháp này là chất lƣợng theo vết phụ thuộc nhiều vào việc chọn các đặc trƣng. Các đặc trƣng phải đƣợc chọn sao cho chúng cung cấp sự nhận diện duy nhất cho đối tƣợng, đó không phải là một nhiệm vụ dễ.