Trong lĩnh vực điều khiển, bài toán điều khiển bám mục tiêu là một trong những bài toán phổ biến nhất. Tùy theo những yêu cầu về tính ổn định và chất lượng điều khiển, ta có nhiều phương án giải quyết khác nhau dựa trên nền tảng lý thuyết điều khiển kinh điển lẫn hiện đại. Hiện nay, để điều khiển bám một đối tượng dịch chuyển có chất lượng tốt, nhiều tác giả đã ứng dụng công nghệ xử lý ảnh trên nền tảng sử dụng camera để tracking đối tượng. Đối tượng bám rất đa dạng: có thể là người, xe, bóng, hoặc tùy theo yêu cầu thực tế. Vì vậy, bài toán đầu tiên trong hệ thống điều khiển bám đối tượng dịch chuyển dùng camera là phải nhận dạng được đối tượng dịch chuyển trên cơ sở các frame ảnh phản hồi từ camera, sử dụng các giải thuật xử lý ảnh, giải thuật xử lý bám đối tượng trên nền các frame ảnh thu được đưa ra tọa độ, vận tốc dịch chuyển, hướng dịch chuyển hiện thời của đối tượng trên nền ảnh và cuối cùng là áp dụng các giải thuật điều khiển động cơ để điều khiển cơ cấu mang camera bám theo đối tượng thực. Trong thực tế, đã có rất nhiều tác giả nghiên cứu chế tạo các mô hình điều khiển hệ thống mang camera bám theo đối tượng dịch chuyển. Chẳng hạn như hệ robot xe – camera, cánh tay máy mang camera, nòng súng mang camera, hệ pan –tilt camera ... có thể xoay nhiều hướng. Trong số các mô hình này, hệ pantilt camera là một trong những mô hình cơ bản nhất, mục tiêu của mô hình này là điều khiển hai động cơ DC servo hoặc động cơ bước để đảm bảo tầm quan sát và hướng quan sát của camera theo dõi và bám theo đối tượng di chuyển.
1 CHƢƠNG I: TỔNG QUAN HỆ PAN-TILT CAMERA BÁM THEO MỤC TIÊU DI ĐỘNG 1.1 Giới thiệu Trong lĩnh vực điều khiển, toán điều khiển bám mục tiêu toán phổ biến Tùy theo yêu cầu tính ổn định chất lƣợng điều khiển, ta có nhiều phƣơng án giải khác dựa tảng lý thuyết điều khiển kinh điển lẫn đại Hiện nay, để điều khiển bám đối tƣợng dịch chuyển có chất lƣợng tốt, nhiều tác giả ứng dụng công nghệ xử lý ảnh tảng sử dụng camera để tracking đối tƣợng Đối tƣợng bám đa dạng: ngƣời, xe, bóng, tùy theo yêu cầu thực tế Vì vậy, toán hệ thống điều khiển bám đối tƣợng dịch chuyển dùng camera phải nhận dạng đƣợc đối tƣợng dịch chuyển sở frame ảnh phản hồi từ camera, sử dụng giải thuật xử lý ảnh, giải thuật xử lý bám đối tƣợng frame ảnh thu đƣợc đƣa tọa độ, vận tốc dịch chuyển, hƣớng dịch chuyển thời đối tƣợng ảnh cuối áp dụng giải thuật điều khiển động để điều khiển cấu mang camera bám theo đối tƣợng thực Trong thực tế, có nhiều tác giả nghiên cứu chế tạo mô hình điều khiển hệ thống mang camera bám theo đối tƣợng dịch chuyển Chẳng hạn nhƣ hệ robot xe – camera, cánh tay máy mang camera, nòng súng mang camera, hệ pan –tilt camera xoay nhiều hƣớng Trong số mô hình này, hệ pan-tilt camera mô hình nhất, mục tiêu mô hình điều khiển hai động DC servo động bƣớc để đảm bảo tầm quan sát hƣớng quan sát camera theo dõi bám theo đối tƣợng di chuyển Hình 1.1 mô tả sơ đồ tổng quát hệ pan-tilt camera theo dõi bám theo đối tƣợng di chuyển Hình 1.1: Sơ đồ tổng quát hệ pan – tilt camera theo dõi bám theo đối tƣợng Desired Position + - Controller Frame Grabber Pan-Tilt Camera system Camera Hình 1.2: Sơ đồ điều khiển hệ pan-tilt camera bám theo mục tiêu di động Hình 1.3: Mô hình vật lý hệ thống Việc xây dựng hệ thống điều khiển bám mục tiêu di động sử dụng thị giác máy tính không tảng cho nghiên cứu sau này, mà ứng dụng cụ thể ngành điều khiển robot bám mục tiêu theo quỹ đạo mong muốn để thực số nhiệm vụ cụ thể, ứng dụng lĩnh vực quốc phòng nhƣ xây dựng hệ thống ngắm bắn tự động bám mục tiêu loại pháo phòng không 1.2 Tổng quan công trình liên quan Mô hình hệ pan-tilt camera mô hình gắn liền để giải toán hệ robot-camera tự hành bám mục tiêu động sử dụng thị giác máy tính Đả có tác giả nghiên cứu, đƣa đƣợc số kết mô lẫn thực nghiệm với chất lƣợng điều khiển bám tƣơng đối tốt Tác giả Bùi Trọng Tuyên (Viện Vật Lý Việt Nam) sử dụng mạng nơ ron để điều khiển hệ camera- robot bám theo mục tiêu di động, nguyên lý chung phƣơng pháp dựa tên tập liệu đặc trƣng ảnh đối tƣợng nhận đƣợc từ camera nhƣ tọa độ điểm đặc trƣng mặt phẳng ảnh [u, v], khoảng cách điểm tham số đoạn thẳng ảnh , , trọng tâm diện tích S Tập hợp vectơ đặc trƣng ảnh tạo thành không gian thông số đặc trƣng ảnh ký hiệu u1v1, 11 S1S2 Hình 1.4: Sơ đồ điều khiển robot mang camera Mục tiêu hệ thống xây dựng điều khiển sử dụng mạng nơ ron sở sai lệch e đặc trƣng ảnh thời actual đặc trƣng ảnh mong muốn desired , tín hiệu phản hồi trạng thái biến robot , nhằm mục đích đƣa camera vị trí mà hình ảnh thu nhận đƣợc đối tƣợng tƣơng đƣơng với hình ảnh mong muốn Kết đạt đƣợc báo dừng lại mức độ mô hệ thống sử dụng matlab Tác giả Ngô Mạnh Tiến (Viện Vật lý, Viện KH&CN Việt Nam) sử dụng thuật toán bám theo tập hợp điểm đặc trƣng ảnh Lucas, Kanade Tommasini KLT [3], phƣơng pháp bám sử dụng có hiệu ảnh thu đƣợc ảnh đen trắng, ảnh camera hồng ngoại nhìn đêm Thuật toán dùng để tính toán sai lệch vị trí mục tiêu, bao gồm bƣớc: tiền xử lý, xác định bám đặc tính (sử dụng 100 đặc tính), bù tự chuyển động camera, sai phân ảnh, định nghĩa phân đoạn chuyển động, ƣớc lƣợng vị trí đối tƣợng, xác định LOS bù vào vòng bám, xây dựng cửa sổ hiển thị ảnh Đối với đối tƣợng thu đƣợc hình ảnh từ camera ảnh màu đặc trƣng so với ảnh, tác giả sử dụng thuật toán Camshift (Continuously Adaptive Meanshift), thuật toán dựa sở thuật toán MeanShift, gồm bƣớc: Chọn vị trí ban đầu Search Window, dùng thuật toán Meanshift lƣu vùng moment thứ 0, đặt kích cỡ cửa sổ tìm kiếm hàm moment thứ tìm đƣợc bƣớc 2, lặp lại bƣớc bƣớc hội tụ Hình 1.5: Lƣu đồ giải thuật thuật toán Camshift Trong lƣu đồ thuật toán trên, tạo Histogram chứa thuộc tính liên quan đến màu sắc, tâm kích cỡ mục tiêu đƣợc tính toán để theo dõi mục tiêu hình dạng kích cỡ thay đổi Tính xác suất phân bố mục tiêu vào Histogram nhận đƣợc Dịch chuyển đến vị trí với khung hình vừa nhận đƣợc từ video Camshift dịch chuyển đến vị trí mà ƣớc lƣợng đối tƣợng tập trung nhiều điểm sáng ảnh xác suất Tìm vị trí vị trí trƣớc tính toán giá trị trọng tâm vừa tìm đƣợc Cả hai thuật toán có thƣ viện hàm tính toán OpenCV nhóm tác giả chọn lập trình phần bám ảnh Visual C 6.0 có sử dụng thƣ viện mã nguồn mở OpenCV Intel Hình 1.6: Sơ đồ khối hệ thống robot-camera bám theo đối tƣợng di chuyển Kết chạy mô hình thực nghiệm Hệ thống có hạn chế chỗ: tốc độ bám chậm (khoảng 10 frame/s), hệ thống bám chƣa ý nhiều đến thông số quan trọng nhƣ đo gia tốc, vận tốc động Tác giả Comaniciu, Ramesh Meer có công trình nghiên cứu đƣợc đăng IEEE sử dụng thuật toán Meanshift lọc Kalman để dự báo tối ƣu hƣớng dịch chuyển đối tƣợng quan sát để xây dựng hệ thống bám theo đối tƣợng [4] Tuy nhiên, kết dừng lại tốc độ bám ảnh chậm thời gian xử lý thuật toán máy tính độ phân giải camera đọc liệu máy tính Ở trƣờng đại học bách khoa Hồ Chí Minh, năm 2008, tác giả Lý Thanh Phƣơng sử dụng đặc trƣng Haar-Like thuật toán tăng tốc Adaboost để nhận dạng bám theo gƣơng mặt ngƣời tảng SharpCV [1], tác giả sử dụng luật điều khiển mờ sở tọa độ gƣơng mặt bám đƣợc frame ảnh hồi tiếp để điều khiển đế pan-tilt mang camera quay theo hƣớng dịch chuyển gƣơng mặt Tuy nhiên đề tài dừng lại việc nhận dạng gƣơng mặt, tốc độ đáp ứng camera chậm 1.3 Các hƣớng tiếp cận việc điều khiển hệ pan-tilt bám theo đối tƣợng dịch chuyển Để giải toán điều khiển bám mục tiêu sở thị giác máy, ta có nhiều giải pháp khác Từ phần cứng phần mềm Ta điểm qua vài phƣơng pháp hay đƣợc sử dụng có hiệu cao nhƣ sau 1.3.1 Hƣớng tiếp cận phần cứng phục vụ xử lý ảnh 1.3.1.1 Các giải pháp thực tế Máy tính PC, laptop Đây phƣơng pháp đơn giản Có thể tận dụng mainboard máy tính hay chí máy tính xách tay với chức đơn vị xử lý ảnh, đƣa định Với việc kết nối camera hay webcam ta hoàn toàn chủ động trình nhận/xử lý ảnh Các giao tiếp ngoại vi phổ biến nhƣ UART, Parallel, USB hay KeyboarD Việc sử dụng PC, laptop có ƣu/ nhƣợc điểm sau: Ƣu điểm: - Rất dễ dàng phát triển ứng dụng dựa phần mềm lập trình nhƣ C, VisualC, VisualBasic…, phù hợp cho ngƣời bắt đầu nghiên cứu lĩnh vực xử lý ảnh đặc biệt có nhiều thƣ viện mở phục vụ cho xử lý ảnh, thuận tiện cho ngƣời bắt đầu tìm hiểu xử lý ảnh - Có tốc độ xử lý không cao - Dễ dàng lập trình, kiểm tra lỗi - Hệ điều hành quen thuộc (winDows/linux) - Các công cụ lập trình/biên Dịch phổ biến (C, C++, VisualC, VisualBasic ) Nhƣợc điểm - Kích thƣớc, khối lƣợng lớn - Dễ hƣ hỏng va đập hay tác nhân khác - Có nhiều thành phần không sử dụng đến - Chỉ giao tiếp với ngoại vi thông qua chuẩn phổ biến nhƣ UART, USB Main công nghiệp, máy tính nhúng PC 104 Hình 1.7: Main công nghiệp PC 104 Ta sử dụng mainboad PC104 với chức nhƣ máy tính thông thƣờng Việc sử dụng PC104 có ƣu/ nhƣợc điểm sau: Ƣu điểm: - Có tốc độ xử lý cao - Dễ Dàng lập trình, kiểm lỗi - Hệ điều hành quen thuộc (windows/linux) - Các công cụ lập trình/biên dịch phổ biến (MSVC, C++ ) Nhƣợc điểm: - Kích thƣớc lớn - Có nhiều thành phần không sử dụng đến - Giá thành đắt (>300$) - Chỉ giao tiếp với ngoại vi thông qua chuẩn phổ biến nhƣ UART, USB Single Board Computer(SBC) sử dụng Single on Chip (SOC) 10 Hình 1.8: SBC sử dụng SOC SBC (Single board computer) có sử dụng SOC buớc tiến lớn việc xây dựng thiết bị với khả tính toán xử lý nhƣ máy tính thông thƣờng Với nhiều ƣu điểm hẳn so với thiết bị khác nhƣ: Sử dụng SOC làm xử lý trung tâm có khả chuyên biệt xử lý hình ảnh hay xử lý môi trƣờng mạng hữu hiệu Do vậy, tuỳ toán đặt mà ta chọn SBC cho SOC phù hợp với yêu cầu cụ thể Hiện có nhiều SOC có khả tích hợp DSP Processor vào nhân nhằm tăng khả xử lý (sign processing) Ƣu điểm: - Kích thƣớc nhỏ, giá thành rẻ (~