THEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀNTHEO DÕI ĐỐI TƯỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƯU HOÁ BẦY ĐÀN
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THEO DÕI ĐỐI TƢỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƢU HOÁ BẦY ĐÀN Hà Nội – 11/2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THEO DÕI ĐỐI TƢỢNG DỰA TRÊN GIẢI THUẬT DI TRUYỀN VÀ TỐI ƢU HỐ BẦY ĐÀN Ngành: Cơng nghệ thơng tin Chun ngành: Công nghệ phần mềm Mã Số: 60 48 01 03 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN: PGS TS PHẠM NGỌC HÙNG Hà Nội – 11/2016 CHƢƠNG I ĐẶT VẤN ĐỀ Vấn đề phát hiện, nhận dạng, phân tách hiểu ngữ nghĩa đối tượng ảnh/video nghiên cứu rộng rãi trong lĩnh vực thị giác máy tính hàng thập kỷ qua Các nghiên cứu nhanh chóng phát triển nhờ tiến số lĩnh vực liên quan như: việc phát triển mơ hình tốn học phức tạp, nghiên cứu chuyên sâu nhận thức tri giác (cognitive vision), lực hệ thống tính tốn, giải thuật thơng minh, địi hỏi kiểm thử liệu lớn Với mong muốn tham gia vào hướng nghiên cứu giúp hệ thống giám sát đạt hiệu cao giảm chi phí người chúng tơi thực đề tài “Theo dõi đối tượng dựa giải thuật di truyền tối ưu hoá bầy đàn” Luận văn cấu trúc phần sau Chương định nghĩa sử dụng luận văn, bao gồm: lý thuyết trích xuất đặc trưng, giải thuật phân cụm fuzzy c-partition giải thuật di truyền Chương ba trình bày cách tiếp cận giải toán theo dõi đối tượng luận văn Cách tiếp cận ứng dụng giải với đối tượng cụ thể phương tiện giao thông chụp từ ảnh UAV, kết thử nghiệm chương bốn Và cuối kết luận đưa chương năm CHƢƠNG II CƠ SỞ LÝ THUYẾT 2.1 Fuzzy c-partition Fuzzy C-Means (FCM ) phương pháp phân nhóm cho phép phần liệu thuộc hai nhiều cụm FCM thực theo bước: - Bước 1: Khởi tạo ma trận U=[uij], U(0) - Bước 2: Tại lần lặp thứ k: tính tốn véc-tơ trung tâm C(k)=[cj] với U(k) - Bước 3: Cập nhật U(k) U(k+1) - Bước 4: Kiểm tra Nếu kết chưa thỏa, ta quay lại bước 2, thỏa mãn, ta kết thúc tính tốn 2.2 Giải thuật di truyền Khởi tạo quần thể Lựa chọn cha mẹ Lai ghép - Đột biến Đấu tranh sinh tồn Điều kiện dừng FALSE TRUE Kết Hình Sơ đồ chung giải thuật di truyền Khởi tạo quần thể ban đầu (tập lời giải ban đầu toán) Tạo quần thể phép toán di truyền: lai ghép chéo (crossover) từ cá thể có chọn lọc (selection), đột biến (mutation) cá thể quần thể theo xác xuất định Đấu tranh sinh tồn: Đánh giá độ thích nghi thơng qua giá trị hàm mục tiêu (fitness) cá thể quần thể Các cá thể quần thể sinh thay cho cá thể quần thể cũ dựa đánh giá hàm thích nghi 4 Nếu điều kiện dừng thỏa mãn giải thuật dừng lại trả cá thể tốt với giá trị hàm mục tiêu nó, khơng quay lại bước Đây sơ đồ chung áp dụng cho nhiều lớp toán sử dụng giải thuật di truyền Một số khái niệm giải thuật di truyền trình bày phần chương CHƢƠNG III ÁP DỤNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TỐN THEO DÕI ĐỐI TƢỢNG Bài tốn “theo dõi đối tượng” chia thành hai phần • Rút trích đối tượng Trong phần ta phải tách đối tượng chuyển động khỏi khung cảnh • Theo vết đối tượng Với đối tượng ta phải lưu lại quỹ đạo chúng chúng vào vùng quan sát ta phân loại đối tượng Trong luận văn, sử dụng colour histogram đặc trưng ảnh để thực rút trích đối tượng 3.1 Colour histogram Colour histogram kỹ thuật phân tích ảnh màu quan trọng tính hiệu độ phức tạp tính tốn thấp (Pratt, 1991) Thơng thường, colour histogram biểu diễn phân bố thống kê màu ảnh màu không gian cho trước 3.2 Áp dụng giải thuật di truyền tối ƣu trích xuất đối tƣợng Dựa định nghĩa fuzzy c-partition, tiến hành tiếp cận theo hướng phân đoạn màu sắc Giải thuật phân đoạn bao gồm ba bước: i Tiền phân cụm: Quá trình bao gồm việc tìm kiếm tập vector trọng tâm khởi tạo khoảng vector trọng tâm chọn theo thủ tục tối ưu Thủ tục kết thúc sử dụng kỹ thuật dựa histogram ii Tìm kiếm fuzzy c-partition tốt Giải thuật di truyền sử dụng để tìm ma trận fuzzy c-partition tốt iii Thủ tục giải mờ Bước tiến hành chuyển đổi ma trận fuzz cpartition thành ma trận c-partition rõ ràng Để tìm kiếm cách phân đoạn tối ưu fuzzy c-partition, giải thuật di truyền sử dụng thiết kế sau Biểu diễn di truyền Với tập vector m-chiều cho trước, cá thể quần thể biểu diễn chromosome – chuỗi chứa vector m-chiều số thực, mã hoá vector trọng tâm tương ứng với c cụm c-partition Khởi tạo quần thể Với trình khởi tạo quần thể, chuỗi vector vector chọn ngẫu nhiên từ bin c bin phần trước đề cập Lực lượng quần thể lựa chọn người sử dụng Hàm mục tiêu Trong luận văn này, quan hệ tương tự tập vector trọng tâm với tất vector tập vector xét, tính sau Các thao tác di truyền Có ba loại thao tác di truyền sử dụng giải thuật di truyền bao gồm: chọn lọc, lai ghép đột biến Trong luận văn này, vịng quay roulette thích hợp sử dụng cho thao tác chọn lọc Sau lai ghép điểm cắt áp dụng với hai chuỗi chọn để sinh hai chuỗi Thao tác lai ghép áp dụng ngẫu nhiên với xác suất Sau lai ghép, xâu xem xét tiến hành đột biến Trong giải thuật này, thao tác đột biến cài đặt cách thay chuỗi hệ chuỗi từ bin tập chuỗi ban đầu Thao tác đột biến tiến hành với xác suất cố định Điều kiện dừng Có hai điều kiện dừng áp dụng cho giải thuật di truyền Điều kiện thứ sau số hệ không thay đổi quần thể lời giải giải thuật kết thúc Điều kiện thứ hai số lượng vòng lặp tối đa, sau giải thuật kết thúc Giải mờ Để thu ảnh phân vùng, ta cần phải biến đổi ma trận fuzzy c-partition thành ma trận c-partition rõ ràng Trong luận văn này, phương pháp giải mờ áp dụng trình bày Đặt với ma trận fuzzy c-partition, thể khả pixel j thuộc cụm i Ma trận phần trăm tính sau Ma trận partition crisp định nghĩa Rõ ràng việc biến đổi thành ma trận partition crisp, pixel thuộc cụm cụ thể Trích xuất đối tƣợng Khi ảnh phân vùng thu giải thuật phân vùng trên, ảnh nhị phân đối tượng trích xuất cách tơ giả màu tương ứng với vùng đối tượng Thông thường, đối tượng ảnh nhị phân bị lỗi nhiễu đối tượng, thứ có màu tương tự đối tượng Để làm cho vùng đối 10 Gọi thời gian frame, theo mơ hình chuyển động tuyến tính ta có Và độ khơng chắn cho độ không chắn vị trí cộng với độ khơng chắc vận tốc nhân cho thời gian Những vị trí chọn để ước lượng vị trí đối tượng frame Mỗi đối tượng frame dự đoán vị trí cách rơng hình chữ nhật bao quanh đối tượng khoảng sau mở rộng khoảng Do dó có vùng chuyển động thuộc vào vùng dự đốn ta tiến hành so khớp So khớp đối tƣợng Cho vùng đối frame tại, tìm vùng khớp với vùng frame phương pháp so khớp tương quan ảnh Hàm tương quan vùng M frame với vùng ứng viên frame cách vùng khoảng d là: 11 I_n mật độ điểm ảnh khung ảnh tại, I_(n+1) mật độ điểm ảnh frame W hàm số ||W|| tính cơng thức sau: khoảng cách bán kính từ x tới tâm vùng r_max khoảng cách bán kính lớn Để giảm chi phí tính tốn ta ước lượng tâm đối tượng tâm hình chữ nhật bao quanh đối tượng khoảng cách lớn vùng đường chéo hình chữ nhật bao quanh đối tượng Khi so khớp vùng đối tượng có kích thước m*n chi phí tính tốn Nếu kích thước vùng đối tượng lớn chi phí tăng lên lớn khó mà kiểm sốt Vì cố định ngưỡng mà chi tính tốn khơng vượt qua ngưỡng Ở chúng tơi chọn ngưỡng 25 điểm ảnh Kích thước vùng ảnh theo chiều bị giảm nửa lớn 25 chúng tơi đếm số lần giảm kích thước để lựa chọn điểm so khớp Ví dụ vùng có kích thước 80*45 kích thước giảm lần theo chiều x lần theo chiều y Do q trình so khớp, theo chiều x có 12 điểm chọn điểm để so khớp điểm theo chiều y chọn điểm Theo vết đối tƣợng Các đối tượng lưu trữ Frame j Rút trích vùng chuyển động Dự đốn vị trí đối tượng A’ Duyệt A’ để tìm đối tượng j khớp với vùng chuyển động i Danh sách vùng T F Stop Tìm đối tượng j khớp với i Khi so khớp đối tượng j với đối tượng i xảy trường hợp sau đây: Khơng có đối tượng khớp với vùng chuyển động hết Có hai trường hợp xảy ra: có chuyển động vào vùng quan sát (khi ta tạo 13 đối tượng mới, thiết lập tham số cho độ tin cậy mức thấp nhất); hai dự đoán sai (khi ta mở rộng vùng tìm kiếm so khớp đối tượng) Chỉ có đối tượng khớp với vùng chuyển động Đây trường hợp tốt để theo vết Trường hợp ta cập nhật đối tượng theo vùng chuyển động Một đối tượng khớp với nhiều vùng chuyển động Điều đối tượng tách thành nhiều đối tượng Trường hợp ta cập nhật đối tượng theo đối tượng khớp Các đối tượng lại tương ứng với đối tượng thiết lập tham số ban đầu cho đối tượng Trường hợp nhiều đối tượng khớp với vùng chuyển động Trường hợp xảy đối tượng giao Trường hợp đối tượng không khớp với vùng chuyển động Trường hợp đối tượng khỏi vùng quan sát đối tượng bị đối tượng khác che khuất, độ tin cậy đối tượng bị giảm xuống Khi độ tin cậy giảm xuống ngưỡng ta loại bỏ đối tượng khỏi danh sách Cập nhật đối tƣợng 14 Các tham số đối tượng cập nhật theo tham số đối tượng Gọi d độ dịch chuyển đối tượng frame I_n I_(n+1), ta có Với p_(n+1) vị trí đối tượng Khi ta có vận tốc đối tượng cập nhật sau: Và độ không chắn vận tốc cập nhật sau: 15 CHƢƠNG IV CÀI ĐẶT THỬ NGHIỆM 4.1 Công cụ hỗ trợ Các thử nghiệm luận văn cài đặt sử dụng ngôn ngữ môi trường Matlab, chi tiết bảng sau Cấu hình Chi tiết Phần cứng Dell Optiplex 7020, CPU Intel Core i7-4790 @ 8×3.60Ghz, RAM DDR3 16GB Hệ điều hành Window SP1 Professional 64-bit Ngôn ngữ & môi trường Matlab 2013a 64-bit Bảng Cấu hình mơi trường thử nghiệm Dữ liệu thử nghiệm Dữ liệu tiến hành thử nghiệm từ thiết bị bay UAV quay đoạn đường cao tốc Dữ liệu lưu vào máy định dạng AVI nén, với thông số sau: Chuẩn nén Cinepak Codec Kích thước AVI 56.5MB Thời gian đoạn phim 10 phút 07 giây Tốc độ frame 30fps 16 Kích thước khung hình 4.2 pixel Kết thử nghiệm Hình Frame ảnh thử nghiệm Trong bước phân vùng ảnh, tham số k1 k2 cơng thức ? để tính tốn độ tương tự màu sác chọn 0.0001 0.2 Số lượng cụm chọn số vòng lặp tối đa 50 Xác suất lai ghép đột biến 20% Hình ảnh sau phân vùng với giải thuật phân vùng tham số Hình Ảnh phân vùng màu 17 Với cách tiếp cận trích rút đối tượng trình bày phần trước, tơi sử dụng phân phối để phân tách đối tượng đường phương tiện giao thông Trong trường hợp này, cụm đường chọn phương tiện giao thơng coi “nhiễu” Hình ảnh nhị phân chứa đối tượng đường Hình Ảnh nhị phân đường Ảnh nhị phân đường lọc lọc hình thái học mở rộng để thu đối tượng đường liền mạch (theo kinh nghiệm thành phần cấu trúc đặt 5) Kết thao tác hình thái học hình Hình Ảnh nhị phân đường sau lọc 18 Để trích xuất phương tiện giao thơng từ ảnh hình 4, ta tiến hành trừ hình cho hình Hình kết trích xuất phương tiện giao thơng phép trừ Hình Ảnh nhị phân phương tiện giao thơng Thao tác hình thái học tiếp tục sử dụng với ảnh phương tiện giao thông để thu đối tượng phương tiện giao thông hồn chỉnh hình Hình Ảnh nhị phân phương tiện giao thông sau lọc Các cạnh đối tượng phương tiện giao thơng trích xuất sử dụng giải thuật tìm đường bao trình bày phần kết hình 19 Hình Bao đối tượng trích xuất Để minh hoạ cho tính xác, đường bao đối tượng phương tiện giao thơng trích xuất ghép vào ảnh màu gốc Hình Trong hình ghép đường màu đỏ bao đối tượng Có thể quan sát từ Hình phần lớn đường bao khớp xác với phương tiện giao thơng Hình Biểu diễn ảnh gốc Để đánh giá độ xác việc theo dấu đối tượng Ta tiến hành đánh giá kết theo độ đo Multiple Object Tracking Accuracy (MOTA) 20 , số lượt misses, false positives mismatches tương ứng với frame STT Đánh giá Kết Miss rate 5.73% False positive rate 7.78% Mismatches 236 MOTA 85.96% Bảng Kết theo dõi đối tượng theo độ đo MOTA Kết theo dõi đối tượng tính theo MOTA ghi nhận bảng 2, cho thấy chương trình thử nghiệm cho kết tốt, nhận dạng theo dõi đối tượng phương tiện giao thơng với độ xác cao 21 CHƢƠNG V KẾT LUẬN Về mặt lý thuyết, luận văn trình bày nội dung sau: • Các khái niệm fuzzy c-partition giải thuật di truyền ứng dụng cho toán tối ưu • Trình bày giải thuật fuzzy segmentation tốn trích xuất đối tượng áp dụng giải thuật di truyền tối ưu cho fuzzy segmentation • Áp dụng lọc Kalman vào toán theo dõi đối tượng sau trích rút đối tượng khung hình Về mặt thực nghiệm, luận văn thu số kết quả: • Đã cài đặt thành cơng mơ hình giải thuật trình bày với đối tượng cụ thể phương tiện giao thông quay từ thiết bị UAV • Kết thử nghiệm với độ đo MOTA tốt (85.96%) Như luận văn giải toán “theo dõi đối tượng” đề với hiệu tốt Hạn chế Như vậy, kết thực nghiệm là phù hợp với trình bày lý thuyết Tuy vậy, nhiều hạn chế kiến thức, kinh nghiệm 22 thân, thời gian thực hiện, luận văn hạn chế như: việc sử dụng giải thuật di truyền đơn giản, lựa chọn tham số chủ yếu dựa thử nghiệm; đặc trưng sử dụng tương đối đơn giản 23 TÀI LIỆU THAM KHẢO Angel, A., Hickman, M., Mirchandani, P., & Chandnani, D (2003) Methods of analyzing traffic imagery collected from aerial platforms IEEE Transactions on Intelligent Transportation Systems, 4, 99-107 Barron, J L., Fleet, D J., & Beauchemin, S S (1994) Performance of optical flow techniques International journal of computer vision, 12, 43-77 Collins, R T., Lipton, A J., Kanade, T., Fujiyoshi, H., Duggins, D., Tsin, Y., others (2000) A system for video surveillance and monitoring Tech rep., Technical Report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University Fleet, D., & Weiss, Y (2006) Optical flow estimation Trong Handbook of mathematical models in computer vision (trang 237-257) Springer Holland, J H (1975) Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence U Michigan Press Klir, G J., & Yuan, B (1995) Fuzzy Sets and Fuzzy Logic: Theory and Applications Upper Saddle River, NJ, USA: Prentice-Hall, Inc Lucas, B D., Kanade, T., & others (1981) An iterative image registration technique with an application to stereo vision IJCAI, 81, trang 674-679 24 Mittal, A., & Paragios, N (2004) Motion-based background subtraction using adaptive kernel density estimation Computer Vision and Pattern Recognition, 2004 CVPR 2004 Proceedings of the 2004 IEEE Computer Society Conference on, 2, trang II 302 Pratt, W K (1991) Image segmentation Digital Image Processing: PIKS Inside, Third Edition, 551-587 Stauffer, C., & Grimson, W E (1999) Adaptive background mixture models for real-time tracking Computer Vision and Pattern Recognition, 1999 IEEE Computer Society Conference on., Yilmaz, A., Javed, O., & Shah, M (2006) Object tracking: A survey Acm computing surveys (CSUR), 38, 13 ... dụng giải thuật di truyền Một số khái niệm giải thuật di truyền trình bày phần chương 5 CHƢƠNG III ÁP DỤNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN THEO DÕI ĐỐI TƢỢNG Bài toán ? ?theo dõi đối tượng? ??... Điều đối tượng tách thành nhiều đối tượng Trường hợp ta cập nhật đối tượng theo đối tượng khớp Các đối tượng lại tương ứng với đối tượng thiết lập tham số ban đầu cho đối tượng Trường hợp nhiều đối. .. niệm fuzzy c-partition giải thuật di truyền ứng dụng cho tốn tối ưu • Trình bày giải thuật fuzzy segmentation tốn trích xuất đối tượng áp dụng giải thuật di truyền tối ưu cho fuzzy segmentation