MÔ HÌNH đa kỹ THUẬT CHO bài TOÁN THEO vết đối TƯỢNG

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THƠNG TIN cêd LÊ QUANG THÁI MƠ HÌNH ĐA KỸ THUẬT CHO BÀI TOÁN THEO VẾT ĐỐI TƯỢNG LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Mà SỐ: 60.48.01.01 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS LÊ HOÀNG THÁI TP HỒ CHÍ MINH – 2017 Lời cam đoan Tơi xin cam đoan: Luận văn thạc sĩ công trình nghiên cứu thực cá nhân, thực hướng dẫn khoa học Phó giáo sư Tiến sĩ Lê Hoàng Thái Các số liệu, kết luận nghiên cứu trình bày luận văn trung thực chưa công bố hình thức Tơi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Tơi xin chịu trách nhiệm nghiên cứu TP HCM, ngày tháng 10 năm 2017 Học viên thực Lê Quang Thái Lời cảm ơn Đầu tiên, xin gửi lời cảm ơn sâu sắc tới Phó giáo sư Tiến sĩ Lê Hồng Thái Thầy hướng dẫn khoa học, tận tình bảo, giúp đỡ thực luận văn Tôi xin cảm ơn thầy cô Trường Đại học Công nghệ thông tin – Đại học quốc gia thành phố Hồ Chí Minh giảng dạy truyền đạt nhiều kiến thức quý báo cho Cuối cùng, xin cảm ơn người thân bạn bè chia sẻ, giúp đỡ tơi hồn thành luận văn Mặc dù cố gắng hoàn thành luận văn với tất nổ lực thân, luận văn cẫn thiếu sót Kính mong nhận ý kiến đóng góp q Thầy, Cơ bạn Tôi xin chân thành cảm ơn! TP HCM, ngày tháng 10 năm 2017 Học viên thực Lê Quang Thái Mục lục Lời cam đoan Lời cảm ơn Mục lục Danh mục bảng Danh mục hình vẽ đồ thị MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN 11 1.1 Bài toán theo vết đối tượng chuyển động 11 1.2 Khảo sát tình hình nghiên cứu 13 1.2.1 Trong nước 13 1.2.2 Ngoài nước 14 1.3 Hướng tiếp cận giải pháp cho toán theo vết đối tượng 17 1.4 Tóm tắt đóng góp luận văn 18 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 19 2.1 Các khái niệm 19 2.1.1 Video 19 2.1.2 Xử lý ảnh video 22 2.1.3 Theo vết đối tượng 24 2.2 Phương pháp theo vết đối tượng TLD 25 2.2.1 Ý tưởng giải thuật 25 2.2.2 Sơ đồ tổng quát 26 2.2.3 Các bước thực 28 2.2.3.1 Quá trình theo vết (Tracking) 28 2.2.3.2 Quá trình phát đối tượng (Detection) 29 2.2.3.3 Quá trình học (Learning) 37 2.3 Phương pháp CMT 39 2.3.1 Ý tưởng giải thuật 39 2.3.2 Thuật toán CMT 40 2.3.2.1 Kết hợp theo vết điểm trọng yếu 42 2.3.2.2 Bình chọn 43 2.3.2.3 Sự đồng thuận 46 2.4 Đánh giá phương pháp TLD CMT 48 2.5 Tiểu kết 51 CHƯƠNG 3: MƠ HÌNH ĐA KỸ THUẬT THEO VẾT ĐỐI TƯỢNG 52 3.1 Giới thiệu tổng quát mơ hình 52 3.2 Quá trình xử lý 54 3.3 Nhận xét ưu nhược điểm Mơ hình đề xuất 64 3.4 Tiểu kết 68 CHƯƠNG 4: THỰC NGHIỆM VÀ BÀN LUẬN 70 4.1 Cơ sở liệu 70 4.1.1 Bộ liệu (Vojir) 70 4.1.2 Bộ liệu (Bộ liệu thu thập thực tế công ty Titan) 73 4.2 Môi trường thực nghiệm 75 4.2.1 Bộ kỹ thuật phát triển hệ thống 75 4.2.2 Giao diện hệ thống 77 4.3 Kết bàn luận 78 4.3.1 Kết thực nghiệm liệu 79 4.3.2 Kết thực nghiệm liệu 87 4.4 Tiểu kết 90 CHƯƠNG 5: KẾT LUẬN VÀ KHUYẾN NGHỊ 92 5.1 Kết luận 92 5.2 Khuyến nghị 92 DANH MỤC CÔNG BỐ KHOA HỌC CỦA TÁC GIẢ 94 TÀI LIỆU THAM KHẢO 95 Danh mục ký hiệu chữ viết tắt TLD: Tracking-Learning-Detection CMT: Clustering of Static-Adaptive Corresponsedences for Deformable Object Tracking fps: Frame per second Danh mục bảng Bảng 1.1 Tóm tắt phương pháp theo vết đối tượng 16 Bảng 4.1 Tổng hợp đối tượng không biến dạng đối tượng biến dạng (defomal) liệu Vojir 71 Bảng 4.2 Tổng hợp đối tượng số lượng hình đối tượng liệu thử nghiệm 72 Bảng 4.3 Kết thử nghiệm trung bình phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị fps (số khung hình giây) 79 Bảng 4.4 Kết độ xác phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị % 84 Bảng 4.5 Kết thử nghiệm trung bình phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị fps (số khung hình giây) 87 Bảng 4.6 Kết độ xác phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị % 89 Danh mục hình vẽ đồ thị Hình 1.1 Minh hoạ số hệ thống giám sát thông minh giới nhận dạng chuyển động, nhận dạng đám đông nhận dạng hành vi đáng nghi ngờ, … 11 Hình 1.2 Bài tốn theo vết đối tượng 12 Hình 1.3 Theo vết đối tượng phương pháp CMT Nguồn: [14] 15 Hình 1.4 Theo vết đối tượng phương pháp TLD Nguồn: [11] 15 Hình 2.1 Cấu trúc video 19 Hình 2.2 Sơ đồ cấu trúc hệ thống xử lý ảnh video tổng quát Nguồn: [20] 23 Hình 2.3 Mơ hình hệ thống theo vết đối tượng chuyển động 24 Hình 2.4 Sơ đồ hoạt động phương pháp TLD Nguồn: [10] 26 Hình 2.5 Sơ đồ tổng quát TLD Nguồn: [10] 27 Hình 2.6 Quá trình theo vết đối tượng Nguồn: [10] 28 Hình 2.7 Phương pháp tiếp cận “cửa trượt” Phương pháp thực theo thứ tự để giảm thời gian tính tốn chương trình 30 Hình 2.8 Quá trình thực phương pháp trừ Nguồn [10] 31 Hình 2.9 Giải thuật dán nhãn Nguồn [10] 32 Hình 2.10 Ví dụ subwindow có độ lệch thấp cao ảnh Nguồn: [10] 34 Hình 2.11 Sơ đồ tính toán fern đơn lẻ Nguồn: [10] 35 Hình 2.12 Ví dụ phân loại quần thể sử dụng ba fern ngẫu nhiên Nguồn: [10] 36 Hình 2.13 Minh hoạ hoạt động phân lớp theo trọng tâm 39 Hình 2.14 Ví dụ thuật tốn phân nhóm liệu theo hướng bottom-up Nguồn: [28] 40 Hình 2.15 Mô tả xác định trọng tâm đối tượng từ điểm trọng yếu Nguồn: [15] 44 Hình 2.16 Minh hoạ thay đổi góc quay điểm trọng yếu để tính tốn góc thay đổi đối tượng Nguồn: [15] 45 Hình 2.17 Minh hoạ trình tìm kiếm điểm trọng tâm đối tượng Nguồn [15] 47 Hình 2.18 Tốc độ xử lý phương pháp nghiên cứu có Nguồn: [14] 49 Hình 2.19 Độ xác theo vết đối tượng phương pháp nghiên cứu có Nguồn: [14] 49 Hình 3.1 Mơ hình theo vết đối tượng đề xuất 52 Hình 3.2 Ví dụ đối tượng biến dạng (deformable) Nguồn: [14] 53 Hình 3.3 Minh hoạ sơ đồ mơ hình đa kỹ thuật kết hợp hai phương pháp TLD CMT cho toán theo vết đối tượng 54 Hình 3.4 Ví dụ liệu đầu vào mơ hình đề xuất 55 Hình 3.5 Cấu trúc Convolutional Neural Network Nguồn [24] 57 Hình 3.6 Kết thực thi mơ hình nLmF-CNN để xác định loại đối tượng 58 Hình 3.7 Ví dụ đối tượng có tính biến dạng (deformable) 59 Hình 3.8 Ví dụ đối tượng có tính không biến dạng 59 Hình 3.9 Kết theo vết đối tượng chuyển động 61 Hình 3.10 Mơ hình theo vết đối tượng với đối tượng khơng biến dạng sử dụng phương pháp TLD 62 Hình 3.11 Mơ hình theo vết đối tượng với đối tượng biến dạng (deformable) sử dụng phương pháp CMT 63 Hình 3.12 Theo vết xác đối tượng chuyển động 67 Hình 3.13 Theo vết đối tượng chuyển động khơng xác số thời điểm 68 Hình 4.1 Bộ liệu Vojir 70 Hình 4.2 Tỉ lệ đối tượng biến dạng (deformable) đối tượng không biến dạng liệu Vojir 72 Hình 4.3 Bộ liệu thực tế thu thập từ camera an ninh Công ty cổ phần công nghệ Titan 74 Hình 4.4 Một số đối tượng liệu 75 Hình 4.5 Bộ cơng cụ phát triển mơ hình TLD_CMT theo vết đối tượng 75 Hình 4.6 Giao diện chương trình 77 Hình 4.7 Theo vết đối tượng không biến dạng 77 Hình 4.8 Theo vết đối tượng biến dạng (deformable) 78 Hình 4.9 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT liệu 80 Hình 4.10 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT với đối tượng không biến dạng liệu 81 Hình 4.11 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT với đối tượng biến dạng (deformable) liệu 82 Hình 4.12 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT với đối tượng người liệu 83 Hình 4.13 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT liệu 85 Hình 4.14 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng không biến dạng liệu 85 Hình 4.15 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu 86 Hình 4.16 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng người liệu 87 Hình 4.17 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu 88 Hình 4.18 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu 90 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Tốc độ xử lý trung bình của 3 phương pháp TLD, CMT, TLD_CMT với đối tượng người trên bộ dữ liệu 1 45 40 35 30 25 20 15 10 TLD CMT Fusion TLD_CMT Hình 4.12 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT với đối tượng người liệu Ở sơ đồ hình 4.12, dễ dàng thấy tốc độ xử phương pháp TLD_CMT đối tượng người tương đối cao so với phơng pháp CMT thấp phương pháp TLD gần toàn đối tượng Phương pháp TLD_CMT thể tốc độ xử lý tương đồng với phương pháp TLD đối tượng personpartiall, gym singer ü Về độ xác 83 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Bảng 4.4 Kết độ xác phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị % # Type ball TLD 100 CMT 100 board 78.57 95.08 95.08 box 83.43 85.79 85.79 car 67.85 86.49 86.49 cupontable 100 100 100 dog1 100 100 100 gym 87.5 89.13 89.13 juice 100 100 100 lemming 73.29 82.82 82.82 10 liquor 8.16 93.07 93.07 11 moutain-bike 100 100 100 12 person 65 83.18 65 13 personcrossing 66.18 79.69 79.69 14 personpartiallyoccluded 100 100 100 15 singer 100 100 100 16 sylvester 48.86 99 48.86 79.93 93.39 89.12 Trung bình 84 TLD_CMT 100 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Bảng 4.4 thể số liệu q trình thực nghiệm độ xác trung bình phương pháp TLD, CMT, TLD_CMT ba trường hợp liệu Số liệu từ bảng 4.4 mô tả trực quan sơ đồ hình 4.13 Độ chính xác trung bình của 3 phương pháp TLD, CMT, TLD_CMT trên bộ dữ liệu 1 120 100 80 60 40 20 TLD CMT TLD_CMT Hình 4.13 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT liệu Qua biểu đồ trên, số đối tượng: cupontable, dog1, liquor, personpartially, singer, sylvester Cả ba phương pháp TLD, CMT TLD_CMT thể độ xác theo vết đối tượng cao (100%) Ở đối tượng khác, phương pháp TLD_CMT có độ xác lớn hơng phương pháp TLD nhỏ độ xác phương pháp CMT Độ chính xác trung bình của 3 phương pháp TLD, CMT, TLD_CMT đối tượng khơng biến dạng trên bộ dữ liệu 1 150 100 50 TLD CMT TLD_CMT Hình 4.14 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng không biến dạng liệu 85 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Biểu đồ hình 4.14 mơ tả độ xác trung bình phương pháp TLD, CMT, TLD_CMT ba trường hợp liệu không biến dạng liệu Qua sơ đồ trên, CMT cho thấy kết theo vết xác cao tồn liệu khơng biến dạng Phương pháp TLD TLD_CMT đạt kết theo vết cao đa số đối tượng ngoại trừ đối tượng juice sylvester Độ chính xác trung bình của 3 phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng trên bộ dữ liệu 1 100 90 80 70 60 50 40 30 20 10 TLD CMT TLD_CMT Hình 4.15 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu Ở biểu đồ độ xác theo vết đối tượng biến dạng hình 4.15, phương pháp CMT thể khả theo vết đối tượng vượt trội so với phương pháp TLD đối tượng: car, liquor, board Phương pháp TLD_CMT có độ cao phương pháp TLD thấp chút so với phương pháp TLD_CMT Qua biểu đồ cho thấy mối quan hệ độ xác phương pháp TLD_CMT với hai phương pháp TLD_CMT phù hợp với công thức 3.8 thể chương 86 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Độ chính xác trung bình của 3 phương pháp TLD, CMT, TLD_CMT đối tượng người trên bộ dữ liệu 1 120 100 80 60 40 20 TLD CMT TLD_CMT Hình 4.16 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng người liệu Hình 4.16 thể độ xác trung bình ba trường hợp thử nghiệm tốt, trung bình, xấu ba phương pháp TLD, CMT, TLD_CMT liệu Biểu đồ thể ba phương pháp có độ xác cao đối tượng moutain-bike, personpartiallyoccluded, singer Phương pháp CMT thể độ xác tốt hai phương pháp TLD TLD_CMT đối tượng person personcrossing 4.3.2 Kết thực nghiệm liệu ü Về tốc độ xử lý Bảng 4.5 Kết thử nghiệm trung bình phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị fps (số khung hình giây) # Type tt1 TLD 20.5 CMT 7.3 TLD_CMT 18.5 tt2 14.6 6.8 10.2 tt3 16.7 4.2 12.7 tt4 18.9 6.7 13.9 87 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN tt5 12.8 5.2 7.5 tt6 22.3 4.8 14.8 tt7 17.2 3.9 8.2 tt8 26.7 1.7 10.3 tt9 15.5 2.6 7.7 10 tt10 16.5 3.1 6.4 18.7 4.63 Trung bình 11.02 Bảng 4.5 Mơ tả thể tốc độ trung bình ba phương pháp TLD, CMT, TLD_CMT ba trường hợp tốt, trung bình, xấu liệu Số liệu bảng 4.5 mô tả sơ đồ hình 4.17 Tốc độ xử lý trung bình 3 phương pháp TLD, CMT, TLD_CMT trên bộ dữ liệu 2 30 25 20 15 10 tt1 tt2 tt3 tt4 tt5 TLD tt6 CMT tt7 tt8 tt9 tt10 Fusion Hình 4.17 Biểu đồ tốc độ xử lý trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu Qua sơ đồ hình 4.17, phương pháp TLD có tốc độ xử lý vượt trội hai phương pháp CMT TLD_CMT đối tượng liệu Phương pháp CMT có tốc độ xử lý thấp đối tượng Phương pháp TLD_CMT thể 88 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN tốc độ xử lý trung bình, thấp tốc độ xử lý phương pháp TLD cao tốc độ xử lý phương pháp CMT Sơ đồ hình 4.17 thể tốc độ xử lý phương pháp TLD_CMT ln có giá trị nằm tốc độ xử lý phương pháp TLD phương pháp CMT, phù hợp với cơng thức 3.7 ü Về độ xác Bảng 4.6 Kết độ xác phương pháp TLD, CMT, TLD_CMT liệu trạng thái hoạt động máy trường hợp – Đơn vị % # Type tt1 TLD 79 CMT 92 TLD_CMT 86 tt2 83 86 85 tt3 64 98 80 tt4 67.85 86.49 86.49 tt5 43 99 96 tt6 92 100 94 tt7 53 67 65 tt8 80 91 89 tt9 77 84 80 10 tt10 73 92 84 71.19 89.55 84.55 Trung bình Bảng 4.6 Mơ tả thể độ xác trung bình ba phương pháp TLD, CMT, TLD_CMT ba trường hợp liệu Số liệu bảng 4.6 mô tả sơ đồ hình 4.18 89 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN Độ chính xác trung bình của 3 phương pháp TLD, CMT, TLD_CM trên bộ dữ liệu 2 120 100 80 60 40 20 tt1 tt2 tt3 tt4 TLD tt5 CMT tt6 tt7 tt8 tt9 tt10 TLD_CMT Hình 4.18 Biểu đồ độ xác trung bình phương pháp TLD, CMT, TLD_CMT đối tượng biến dạng liệu Hình 4.18 thể kết thử nghiệm tốc độ xử lý trung bình ba trường hợp tốt, trung bình, xấu hệ thống với phương pháp TLD, CMT, TLD_CMT với liệu hệ điều hành Linux Qua hình 4.18 dễ dàng thấy phương pháp kết hợp TLD_CMT có độ xác cao phương pháp TLD thấp phương pháp CMT Qua sơ đồ trên, độ xác mơ hình đề xuất TLD_CMT so với hai phương pháp TLD, CMT phù hợp với công thức 3.8 thể mối quan hệ độ xác ba phương pháp TLD, CMT, TLD_CMT trình bày chương 4.4 Tiểu kết Trong chương này, luận văn trình bày khái niệm đối tượng biến dạng đối tượng không biến dạng trình chuyển động đối tượng Thể kết thực nghiệm với phương pháp TLD, CMT, TLD, CMT liệu chuẩn Vojir liệu thực tế thu thập từ camera an ninh Công ty cổ phần công nghệ Titan Qua số thực nghiệm tốc độ xử lý độ xác phương pháp TLD, CMT, TLD_CMT trường hợp vận hành khác máy tính thử 90 Chương 4: THỰC NGHIỆM VÀ BÀN LUẬN nghiệm hai liệu Vojir liệu thực tế Tốc độ xử lý mô hình TLD_CMT nhỏ tốc độ xử lý phương pháp TLD lớn tốc độ xử lý phương pháp CMT, phù hợp với công thức 3.7 𝑇Đ ¡±U ≥ 𝑇Đ ¡±U_¯k¡ ≥ 𝑇Đ¯k¡ Về độ xác, mơ hình đề xuất TLD_CMT có độ xác ln nằm độ xác phương pháp CMT phương pháp TLD, phù hợp với công thức 3.8 Đ𝐶𝑋¯k¡ ≥ Đ𝐶𝑋¡±U_¯k¡ ≥ Đ𝐶𝑋¡±U Về bản, mơ hình đề xuất luận văn đề nghị cải thiện đạt hiệu suất gấp đôi thời gian xử lý giữ độ xác 80% so với phương pháp CMT… Điều cho thấy tính khả thi để áp dụng vào hệ thống giám sát theo dõi đối tượng, với nguồn tài nguyên có hạn hệ thống máy Việt Nam nay… 91 Chương 5: KẾT LUẬN VÀ KHUYẾN NGHỊ CHƯƠNG 5: KẾT LUẬN VÀ KHUYẾN NGHỊ 5.1 Kết luận Luận văn nghiên cứu video, định dạng video nay, q trình xử lý theo vết đối tượng thơng qua liệu đầu vào video chuỗi ảnh liên tiếp Bên cạnh luận văn tìm hiểu hai phương pháp TLD CMT, đánh giá, so sánh ưu nhược điểm hai phương pháp Việc kết hợp mơ hình với cách tiếp cận chung nhằm khai thác lợi điểm phương pháp đơn lẻ Vì luận văn đề xuất mơ hình TLD_CMT cho q trình theo vết đối tượng chuyển động Mơ hình đề xuất TLD_CMT phát huy lợi thời gian xử lý TLD độ xác đối tượng biến dạng (deformable) để hạn chế thời gian xử lý phương pháp CMT Luận văn thử nghiệm mơ hình đề xuất TLD_CMT hai liệu: liệu (bộ liệu chuẩn Vojir thường sử dụng để thử nghiệm toán theo vết đối tượng) liệu (được thu thập thực tế từ camera an ninh Công ty cổ phần cơng nghệ Titan) Kết thực nghiệm trình bày chương cho thấy tính khả thi mơ hình đề xuất Thời gian xử lý mơ hình đề xuất giảm phân nửa so với phương pháp CMT hầu hết đối tượng Nó cho thấy thành cơng việc cân độ xác thời gian xử lý hai phương pháp TLD CMT, đáp ứng nhu cầu hệ thống camera có cấu hình thấp Việt Nam Do đó, luận văn hồn thành mục tiêu đề 5.2 Khuyến nghị Về mặt lý thuyết, tiến hành nhiều thực nghiệm để có thêm nhiều đánh giá tốc độ xử lý độ xác mơ hình TLD_CMT Cải tiến q trình phân lớp, xác định loại đối tượng mơ hình đề xuất TLD_CMT nhằm xác định loại đối tượng phù hợp để thực phương pháp theo vết đối tượng xác để cải thiện thời gian xử lý độ xác mơ hình 92 Chương 5: KẾT LUẬN VÀ KHUYẾN NGHỊ Về mặt ứng dụng, hỗ trợ thêm nhiều chuẩn video (MOV, AVI…), xuất danh sách khoảng thời gian đối tượng chuyển động để phục vụ q trình trích xuất liệu phục vụ trình điều tra, nghiên cứu Xây dựng thành API (hướng dịch vụ người dùng), cung cấp ứng dụng tảng di động (Android, iOS) môi trường cloud để áp dụng vào môi trường thực tế Việt Nam Nâng cao độ xác khắc phục số hạn chế mô hình đề xuất Phát triển mơ hình ứng dụng cho hệ thống camera phức tạp gồm nhiều camera, đồng thời có khả theo vết nhiều đối tượng lúc 93 DANH MỤC CÔNG BỐ KHOA HỌC CỦA TÁC GIẢ An Tien Vo, Thai Quang Le, Hai Son Tran, Thai Hoang Le (2016) A Fusion TLD and CMT Model for Motion Object Tracking, The International Conference on Information, System and Convergence Applications, Judy 1316, 2016 in Chiang Mai, Thailand, pp 60-63, ISSN 2383-479X, Vol.2 No.1 (Đính kèm cơng trình) 94 TÀI LIỆU THAM KHẢO Tiếng Việt Dương Anh Đức, Lê Đình Duy, Hồng Kiếm (2010), “Giáo trình Đồ hoạ máy tính”, NXB Đại học quốc gia TP Hồ Chí Minh Hồng Kiếm (2010), “Giáo trình Xử lý ảnh”, NXB Đại học quốc gia TP Hồ Chí Minh Hồng Kiếm, Đỗ Phúc, Đỗ Văn Nhơn (2009), “Giáo trình Các hệ sở tri thức”, NXB Đại học quốc gia TP Hồ Chí Minh Đỗ Văn Nhơn (2015), “Bài giảng Biểu diễn tri thức suy luận”, Trường Đại học công nghệ thông tin Trần Thanh Việt, Trần Công Chiến, Huỳnh Cao Tuấn, Nguyễn Hữu Nam, Đỗ Năng Toàn, Trần Hành (2011, Oct) ‘Một kỹ thuật phát bám sát đối tượng’ In: Kỷ yếu hội thảo quốc gia lần thứ 14, Cần Thơ Bộ thông tin truyền thông – Cục tin học hoá (AITA), http://aita.gov.vn/tintuc/1419/tieu-chuan-mpeg-1-%E2%80%93-dinh-dang-am-thanh-phim-anhcua-nhom-chuyen-gia-anh-dong, (ngày truy cập: 24/9/2017) Bộ thông tin truyền thông – Cục tin học hoá (AITA), http://aita.gov.vn/tintuc/1420/tieu-chuan-mpeg-2-%E2%80%93-dinh-dang-am-thanh-hinh-anhmpeg-2, (ngày truy cập: 24/9/2017) Tiếng Anh Wei Zhong, ”Robust object tracking via sparsity-based collaborative model”, Proceedings / CVPR, IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 2012 Sam Hare, Amir Saffari, And Philip H S Torr, Struck: Structured Output Tracking with Kernels, International Conference On Computer Vision (ICCV), 2011 10 Georg Nebehay, “Robust Object Tracking Based on Tracking-LearningDetection” in The Sis 95 11 Zdenek Kalal, Krystian Mikolajczyk, Jiri Matas, “Tracking-LearningDetection”, Journal IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 34 Issue 7, July 2012, pp 1409-1422 12 Anenberg, Bryan, and Michela Meister "Tracking-Learning-Detection." 13 Kaihua Zhang, Lei Zhang, Ming-Hsuan Yang, “Real-Time Compressive Tracking”, Computer Vision – ECCV 2012, Volume 7574 of the series Lecture Notes in Computer Science, pp 864-877 14 Georg Nebehay, Roman Pflugfelder; “Clustering of Static-Adaptive Correspondences for Deformable Object Tracking” The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp 2784-2791 15 Georg Nebehay, Roman Pflugfelder; “Consensus-based matching and tracking of keypoints for object tracking” The IEEE Winter Conference on Applications of Computer Vision (WACV), 2014, pp 862-869 16 Nebehay, Georg A Deformable Part Model for One-Shot Object Tracking Diss University of Ljubljana, 2016 17 CHO, Minsu; LEE, Jungmin; LEE, Kyoung Mu; “Feature correspondence and deformable object matching via agglomerative correspondence clustering” The IEEE 12th international conference on Computer vision, 2009, pp 12801287 18 Felsberg, M., Berg, A., Hager, G., Ahlberg, J., Kristan, M., Matas, J., & Nebehay, G.; “The thermal infrared visual object tracking VOT-TIR2015 challenge results” The IEEE International Conference on Computer Vision Workshops on Proceedings, 2015, pp 76-88 19 Xu, R., & Wunsch, D.; “Survey of clustering algorithms” The IEEE Transactions on Neural networks, 16(3), 2005 , pp 645-678 20 Moeslund, Thomas B.: Introduction to video and image processing: Building real systems and applications Springer (2012) 21 Lê Hoàng Thái, Trần Sơn Hải (2009), “Phát Triển Mơ Hình Liên Kết Mạng Áp Dụng Cho Bài Toán Phân Lớp Ảnh”, Kỷ yếu hội thảo @ Một số vấn đề chọn lọc Công Nghệ Thông Tin Quốc Gia, pp 327-340 96 22 Le Hoang Thai, Nguyen Do Thai Nguyen and Tran Son Hai (Oct 2011), “A Facial Expression Classification System Integrating Canny, Principal Component Analysis and Artificial Neural Network”, International Journal of Machine Learning and Computing, Vol 1, No 4, pp 388-393 23 Le Hoang Thai, Tran Son Hai, Nguyen Thanh Thuy (May 2012), “Image Classification using Support Vector Machine and Artificial Neural Network”, I.J Information Technology and Computer Science, Vol 5, pp 32-38, DOI: 10.5815/ijitcs.2012.05.05 24 LeCun Yann A., Léon Bottou, Genevieve B Orr, and Klaus-Robert Müller (2012), "Efficient backprop.", In Neural networks: Tricks of the trade, pp 948, Springer Berlin Heidelberg 25 LeCun Yann, Léon Bottou, Yoshua Bengio, and Patrick Haffner (1998), "Gradient-based learning applied to document recognition", Proceedings of the IEEE, Vol.86 (11), pp 2278-2324 26 An Tien Vo, Hai Tran Son, Thai Hoang Le (2017), Advertisement Image Classification Using Convolutional Neural Network, The 9th International Conference on Knowledge and System Engineering (KSE 2017), Hue, Vietnam October 19-21, 2017 (Number 34) 27 H.264/MPEG-4, https://vi.wikipedia.org/wiki/H.264/MPEG-4_AVC, (ngày truy cập 24/9/2017) 28 Hierarchical clustering - https://en.wikipedia.org/wiki/Hierarchical_clustering, (ngày truy cập 2/10/2017) 29 Tomas Vojir Dataset - http://cmp.felk.cvut.cz/~vojirtom, (ngày truy cập 21/2/2017) 97 ... thống theo vết đối tượng Luận văn tìm hiểu hai phương pháp theo vết đối tượng TLD CMT Chương 3: luận văn đề xuất mô hình đa kỹ thuật kết hợp sử dụng hai phương pháp TLD CMT cho toán theo vết đối tượng. .. hình số tồ nhà cao tầng Việt Nam Tập trung nghiên cứu hai kỹ thuật theo vết đối tượng TLD CMT để đề xuất mơ hình đa kỹ thuật kết hợp Mơ hình đa kỹ thuật đề xuất kỳ vọng phù hợp cho hệ thống theo. .. (learning) Hình 1.2 Bài tốn theo vết đối tượng Hình 1.2 minh hoạ toán theo vết đối tượng với liệu đầu vào tập video chuỗi ảnh liên tiếp, sau áp dụng giải thuật theo vết để 12 Chương 1: TỔNG QUAN theo vết