Nghiên cứu bài toán bám sát đối tượng bị che khuất trong video

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN ĐÀO THỊ THU HẰNG NGHIÊN CỨU BÀI TOÁN BÁM SÁT ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO Chuyên ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn: TS LÊ THỊ KIM NGA LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ Khoa học máy tính “Nghiên cứu tốn bám sát đối tƣợng bị che khuất video” cơng trình nghiên cứu riêng tơi với giúp đỡ tận tình giáo viên hƣớng dẫn cô TS Lê Thị Kim Nga Trong toàn nội dung luận văn, điều đƣợc trình bày cá nhân đƣợc tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Bình Định, ngày 04 tháng 10 năm 2021 Học viên Đào Thị Thu Hằng LỜI CẢM ƠN Trƣớc tiên xin gửi đến lời cảm ơn chân thành sâu sắc đến cô TS Lê Thị Kim Nga – nhiệt tình hƣớng dẫn, bảo suốt thời gian bắt đầu thực hoàn thành luận văn Tơi xin cảm ơn thầy cô khoa CNTT – Trƣờng Đại học Quy Nhơn truyền đạt cho kiến thức chuyên sâu chun ngành để tơi có đƣợc tảng kiến thức giúp tơi hồn thành luận văn thạc sĩ Cuối cùng, xin cảm ơn đến ngƣời thân yêu gia đình tồn thể bạn bè, đồng nghiệp ngƣời ln hỗ trợ giúp đỡ, khuyến khích, động viên thời gian học tập nghiên cứu Trƣờng Đại Học Quy Nhơn Xin chân thành cảm ơn! Bình Định, ngày 04 tháng 10 năm 2021 Học viên Đào Thị Thu Hằng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC ỤC DANH MỤC C C CH VI T TẮT DANH MỤC C C H NH ẢNH MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Ý nghĩa khoa học thực tiễn CHƢƠNG 1: TỔNG QUAN VỀ BÀI TO N B M S T ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO 1.1 Dữ liệu video 1.1.1.Giới thiệu 1.1.2.Khái niệm video 1.1.3.Một số toán liệu video 1.2 Bài toán phát đối tƣợng bị che khuất video 1.2.1 Đối tượng bị che khuất 1.2.2 Quy trình phát che khuất hệ thống giám sát tự động 1.2.3 Sự phổ biến đối tượng bị che khuất video 11 1.3 Một số tiếp cận phát đối tƣợng bị che khuất 15 1.3.1 Tiếp cận dựa Histogram matching 15 1.3.2 Tiếp cận dựa Template matching 19 1.3.3 Tiếp cận dựa Keypoint 21 1.4 Kết luận chƣơng 24 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ B M S T ĐỐI TƢỢNG BỊ CHE KHUẤT 26 2.1 Kỹ thuật dựa histogram matching 26 2.2.1 Thuật toán dựa Histogram 26 2.2.2 Thuật tốn dựa biểu đồ tích lũy 28 2.2 Kỹ thuật dựa Template Matching 30 2.3.1 Vị trí đối tượng tốt 31 2.3.2 Đối sánh mẫu thích ứng 32 2.3 Kỹ thuật dựa vào đặc trƣng bất biến tỉ lệ (Scale Invariant Feature Transforms- SIFT) 33 2.1.1 Đặc trưng bất biến tỉ lệ 34 2.1.2 Trích chọn điểm bất biến tỉ lệ 35 2.1.3 Xây dựng mơ hình đặc trưng bất biến tỉ lệ 43 2.4 Kết luận chƣơng 45 CHƢƠNG 3: THỰC NGHIỆM 46 3.1 Bài toán bám sát đối tƣợng bị che khuất video 46 3.2 Phân tích yêu cầu thu thập liệu 47 3.3 Mơ hình chƣơng trình thử nghiệm môi trƣờng cài đặt 50 3.4 Kết thực nghiệm 51 3.5 Đáng giá thực nghiệm 53 3.5 Kết luận chƣơng 53 K T LUẬN 54 DANH MỤC TÀI LIỆU THAM KHẢO 56 QUY T ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) DANH MỤC CÁC CH VI T TẮT Từ viết tắt Từ viết đầy đủ A2G Area under Gaussians CHD Cumulative Histogram Difference CHP Cumulative Histogram Power CHS Cumulative Histogram Size DSSD Deconvolutional single shot detector D2G Difference between Gaussians HOG Histograms of Oriented Gradients ILSVRC2015 ImageNet Large Scale Visual Recognition Challenge in 2015 LCT Long-term Correlation filter Tracker LHA Linearized Histogram Area LHD Linearized Histogram Difference MACH Maximum average correlation height MACF Motion Aware Correlation Filter NCC Normalized Cross Correlation PSR Peak to Side lobe Ratio SAD Sum of Absolute Differences SSD Sum of Squared Differences SIFT Scale Invariant Feature Transform STC Spatio Temporal Context T2G Truncated Gaussians VSAM VOT Video Surveillance and Monitoring Visual Object Tracking DANH MỤC CÁC H NH ẢNH Hình 1 Sơ đồ quy trình phát che khuất dựa nhiều camera 10 Hình Kết thuật toán phát 12 Hình Kết phát 12 Hình Theo dõi đồng thời đối tƣợng [20] 13 Hình (1) Hình ảnh từ camera bãi đậu xe (2) Đầu mơ-đun trừ nền.14 Hình Theo dõi kết diện đối tƣợng bị che khuất 14 Hình Phát kiện tổng hợp nhiều camera kiện trộm cắp siêu thị 14 Hình Kết phát thu đƣợc từ việc khác biệt khung với khung 15 Hình Kết bám sát phát đối tƣợng với nhiều ngƣời 15 Hình 10 Vị trí đối tƣợng đƣợc đánh dấu tƣơng ứng hình 17 Hình 11 Minh hoạ trình so sánh ảnh 20 Hình 13 Minh họa keypoint 21 Hình 14 Mơ tả hoạt động máy dị đối tƣợng 22 Hình 15 Xác định vị trí góc giới hạn đối tƣợng 23 Hình 16 Tổng hợp góc 24 Hình Thuật tốn để tìm vị trí đối tƣợng tốt 32 Hình 2 Thuật tốn cập nhật mẫu 33 Hình Ghép ảnh định hƣớng đa tỉ lệ (Multi-Scale Oriented Patches) 35 Hình Trích xuất vá định hƣớng nhiều tỷ lệ (Extract oriented patches at multiple scales) 35 Hình Q trình tính khơng gian đo ( ) hàm sai khác D 36 Hình Quá trình tìm điểm cực trị hàm sai khác DoG 38 Hình Minh họa trình lựa chọn điểm keypoints 40 Hình Tạo mơ tả cục 43 Hình Mơ tả đối tƣợng khn mặt đối tƣợng ngƣời bị che đối tƣợng khác 46 Hình Khn mặt đối tƣợng tiger bị che khuất 47 Hình 3 Mơ tả bám sát cho đối tƣợng ngƣời tƣơng ứng với màu 47 Hình Sơ đồ quy trình phát che khuất dựa cách tiếp cận keypoint 50 Hình Giao diện chƣơng trình 51 Hình Lấy video đầu vào có ảnh sách bị che khuất bàn tay 52 Hình Xoay sách che khuất sách bàn tay 52 Hình Kết chƣơng trình phát đối tƣợng 53 MỞ ĐẦU Lý chọn đề tài Hiện nay, giới Việt Nam cách mạng công nghiệp lần thứ 4, với chất máy tính thay dần vài trò ngƣời việc điều hành công việc đời sống xã hội Xu phát triển cách mạng công nghiệp lần thứ 4, kéo theo nhiều lĩnh vực công nghệ thơng tin phát triển, có lĩnh vực xử lý ảnh thị giác máy Một toán quan trọng xử lý ảnh thị giác máy giám sát tự động dƣới hỗ trợ camera với vấn đề nghiên cứu: phát đối tƣợng, nhận dạng đối tƣợng, theo vết/ bám sát đối tƣợng video Giám sát tự động vấn đề đƣợc nhiều nhà nghiên cứu quan tâm đặc biệt ứng dụng thiết thực cho đời sống xã hội Chẳng hạn nhƣ hệ thống giám sát hành vi khả nghi tội phạm, khủng bố địa điểm nhạy cảm phủ Hệ thống giám sát viện bảo tàng, lƣu trữ để chống trộm cắp di vật đƣợc trƣng bày Hệ thống giám sát tƣợng bất bình thƣờng, vi phạm pháp luật, tai nạn điểm giao thông Hệ thống giám sát phòng chống hỏa hoạn Các hệ thống giám sát siêu thị, cửa hàng, công ty để chống trộm cắp v.v Hệ thống giám sát tự động đƣợc sử dụng để phát hiện, nhận bám sát đối tƣợng định cảnh Loại hệ thống chủ yếu đƣợc sử dụng ứng dụng nhƣ an ninh cho ngƣời, tòa nhà lớn, phát mục tiêu quân giám sát giao thơng thành phố Về bản, hệ thống ghi video đƣợc sử dụng để phân tích hậu kiện Trƣớc đây, ngƣời xem video loại hệ thống nói để kiểm tra, theo dõi hoạt động bất thƣờng Các hệ thống cung cấp đủ bảo mật nhiều vấn đề khác Từ giám sát video thụ động, ta cần sử dụng hệ thống video hiệu quả, tức giám sát phải nhanh chóng, đáng tin cậy sử dụng thuật toán mạnh mẽ để phát hiện, phân loại, theo dõi phân tích hoạt động đối tƣợng chuyển động Vì vậy, hệ thống phải nâng cao cảnh báo xuất kiện đáng ngờ Phát đối tƣợng chuyển động giai đoạn quan trọng để phân tích thơng tin video Việc phát đối tƣợng chuyển động video nhờ kỹ thuật xử lý ảnh thị giác máy, sở đốn nhận số hành vi đối tƣợng việc làm có ý nghĩa khoa học thực tiễn, bối cảnh Việt Nam phát triển đô thị thông minh Phát bám sát đối tƣợng video toán quan trọng giám sát tự động, đƣợc nghiên cứu từ lâu, dần đƣợc ứng dụng vào nhiều hệ thống giới thực nhƣ: hệ thống hỗ trợ lái xe, giám sát giao thơng, phân tích hiểu cảnh, xe tự lái v.v Tuy nhiên, phát đối tƣợng video nhiều thách thức áp dụng vào thực tế nhƣ vấn đề ảo ảnh, bóng đỗ quan trọng đối tƣợng bị che khuất Đối tƣợng bị che khuất đƣợc chia thành hai loại Thứ phần đối tƣợng bị che phần đối tƣợng khác Thứ hai, chồng lấp đối tƣợng lên trình theo vết hay bám sát đối tƣợng Nghiên cứu phát đối tƣợng bị che khuất video với hai trƣờng hợp đƣợc nhà nghiên cứu quan tâm, khả ứng dụng chúng hệ thống giám sát tự động lớn Với phân tích trên, luận văn lựa chọn đề tài nghiên cứu “NGHIÊN CỨU BÀI TOÁN BÁM SÁT ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO” Mục tiêu nghiên cứu - Tổng quan toán bám sát đối tƣợng bị che khuất video 44 đặc trƣng đƣợc gán cho nhiều hƣớng dựa hƣớng gradient ảnh Mọi phép toán xử lý bƣớc sau đƣợc thực liệu ảnh mà đƣợc biến đổi tƣơng đối so với hƣớng gán, so với kích cỡ vị trí điểm đặc trƣng Nhờ đó, tạo bất biến phép xử lý  Bộ mô tả điểm đặc trƣng (Keypoint Description): Các hƣớng gradient cục đƣợc đo ảnh có kích cỡ cụ thể vùng lân cận với điểm đặc trƣng Sau đó, chúng đƣợc biểu diễn thành dạng mà cho phép mô tả tầng quan trọng q trình bóp méo hình dạng cục thay đổi độ sáng Tập điểm đặc biệt thu đƣợc thƣờng phụ thuộc vào phép biến đổi nhƣ xoay, phóng to, thu nhỏ, tăng giảm cƣờng độ sáng… xem đặc trƣng mang tính cục ảnh Để đối sánh nhận dạng hai ảnh ta tìm tập keypoint giống hai ảnh, dựa vào hƣớng tỉ lệ để biết đối tƣợng ảnh gốc xoay, thu phóng so với ảnh đem đối sánh Cách tiếp cận thuật toán dựa vào điểm bất biến cục ảnh, chúng đƣợc trích xuất ra, đƣợc định hƣớng mô tả cho hai keypoint hai vùng khác khác Tuy nhiên yếu tố ảnh hƣởng không nhỏ đến tốc độ xử lý thuật toán số lƣợng keypoint đƣợc lấy khơng nhỏ Trung bình ảnh kích thƣớc 500 × 500 pixels trích xuất đƣợc khoảng 2000 điểm (số lƣợng điểm phụ thuộc vào tùy ảnh tham số lọc khác nhau) Số lƣợng điểm đặc trƣng có tầm quan trọng vấn đề nhận dạng đối tƣợng, để nhận dạng đối tƣợng nhỏ ảnh chứa tập hợp đối tƣợng hỗn độn cần điểm đặc trƣng giống để phát và bóc tách đối tƣợng [1], [2] 45 2.4 Kết luận chƣơng Trong chƣơng luận văn trình bày ba kỹ thuật phát theo vết đối tƣợng bị che khuất video kỹ thuật dựa vào đặc trƣng bất biến tị lệ SIFT, kỹ thuật dựa histogram matching kỹ thuật dựa template matching, sở đối tƣợng bị che khuất đặc trƣng trích chọn đƣợc khơng thay đổi Kỹ thuật dựa vào đặc trung bất biến tỉ lệ đƣợc đánh giá hiệu phát theo vết đối tƣợng trƣờng hợp đối tƣợng bị che khuất phần lớn đối tƣợng 46 CHƢƠNG 3: THỰC NGHIỆM 3.1 Bài toán bám sát đối tƣợng bị che khuất video Một toán quan trọng hệ thống giám sát tƣ động phát bám sát đối tƣợng bị che khuất Nhƣ phân tích chƣơng 1, đối tƣợng bị che khuất nhiều nguyên nhân nhƣ: tự thân đối tƣợng bị khuất, đối tƣợng bị che khuất đối tƣợng khác, đối tƣợng bị che khuất v.v Các kiểu đối tƣợng bị che khuất video hệ thống giám sát tự động đƣợc mơ tả hình 3.1 đến hình 3.3 Hình 3.1 mơ tả đối tƣợng khn mặt bị che khuất sách đối tƣợng ngƣời bị che đối tƣợng ngƣời khác Hình (a) mô tả đối tƣợng khuôn mặt bị che khuất đối tƣợng sách Hình (c) đối tƣợng ngƣời bị che khuất đối tƣợng ngƣời khác Hình Mô tả đối tƣợng khuôn mặt đối tƣợng ngƣời bị che đối tƣợng khác Hình 3.2 mơ tả đối tƣợng bị che khuất nền, hình (b) mơ tả khn mặt 47 bị che nền, hình (d) mô tả đối tƣợng tiger bị che khuất Hình Khn mặt đối tƣợng tiger bị che khuất Hình 3.3 mơ tả q trình bám sát đối tƣợng ngƣời bị che khuất tƣơng ứng với ba màu mô tả khác cho tốn mà luận văn đặt Hình 3 Mơ tả bám sát cho đối tƣợng ngƣời tƣơng ứng với màu 3.2 Phân tích yêu cầu thu thập liệu Phát bám sát đối tƣợng bị che khuất vấn đề khó khăn 48 trình theo dõi đối tƣợng camera giám sát Kỹ thuật phát hiên bám sát đối tƣợng bị che khuất video đƣợc phân tích đánh giá hiệu nhiều trƣờng hợp bị che khuất kỹ thuật dựa đặc trƣng bất biến cục SIFT Trong phần này, luận văn lựa chọn kỹ thuật cài đặt cho toán phát báo sát đối tƣợng bị che khuất kỹ thuật SIFT đƣợc trình bày chƣơng Dữ liệu thử nghiệm cho toán phát bám sát đối tƣợng bị che khuất luận văn lựa chọn: tập liệu đầu vào tập liệu video có đối tƣợng bị thay đổi độ chiếu sáng, góc nhìn, tỉ lệ, bị che khuất phần v.v Trong chƣơng trình liệu thử nghiệm liệu video đối tƣợng bị che khuất, để quan sát rõ trình bám sát đối tƣợng Luận văn thử nghiệm liệu toán nhƣ mơ tả phần 3.1 Để phân biệt keypoint với keypoint khác (2 keypoint) cần gán cho keypoint descriptor, keypoint khác phải có descriptor khác (descriptor chuỗi số gồm 128 số (vector 128 chiều) Đầu vào: ảnh video có chứa đối tƣợng bị che khuất Đầu ra: keypoint đối tƣợng bị che khuất Các bƣớc kỹ thuật SIFT đƣợc mô tả lại ngắn gọn nhƣ sau: Phát điểm cực trị (Scale-Space extrema detection): Bƣớc tìm điểm có khả làm điểm đặc trƣng tiềm năng, đểm phụ thuộc (bất biến) vào thu phóng ảnh xoay ảnh Định vị điểm đặc trƣng (keypoint localization): Từ điểm tiềm lọc lấy tập điểm đặc trƣng tốt (keypoints) Xác định hƣớng cho điểm đặc trƣng (Orientation assignment): Mỗi điểm đặc trƣng đƣợc gán cho nhiều hƣớng dựa hƣớng 49 gradient ảnh Mọi phép toán xử lý bƣớc sau đƣợc thực liệu ảnh mà đƣợc biến đổi tƣơng đối so với hƣớng gán, kích cỡ vị trí điểm đặc trƣng Nhờ đó, tạo bất biến phép xử lý Mô tả điểm đặc trƣng (Keypoint descriptor): Các hƣớng gradient cục đƣợc đo ảnh có kích cỡ cụ thể vùng lân cận với điểm đặc trƣng Tập điểm đặc biệt thu đƣợc thƣờng phụ thuộc vào phép biến đổi nhƣ xoay, phóng to, thu nhỏ, tăng giảm cƣờng độ sáng, xem đặc trƣng mang tính cục ảnh Để đối sánh nhận dạng hai ảnh ta tìm tập keypoint giống hai ảnh, dựa vào hƣớng tỉ lệ để biết đối tƣợng ảnh gốc xoay, thu phóng so với ảnh đem đối sánh Kỹ thuật dựa vào điểm bất biến cục ảnh, chúng đƣợc trích xuất ra, đƣợc định hƣớng mô tả cho hai keypoint hai vùng khác khác Tuy nhiên yếu tố ảnh hƣởng không nhỏ đến tốc độ thuật toán số lƣợng keypoint đƣợc lấy khơng nhỏ Trung bình ảnh kích thƣớc 500 x 500 pixels trích xuất đƣợc khoảng 1000 điểm (số lƣợng điểm phụ thuộc vào tùy ảnh tham số lọc khác nhau) Số lƣợng điểm đặc trƣng có tầm quan trọng vấn đề nhận dạng đối tƣợng, để nhận dạng đối tƣợng nhỏ ảnh chứa tập hợp đối tƣợng hỗn độn cần điểm đặc trƣng giống để phát và bóc tách đối tƣợng Đối với vấn đề xây dựng sở liệu ảnh thực nhận dạng đối tƣợng ban đầu thƣờng sử dụng SIFT để tạo hệ liệu đặc trƣng (keypoints) đƣợc trích xuất từ liệu ảnh gốc Sau với ảnh 50 đối tƣợng đem nhận dạng ta dùng giải thuật SIFT trích xuất tập đặc trƣng từ ảnh đem đối sánh với hệ liệu đặc trƣng để tìm tập keypoint giống nhau, từ nhận dạng đối tƣợng sở liệu ảnh ban đầu Tuy nhiên việc đối sánh cần chi phí đối sánh lớn sở liệu ảnh có số lƣợng lớn video có dung lƣợng lớn 3.3 Mơ hình chƣơng trình thử nghiệm mơi trƣờng cài đặt Mơ hình chƣơng trình thử nghiệm: Mơ hình chƣơng trình thử nghiệm kỹ thuật SIFT cho phát đối tƣợng bị che khuất luận văn đƣợc phát thảo nhƣ sau: Hình Sơ đồ quy trình phát che khuất dựa cách tiếp cận keypoint Môi trƣờng cài đặt: 51 Luận văn cài đặt thuật toán bám sát đối tƣợng bị che khuất dựa SIFT với môi trƣờng cài đặt nhƣ sau: - Cấu hình phần cứng: CPU: i5, 3230M, 2.6GHz; RAM:4 GBDDR4 (2 khe)2666 MHz; Ổ cứng: SSD 120GB; Màn hình:15.5"Full HD (1366 x 768); Card hình: Card rời NVIDIA GT 630, 2GB - Ngôn ngữ môi trƣờng cài đặt: Hệ điều hành: Windows 10 Pro; Ngôn ngư lập trình: C/C+; Mơi trường phát triển: Microsoft visual studio; Thư viện hỗ trợ: OpenCV 3.0 3.4 Kết thực nghiệm Giao diện chƣơng trình: Hình Giao diện chƣơng trình 52 Hình Lấy video đầu vào có ảnh sách bị che khuất bàn tay Hình Xoay sách che khuất sách bàn tay 53 Hình Kết chƣơng trình phát đối tƣợng 3.5 Đáng giá thực nghiệm Nhƣ với ảnh bị biến đổi phép xoay, phóng to thu nhỏ, co dãn che lấp phần, chƣơng trình đối sánh xác định vơi số lƣợng lớn cặp điểm đặc trƣng Điều cho thấy hƣớng tiếp cận keypoint bất biến với phép xoay, thu phóng khơng u cầu tính đầy đủ hoàn thiện ảnh Với hƣớng tiếp cận đối tƣợng phát với độ xác cao Tuy nhiên số lƣợng điểm keypoint lớn, chọn nhiều điểm đặc trƣng chƣơng trình gặp khó khăn việc đối sánh xác cặp điểm đặc trƣng 3.5 Kết luận chƣơng Trong chƣơng này, luận văn tiến hành cài đặt thử nghiệm thuật tốn đƣợc trình bày chƣơng hai Kết đạt đƣợc với độ xác cao Điều yếu tố (chủ quan khách quan) ảnh hƣởng tới trình nhận dạng Trong số trƣờng hợp bị che khuất kết đạt đƣợc tƣơng đối tốt, nhiên, cần phải phát triển khắc phục số hạn chế để đạt đƣợc kết tốt 54 K T LUẬN Nghiên cứu số kỹ thuật phát bám sát đối tƣợng bị che khuất, toán quan trọng hệ thống giám sát tự động Khi đối tƣợng bị che khuất, camera khơng nhìn thấy số phận tất đối tƣợng, làm cho việc bám sát đối tƣợng theo thời gian thực gặp nhiều khó khăn Luận văn nghiên cứu số kỹ thuật bám sát đối tƣợng bị che khuất video thu đƣợc từ camera Luận văn hệ thống hóa kiến thức vấn đề nghiên cứu nhƣ sau: - Luận văn trình bày tổng quan toán bám sát đối tƣợng bị che khuất video với nội dung: Dữ liệu video vấn đề xử lý video; Bài toán bám sát đối tƣợng bị che khuất sở phân loại kiểu bị che khuất khác nhau; Một số tiếp cận cho phát bám sát đối tƣợng bị che khuất video - Trình bày lý thuyết số kỹ thuật bám sát đối tƣợng bị che khuất dựa đặc trƣng bất biến cục bộ, dựa đối sánh histogram, histogram loại đặc trƣng bất biến quay, tỉ lệ dựa đối sánh mẫu Các kỹ thuật tƣơng ứng với tiếp cận cho tốn phát đối tƣợng bị che khuất - Xây dựng chƣơng trình thử nghiệm cho tốn bám sát đối tƣợng bị che khuất sở cài đặt thuật toán dựa đặc trƣng bất biến tỉ lệ SIFT với liệu thu thập từ internet liệu tự thu thập Kết thử nghiệm, bƣớc đầu đƣợc đánh giá hiệu cho đối tƣợng bị che khuất đối tƣợng khác bị cản môi trƣờng phức tạp Luận văn đạt đƣợc số kết định lý thuyết thực nghiệm Tuy nhiên, thời gian ngắn để thực đề tài luận văn, chắn chắn có nhiều sai sót chƣa thể đánh giá kỹ thuật nhƣ chƣơng 55 trình thử nghiệm cách tồn diện Luận văn tiền đề để thực nghiên cứu phát triển tiếp nhằm đƣa vào ứng dụng toán giám sát tự động thực tế 56 DANH MỤC TÀI LIỆU THAM KHẢO [1] Anandhakumar.P and Priyadharshini J (2011), “Occlusion detection and object tracking using filter banks”, in International conference on recent trends in Information technology, IEEE 2011 [2] Weiming Hu, Tieniu Tan, Fellow, IEEE, Liang Wang, and Steve MaybankA (2004), “Survey on Visual Surveillance of Object Motion and Behaviors”, in IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, VOL 34, NO 3, AUGUST 2004 [3] Collins R T., and al e (2000), "A system for visual surveillance and monitoring", in Carnegie Mellon University [4] David G Lowe (2004), “Distinctive Image Features from Scale-Invariant Keypoints”, in International Journal of Computer Vision 2004 [5] Hei Law, Jia Deng (2018), “CornerNet: Detecting Objects as Paired Keypoints”, in ECCV [6] I Laptev (2009), Improvements of object detection using boosted histograms, in Image and Vision Computing 27 (2009) 535–54 [7] K Levi, Y Weiss (2004), “Learning object detection from a small number of examples: the importance of good features”, in: Proc Computer Vision and Pattern Recognition [8] Khizer Mehmood, Abdul Jalil, Ahmad Ali, Baber Khan, Maria Murad, Wasim Ullah Khan and Yigang He (2020), “Context- Aware and Occlusion Handling Mechaním for Online Visual Object Tracking”, in Electronics 2021, 10.3390/electronics10010043 10, 43 https://doi.org/ 57 [9] Le T.-L., and Tran T.-H (2015), “Real-Time Abnormal Events Detection Combining Motion Templates and Object Localization”, Advances in Intelligent Systems and Computing, 341, Springer International Publishing, pp: 17-30 [10] M Everingham, L Van Gool, C Williams, A Zisserman (2006) , “The PASCAL Visual Object Classes Challenge 2006 (VOC2006)”, Results Available from: [11] M Everingham, A Zisserman, C Williams, L Van Gool, M Allan, C Bishop, O Chapelle, N Dalal, T Deselaers, G Dorko, S Duffner, J Eichhorn, J Farquhar, M Fritz, C Garcia, T Griffiths, F Jurie, D Keysers, M Koskela, J Laaksonen, D Larlus, B Leibe, H Meng, H Ney, B Schiele, C Schmid, E Seemann, J ShaweTaylor, A Storkey, S Szedmak, B Triggs, I Ulusoy, V Viitaniemi, J Zhang (2005), “The 2005 pascal visual object classes challenge”, in: Selected Proceedings of the First PASCAL Challenges Workshop [12] M.J Swain and D.H Ballard (1990), “Indexing via color histograms”, in DARPA90, pp 623–630 [13] P Viola, M Jones (2001), “Rapid object detection using a boosted cascade of simple features”, in: Proc Computer Vision and Pattern Recognition, Kauai Marriott, Hawaii [14] Q Zhu, M Yeh, K Cheng, S Avidan (2006), “Fast human detection using a cascade of histograms of oriented gradients”, in: Proc Computer Vision and Pattern Recognition [15] Salah Ameer (2019), “Histogram Matching Schemes for Image Thresholding”, in American Journal of Engineering and Applied Sciences · October 2019 58 [16] Shah M., Javed O., and Shafique K (2007), "Automated visual surveillance in realistic scenarios", IEEE Transactions on Multimedia, 14(1), pp: 30 – 39 [17] Tian Y., and al e (2008), "IBM smart surveillance system (s3): Event based video surveillance system with an open and extensible framework", Machine Vision and Applications, 19(5 - 6), pp: 315–327 [18] Wisarut Chantara, Ji-Hun Mun, Dong-Won Shin, and Yo-Sung Ho (2015), “Object Tracking using Adaptive Template Matching”, in in IEIE Transactions on Smart Processing and Computing, vol 4, no 1, February 2015 [19] Y Freund, R.E Schapire (1997), “A decision-theoretic generalization of on-line learning and an application to boosting”, in Journal of Computer and System Sciences 55 (1), 119–139 ... giám sát tự động lớn Với phân tích trên, luận văn lựa chọn đề tài nghiên cứu “NGHIÊN CỨU BÀI TOÁN BÁM SÁT ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO? ?? Mục tiêu nghiên cứu - Tổng quan toán bám sát đối tƣợng... 1.2 Bài toán phát đối tƣợng bị che khuất video 1.2.1 Đối tượng bị che khuất Đối tƣợng bị che khuất có nghĩa đối tƣợng muốn quan sát nhƣng khơng nhìn thấy đƣợc, thiết lập camera bị che số đối. .. đối tƣợng mắc vào xảy tƣợng bị che đối tƣợng Hiện tƣợng bị che khuất xảy đối tƣợng bị che khuất đối tƣợng cảnh Có nhiều thuật toán phát che khuất toán bám sát đối tƣợng từ video Vấn đề phát che