1071 nghiên cứu bài toán bám sát đối tượng bị che khuất trong video luận văn tốt nghiệp

BỘGIÁODỤCVÀĐÀOTẠO TRƢỜNGĐẠIHỌCQUYNHƠN ĐÀOTHỊ THUHẰNG NGHIÊNCỨUBÀITOÁNBÁMSÁTĐỐITƢỢNGBỊCHE KHUẤTTRONG VIDEO Chuyên ngành: Khoa học máy tínhMãsố:8480101 Ngƣờihƣớngdẫn:TS.LÊTHỊKIMNGA LỜICAMĐOAN Tơi xin cam đoan luận văn thạc sĩ Khoa học máy tính “Nghiên cứubài toán bám sát đối tƣợng bị che khuất video” cơng trình nghiên cứucủa riêng tơi với giúp đỡ tận tình giáo viên hƣớng dẫn TS.Lê Thị Kim Nga Trong tồn nội dung luận văn, điều đƣợctrình bày cá nhân tơi đƣợc tổng hợp từ nhiều nguồntàiliệu.Tấtcảcácnguồntàiliệuthamkhảođềucóxuấtxứrõràngvàhợppháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theoquyđịnhcholờicamđoannày BìnhĐịnh,ngày04tháng10năm2021 Họcviên ĐàoThịThuHằng LỜICẢMƠN Trƣớc tiên xin gửi đến lời cảm ơn chân thành sâu sắc đến cô TS.Lê Thị Kim Nga – nhiệt tình hƣớng dẫn, bảo suốt thời gian bắtđầu thực chođếnkhihồnthànhluậnvăncủa Tơi xin cảm ơn thầy cô khoa CNTT – Trƣờng Đại học QuyNhơn truyền đạt cho kiến thức chun sâu chun ngành đểtơicóđƣợcnềntảngkiếnthứcgiúp tơihồnthànhluậnvăn thạcsĩ Cuối cùng, xin cảm ơn đến ngƣời thân u gia đình cùngtồn thể bạn bè, đồng nghiệp ngƣời ln hỗ trợ giúp đỡ, khuyếnkhích,độngviêntơitrongthờigianhọctậpvànghiêncứutạiTrƣờngĐạiHọcQuy Nhơn Xin chân thành cảmơn! BìnhĐịnh,ngày04tháng10năm2021 Họcviên ĐàoThịThuHằng MỤCLỤC LỜI CAM ĐOANLỜICẢM ƠNMỤCỤ C DANH MỤC C C CHVI T TẮTDANHMỤCCCHNHẢNH MỞĐẦU 1 Lýdo chọn đềtài Mụctiêunghiên cứu Đốitƣợngvàphạmvinghiêncứu Phƣơngphápnghiêncứu Ýnghĩakhoa họcvà thựctiễn CHƢƠNG1 : T Ổ N G Q U A N V Ề B À I T O NB MS TĐ Ố I T Ƣ Ợ N G B Ị CHEKH UẤTTRONGVIDEO 1.1 Dữliệuvideo 1.1.1 Giớithiệu 1.1.2 Khái niệmvideo 1.1.3 Mộtsốbàitoántrên dữliệu video 1.2 Bàitoánpháthiệnđốitƣợngbịchekhuấttrongvideo .7 1.2.1 Đốitượngbị che khuất .7 1.2.2 Quytrình pháthiện chekhuất tronghệthốnggiámsáttựđộng .9 1.2.3 Sựphổbiến đốitượngbịchekhuất video 11 1.3 Mộtsốtiếpcậntrongpháthiệnđốitƣợngbịchekhuất 15 1.3.1 TiếpcậndựatrênHistogrammatching 15 1.3.2 TiếpcậndựatrênTemplatematching 19 1.3.3Tiếp cậndựa Keypoint .21 MỤCLỤC 1.4 Kếtluậnchƣơng1 24 CHƢƠNG2 : M Ộ T S Ố K Ỹ T H U Ậ T P H Á T H I Ệ N V À B Á M S Á T Đ Ố I TƢỢNGBỊCHEKHUẤT 26 2.1 Kỹthuật dựatrênhistogrammatching .26 2.2.1Thuậttoán dựatrên Histogram 26 2.2.2.Thuật tốndựatrên biểuđồtích lũy 28 2.2 Kỹthuật dựatrênTemplateMatching 30 2.3.1 Vịtríđốitượngtốtnhất 31 2.3.2 Đốisánhmẫuthíchứng .32 2.3 Kỹ thuậtdựa vàođặctrƣngbấtbiếntỉlệ(ScaleInvariantFeatureTransformsSIFT) 33 2.1.1 Đặctrưngbấtbiếntỉlệ .34 2.1.2 Tríchchọnđiểmbấtbiếntỉlệ 35 2.1.3 Xâydựng mơhình đặctrưngbất biến tỉlệ 43 2.4 Kếtluậnchƣơng2 45 CHƢƠNG3:THỰCNGHIỆM 46 3.1 Bàitốnbámsátđốitƣợngbịchekhuấttrongvideo 46 3.2 Phântích ucầu vàthuthậpdữliệu 47 3.3 Mơhìnhchƣơngtrìnhthửnghiệmvàmơitrƣờngcàiđặt 50 3.4 Kếtquảthựcnghiệm .51 3.5 Đánggiáthựcnghiệm .53 3.5.Kếtluậnchƣơng3 53 KETLUẬN 54 DANHMỤCTÀILIỆUTHAMKHẢO 56 QUYETĐỊNHGIAOĐỀTÀI LUẬNVĂNTHẠCSĨ(BẢNSAO) DANHMỤCCÁCCHV I T TẮT Từviếttắt Từviếtđầyđủ A2G Areaunder2Gaussians CHD CumulativeHistogramDifference CHP CumulativeHistogramPower CHS CumulativeHistogramSize DSSD Deconvolutionalsingleshotdetector D2G Differencebetween2Gaussians HOG HistogramsofOrientedGradients ILSVRC2015 ImageNetLargeScaleVisualRecognition Challengein2015 LCT Long-termCorrelationfilterTracker LHA LinearizedHistogramArea LHD LinearizedHistogramDifference MACH Maximumaveragecorrelationheight MACF MotionAwareCorrelationFilter NCC NormalizedCrossCorrelation PSR PeaktoSidelobeRatio SAD SumofAbsoluteDifferences SSD SumofSquaredDifferences SIFT ScaleInvariantFeatureTransform STC SpatioTemporalContext T2G Truncated2Gaussians VSAM VOT VideoSurveillanceandMonitoring VisualObjectTracking DANHMỤCCÁCHNHẢNH Hình1 S đ q u y t r ì n h p h t h i ệ n c h e k h u ấ t d ự a t r ê n m ộ t h o ặ c n h i ề u camera 10 Hình1.2.Kếtquảcủathuậttốnpháthiện 12 Hình 1.3.Kếtquảphát 12 Hình1.4.Theodõiđồngthời2đốitƣợng[20] .13 Hình (1) Hình ảnh từ camera bãi đậu xe (2) Đầu mơ-đun trừ nền.14Hình1.6.Theodõikếtquảvềsựhiệndiệncủađốitƣợngbịchekhuất .14 Hình1 P h t h i ệ n s ự k i ệ n t ổ n g h ợ p n h i ề u c a m e r a v ề s ự k i ệ n t r ộ m c ắ p trongsiêuthị 14 Hình1.8.Kếtquảpháthiệnthuđƣợctừviệckhácbiệtkhunghiệntạivớikhu ngnền 15 Hình1.9.Kếtquảbámsátvàpháthiệnđốitƣợngvớimộtvànhiềungƣời15 Hình1.10.Vịtrícủađốitƣợngđƣợcđánhdấutƣơngứngtronghình 17 Hình 1.11.Minh hoạquátrình so sánhảnh 20 Hình1.13.Minh họakeypoint 21 Hình1.14.Mơtảhoạtđộngmáydịđốitƣợng .22 Hình1.15.Xácđịnhvịtrícủamộtgócgiớihạnđốitƣợng 23 Hình 1.16.Tổng hợpgóc .24 Hình2.1.Thuậttốnđểtìmvịtríđốitƣợngtốtnhất 32 Hình2.2.Thuậttốncập nhậtmẫu 33 Hình2.3.Ghépảnhđịnhhƣớngđatỉlệ(Multi-ScaleOrientedPatches) 35 Hình2.4.Tríchxuấtcácbảnváđịnhhƣớngởnhiềutỷlệ(Extractorientedpatche satmultiplescales) 35 Hình 2.5.Qtrìnhtính khơnggian đo ()vàhàmsai khácD 36 Hình 6.Quá trìnhtìmđiểmcựctrị trongcác hàmsaikhác DoG .38 Hình2.7.Minhhọaquátrình lựachọn cácđiểmkeypoints 40 Hình2.8.Tạo mơ tảcụcbộ 43 Hình3.1.Mơtảđốitƣợngkhnmặtvàđốitƣợngngƣời bịchebởiđốitƣ ợngkhác 46 Hình3.2.Khnmặtvàđốitƣợngtigerbịchekhuấtbởinền 47 Hình3.3.Mơtảbámsátcho3đốitƣợngngƣờitƣơngứngvới3màu 47 Hình3.4.Sơđồquytrình phát chekhuấtdựacách tiếp cậnkeypoint5 Hình3.5.Giaodiệnchƣơngtrình 51 Hình3.6 Lấy videođầuvàocóả n h l q u y ể n s c h b ị c h e k h u ấ t b i bàn tay 52 Hình 3.7.Xoayquyển sáchvàchekhuấtquyển sách bàntay .52 Hình3.8.Kếtquảchƣơngtrìnhpháthiệnđốitƣợng 53 MỞĐẦU Lýdo chọnđềtài Hiện nay, giới Việt Nam cách mạng côngnghiệp lần thứ 4, với chất máy tính thay dần vài trị ngƣờitrong việc điều hành công việc đời sống xã hội Xu phát triển củacuộc cách mạng công nghiệp lần thứ 4, kéo theo nhiều lĩnh vực cơng nghệthơngtinpháttriển,trongđócólĩnhvựcxửlýảnhvàthịgiácmáy.Mộttrongnhững toán quan trọng xử lý ảnh thị giác máy giám sát tựđộng dƣới hỗ trợ camera với vấn đề nghiên cứu: phát đốitƣợng,nhậndạngđốitƣợng,theovết/bámsátđốitƣợngtrongvideo Giám sát tự động vấn đề đƣợc nhiều nhà nghiên cứu quan tâmđặc biệt ứng dụng thiết thực cho đời sống xã hội Chẳng hạnnhƣcáchệthốnggiámsátcáchànhvikhảnghicủatộiphạm,khủngbốởcácđịa điểm nhạy cảm phủ Hệ thống giám sát viện bảotàng, lƣu trữ để chống trộm cắp di vật đƣợc trƣng bày Hệ thốnggiám sát tƣợng bất bình thƣờng, vi phạm pháp luật, tai nạn cácđiểm giao thơng.Hệ thống giám sátphịng chống hỏa hoạn Cáchệt h ố n g giámsáttrongcác siêuthị,cửahàng,côngtyđểchốngtrộmcắpv.v Hệ thống giám sáttự độngđƣợc sử dụng để phát hiện, nhậnra vàb m sát cácđốitƣợngnhấtđịnhtrongmộtcảnh.Loạihệthốngnàychủyếuđƣợcsử dụng ứng dụng nhƣ an ninh cho ngƣời, tịa nhà lớn, pháthiệnmụctiêuqnsựvàgiámsátgiaothơngtrongcác thànhphố.Vềcơbản,nó hệ thống ghi video đƣợc sử dụng để phân tích hậu kiện Trƣớcđây, ngƣời xem video loại hệ thống nói để kiểm tra, theodõi hoạt động bất thƣờng Các hệ thống cung đủbảomậtbởinhiềuvấnđềkhácnhau.Từđóhơnlàgiámsátvideothụđộng,ta cấp cần sử dụng hệ thống video hiệu quả, tức giám sát phải nhanh chóng, đáng tincậy sử dụng thuật toán mạnh mẽ để phát hiện, phân loại, theo dõi vàphân tích hoạt động đối tƣợng chuyển động Vì vậy, hệ thống phải nângcao cảnh báo xuất kiện đáng ngờ Phát đốitƣợng chuyển động giai đoạn quan trọng để phân tích thơng tin video Việcpháthiệnracác đối tƣợngchuyển độngtrongvideonhờ kỹ thuật xử lýảnh thị giác máy, sở đốn nhận số hành vi đối tƣợng làmột việc làm có ý nghĩa khoa học thực tiễn, bối cảnh ViệtNamđangpháttriểnđôthị thôngminh Phát bám sát đối tƣợng video toánquan trọng giám sát tự động, đƣợc nghiên cứu từ lâu, vàđang dần đƣợc ứng dụng vào nhiều hệ thống giới thực nhƣ: hệthống hỗ trợ lái xe, giám sát giao thơng, phân tích hiểu cảnh, xe tự lái v.v.Tuy nhiên, phát đối tƣợng video nhiều thách thức ápdụng vào thực tế nhƣ vấn đề ảo ảnh, bóng đỗ quan trọng đối tƣợngbị che khuất Đối tƣợng bị che khuất đƣợc chia thành hai loại chính.Thứ phần đối tƣợng bị che phần đối tƣợngkhác Thứ hai, chồng lấp đối tƣợng lên trình theovết hay bám sát đối tƣợng Nghiên cứu phát đối tƣợng bị chekhuất video với hai trƣờng hợp đƣợc nhà nghiên cứuquan tâm, khả ứng dụng chúng hệ thống giám sát tựđộng rấtlớn Vớinhữngphântíchtrên,luậnvănlựachọnđềtàinghiênc ứ u “NGHIÊN CỨU BÀI TỐN BÁM SÁT ĐỐI TƢỢNG KHUẤTTRONGVIDEO” Mụctiêunghiêncứu - Tổngquanvềbàitoánbámsátđốitƣợngbịchekhuấttrongvideo BỊ CHE