Nghiên cứu phương pháp học máy cho nhận dạng hoạt động sử dụng cảm biến mang trên người

BỘTHƠNGTINVÀTRUYỀNTHƠNG HỌCVIỆNCƠNGNGHỆBƯUCHÍNH VIỄNTHƠNG NguyễnNgọcĐiệp NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁYCHONHẬNDẠNGHOẠTĐỘNG SỬDỤNGCẢMBIẾNMANGTRÊNNGƯỜI Chun ngành: Hệ thống thơng tinMãsố:62.48.01.04 TĨMTẮTLUẬNÁNTIẾNSĨKỸTHUẬT HàNội -2016 Cơngtrìnhđượchồnthànhtại: HọcviệnCơngnghệBưuchínhViễnthơng Ngườihướngdẫnkhoahọc: PGS.TS.TừMinhPhương TS PhạmVăn Cường Phảnbiện1:…………………………………………… Phảnbiện2:…………………………………………… Phảnbiện3:…………………………………………… LuậnánđượcbảovệtrướcHộiđồngchấmluậnáncấpHọcviệnhọptại: HọcviệnCơngnghệBưuchínhViễnthơng Vàohồi……….giờ………ngày……tháng……năm…… Có thể tìm hiểu luận án tại: Thư viện Học viện Cơng nghệ BưuchínhViễnthơng MỞ ĐẦU Tínhcấpthiếtcủa luậnán Nhờ vào tiến công nghệ nhu cầu ứngdụng năm gần đây, nghiên cứu nhận dạng hoạtđộngngườiđãcóđượcsựpháttriểnmạnhmẽ.Cónhiềubàitốn thực tế cần giải pháp dựa vào nhận dạng hoạt động đểtạoracáccáchthứctươngtácđa dạng, chủ động cung cấp cácdịchvụ trợ giúpngườidùnghồnthànhcơngviệc Hiệnnay,cóbacáchtiếpcậnphổbiếnđểgiảiquyếtbàitốn nhận dạnghoạtđộng,baogồm:nhậndạnghoạtđộngdựatrên thị giác máy tính, nhận dạng hoạt động dựa cảmbiến gắn môi trường xung quanh nhận dạng hoạt độngdựatrêncảmbiếnmangtrênngười.Hai cáchtiếpcậnđầuđềucó hạn chế hoạt động người dùng bị giới hạn trongmột môi trường cố định hệ thống cần triển khai,lắp đặt sẵn môi trường Các hạn chế rào cản choviệctriểnkhairộngrãicácứngdụngnhậndạnghoạtđộngngườitrongth ựctế.Cáchtiếpcậnthứbasửdụngcảmbiếnmangtheotrêncơthểngườiđã mởranhiềuứngdụngtiềmnăngtrongnhậndạnghoạtđộngdohoạtđộngcủan gườidùngkhôngbịgiớihạntrong không gian lắp sẵn thiết bị Cách tiếp cận nàymanglạikhảnăngcungcấpnhữngsựtrợgiúpthơngminh,giaotiếpảotại bấtkỳnơiđâuvàbấtkỳkhinào,thơngquaviệcquansátcác hoạtđộngtừgóc nhìn ngườidùng Bàitốnnhậndạnghoạtđộngngườinóichungvànhậndạnghoạ tđộngdựatrêncảmbiếnmangtheongườinóiriêng tiếp cận theo hai hướng, nhận dạng dựa trêntri thức nhận dạng dựa liệu Cách tiếp cận dựa trêntrithứccónhượcđiểmlàcầnnhiềuchiphívềthờigianvàkinhnghiệm chun gia để xây dựng tập luật suy diễn tốt,việccậpnhậttựđộngcácluậtlàkhơngkhảthidonguồndữliệuđầuvàothư ờngkhơngcócấutrúcvàlnbiếnđộng,đồngthờikhơng có khả xử lý thôngtintạmthờivàchưarõràng.Cách tiếp cận dựa liệu sử dụng quy tắc nhận dạngđược xây dựng dựa tập liệu hành vi người dùng lớncósẵnvàcáckỹthuật họcmáy,thốngkê.Dodựatrêndữ liệunên cách tiếp cận đảm bảo hệ thống cậpnhật quy tắc nhận dạng hoạt động cách tự động màkhông phụ thuộc vào tri thức chun gia có khả năngxửlýcácthơngtintạmthờivàchưarõràng.Đồngthời,hệthốngcũng có khả thích nghi cao tận dụng nguồn dữliệu có sẵn Chính vậy, cách tiếp cận quan tâmnghiêncứunhiềuhơnsovớiphươngphápnhậndạnghoạtđộngdựa trêntrithức Đề tài “Nghiên cứu phương pháp học máy cho nhậndạng hoạt động sử dụng cảm biến mang người” thựchiệntrongkhnkhổluậnántiếnsĩchunngànhhệthốngthơng tin nhằm góp phần giải số vấn đề tồn tạitrong phương pháp nhận dạng hoạt động sử dụng cảm biếnmangtrên người Mụctiêu,đốitượngvàphạm vi nghiêncứu Mục tiêu luận án nghiên cứu đề xuất sốphươngpháphọcmáynhằmtăngcườnghiệunăngchocáchệ thốngnhậndạnghoạtđộngsửdụngcảmbiếnmangtrênngười,cụ thể đề xuất phương pháp trích xuất đặc trưng vàhiệuquảcho nhậndạnghoạtđộng,vớihai mụctiêu:  Nghiêncứuvàđềxuấtphươngpháptríchxuấtđặctrưngcótốcđộnha nhchocácứngdụngnhậndạngmộtsốhoạtđộngriêng lẻ, với u cầu vềthời gian thựcvà chạy trêncácthiếtbịthôngminh mangtheo người  Nghiên cứu đề xuất phương pháp trích xuất đặc trưnggiúp nâng caođộ xáccho hệ thống cần nhận dạngnhiềuloạihoạtđộng Như vậy,các phương pháp học máysẽ sử dụngđểnghiêncứuvàđềxuấtcácphươngpháptríchxuấtđặctrưngmớit rongcáchệthốngnhậndạnghoạtđộngsửdụngcảmbiếnmang người Các phương pháp trích xuất đặc trưng cóthể phù hợp với hệ thống trợ giúp cá nhân thông minh nhỏgọnmangtheongười,nănglựcxửlýthấpvàyêucầuhoạtđộngtheo thời gianthực,hoặcphùhợpvớihệthốngcầnnhậndạngnhiều hoạt động người phức tạp Các hoạt động người baogồm hoạt động sống hàng ngày, hoạt độngsảnxuất,giảitrí,thểthao,làcácchuyểnđộngcủacơthểcóthểghinh ậnvàphânbiệtđượcbằngcáccảmbiếnmangtrênngười Cácđóng gópcủaluậnán Đóng góp thứ luận án đề xuất phươngpháp trích xuất đặc trưng đơn giản, hiệu dựa tínhiệucảmbiếnmangtrênngườichocácbàitốnnhậndạnghoạtđộngriê nglẻgọilàHALF Cácđặctrưngnàycó khảnăngtínhtốnnhanh,phùhợpchocáchệthốngdiđộngthơngminh nhỏ gọnvớinănglựctínhtốnthấp,đặcbiệtlàcáchệthốngđịihỏithờigianthự c.Cácđặctrưngnàychokếtquảcaokhiứngdụngtrong việc phân biệt hoạt độngngãvà hoạt động khác,sử dụngcảmbiến giatốc Đóng góp thứ hai luận án đề xuất phương pháptríchxuấtđặctrưngtựđộngcóđộchínhxáccaochonhiềuloạihoạt độngngườidựa học đặc trưng, gọi MPF Các đặctrưng đề xuất cải thiện độ xác trongnhậndạnghoạtđộngngườisovớicácđặctrưngđamứckiểucũmàcị ngiúploạitrừđượccáchạnchếvềmặttốcđộxửlý,đồngthời phùhợpđể nhậndạngnhiềuloạihoạt độngngười Đóng góp thứ ba luận án áp dụng phương pháptrích xuất đặc trưng đề xuất để xây dựng ứng dụng nhậndạnghoạtđộngngườicótínhkhảthitrongthựctế,baogồm:phát ngã thời gian thựcvàxác thực người dùng sửdụng chữ ký 3D Hệ thống phát ngã sử dụng cảmbiến đeo người rẻ tiền, dễ triển khai, phát hiệnngã thời gian thực Hệ thống xác thực điện thoạithông minh xác thực người dùng thơng qua hành động“ký tên” không gian (gọi chữ ký 3D) thời gianthực Bốcục luậnán Nội dungluậnánđượcxâydựngthànhbốnchương Chương 1.Giới thiệu tổng quan nhận dạng hoạtđộng sử dụng cảm biến mang người, bao gồm giới thiệuchung nhận dạng hoạt động người, loại cảm biến, cáchoạtđộngngườivà kiếntrúc hệthốngnhậndạnghoạtđộ ng Cuối phân loại phương pháp trích xuất đặc trưngcùngnhữngưunhượcđiểmtrongtừngphươngpháp.Từnhữngcơs ởnghiêncứunàysẽxácđịnhrõhướngnghiêncứucủaluậnán Chương2.TrìnhbàyphươngpháptríchxuấtđặctrưngHALF Nộidungtrìnhbàytrongchươngnàyđượctổnghợpdựatrênkếtquảcáccơngt rìnhnghiên cứusố1,số 2,số 4và số Chương3.TrìnhbàyphươngpháptríchxuấttựđộngM PFnhờhọcđặctrưng.Nộidungtrìnhbàytrongchươngnàyđượctổng hợptừkếtquảcơngtrìnhnghiêncứusố7củatácgiả Chương 4.Trình bày hai ứng dụng nhận dạng hoạtđộngngười.Nộidungtrìnhbàyđượctổnghợpdựatrênkếtquảcáccơ ngtrình nghiêncứusố 4,số vàsố6 củatác giả Cuốicùnglàmột sốkếtluậnvềluậnán CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HOẠTĐỘNGSỬDỤNGCẢMBIẾNMANGTRÊNNGƯ ỜI 1.1 Kiếntrúchệthốngnhậndạnghoạtđộngngười Nhận dạng hoạt động người q trình giám sát vàphân tích hành vi người dùng trạng thái môi trường xungquanhnhằmsuydiễn/nhậndạngcáchoạtđộngđangxảyra.Mộttrong mục tiêu nhận dạng hoạt động cung cấpthông tin hành vi người dùng, từ cho phép hệ thốngtínhtốn chủđộnghỗ trợ người dùngtrongcơngviệc Một hệ thống nhận dạng hoạt động người nói chung nhậndữ liệu đầu vào liệu thô lấy từ cảm biến thơngthườnggồmcácbướcnhưsau:tiềnxửlý,phânđoạn,tríchchọn đặctrưng(gồmtríchxuấtđặctrưngvàlựachọnđặctrưng),huấnluyệnvà phân lớp hoạtđộng(xemhình 1.1) Dữ liệu cảm biến Tiền xử lý Trích/ chọn đặc trưng Huấn luyện Phân đoạn /Phân lớp Hoạt động Hình1.1.Kiếntrúchệthốngnhậndạnghoạt độngngười 1.2 Cácphươngpháptríchxuấtđặctrưng 1.2.1 Tríchxuất đặctrưngtheotri thứcchungia Tínhiệugiatốclàtínhiệucómức độdao độnglớn, dođórấtkhó cóthểnhậndạngnhữngmẫucơbảnkhichỉsửdụngcácgiátrịthơcủatínhiệuchưaxửlý.Hầuhếtcác hệ thốngHAR thời sử dụng đặc trưng theo miền thời gian hoặctầnsố.Phươngpháptríchchọnđặctrưngthườngđượcsửdụnglàtín htốncácđạilượngthốngkêtrựctiếptrêndữliệuthơđầuvàocủacảm biến, độc lập khung liệu phânđoạnbởicửasổtrượt.Cácđạilượngthốngkêphổbiếnnhấtbaogồm: trung bình, độ lệch chuẩn, phương sai, lượng, trungbìnhđạohàm,khoảngtứphânvị,entropy,tươngquangiữacáctrục, skewness, độ nhọn (kurtosis) Trong miền tần số, cácphương pháp biến đổi Cô-sin rời rạc (Discrete CosineTransform) biến đổi Fourier (Fourier Transform) ápdụngvàmanglạinhữngkếtquảkhảquan.Cácđặctrưngthốngkê sử dụngnhiềunhất nghiên cứu dotính tốnđơn giản hiệu cao nhiều toán nhận dạnghoạt độngngười Trong trường hợp toán phân biệt ngã hoạtđộng khác đặc trưng thống kê nêu lại không hiệuquả Lý ngã số hoạt động tương tự ngã khác nhưđứngngồi,ngồinằm,nhảy,…cótínhiệuvớitínhchấttươngtựnhau vàdễgâynhầmlẫn.Cáchtiếpcậntruyềnthốngdựatrênngưỡng có khả phát ngã nhanh, đơn giản tươngđối xác, lại thường bị tỉ lệ cảnh báo giả cao vàtrong nhiều tình lại khơng hiệu quả, dẫn tới khả năngkháiqthóathấp.Đểtăngtínhkháiqthóavàhiệuquảphânbiệtngã thìcáccáchtiếpcậndựatrênhọcmáygầnđâynhưđềxuấtsửdụngcáctậpgồmnhiềuđặctrưngthống kê phức tạphơn.Tuyvậy,độphứctạpcủatậpđặctrưnglớndẫntớitínhkhảthicủacác phươngphápnàybịhạnchếdokhócóthểtínhtốnnhanhtrênhệthốngcónăng lực xử lý thấp thời lượng pinngắnnhưđasốcácthiếtbịtrợgiúpcánhândiđộngthơngminhmangthe ongười,đặcbiệtlàcáchệthốngđịihỏithờigianthực.Dođó,chúngkhócóth ểứngdụngđượctrongthựctếhiệnnay,khingườidùngcầnsựthuậntiệnca ovớicácthiếtbịdiđộngtrợgiúpcánhânthơngminh,nhỏgọn.Đâychínhlà mộtvấnđềtồntại nghiêncứunhận dạnghoạt độngsử dụng cảm biếnmang người, làcần phải có phương pháp biểu diễnđặctrưngmới, hiệu phân biệt tốt ngã hoạtđộng khác có đặc tính liệu tương tự, có khả tính tốnnhanh để chạy hệ thống yêu cầu xử lý theo thờigian thực bị hạn chế tài nguyên Vấn đề tồn sẽđượcbànluận giảiquyếttrongchương2 1.4.2.Tríchxuấtđặctrưngtựđộngbằnghọcđặctrưng Các đặc trưng dựa tri thức chuyên gia thốngkê thường sử dụng hệ thống nhận dạng hoạtđộng tính đơn giản hiệu Tuy nhiên, chúng hoạtđộnghiệuquảkhiứngdụngđểphânbiệtmộtsốhoạtđộngđơngiản, cụthểmàkhôngđápứngđượckhicầnphânbiệttậpcáchoạt động sống hàng ngày (ADL -Activities of Daily Living)nhiều đa dạng Một cách tiếp cận cho vấn đề sửdụngmộttổhợpcácđặctrưngthốngkêphứctạphơn.Tuynhiêncáchtiếpcậ nnàylàmtăngchiphívàgâykhókhănchoviệcxâydựnghệ thốngnhận dạnghoạtđộngngười Một phương pháp khác hiệu sử dụng học đặctrưng, nghĩa tìm cách tối ưu hóa hàm mục tiêu để “bắtđược”sựphùhợpcủacácđặctrưngchomọidữliệu.Cáchtiếpcậnn àycóthểtìmđượcmộtbiểudiễnđặctrưngchungchomọidữliệu,đồngthời rấtkhảquantrongviệccảithiệnđộchínhxácnhận dạng Các phương pháp khác thử nghiệm có kếtquảtốttrongnhậndạnghoạtđộngngườinhư:PCA,ECDFdựatrênPC A,họcđặctrưngsửdụngcáckỹthuậthọcsâuvớiCNNvàhọcđặctrưngdựavào phươngpháptúitừ(BoW–BagofWord) Học đặc trưng dựa vào BoW tạo đặc trưng đamức.Cóthểhiểurằngcácđặctrưngnàyđượcxácđịnhbằngtổhợpcủa cácđặctrưngcơsởcủachuyểnđộngcơthểngười.Đặctrưngđamứckhơng qđịihỏinănglựcxửlýcaonhưcácđặctrưngdựatrên học sâu Đặctrưng đa mức đượctínhthơngquacác bước: phân cụm liệu sử dụng phương pháp phâncụm để tính thống kê xuất nhóm cửasổtrượt,sauđócácđặctrưngcóýnghĩađượctạonênthơn g sangbênvềcơbảncóphânphốixácsuấttươngtựnhau.(2)Sosánh ngã với hoạtđộngkháclàđứng, bộ, chạy bộ, nhảy,ngồi, cầu thang, phân phối xác suất theo góc hoạtđộng khác hẳn nhau, trừngãvàngồi Điều cho thấyviệc sử dụng phân phối tần suất góc mảnh tín hiệu nốihai điểm giúp phân biệt nhiều hoạt động.Ngồivàngãcó phân phối xác suất gần giống có tính chất tínhiệu giatốctươngtự 2.2 CácđặctrưngHALF ĐặctrưngHALF(HistogramsofAnglesofLineFragment s between Two Consecutive Points) đề xuất vớiýtưởnglàvớicácloạichuyểnđộngkhácnhau,biểuđồtínhiệugiatốcs ẽcóhìnhdạngthayđổikhácnhau.Đặctrưngvềsựthayđổigiatốctrongmộtc ửasổthờigiancủatínhiệugiatốccóthểđượcnắmbắtthơngquathốngkê,ph ânphốivềtầnsuấtgóccủacácđoạn nốihaiđiểmdữ liệu liêntiếp Thuật tốn trích xuất đặc trưng sau Đầu tiên, mỗikhungtínhiệuđượcchiathànhcácmảnhnhỏhơn(quantum)cóđộ dàil.Góc mảnh tạo véc-tơ nối điểm dữliệu đầu cuối mảnh với trục ngang thời gianxnhư trênhình2.6.Saukhitínhtốngóccủamỗimảnh,cầnthựchiệntínhmột phân phốitầnsuất(histogram) góc nhờ việc chiatồn khoảng giá trị góc sang dạng khoảng, gọi cácngăn,vàđếmsốcácmảnhcógócthuộctừngngăn.Khoảnggiátrịcủa ngănđượchọcthơngquaviệcsửdụngcácphươngphápphâncụmnhưk -meansđểnhómcácgóccủamảnhtrongcác khungtrongtậphuấnluyệnthànhMcụm.Phânphốitầnsuấtđãtạocó thểđược sửdụnglàmđặc trưngchokhungđangxét Hình2.6.Ví dụvềmộtmảnh(quantum)vàhướngcủanó Để nắm thơng tin vị trí tương đối mảnhtrong cửa sổ, cần áp dụng thuật tốn trình bày choKđoạndữliệunhỏhơnliêntiếpnhautrênkhungdữliệuđểtạoracác véc-tơ đặc trưng cục Véc-tơ đặc trưng khungđược tạo cách nốiKvéc-tơ đặc trưng cục từKđoạntrongkhung Dotốcđộlấymẫuchocáchoạtđộngsửdụngcảmbiếngiatốcthư ờngtừ50Hzđến100Hz,nghiêncứunàychỉsửdụngmảnhvớiđộdàibằngl =1.Haithamsốcịnlạicóthểxácđịnhđượcthơngquathực nghiệmhaytốiưuhóa Trong trường hợp gán nhãn liệu đầu vào, độ phứctạpthuậttoánbằngtổngđộphứctạpthuậttoáncủatấtcảcá c bước trừ bước phân cụm Độ phức tạp cho tìm kiếm gán cụmchỉmấtO(logM)vàthựctếsốcụmMnhỏhơn100nênđộphứctạpsẽ O(N) 2.3 Thửnghiệm 2.3.1 Phươngpháppháthiệnngười ngã Thuật toán đề xuất thực phát ngã cáchphân loại cửa sổ tín hiệu hoạt động thành “ngã” hoặc“khơngngã”.Dữliệuđầuvàolà3luồngtínhiệugiatốctheobatrụcx,y ,z.Thuậttốnpháthiệnngãgồm3bước:phânđoạndữliệu,tríchxuấtđặctrư ngvàphânlớp.Trongbướcphânđoạndữliệu,cầnthửnghiệmcáckhungcửasổtrượt với kích thướckhác để tìm giá trị tối ưu Các đặc trưng HALF từ mỗikhungđượctríchxuấtvàsauđóđượcdùnglàmdữliệuđầuvàochobộ phânlớp SVMdùngcho pháthiện ngã Do liệu huấn luyện cho mơ hình phát ngãmất cân dễ gây tượng vừa liệu, nghiêncứu sử dụng phương pháp SDC tác giả Akbani, giúpSVMcó thể hoạtđộnghiệuquả Cácđộđođượcsử dụnggồmđộchínhxác (accuracy), độnhạy(sensitivity),độđặchiệu(specificity) Accuracy  TPTN TPFPTNFN Sensitivity Specificity (2.1) TPT PFN (2.2) TN TNFP (2.3) 2.3.2 Tậpdữliệuthửnghiệm Phương phápđềxuấtđượcđánhgiáthửnghiệm trên3tậpdữliệungãcôngkhai,đượcsửdụngnhiềutrongcácnghiên cứu ngã, bao gồm: tập liệu DLR, MobiFall2, tFall Cáctậpdữliệu trênchứa nhiềudữliệucảmbiếnvề cácsựkiệnngãvà hoạtđộngthườngngàykhác.Sauquátrìnhtiềnxửlý,thuđược 2771 khung ADL 36 khung liệu ngã từ tập liệuDLR,1832khungADLvà288khungdữliệungãtừMobiFall2,và781 6khungADLvà 503khungdữliệu ngãtừtFall 2.3.3 Kếtquảthửnghiệmvàđánhgiá Phương pháp đề xuất (pp3) so sánh với baphương pháp khác đề xuất Pham cộng (pp1),Jantaraprim cộng (pp2) Özdemir (pp4), tậpdữ liệu Các kết mô tả bảng 2.3 trìnhbàyvớicấutrúcđộchính xác trungbình± độlệch chuẩn Bảng2.3.Các kết quảpháthiệnngãtrên3tậpdữliệu Phươngpháp (pp1) (pp2) (pp3) (pp4) DLR MobiFall2 tFall 98,11%± 96,51%± 95,62%± 0,20% 0,41% 0,53% 98,83%± 96,22%± 96,18%± 0,50% 0,34% 0,46% 99,93%± 99,20%± 98,70%± 0,08% 0,45% 0,32% 99,27%± 98,76%± 97,92%± 0,19% 0,23% 0,41% Kết phương pháp đề xuất có kết quảcaonhấttrêncả3tậpdữliệu.Mứctăngcủađộchínhxácvớiphương pháp đề xuất so với (pp1) (pp2) đáng kể 3tậpdữliệu,cịnsovới(pp4)làxấp xỉ Đồng thời, theo liệutốcđộnhưbảng2.4vàphântíchvềđộphứctạpthuậttốn,có số thể thấy phương pháp trích xuất đặc trưng HALF cókhả tính tốn nhanh độ phức tạp thấp, phù hợp với cácthiếtbịtrợgiúpcá nhânthơngminh,cóucầuxửlýthờigianthực Bảng2.4.Tốcđộphát hiệnngãtrêntậpdữliệutFall Phươngpháp TậpdữliệutFall(1000mẫu) (pp1) 2,86giây (pp2) 1,15giây (pp3) 3,01giây (pp4) 15,02giây CHƯƠNG3:HỌCCÁCĐẶCTRƯNGĐAMỨCMPF 3.1 Giới thiệu Chương đề xuất phương pháp thay để xâydựng tập từ vựng chuyển động (motion vocabulary) thựchiệngáncácbiểudiễnđặctrưngbằngcáchsửdụngmộtkếthợplượngnhỏ cáccâyquyết địnhhayđượcgọilàmotionprimitiveforests(MPF).MPFhoạt độnggiốngnhưcáccâyphânnhómthơng qua việc nhóm mơ tả cục tương tự nútlá Quá trình định hướng nhãn hoạt độngvànhanhhơnnhiềusovớik-means Lợi việc sử dụngcụmcâyquyếtđịnhtrongviệchọctừvựng(vocabulary/codebook) minh chứng nghiêncứuxửlýảnh,nhưngđâylàlầnđầutiênđượcápdụngchonhậndạng hoạt độngdựatrêncảmbiến.Đềxuấtthứhailàxâydựngcácđặctrưngcụcbộmớiđơngiản,phùhợpkhi sửdụngvớiMPF.Cácđặctrưngnàylàcácgiátrịbaogồmnhữnggiátrịthô chưa xử lý điểm liệu giá trị tổng, hiệu của2 điểm liệu Những giá trị tính tốn nhanh, đồngthờicóthểgiúpchonhậndạnghoạtđộngchínhxácnhưcácđặctrưngc ục phứctạp khác 3.2 PhươngpháphọcđặctrưngMPF Hình 3.1 (a) lát tín hiệu (slice) phân đoạn từ mộtkhung hoạt động (frame) với độ chồng lấn 50%, (b) cácđặctrưngđượctríchxuấttừmỗiláttínhiệu,(c)MPFvớivai trị từ vựng chuyển động, (d) phân phối tần suất củachuyểnđộnggốc(motionprimitivehistogram) Đầu vào chuỗi liệu cảm biến liên tục chiều.Bằng cách sử dụng cửa sổ trượt, chuỗi liệu cảm biếnliên tục phân đoạn thành khung có kích thước bằngnhau, chiều dài chúng có thời lượng dài hơnkhoảng thời gian cho hoạt động Mỗi khung sau đósẽ phân chia thành lát tín hiệu (hay slice) bằngnhau(cóthểchồnglấn)đểmỗiláttínhiệunhỏhơnnhiềusovới khung (frame) (hình 3.1(a)) Từ lát tín hiệu, tríchxuất đặc trưng để tạo thành véc-tơ đặc trưng cục bộ.Tronggiaiđoạnhuấnluyện,nếumộtkhungchứamộthoạtđộngthì nhãn củahoạtđộngđósẽđượcgánchotồnbộkhungcũngnhưcácláttínhiệucủanó.Trongphadựđốn, bàitốntrởthànhdựđốnnhãn lớphoạt độngcho khung Cácvéc-tơđặctrưngcụcbộtừtấtcảcáclớphoạtđộng(và lớp nền) đượchuấnluyện,sauđóđượcgộplạivớinhauvàlượngtửhóađểtạothànhtừvựngchuyểnđộnggốc (motionprimitivevocabulary)haylàbộmã(codebook).Đâylàqtrìnhgán mộtchỉsốchomỗivéc-tơđặctrưngcụcbộđểcácvéc-tơđặc trưng tương tự có xác suất cao có chung chỉsố Phương pháp đề xuất sử dụng MPF (motionprimitive forests), rừng ngẫu nhiên sử dụng để phâncụm ánh xạ véc-tơ đặc trưng cục thành chuyển độnggốc(hình 3.1(c)) Rừng ngẫu nhiên MPF xử lý nút từ câynhư chuyển động gốc riêng biệt Nói cách khác, nútláxácđịnhmộtphânvùng,vàmỗinútlátươngứngvớimộtcụm véc-tơ đặc trưng cục tương tự Đối với mỗivéc- tơđặctrưngcụcbộđầuvào,MPFtrảvềmột tậpcácchỉsốcủa nút lá, chỉsốnằmtrongmộtcây.Cácchỉsốnútlánàyđượcdùngđểtạothànhvéc-tơmã(codevector)như minhhọa hình 3.3, “1” véc-tơ đầu vào ánhxạtươngứngvớichuyểnđộnggốc Hình 3.3 Véc-tơ mã (code vector) tạo từ rừng ngẫunhiênvới3câychomộtvéc-tơđặctrưngcụcbộ.Đườngdẫnđếncácnútlá kết đượchiểnthịbằngmàuvàng Các rừng ngẫu nhiên MPF, có tốc độ phân cụm nhanhhơnk-means phương pháp gán theo hàng xóm gần nhất.Đồngthờicókhảnăngsinhracácchuyểnđộnggốccóđộphânbiệt cao kể có số lượng lớn lát tín hiệu khơngnằmtrongcáckhungcóchứahoạtđộng(backgroundslice).Kếtquả có chủ yếu nhãn hoạt động dùngtrongviệcđịnhhướngxâydựngcáccâyquyếtđịnh.Trongbướctiếptheo, cácchuyểnđộnggốcđượchọcbởiMPFđượckếthợpvớimơhìnhtúitừthơngqua tổnghợpcácvéc-tơmãcủatấtcảcácláttínhiệuthuộcvềmộtkhungđểtạothànhvéc-tơphânphối tần suất chuyển động gốc cho khung (Hình3.1(d)).Véctơphânphốitầnsuấtsaukhiđãchuẩnhóađượcsửdụnglàmđặc trưngcủa khungtrongbộphânlớp cuốicùng Đặctrưngcụcbộđềxuấtucầurấtíthoặckhơngcầntínhtốn bởivìchúnglà giátrịthơ chưa xửlýcủa cácđiểmdữ liệuhoặclàcáctổnghayhiệucủagiátrịcủa2điểmdữliệu.Cácđặctrưngđơn giảnnày,khiđượckếthợpvớiMPF,sẽcungcấpđộchínhxáccóthểsosánhđược vớicácđặctrưngphứctạphơn,trongkhichi phítínhtốn lạithấphơnnhiều Độ phức tạp thời gian chạy cho việc gán nhãn mộtđặc trưng cục rừng vớiTcây làO(TlogN) Trongtrườnghợpởđâysốcâynhỏ hơn10(xemthựcnghiệm)nêncóthể bỏ qua, dẫn tới độ phức tạp yêu cầu làO(logN), nhanh hơnnhiềuso vớik-meansvớiđộ phứctạpthuậttoánlàO(kp) 3.3 Tậpdữliệuthửnghiệm CáctậpdữliệuthửnghiệmbaogồmActivityPrediction(AP),Oppo tunity(OP)vàSkoda(SK),chứadữliệugiatốcchocác hoạt động hàng ngày sản xuất, sử dụng rộngrãitrongnhiềunghiên cứuvềnhận dạnghoạtđộngngười 3.4 Thửnghiệmvàkếtquả Độ đo dùng độ xác tổng thể, tínhbằngtỷlệ sốkhungđượcphânloại đúngtrêntổngsốkhung a) So sánh với phương pháp học đặc trưng sử dụngkmeansThửnghiệmnàyđểsosánhMPFvớiphươngpháphọc đặctrưngdựatrênk-means,trongviệcxâydựngtừvựngvàtìmkiếm hàng xóm gần để gán chuyển động gốc Kết sosánhchothấymứccảithiệnvềđộchínhxáctănglênkhánhiềukhi dùng phươngphápMPF.Đồngthời,kếtquảcũngchothấyrằngtrongkhiMPFcóthờigianchạytăng khơng đáng kể khikích thước từ vựng tăng lên, thời gian chạy củak-means lạităngtuyếntính.Với kíchthướclà200,thờigianchạycủak -