Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

BỘGIÁODỤC VÀC VÀĐÀOTẠOO ĐẠIIHỌCĐÀNẴNGCĐÀNẴNGNG HỒNGLÊ UN THỤC PHÂNTÍCHTHƠNGMINHTÍNHIỆUVIDEOUVIDEOHỖ TRỢ CHOHỆ THỐNG CHOHỆUVIDEO THỐNGNG GIÁMSÁTCHĂMSĨCSỨCCKHỎEE Chuyên ngành: KHOA HỌC MÁYC MÁY TÍNHMãsố: 62 48 01 01: 62 48 01 01 TĨMTẮTLUẬNTLUẬNNÁNTIẾNSĨNSĨKỸTHUẬNT ĐàNẵng2017ng2017 Cơngtrìnhđượcchồnthành tại:i: TRƯỜNGNGĐẠIIHỌCĐÀNẴNGCBÁCHKHOA-ĐẠIIHỌCĐÀNẴNGCĐÀNẴNGNG Ngườiihướngngdẫnkhoahọc:nkhoahọc:c: 1) GS.TS.Jenq-NengHwang 2) PGS.TS.PhạmmVănTuấnn Phảnnbiệnn1:……………………………………………… Phảnnbiệnn2:………………………………………………… Phảnnbiệnn3:………………………………………………… Luận án bảo vệ trước Hội đồng chấm luận án n án đượcc bảno vện trướngc Hội đồng chấm luận án i đồng chấm luận án ng chấm luận án m luận án bảo vệ trước Hội đồng chấm luận án n án cấm luận án pTrườinghọc:ptại:i:Đại:ihọc:cĐà Nẵngng Vàohồng chấm luận án i… giời .ngày tháng………năm……… Cóthểtìmhiểuluậnnán tạmi: - ThưviệnnQuố: 62 48 01 01cgia - TrungtâmThơngtin– Học:cliệnu,Đại:ihọc:cĐàNẵngng MỞĐẦU Đặtvấnđề Già hóa dân số xu hướng diễn tất khuvực vàquốcgiatrênthếgiới,trongđócónướcta.Mặttráicủagiàhóa bệnh tật liên quan đến tuổi tác xuất ngày nhiều Dođó, yêu cầu cấp bách đặt cần phải tìm biện pháp phát hiệnsớm chứng bệnh nóitrên nhằm can thiệp y khoa kịp thời Hiện nay, hướng nghiên cứu vềhệ thống giám sát chăm sóc sức khỏeHMS(HealthcareMonitoringSystem) dùngkỹ thuật phân tích thơngminhtính iệu v id eoI VA( IntelligentVideoA nalytics)đa ngnh ận đ ợcrấtnhiềusựquantâmvàđãđạtnhiềuthànhtựuđángkhíchlệ.Tuynhiên, IVA đối mặt với số thách thức vấn đềgócquay,che khuất,phân vùng đốitượng,mơtả hành động,v.v Xuất phát từ tình hình trên, tốn“Phân tích thơng minh tín hiệuvideo hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe ”được chọn làmđề tài nghiêncứucủacủaluậnán Mụcđích,đốitượngvàphạmvinghiêncứu +Mụcđíchnghiêncứu:cảithiệnhệthốngsửdụngkỹthuậtIVA(cịngọilàhệthốn g IVA) để phùhợpvớicácứngdụng: - Pháthiệnténgãvàdựđốnnguycơténgãdodángđibấtthường - Pháthiệnhànhđộngbấtthường +Đốitượngnghiêncứu: - CáckhốixửlýtínhiệutronghệthốngIVA - CácứngdụngcủakỹthuậtIVAvàohỗtrợhệthốngHMS +Phạmvinghiêncứu: - Tiếpcậntheophươngpháptruyềnthống:hệthốngIVAcóhaikhâulàtríchđặc trưngvànhậndạng - Sửdụngmộtcamera2Dgắncốđịnh,mơitrườngquaytrongnhà,nềntĩnh,tr ongcảnhquaychỉ cómột người - Cáckịchbản: (1)ngườithamgiađangthựchiệncáchoạtđộngthơngthườngthìbịté,hoặc( 2)đibộvớicáckiểudángđibệnhlýkhácnhau, hoặc(3)thựchiệnmộthànhđộngnàođótrongsuốtcảnhquay Phươngphápnghiêncứu Phươngphápkếthợplýthuyếtvàthựcnghiệm Cấutrúccủaluậnán - Mởđầu - Chương1trìnhbàytổngquanvềhệthốngHMS,kỹthuậtcảmbiếnvàIVAtron gHMS,cácbướctríchđặctrưngvànhậndạngtrongIVA - Chương2trìnhbàycấutrúccáchệthốngHMStrênnềnIVAđềxuất,các tínhtốncho cáckhâutronghệ thống - Chương3trìnhbàykếtquảthựcnghiệmđánhgiáhệthốngHMSứngdụngp háthiệnténgãvàdựđốnnguycơténgãdodángđibấtthường -Chương 4trình bày kếtquả thực nghiệm đánh giá hệthống HMStrong ứngdụngpháthiệnhànhđộngbấtthường - Kếtluận Đónggópchínhcủaluậnán Đónggópvềmặtkhoahọc: - Hệ thống hóa nghiên cứu kỹ thuật IVA, đặc biệt tập trungvàoIVAứng dụng hỗ trợcho HMS (cơng trình [1],[2],[6]) - Đềxuấtmớibộmơtảđặctrưng3DGRF(GeometricRelationFeatures) khả đối phó với vấn đề góc quay che khuất (cơngtrình[3]) có - Đềxuấtmớiphươngphápnhậndạnghànhđộnggầntuần hồndùng mơhìnhHMMtuầnhồn(CyclicHMM)(cơngtrình[5]) Ngồir a , t ro n g q u t r ì n h t h ự c h i ệ n l u ậ n n , m ộ t s ố h ệ t h ố n g đ ợ c xâyd ựnggồm: - Hệthốngpháthiệnténgãthựctế(cơngtrình[9]) - Hệthốngpháthiệndángđibấtthường(cơngtrình[10],[12]) - Hệthốngnhậndạnghànhđộng(cơngtrình[4],[7],[8]) - Hệthốngpháthiệnhànhđộngbấtthường(cơngtrình[11]) Chươngng1:NGHIÊNCỨCUTỔNGNGQUAN Nộid u n g c ủ a c h n g g m : t ổ n g q u a n v ề h ệ t h ố n g H M S , k ỹ t h u ậ t cảmbiếnvàIVAsửdụngtronghệthốngHMS,đặcbiệttậptrungvàoIVA vớihaibước xử lýlà trích đặc trưng vànhận dạng Kếtquảnghiêncứutổngquanđãđượccơngbốởcơngtrình[1], [2], [6]trongDanhmụccơngtrìnhcủatácgiả 1.1 HệthốnggiámsátchămsócsứckhỏeHMS Làh ệ t h ố n g q u a n s t , t h e o d õ i b ệ n h n h â n t x a n h ằ m t h u t h ậ p t h n g tinv ềtìnhtrạngsứckhỏe,pháthiệntainạnhoặccácbấtthườngsứckhỏe 1.1.1 ỨngdụngcủahệthốngHMS 1.1.2 CấutrúccủahệthốngHMS MộthệthốngHMStốithiểucóbathànhphầnchínhnhưtrênHình 1.1 Dữ liệu thu nhận dựa vào cảm biến camera (cameracũng mộtloại cảmbiến cảmbiến chiều) Hình1.1.SơđồcấutrúccủahệthốngHMSđiểnhình 1.2 Kỹthuậtcảmbiến 1.2.1 Cấutrúccủanútmạngcảmbiến 1.2.2 Ứngdụngcủakỹthuậtcảmbiến 1.2.3 Cácvấnđềcầnquantâmkhiứngdụngkỹthuậtcảmbiếnvàohệt hốngHMS Sốlượngcảmbiếnlớndẫnđếnvậnhànhbảodưỡngmạngphứctạp,việcgắn cảmbiếngâykhó khănvàphiền phứccho bệnh nhân, v.v 1.3 KỹthuậtIVA Tín hiệu video ghi hình đối tượng quan tâm phân tích đưa rakếtquảlà nhữngsựkiệngìđangxảyratrongđoạnvideođó.Mứcđộ“thơngminh”được địnhlượngdựa vàotỷlệ nhậndạng chínhxác 1.3.1 CấutrúchệthốngsửdụngkỹthuậtIVA Trong phạm vi luận án, xét hệ thống IVA truyền thống gồm hai bướcchínhlàtríchđặctrưngvànhậndạnghànhđộngnhưtrênHình1.2 Hình1.2.SơđồcấutrúccủahệthốngsửdụngkỹthuậtIVAđiểnhình 1.3.2 ỨngdụngcủakỹthuậtIVA 1.3.3 Mộts ố n g h i ê n c ứ u g ầ n đ â y v ề ứ n g d ụ n g I V A v o h ệ thống HMS 1.3.3.1 Giáms t c c h o t đ ộ n g h n g n g y A D L ( Activitieso f D lyLiving) 1.3.3.2 Pháthiệntainạnténgã 1.3.3.3 Phântíchdángđi 1.3.3.4 Hỗtrợphụchồichứcnăng 1.3.4 CácvấnđềcầnquantâmkhiứngdụngIVAvàohệthốngHMS Vấnđ ề g ó c q u a y , c ả n h n ề n đ ộ n g , b ó n g đ ổ , c h e k h u ấ t , v ẻ b ề n g o i củađố itượngthayđổi,cáchthứcthựchiệnhànhđộngkhácnhau,v.v 1.4 QtrìnhtríchđặctrưngtronghệthốngIVA Trích đặc trưng tương đương với biến đổi khung hình thành mộtvector đặctrưng.Vectorđặctrưngcầnphảichứađựngcácđặctínhhữuhiệu bật hành động, hành động thựchiệnbởiai,thực hiệnnhư thếnào,vàolúc nàovà ởgóc quaynào 1.4.1 Phânvùngđốitượng Đốivớicameratĩnh,phươngphápphânđoạnđốitượngphổbiếnnhấtlà trừnềndùngmơhìnhh ợ p G a u s s G M M 1(GaussianM ixtureM odel),tạoraảnhmặtnạchứađốitượngmàutrắngtrênn ềnđen 1.4.2 Môtảđặctrưng 1.4.2.1 Đặctrưngsốthực Thành phần vector đặc trưng số thực Có thể mơ tả đặc trưngdựavàohìnhdáng(shape-based)hoặcdịngchuyểnđộng(flow-based) 1.4.2.2 Đặctrưngsốnhịphân Dùng giá trị để biểu diễn quan hệ hình học nhị phângiữa cácđiểmkhácnhau trongcơthể Đặc trưng nhị phân điển hình 2là tập số 0, để biểu thị mộtđiểm thể trước/sau, bên phải/bên trái, trên/dưới mộtmặtphẳng thể,tư gập/duỗicủa mộtbộ phận thể,v.v 1.4.3 Thảoluậnvềcácbộmơtảđặctrưng Nhìn chung,đặc trưng số thựccho kết nhận dạng tốt vìchủ yếu dựa thông tin 2D nên nhạy với nhiễu, với che khuất vàphụ thuộcvàogócquaycủacamera Đặct r n g s ố n h ị p h â n đ ợ c t í n h t t ọ a đ ộ D g m c ả c h i ề u s â u n ê n khắcph ụcđượccáckhuyết điểmcủađặctrưngs ố t h ự c , n h n g d o c h ỉ dùngsố0và1nênkhôngđủmềmdẻođểmôtảcáchànhđộngphứct ạp 1.5 QtrìnhnhậndạnghànhđộngtronghệthốngIVA Bướcnàychínhlàxácđịnhxemchuỗivectorđặctrưngtríchđượcmơtảđúngn hấtchohànhđộngnàotrongsốcáchànhđộngđãhuấnluyện 1.5.1 Nhậndạngtĩnh Khơng quan tâm đến thơng tin thời gian tín hiệu mà thực hiệndựa vào cáckhung trọng yếu Tiêu biểu phương phápK-NN(KNearestNeighbor)vàSVM(SupportVectorMachine) 1.5.2 Nhậndạngđộng StauffervàGrimson (1999) MeinardMullervàcộng (2005) 1.5.2.1 Phươngphápsokhớpmẫu So sánh chuỗi vector đặc trưng trích từ đoạn video kiểm tra từđoạn video huấn luyện để xác định chúng có tương tự hay khơng.Tiêubiểu phương phápDTW(DynamicTimeWarping) 1.5.2.2 Phươngphápdùngmơhìnhkhơnggiantrạngthái Mỗi hành động biểu diễn mơ hình nhiều trạng thái,mỗi trạng thái tương đương với tư Để nhận dạng, tính xác suấtmàm ỗ i m h ì n h c ó t h ể s i n h r a c h u ỗ i v e c t o r đ ặ c t r n g t r í c h t đ o n video kiểm tra, để đo khả mơ hình sinh chuỗi vector Tiêubiểu làmơ hìnhHMM(HiddenMarkovModel) 1.5.3 Thảoluậnvềcácphươngphápnhậndạnghànhđộng Tỷ lệ nhận dạng theo phương pháp nhận dạng tĩnh bị phụ thuộc vàokhungtrọngyếu Phương pháp so khớp mẫu đơn giản nhạy với nhiễu chịu chiphối bởithứtự thời gian củacác khunghình Phương pháp dùng mơ hình khơng gian trạng thái khắc phục đượckhuyết điểm phương pháp so khớp mẫu tính tốn phức tạphơn, địi hỏi số lượng liệu lớn chưa có lý thuyết xác định cấutrúc giá trị tốiưu cácthông số mơ hình 1.6 Địnhhướngvấnđềnghiêncứu 1.6.1 BàitốnxâydựnghệthốngHMStrênnềnIVA 1.6.1.1 Bàitốnpháthiệnténgã u cầu phát cảnh báo té ngã từ đoạn video ghi hình đốitượng quan tâm sống nhà thực hoạt độngthơng thường thìbị ngã.Góc quaycủa camera làtùy ý 1.6.1.2 Bàitoándựđoánnguycơténgã Yêucầupháthiệndángđibấtthườngtừđoạnv i d e o g h i h ì n h đ ố i tượngq u a n t â m s ố n g m ộ t m ì n h t i n h v đ i b ộ t h e o đ n g t h ẳ n g v i góc quaybênhơng Kết phát hiệndángđ i b ấ t t h n g c ó t h ể h ỗ t r ợ cho dự đoán nguy té ngã, dáng bất thường yếu tốnguycơgâyraténgã 1.6.1.3 Bàitoándựđoánchứngrốiloạnnhậnthức Yêu cầu phát hành động bất thường từ đoạn video ghi hình đốitượngquantâmsốngmộtmìnhtạinhàvàđangthựchiệnmộthànhđộngnào với góc quay tùy ý Kết dùng để hỗ trợ dự đoán chứngrối loạn nhận thức nhẹ MCI(MildCognitiveImpairment), nghiêncứu cho thấy chứng MCI có gây hànhđộng bấtthường 1.6.2 CácvấnđềthiếtyếuvềhệthốngHMSđềxuất 1.6.2.1 CáckhókhănkhixâydựnghệthốngHMS - Khókhănvềkỹthuật:nhưtrìnhbàyở1.3.4 - Khókhănphikỹthuật:cơsởdữliệuvideo,vấnđềvềquyềnriêngtư 1.6.2.2 TríchđặctrưngtronghệthốngHMSđềxuất Do mơi trường quay nhà, camera gắn cố định tĩnh nêndùng phương pháp trừnền GMMđểphân vùng đối tượng Các mô tả đặc trưng thay đổi tùy ứng dụng, nhằm khai thác đượcnhững đặc điểm bật khác biệt loại hành độngcầnnhậndạng 1.6.2.3 NhậndạnghànhđộngtronghệthốngHMSđềxuất Từ phân tích mục1.5.3, mơ hình HMM chọn dùng trongcác hệ thống HMS đề xuất, lý do: (1) khơng phụ thuộc tốc độ thựchiệnhànhđộng, (2)chokếtquảnhậndạngtốt,(3)cóthểmởrộngHMMchuẩn nhằmphụcvụ nhữngmụcđích đặcbiệt 1.7 Kếtluậnchương1 Đóng góp chương phân tích, đánh giá ưu khuyết điểmcủa nghiên cứu IVA Đây sở để định hướng vấn đềnghiên cứutiếptheotrongluậnán Chươngng2:HỆUVIDEOTHỐNGHMSTRÊNNỀNKỸTHUẬTIVA ChươngnàytrìnhbàycấutrúcvàtínhtốntrongcáchệthốngHMS đềxuất,nhằmhướngđếnbaứngdụngnhưđãtrìnhbàyở1.6.1 CáckếtquảnghiêncứuvềhệthốngHMSđềxuấtđãđượccơngbốở cáccơngtrình[9]-[12]trongDanhmụccơngtrìnhcủatácgiả 2.1 PhânvùngđốitượngtheophươngpháptrừnềnGMM Ngun lý phân vùng đối tượng so sánh khung hình vớimơ hình nền, qua phân chia khung hình thành vùng chứa đối tượngchuyểnđ ộ n g v v ù n g n ề n M h ì n h n ề n đ ợ c x â y d ự n g d ự a t r ê n m hìnhGMMchotừngđiểmảnhvàliêntụcđượccậpnhậttheothờigian Sau đó, áp dụng phép hình thái tốn học để làm mịn đường biênvà lấp đầy lỗ nhỏ bên vùng chứa đối tượng nhằm tạo nên mộtảnh mặt nạ hoànhảo dùng chocác bước xửlý Hình2.1làmộtvídụvềphânđoạnđốitượngbằngtrừnềnGMM Hình 2.1.Kết quảphânđoạnđối tượngbằngtrừnềnGMM 2.2 MơtảđặctrưngtronghệthốngHMSpháthiệnténgã 2.2.1 Đặcđiểmténgã 2.2.2 Tínhtốnvectorđặctrưngténgã Sự khác biệt rõ rệt hành động “té ngã” “khơng té” thể ởhìnhdạngvàtốcđộchuyểnđộng Dođóđặctrưngkếthợphìnhdạng vớitốcđộ3đượcchọndùngtrongluậnánvàđượctínhqua4bướcsau: Bước1:Xácđịnhellipsebaoquanhđốitượngtrongảnhmặtnạ Bước 2:Tính đặc trưng hình dạng dựa vào hình ellipse để biết tư thếcủađối tượng, gồm: - Gócđứngtứcthờicủakhunghiệntại, - Độthayđổigócđứngtrong15khungliêntiếp, - Độlệchtâmtứcthời, - Độthayđổitrọngtâmđốitượngtrong15khungliêntiếp Ngo cộng sự(2012) trái, Hông phải, Vai phải}, {Hông trái, Hông phải, Vai trái}, {Vai trái,Vai phải, Hông phải}, {Vai trái, Vai phải, Hông trái}; điểm quan tâmp4lần lượt Tay phải, Tay trái, Chân phải, Chân trái tương ứng với đặctrưngF1,F2,F3,F4 Vậy tính đặc trưng 1A tính khoảng cách códấugiữađiểmp 4vàmộtmặtphẳngxácđịnhbởi{p1,p 2,p 3} Đặctrưng1BlàkhoảngcáchcódấugiữaTayvớimặtphẳngdọc (saggitalplane),dấu+/-chỉchobiếtTayởbênphải/tráicơthể Bảng2.1.Tậpcácđặctrưng3DGRF 2.4.3.2 Chuẩnhóađặctrưngkhoảngcách Chuẩnh ó a n h ằ m đ ả m b ả o g i át r ị đ ặ c t rư n g k h o ả n g c c h F 1-F6 khơngbịphụthuộcvàokhoảngcáchgiữacameravàđốitượng 2.4.3.3 Tínhđặctrưnggóc Đặc trưng góc góc đo hai đoạn thẳng quan tâm thể vàcó thay đổi rõ rệt thực hành động Tính đặc trưng gócchínhlàtínhgóctạobởihaivectorv1vàv2cóchungđiểmgốclàpvàcóđiểmngọntươn gứnglàp1vàp2 2.4.4 Bộmơtảđặctrưng3DGRFcảitiến Trong trường hợp hành động cần nhận dạng gồm “xem giờ”, “vòngtay”, “gãi đầu”, “ngồi xuống”, “đứng dậy”, “xoay người”, “đi bộ”, “vẫytay”, “đấm”, “đá” “nhặt đồ”, đặc trưng 3D GRF nên cải tiến đểmô tả hành động hữu hiệu GRF cải tiến gồm 15 đặc trưng: giữ lại 8đặctrưnggốc,thaythế2 đặctrưnggốcvàbổsung 5đặctrưngmới 2.5 NhậndạnghànhđộngdựatrênmơhìnhHMM 2.5.1 GiớithiệumơhìnhHMM Một mơ hình HMM xác định tậpλ= {A,B,π} giá trịN,M;vớiAlàmatrậnchuyểntiếp,Blàmatrậnquansát,πlàxácsuấttrạngtháikhởiđầu,Nl àsốtrạngtháiẩnvàMlàsốkýhiệuquansát Có nhiều loại mơ hình HMM, loại HMM trái-phải phùhợp với mơ hìnhhóahành độngtrong đoạnvideo 2.5.2 ỨngdụngmơhìnhHMM vàonhậndạnghànhđộng Trongpha huấn luyện, cần huấn luyện mơ hình HMM cho mỗihành động cầnnhận dạngtừ chuỗi vectorhuấn luyện Trongphaki ể m t r a ,cầntí nh like lih oo d m àm ỗim hì nh H M M c ó thể sinh rachuỗivectorkiểmtra,từđâykếtluậnvềhànhđộngcầnnhậndạngdựatheotiêuchuẩn likelihoodcựcđại 2.5.3 MơhìnhHMM-Kmeans 2.5.3.1 NgunlýhoạtđộngcủaHMMrờirạc Dữ liệu vào huấn luyện chuỗi vector huấn luyện rời rạc hóabằng cách lượng tử hóa vector (ví dụ dùng Kmeans 6) để tạo bảngmã.Dữliệuvào kiểmtralàchuỗivectorkiểmtrađượcrờirạchóabằngcách mãhóavector dựa vàobảngmãnày 2.5.3.2 LượngtửhóavectordựavàoKmeans Nhằm hạn chế khuyết điểm củaKmeans, thực số thay đổinhư: (1) thí nghiệm vớiKthay đổi, (2) ứng với mỗiKthực hiệnKmeansnhiềulầnrồilấytrungbìnhcộngcủacácbảngmãtrunggian, (3)thaygiátrịtrungbìnhbằnggiátrịtrungvịkhixácđịnhtrọngtâmnhóm 2.5.4 MơhìnhHMM nhậndạnghànhđộnggầntuầnhoàn 2.5.4.1 Kháiniệmhànhđộnggầntuầnhoàn Từ“gầntuầnhoàn”đượcdùngtheonghĩalàcáctưthế (hoặcthamsố đặc trưng) hành động lặp lại theo chu kỳ Tuy nhiên, lặp lạinàykhông hồntồn giốngnhau từ chukỳ trướcđến chukỳ sau 2.5.4.2 MơhìnhHMMtuầnhồnCHMM LàHMMtrái-phảivớimộtchuyểntiếptừtrạngtháicuốivềtrạngthái đầunhưHình2.4đểbiểuthịsựlặplạicủacáctưthếtronghànhđộng Glenn Fung (2011) a 11  0 A   0  a51 0 0 a22a 23 a33 0 0 a1  0 a34 0 a44a 45   a55 Hình2.4.MơhìnhCHMM5trạngthái 2.6 Kếtluậnchương2 Tóm lại, chương trình bày chi tiết tính tốn khâu xử lý trongcáchệthốngHMSđềxuất Đóng góp chương đề xuất mơhình giám sát chăm sócsức khỏe hướng đến ứng dụng khác gồm phát té ngã, dựđoán nguy té ngã dự đoán nguy chứng MCI Các đề xuất mớitrong mơ hình gồm: mơ tả đặc trưng 3D GRF nhận dạng hànhđộng gầntuầnhồndùngmơhìnhCHMM Hiệuq u ả c ủ a m h ì n h v c c đ ề x u ấ t s ẽ đ ợ c k i ể m t r a , đ n h g i l ầ n lượtqu achương3vàchương4 Chươngng3:GIÁMSÁTTÉNGà Chương trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS ởchương ứng dụng giámsát té ngã, với hai kịch bản: (1) pháthiệnté ngã (2)dựđoán nguy té ngãdo dáng đibấtthường Kết nghiên cứu thực nghiệm hệ thống giám sát té ngã đượccông bố qua công trình[9],[10], [12]trong Danh mục cơng trìnhcủatácgiả 3.1 Giớithiệucáccơsởdữliệuvàtiêuchíđánhgiáhệthống 3.1.1 CơsởdữliệuténgãHBU HBU nhóm TRT-3DCS xây dựng, bao gồm 134 đoạn video gồm65 đoạn “té ngã” 69 đoạn “không té”, độ phân giải 320x240, tốc độ30 khung/s Các tình té ngã khác hướng té (trực diện,chéo,bên hông),nguyênnhân té,tưthế thểkhité vàtốc độ té 3.1.2 Cơsởdữliệudángđibấtthường Đây sở liệu tự xây dựng, có 56 đoạn video dáng Ataxic, 85đoạnHemiplegic,93đoạnLimping,97đoạnNeuropathic,100đoạnParkinson, 100 đoạn bình thường, phân giải 180x144, tốc độ 25 khung/s.Cácvideođượcghihìnhvớigócquaybênhơng 3.1.3 CơsởdữliệuténgãLe2i Le2i phịng thí nghiệm Le2i xây dựng, có 215 đoạn video gồm 147đoạn“téngã”và68đoạn“khơngté”,độphângiảigồm320x240và320x180,tốcđộgồm2 5khung/svàloại24khung/s 3.1.4 Tiêuchíđánhgiáhệthống DựavàoRecall(RC),Precision(PR)vàAccuracy(Acc)đượctínhtừ matrậnnhầmlẫn(confusionmatrix)nhưtrongHình3.1 RC TP TPFN ,P R  TP TPFP ,A C C  TPTN TPTNFPFN (3.1) TP(TruePositive):dươngtính thậtFP (FalsePositive):dươngtínhgiảFN (FalseNagetive):âmtínhgiảTN(Tru eNegative):âmtínhthật Hình3.1.Matrậnnhầm lẫn 3.2 Kiểmtra,đánhgiáhệthốngpháthiệnténgã Xéthệthống7dùngđặctrưngnhưở2.2vàmơhìnhHMM-Kmeans 3.2.1 Sựphânchiadữliệu Tồn sở liệu chia hai: 31 video huấn luyện 103 video kiểm tra Các video kiểm tra chia thành tập Test1,Test2vàTest3ứngvớicáckịchbảnténgãcóđộphứctạpkhácnhau 3.2.2 Qt r ì n h t h í ng h i ệ m v k ế t q u ả k i ể m t r a h ệ t h ố n g p h t h i ệ n téngã Tra Pham, 2013 Hệthốngđược kiểmtra theo quytrìnhởHình3.2,vớiN=5vàK=M=96 Hình3.2.Sơđồthínghiệmpháthiệnténgã 3.2.3 Kếtquảthínghiệmkiểmtrahệthốngpháthiệnténgã Bảng3.1.HiệuquảnhậndạngcủahệthốngpháthiệnténgãtrênHBU 3.2.4 Đánhgiáhệthốngpháthiệnténgã 3.2.4.1 Đánhgiáhiệuquảnhậndạngcủahệthống - Tỷlệnhậndạngphụthuộcvàomứcđộphứctạpcủakịchbảnkiểmtra - Hiệuquảpháthiệnténgãbịảnhhưởngbởigócquay:téhướngbênhơng đượcpháthiện100%vàhướngtrựcdiệnbịbỏsótnhiềunhất(78.95%) - Tỷlệdươngtínhgiảnhiềunhấtvớicáchànhđộngxảyratrênsànnhà 3.2.4.2 Ngunnhânnhậndạngkhơngchínhxác - Ánhsángyếu,màuquầnáotrùnglẫnmàunền,chekhuất - Bộmơtảđặctrưngténgãthiếuthơngtinchiềusâu 3.2.4.3 Sosánhcáchệthốngpháthiệnténgã KếtquảsosánhtrongBảng3.2chothấyhiệuquảrõrệtcủahệthống đangxét,thểhiệnởsựtănglêncủatấtcảcáctiêuchíRC,PRvàAcc Bảng3.2.Sosánhcáchệthốngpháthiệnténgã Hệthống RC PR Acc Trừnềnvàsokhớpngưỡng 73.01 70 69.9 Trừnềnvàmạngneural 81.13 84.31 82.69 TrừnềnGMMvàmạngneural 87.38 86.67 86.38 TrừnềnGMMvàmơhìnhHMM 88.46 86.79 87.38 3.3 Triểnkhaihệthốngpháthiệnténgãthựctế 3.3.1 Kiếntrúchệthốngpháthiệnténgãthựctế 3.3.1.1 Thunhậntínhiệuvideo Ghi hình camera IP D-Link DCS-942L, truyền tín hiệu video qua router khơng dây đến máy tính, giao diện video-máy tính thiếtkế nhờ C++ OpenCV, thủ tục truyền dữliệu RTSP 3.3.1.2 Phântíchtínhiệuvideo Truyềnt í n h i ệ u v i d e o t h e o t n g k h u n g đ ế n m y t í n h đ ể p h â n t í c h the othuậttốn pháthiệnté ngãđãtrình bày,dùngMatlab 2012a 3.3.1.3 Thơngtincảnhbáo Có hai hình thức cảnh báo thiết kế (1) cảnh báo chỗ âm văn hình quan sát (2) cảnh báo từ xa bằngtinnhắnSMSgởiđếnsốđiệnthoạiđãđịnhdùngmoduleSIM900A 3.3.2 Kiểmtra,đánhgiáhệthốngvớicơsởdữliệuLe2i 3.3.2.1 ThínghiệmkiểmtrahệthốngvớicơsởdữliệuLe2i Chọn 58 đoạn video có phân giải 320x240 tập Home1, Home2vàLecturecókịchbảnkhácnhiềusovớiHBU.Kếtquảcó13/22hànhđộn g“ tén g ã ”v / h n h đ ộ n g “ khôngt é ”đ ợ c n h ậ n d n g đ ú n g , dẫnđến chỉsố thống kê RC=59%,PR=62%và Acc=71% 3.3.2.2 NhậnxétđánhgiáhệthốngdựatrêncơsởdữliệuLe2i - 100%c ả n h n ề n v / đ o n v i d e o ( c h i ế m % ) c h u ỗ i h n h đ ộ n g trongLe2ikhácvớiHBUnêntỷlệnhậndạnggiảmđiđángkể - Ánhsángyếu,chekhuấtảnhhưởngđếnphânđoạnđốitượng(69%) - Tỷlệdươngtínhgiảcaodonhiềuđốitượngchuyểnđộng(55%),hành độngtươngtự“téngã”(62%),đồvậtbịrơi(14%) - Khóá p d ụ n g t r n ề n G M M d o đ ố i t ợ n g c ó s ẵ n t r o n g k h u n g h ì n h (57%),đốitượngbấtđộng(86%) 3.3.3 Kiểmtra,đánhgiáhệthốngvớitìnhhuốngténgãthựctế Nhằm kiểm tra tính ổn định, khả đáp ứng thời gian thực khả phát tai nạn té ngã thực, hệ thống huấn luyện 134video HBU, cho chạy thử trước Văn phòng Khoa ĐT-VT phòng họcC217 trường Đạihọcbách khoa,ĐHĐN,từ 14/04 -15/05/2014 Kếtq u ả l c a m e r a g h i đ ợ c h n h đ ộ n g v i h n h đ ộ n g “ t é ngã” Hệ thống phát cảnh báo 8/9 hành động “té ngã”,nhận dạng nhầm 16 hành động “không té” Vậy tỷ lệ nhận dạng chínhxáclà Acc = 97.47%.Thờigian trễxử lý đo 1-5giây 3.4 Kiểmtra,đánhgiáhệthốngdựđoánnguycơténgãdodángđibất thường 3.4.1 Kiểmtra,đánhgiáhệthốngpháthiệndángđibệnhParkinson 3.4.1.1 ThínghiệmpháthiệndángđibệnhParkinson Thí nghiệm theo quy trình ởHình 3.2, với sở liệu 100 đoạnvideo dáng bình thường 100 đoạn Parkinson, mô tả đặc trưng làmomentHu,mơ hình nhận dạng CHMMN= vàM= 64 3.4.1.2 KếtquảthínghiệmpháthiệndángđibệnhParkinson Thực đánh giá theo phương pháp đánh giá chéo 1:10, kết là99/100 dáng Parkinson 100/100 dáng bình thường nhậndạngđúng,dẫnđếntỷ lệnhậndạngchínhxác rấttốt-Acc= 99.5% 3.4.2 Kiểmtra,đánhgiáhệthốngpháthiệndángđibệnhlý 3.4.2.1 Thínghiệm pháthiệndángđibệnhlý Thí nghiệm tương tự thí nghiệm phát dáng Parkinson ở3.4.1.1, khác sở liệu sở liệu dáng bất thường gồm loạidáng bệnh lýkhác nhauđã trìnhbày ở3.1.2 3.4.2.2 Kếtquảthínghiệm pháthiệndángđibệnhlý ThínghiệmđầutiênđượcthựchiệnvớivectorđặctrưngdùngmomentHukhơngqua logaritđốivớidángđiAtaxicvàHemiplegicchokếtquảnhậndạngđúngrất thấp(