Ngày nay các nghiên cứu trong lĩnh vực thị giác máy tính hỗ trợ rất nhiều cho công tác y tế đặc biệt là ứng dụng phân tích dáng đi để chẩn đoán và phát hiện các bệnh tiềm ẩn liên quan đến khung xương Trong luận văn này đề xuất giải pháp phân tích dáng đi chống đau của bệnh nhân bị bệnh xương khớp sử dụng máy véc tơ hỗ trợ Quá trình xử lý bao gồm các bước 1 xây dựng dữ liệu 2 trích đặc trưng HoG 3 huấn luyện dữ liệu đặc trưng và thu được mô hình dữ liệu đã phân lớp 4 tiến hành nhận dạng để đưa ra kết luận
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG THỊ MINH HUYỀN PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ Chuyên ngành : Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS HUỲNH HỮU HƯNG Đà Nẵng - Năm 2018 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả Hoàng Thị Minh Huyền MỤC LỤC TRANG BÌA LỜI CAM ĐOAN MỤC LỤC TRANG TĨM TẮT LUẬN VĂN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU .1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu .2 Phương pháp nghiên cứu .2 Ý nghĩa khoa học thực tiễn đề tài .3 Cấu trúc luận văn .3 CHƯƠNG DÁNG ĐI CHỐNG ĐAU 1.1 CÁC GIAI ĐOẠN TRONG DÁNG ĐI Ở NGƯỜI 1.1.1 Giai đoạn tựa (chống) 1.1.2 Giai đoạn đu đưa 1.2 CÁC THAY ĐỔI DÁNG ĐI TRÊN LÂM SÀNG 1.3 DÁNG ĐI CHỐNG ĐAU 1.3.1 Định nghĩa dáng chống đau 1.3.2 Nguyên nhân 1.3.3 Các triệu chứng dáng chống đau 1.3.4 Cách chẩn đoán bệnh 10 1.4 TỔNG KẾT CHƯƠNG .12 CHƯƠNG TỔNG QUAN VỀ PHÂN TÍCH DÁNG ĐI 13 2.1 PHÂN TÍCH DÁNG ĐI 13 2.1.1 Sử dụng cảm biến .13 2.1.2 Sử dụng liệu thu từ camera 14 2.2 TRÍCH ĐẶC TRƯNG 17 2.2.1 Thuộc tính số 18 2.2.2 Thuộc tính nhị phân 20 2.3 CÁC PHƯƠNG PHÁP PHÂN TÍCH DÁNG ĐI 21 2.3.1 Phương pháp dựa vào đặc trưng 21 2.3.2 Phương pháp dựa vào mơ hình 22 2.4 TỔNG KẾT CHƯƠNG .29 CHƯƠNG PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ 30 3.1 TỔNG QUAN VỀ HỆ THỐNG .30 3.2 XÂY DỰNG DỮ LIỆU 31 3.2.1 Phần mềm thiết kế 3D MakeHuman 31 3.2.2 Phần mềm Blender 32 3.3 TRÍCH ĐẶC TRƯNG HOG 34 3.4 HUẤN LUYỆN 38 3.4.1 Bài toán phân lớp 38 3.4.2 Xây dựng mơ hình phân lớp sử dụng SVM để nhận dạng dáng 39 3.4.3 Phát dáng chống đau .39 3.5 KẾT QUẢ THỰC NGHIỆM 39 3.5.1 Dữ liệu thử nghiệm .39 3.5.2 Quá trình thực nghiệm 41 3.5.3 Kết thử nghiệm 44 3.6 TỔNG KẾT CHƯƠNG .44 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 45 TÀI LIỆU THAM KHẢO 46 QUYẾT Đ NH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN TRANG TĨM TẮT LUẬN VĂN PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ Học viên: Hoàng Thị Minh Huyền Chuyên ngành: Khoa học máy tính Mã số: 84800101 Khóa: K34.KMT.QB Trường Đại học Bách khoa - ĐH Đà Nẵng Tóm tắt: Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho công tác y tế, đặc biệt ứng dụng phân tích dáng để chẩn đốn phát bệnh tiềm ẩn liên quan đến khung xương Trong luận văn đề xuất giải pháp phân tích dáng chống đau bệnh nhân bị bệnh xương khớp sử dụng máy véc tơ hỗ trợ Quá trình xử lý bao gồm bước: (1) xây dựng liệu; (2) trích đặc trưng HoG; (3) huấn luyện liệu đặc trưng thu mơ hình liệu phân lớp; (4) tiến hành nhận dạng để đưa kết luận Từ khóa –Thị giác máy tính, phân tích dáng đi, dáng chống đau, đặc trưng HOG, học máy vectơ hỗ trợ GAIT ANTI PAIN ANALYSIS USE SUPPORT VECTOR MACHINE Abstract: Nowaday, researchs in computer vison a lot of support for medical work, especially the gait analysis application to diagnose and detect underlying diseases associated with the skeleton In this essay proposed solutions gait anti pain analysis of osteoarthritis patients use support vecto machine The process consists of steps: (1) building data; (2) selective features HoG; (3) Characteristic data training and obtained stratified data model; (4) Conduct the identification to make conclusions Keywords– Computer vision, gait analysis, antalgic gait, HOG features, support vector machine (SVM) DANH MỤC CÁC TỪ VIẾT TẮT 2D Two Dimension 3D Three Dimension AMI Accumulated Motion Image HOG Histogram of Oriented Gradients LDA Linear Discriminant Analysis MLP Multilinear Principal Components MMH Maximum Marginal Hyperland MII Motion Intensity Image NB Naïve Bayes SVM Support Vector Machine DANH MỤC CÁC BẢNG Bảng 2.1 Tổng hợp đặc trưng dáng nghiên cứu[43] 21 Bảng 2.2 Tỷ lệ phân loại sử dụng liệu từ tính chụp khơng đánh dấu .23 Bảng 3.1 Số khung hình lấy từ nhân vật 40 Bảng 3.2 Kết nhận dạng dáng .44 DANH MỤC CÁC HÌNH Hình 1.1 Chu kỳ dáng gồm giai đoạn .4 Hình 1.2 Mơ tả khung xương chân cho giai đoạn chống Hình 1.3 Mơ tả khung xương chân cho giai đoạn đu đưa Hình 1.4 Chuỗi hình minh họa dáng chống đau Hình 1.5 Khớp bình thường viêm xương khớp 11 Hình 2.1 Hình ảnh thảm cảm biến sàn nhà .13 Hình 2.2 Hình chiếu đặc trưng sử dụng nghiên cứu 14 Hình 2.3 Hệ thống giám sát hành vi té ngã 15 Hình 2.4 Camera Kinect hệ thống máy tính thử nghiệm 15 Hình 2.5 Định vị khơng đánh dấu (markerless) nhiều góc quay khác 16 Hình 2.6 Hình ảnh thu nghiên cứu .17 Hình 2.7 Một ví dụ MII, với dịng chuỗi ảnh đầu vào, chuỗi hình chiếu đối tượng trước sau canh giữa, cuối MII .18 Hình 2.8 Ví dụ ảnh chuyển động tích lũy 19 Hình 2.9 Ví dụ hai đối tượng thực hành động với vẻ bên ngồi khác có thuộc tính đồng 19 Hình 2.10 Các vectơ hướng tương ứng với luồng quang học 20 Hình 2.11 Một số đặc trưng quan hệ hình học .20 Hình 2.12 Đường nét liền hình đường phân chia tập liệu gồm hai thuộc tính.24 Hình 2.13 Một liệu hai chiều phân chia tuyến tính Có vơ hạn đường thẳng phân chia tuyến tính 25 Hình 2.14 Hai siêu phẳng phân chia tuyến tính với biên độ Cái có biên độ lớn phân loại xác 26 Hình 2.15 Minh họa đường biểu diễn H1, H2 support vectors 27 Hình 2.16 Minh họa chức kernel SVM 29 Hình 3.1 Giải pháp đề xuất 31 Hình 3.2 Giao diện cơng cụ MakeHuman 32 Hình 3.3 Giao diện phần mềm Blender 33 Hình 3.4 Dữ liệu dáng chống đau 33 Hình 3.5 Ảnh đầu vào HoG .35 Hình 3.6 Chia khối trích đặc trưng HOG .36 Hình 3.7 Các bước rút trích đặc trưng HOG 37 Hình 3.8 Chuỗi ảnh thể dáng bình thường chống đau 40 Hình 3.9 Giao diện làm việc nhân vật mặc định 41 Hình 3.10 Nhân vật sau chỉnh sửa 41 Hình 3.11 Thêm khung xương cho nhân vật 42 Hình 3.12 Giao diện ban đầu Blender .42 Hình 3.13 Nhân vật import vào Blender .43 Hình 3.14 Minh họa kết nhận dạng 43 MỞ ĐẦU Lý chọn đề tài Các phương pháp sinh trắc học để nhận diện người dựa đặc điểm sinh lý/hành vi đối tượng nhận dạng khn mặt, giọng nói, mống mắt, vân tay, hình dạng tay dáng đi, đóng vai trị ngày quan trọng việc nhận dạng người dựa tính phổ biến độc đáo chúng Y học đại cho rằng: dáng người khỏe mạnh có biểu khác tùy theo tuổi tác, tình trạng sức khỏe Ví dụ tuổi tác, trẻ em thích gấp chạy chầm chậm, niên khỏe mạnh nhanh mạnh mẽ, người già thường chậm với bước nhỏ Tuy nhiên, người mắc số bệnh làm cho dáng thay đổi lớn có tính đặc trưng định Theo chun gia y tế, bệnh xương khớp chiếm tới ⅓ dân số giới Tỉ lệ người 55 tuổi bị bệnh lên tới 80% Tại Việt Nam, có khoảng 7% dân số gặp phải vấn đề xương khớp, tương đương với khoảng triệu người Nếu diễn biến theo tình hình đến năm 2020, số 10 triệu người Tại bệnh viện lớn, ngày có hàng trăm bệnh nhân tới khám tái khám bệnh xương khớp, có tới phân nửa phải nhập viện điều trị.Trước đây, xương khớp chủ yếu gặp người cao tuổi, nhiên nay, có tới 30% người 35 tuổi bị bệnh, tỉ lệ có dấu hiệu gia tăng [18] Bệnh lý xương khớp vấn đề sức khỏe giới quan tâm, quy mơ lớn hệ nghiêm trọng bệnh cộng đồng Bệnh dẫn đến tử vong không biểu nguy kịch bệnh tim mạch, hô hấp, ung thư… tần suất bệnh cao nhất, đồng thời nguyên nhân gây đau, chức vận động giảm chất lượng sống Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho công tác y tế, đặc biệt nghiên cứu phân tích dáng giúp quan sát bệnh nhân phát sớm số bệnh tật Ứng dụng phân tích dáng lĩnh vực y tế triển khai từ sớm để chẩn đoán phát bệnh tiềm ẩn liên quan đến khung xương [16] Trong phương pháp học máy, SVM phương pháp hiệu cho tốn phân lớp liệu Nó cơng cụ đắc lực cho toán xử lý ảnh, phân loại văn bản, phân tích quan điểm SVM thể nhiều ưu điểm, như: tính tốn hiệu tập liệu lớn, tiết kiệm nhớ Một yếu tố làm nên hiệu 45 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Thị giác máy tính lĩnh vực phát triển mạnh mẽ giới nói chung Việt Nam nói riêng Khái niệm thị giác máy tính có liên quan đến nhiều ngành học có nhiều hướng nghiên cứu khác Đặc biệt, với nhu cầu ngày tăng hệ thống giám sát trực quan, nhận dạng đối tượng người khoảng cách định quan tâm nhiều thời gian gần Sự phát triển kỹ thuật thị giác máy tính ảnh hưởng lớn theo chiều hướng tích cực tới khả nâng cao độ xác phương pháp phân tích dáng Luận văn trình bày tổng quan dáng chống đau, công cụ, cách biểu diễn đặc trưng sử dụng phân tích dáng đi, phương pháp phân tích dáng có, từ đề xuất giải pháp phân tích dáng chống đau người bị bệnh xương khớp dựa vào đặc trưng HoG phương pháp học máy SVM Trong phạm vi luận văn, mơ hình đề xuất liệu 3D thu từ camera chuyển sang liệu 2D để xử lý Và để triển khai toán môi trường rộng hơn, tác giả cần phải xử lý liệu thực thu từ camera Đồng thời tác giả cần lựa chọn đặc trưng kết hợp phù hợp để thực xử lý liệu 3D.Vì vậy, việc nghiên cứu tảng xử lý liệu 3D thu từ camera hướng phát triển tiềm cần lưu ý đề tài 46 TÀI LIỆU THAM KHẢO [1] Ahmad M., & Lee, S W (2006), “Hmm-based Human Action Recognition using Multiview Image Sequences,” In Proceedings of 18th International Conference on Pattern Recognition 2006 (ICPR 2006), IEEE, vol 1, pp 263266 [2] B.Triggs, N.Dalal “Histograms of oriented gradient for human detection in Computer Vision and Pattern Recognition” - 2005 - pp 886-893 [3] Bae J., & Tomizuka, M "Gait phase analysis based on a Hidden Markov Model", Mechatronics, 21(6) - 2011 - pp 961-970 [4] Barnich O., & Van Droogenbroeck, M ( 2009), "Frontal-view gait recognition by intra-and inter-frame rectangle size distribution",Pattern Recognition Letters, 30(10),pp 893-901 [5] Begg R K., Palaniswami, M., & Owen, "Support vector machines for automated gait classification", Biomedical Engineering, IEEE Transactions on, 52(5) [Journal] - 2005 - pp 828-838 [6] Bogdan Kwolek Tomasz Krzeszowski, Agnieszka Michalczuk, Henryk Josinski 3D gait recognition using spatio-temporal motion descriptors [7] Bộ Y tế "Hướng dẫn chẩn đoán điều trị bệnh xương khớp - Hà Nội : NXB Y học, 2016 [8] Cho S H., Park, J M & Kwon, O Y (2004), "Gender differences in three dimensional gait analysis data from 98 healthy Korean adults",Clinical Biomechanics,19(2),pp 145-152 [9] Danafar S., & Gheissari, N (2007), “Action Recognition for Surveillance Applications using Optic Flow and SVM,” In Computer Vision–ACCV 2007, Springer Berlin Heidelberg, pp 457-466 [10] Debard G., Karsmakers, P., Deschodt, M., Vlaeyen, E., Van den Bergh, J., Dejaeger, E., & Vanrumste, B (2011), "Camera based fall detection using multiple features validated with real life video",In Workshop Proceedings of the 7th International Confer [11] Diaf A., Benlamri, R., & Boufama, B (2010), “An Effective View-based Motion Representation for Human Motion Recognition,” In International Symposium on Modeling and Implementing Complex Systems, pp 57-64 [12] Dubois A., & Charpillet, F (2014, August), "A gait analysis method based on a depth camera for fall prevention",In Engineering in Medicine and Biology Society (EMBC), 2014 36th Annual International Conference of the IEEE, IEEE, pp 4515-4518 47 [13] Efros A A., Berg, A C., Mori, G., & Malik, J (2003), “Recognizing Action at a Distance,” In Proceedings of 9th IEEE International Conference on Computer Vision, IEEE, pp 726-733 [14] Goffredo M Bouchrika, I., Carter, J N., & Nixon, M S (2008, October), "Performance analysis for gait in camera networks",In Proceedings of the 1st ACM workshop on Analysis and retrieval of events/actions and workflows in video streams, ACM, pp 73-80 [15] Han J.& Bhanu, B (2005), "Performance prediction for individual recognition by gait",Pattern Recognition Letters, 26(5),pp 615-624 [16] Hồ Việt Hà, Trần Anh Vũ, Ngô Văn Sỹ, Huỳnh Hữu Hưng, Đặng Văn Đàng Phân tích dáng dựa thơng tin độ sâu Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX ―Nghiên cứu ứng dụng Công nghệ thông tin [17] http://phuchoichucnangnhandao.com/dang-di-va-phan-tich-dang- di/a1327476.html [18] https://jexmax.com.vn/tin-tuc/benh-xuong-khop-nhung-con-so-bao-dong- c1a545.html [19] https://laptrinhx.com/topic/8979/support-vector-machine-trong-hoc-may-mot- cai-nhin-don-gian-hon [20] https://macdinh69.wordpress.com/2015/10/17/sinh-co-hoc-chuong-7-dang-di- va-phan-tich-dang-di/ [21] https://www.doctorshealthpress.com/pain-articles/antalgic-gait-causes- symptoms-treatment/ [22] https://www.epainassist.com/brain/antalgic-gait [23] Huỳnh Hữu Hưng Nguyễn Trọng Nguyên, Võ Đức Hoàng (2015), Giáo trình xử lý ảnh, NXB Thơng tin truyền thông [24] J H Hwang, D., Moon, K Y., & Nixon, M S Yoo, "Automated human recognition by gait using neural network", In Image Processing Theory, Tools and Applications, 2008 IPTA 2008 First Workshops on, IEEE," pp 1-6, 2008 [25] Kim W., Lee, J., Kim, M., Oh, D., & Kim, C (2010), “Human Action Recognition using Ordinal Measure of Accumulated Motion,”EURASIP journal on Advances in Signal Processing, vol [26] L Rabiner "A tutorial on hidden Markov models and selected applications in speech recognition", Proceedings of the IEEE, 77(2)," pp 257-286, 1989 [27] M., & Waack, S Stanke, "Gene prediction with a hidden Markov model and a new intron submodel", Bioinformatics, vol 19(suppl 2)," pp ii215-ii225, 2003 48 [28] M S Yoo J H., Hwang, D., & Nixon, (2005), "Gender classification in human gait using support vector machine",In Advanced concepts for intelligent vision systems, Springer Berlin Heidelberg, pp 138-145 [29] Müller M., Röder, T., & Clausen, M (2005), “Efficient Content-based Retrieval of Motion Capture Data,” ACM Transactions on Graphics (TOG), 24(3), pp 677-685 [30] Munich M., Pirjanian, P., Di Bernardo E., Goncalves, L., Karlsson, N., Lowe, D.G "SIFT-ing through features with ViPR: Application of visual pattern recognition to robotics and automation", IEEE Robotics anti Automation Magazine,-2006 pp 72-77 [31] Ng H.Ton, H L Tan, W H.Yap, T T V., Chong, P F., & Abdullah, J "Human Identification Based on Extracted Gait Features",International Journal of New Computer Architectures and their Applications (IJNCAA), vol 1, no 2, pp 358-370 - 2011 [32] Nguyen T N Huynh H H , Meunier J (2014), "Phân tích dáng – Tổng quan hướng tiếp cận mới", Hội thảo quốc gia lần thứ XVII: Một số vấn đề chọn lọc Công nghệ thông tin Truyền thông, Đắk Lắk, presented [33] Panahandeh G., Mohammadiha, N., Leijon, A., & Handel, P "Continuous Hidden Markov Model for Pedestrian Activity Classification and Gait Analysis", IEEE T Instrumentation and Measurement, 62(5) - 2013 - pp 1073-1083 [34] Paul Viola and Michael Jones, "Rapid Object Detection using a BoostedCascade of Simple Features," pp 2-3, 2001 [35] Paul Viola and Michael Jones, "Robust Real-time Object Detection," pp 4-6 [36] Roder T (2006), Similarity, retrieval, and classification of motion capture data, PhD dissertation, Mathematic - Natural Sciences Department, University of Bonn [37] S., Tiwari, R., Shukla, A., & Singh, V Sharma, "Identification of People Using Gait Biometrics", International journal of machine learning and computing, 1(4)," pp 409-415, 2011 [38] Saboune Jamal, and Franỗois Charpillet "Markerless human motion capture for gait analysis",arXiv preprint cs/0510063 - 2005 [39] Shaikh S H., Saeed, K., & Chaki, N (2014), "Gait recognition using partial silhouette-based approach",Signal Processing and Integrated Networks (SPIN), 2014 International Conference on, pp 101-106 49 [40] Stone E E., & Skubic, M (2011), “Passive in-home Measurement of Stride- to-Stride Gait Variability Comparing Vision and Kinect Sensing,” Annual International Conference of the IEEE Engineering in Medicine and Biology Society, IEEE, Boston, Massachu - 2011 - pp 6491-6494 [41] Stone E E., & Skubic, M (2013), “Unobtrusive, Continuous, In-Home Gait Measurement Using the Microsoft Kinect,” IEEE [42] T Michalczuk, A., Kwolek, B., Switonski, A., Josinski, H.: Krzeszowski, "Gaitrecognition based on marker-less 3D motion capture In: 10th IEEE Int Conf on Advanced Video and Signal Based Surveillance.," pp 232–237, 2013 [43] Tao W., Liu, T., Zheng, R., & Feng, H (2012), "Gait analysis using wearable sensors",Sensors, 12(2),pp 2255-2283 [44] Vladimir N Cortes, Corinna and and Vapnik Support-Vector Networks - 1995 ... tiếp cận tốn phân tích dáng đi, phương pháp phân tích dáng đi, đồng thời giới thiệu cách biểu diễn đặc trưng sử dụng phân tích dáng Chương Phân tích dáng chống đau sử dụng máy véc tơ hỗ trợ Chương... luận văn trình bày hệ thống phân tích dáng chống đau sử dụng máy véc tơ hỗ trợ kết thực nghiệm hệ thống 30 CHƯƠNG PHÂN TÍCH DÁNG ĐI CHỐNG ĐAU SỬ DỤNG MÁY VÉC TƠ HỖ TRỢ Nội dung chương tiến hành... cao học: ? ?Phân tích dáng chống đau sử dụng máy véc tơ hỗ trợ? ?? Mục tiêu nghiên cứu 2.1 Mục tiêu Mục tiêu đề tài xây dựng giải pháp sử dụng máy véc tơ hỗ trợ (SVM) để phân tích dáng chống đau, từ