Ngày nay các nghiên cứu trong lĩnh vực thị giác máy tính hỗ trợ rất nhiều cho cuộc sống Đặc biệt là các nghiên cứu phân tích dáng đi hỗ trợ quan sát chẩn đoán bệnh nhân trong lĩnh vực y tế Trong luận văn này tôi đã trình bày cơ sở lý thuyết về bệnh vẹo cột sống nguyên nhân gây bệnh phân loại bệnh một số phương pháp trong y học cũng như trong công nghệ hiện nay để phát hiện bệnh vẹo cột sống Tiếp đến tôi tìm hiểu về một số thiết bị được sử dụng trong phân tích dáng đi những kỹ thuật trích chọn đặc trưng những mô hình đã được sử dụng trong phân tích nhận dạng dáng đi Cuối cùng tôi đã xây dựng chương trình nhận dạng dáng đi của người bị vẹo cột sống dựa vào đặc trưng HoG và phương pháp lọc máy SVM Chương trình này cho phép đưa vào video của một người và xác định người đó có bị bệnh vẹo cột sống hay không? Kết quả thực nghiệm qua bộ cơ sở dữ liệu tự tạo về các dáng đi cho thấy giải pháp đề xuất mang lại hiệu quả hứa hẹn
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRƯƠNG THỊ THẾ QUANG PHÂN TÍCH DÁNG ĐI CỦA NGƯỜI BỊ VẸO CỘT SỐNG SỬ DỤNG ĐẶC TRƯNG HOG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2018 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRƯƠNG THỊ THẾ QUANG PHÂN TÍCH DÁNG ĐI CỦA NGƯỜI BỊ VẸO CỘT SỐNG SỬ DỤNG ĐẶC TRƯNG HOG Chuyên ngành : Khoa học máy tính Mã số : 60.48.01 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng Đà Nẵng – Năm 2018 i LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng hướng dẫn trực tiếp TS Huỳnh Hữu Hưng Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn toàn trách nhiệm Tác giả Trương Thị Thế Quang ii MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii TÓM TẮT iv DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Cấu trúc luận văn CHƯƠNG BỆNH VẸO CỘT SỐNG 1.1 Tổng quan bệnh vẹo cột sống 1.1.1 Giới thiệu 1.1.2 Nguyên nhân gây bệnh vẹo cột sống phân loại bệnh vẹo cột sống 1.1.3 Biến chứng cong vẹo cột sống 1.1.4 Phân loại mức độ vẹo cột sống 1.1.5 Các phương pháp phát vẹo cột sống y học 1.1.6 Ảnh hưởng cong vẹo cột sống đến sức khỏe, học tập hoạt động 1.2 Các phương pháp công nghệ sử dụng để phát bệnh vẹo cột sống 10 1.2.1 Phát bệnh vẹo cột sống camera Kinect 10 1.2.2 Sử dụng thuật toán K-means để xác định độ cong cột sống từ phim Xquang 13 CHƯƠNG TỔNG QUAN VỀ PHÂN TÍCH DÁNG ĐI 15 2.1 Các đặc trưng sử dụng nhận dạng dáng 15 2.1.1 Biểu diễn đường bao (Silhouette) 15 2.1.2 Đặc trưng PCA biến đổi Hough 16 2.2 Các thiết bị phân tích dáng 18 2.2.1 Sử dụng cảm biến 18 2.2.2 Sử dụng nhiều camera đồng 20 2.2.3 Sử dụng camera có cảm biến 21 2.2.4 Sử dụng camera đơn 22 2.3 Các phương pháp học máy nhận dạng dáng 23 iii 2.3.1 Máy vector hỗ trợ (Support Vector Machine – SVM) 23 2.3.2 Mơ hình Markov ẩn (Hidden Markov Model – HMM) 25 2.3.3 Mạng nơron nhân tạo (Artificial Neural Network – ANN) 27 CHƯƠNG PHÂN TÍCH DÁNG ĐI CỦA NGƯỜI VẸO CỘT SỐNG SỬ DỤNG ĐẶC TRƯNG HOG VÀ BỘ LỌC SVM 29 3.1 Tổng quan hệ thống 29 3.2 Xây dựng liệu 30 3.2.1 Phần mềm thiết kế 3D MakeHuman 30 3.2.2 Phần mềm Blender 31 3.2.3 Trích xuất đặc trưng HOG 33 3.3 Huấn luyện 36 3.3.1 Xây dựng mơ hình phân lớp sử dụng SVM để nhận dạng dáng 36 3.3.2 Phát vẹo cột sống 39 3.4 Kết thực nghiệm 39 3.4.1 Dữ liệu thử nghiệm 39 3.4.2 Quá trình thực 42 3.4.3 Kết thử nghiệm 43 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 45 TÀI LIỆU THAM KHẢO 46 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) iv PHÂN TÍCH DÁNG ĐI CỦA NGƯỜI BỊ VẸO CỘT SỐNG SỬ DỤNG ĐẶC TRƯNG HOG Học viên: Trương Thị Thế Quang Chuyên ngành: Khoa học máy tính Mã số: Trường Đại học Bách Khoa - ĐHĐN Khóa 34 Tóm tắt – Ngày nay, nghiên cứu lĩnh vực thị giác máy tính hỗ trợ nhiều cho sống Đặc biệt nghiên cứu phân tích dáng hỗ trợ quan sát, chẩn đoán bệnh nhân lĩnh vực y tế Trong luận văn này, tơi trình bày sở lý thuyết bệnh vẹo cột sống: nguyên nhân gây bệnh, phân loại bệnh, số phương pháp y học công nghệ để phát bệnh vẹo cột sống Tiếp đến, tơi tìm hiểu số thiết bị sử dụng phân tích dáng đi, kỹ thuật trích chọn đặc trưng, mơ hình sử dụng phân tích nhận dạng dáng Cuối cùng, xây dựng chương trình nhận dạng dáng người bị vẹo cột sống dựa vào đặc trưng HoG phương pháp lọc máy SVM Chương trình cho phép đưa vào video người xác định người có bị bệnh vẹo cột sống hay không? Kết thực nghiệm qua sở liệu tự tạo dáng cho thấy giải pháp đề xuất mang lại hiệu hứa hẹn Từ khóa – bệnh vẹo cột sống, nhận dạng dáng đi, khung xương, đặc trưng HoG, phương pháp SVM GAIT ANALYSIS OF THE SCOLIOSIS PATIENT USE THE HOG FEATURED Abstrack – Nowadays, researches in the field of computer vision support a lot for life Particularly, research of gait analysis supports the observation and diagnosis of patients in the medical field In this essay, I have presented the theoretical basis of scoliosis: the cause of the disease, the classification of diseases, some methods in medicine as well as in the current technology to detect scoliosis Next, I learned about some of the devices used in gait analysis, selective extraction techniques, and models that were used in identity analysis Finally, I have developed a program to recognize the shape of the scoliosis based on HoG featured and SVM method of filtering Does the program allow inclusion in a person's video and determine if he or she has scoliosis? Experimental results through a self-generated set of gait patterns suggest that the proposed solution yields promising results Keywords – scoliosis, gait analysis, skeletal, HoG featured, SVM method v DANH MỤC CÁC TỪ VIẾT TẮT 2D 3D Two Dimension Three Dimension ANN HMM Artificial Neural Network Hidden Markov Model HOG Histogram of Oriented Gradients PCA Principal Component Analysis SVM Support Vector Machine vi DANH MỤC CÁC BẢNG Số hiệu Tên bảng bảng 1.1 2.1 Bảng kết nối khớp Tỷ lệ phân loại xác [%] sử dụng liệu từ tính chụp khơng đánh dấu Trang 12 24 3.1 Số chu người 40 3.2 Kết nhận dạng dáng 44 vii DANH MỤC CÁC HÌNH Số hiệu Tên hình hình 1.1 1.2 Hình dạng cột sống: (a) Cột sống bình thường, (b) Vẹo cột sống ngực – thắt lưng hình chữ S nghịch Hình dạng người bệnh vẹo cột sống: (a) Cột sống bình thường, (b) Vẹo cột sống Trang 1.3 Một số dạng khiếm khuyết cấu trúc cột sống bẩm sinh 1.4 Cong vẹo cột sống trẻ bại não 1.5 Cách đo góc vẹo cột sống thước đo góc hai cành 1.6 Thước đo Scoliometer cách đo góc vẹo cột sống 1.7 Các cách đo góc Cobb 1.8 Dữ liệu xương từ camera Kinect 10 1.9 Vị trí khớp khung xương Kinect 11 1.10 Dữ liệu xương từ camera Kinect 12 1.11 Trình tự thực để xác định góc Cobb 13 2.1 Biểu diễn đường bao: (a) Minh họa việc khai thác cạnh biên trình mở rộng biên theo hướng ngược chiều kim đồng hồ, (b) Tín hiệu khoảng cách chuẩn hóa bao gồm tất cá khoảng cách trọng tâm điểm ảnh biên 15 2.2 Hình ảnh dáng sau chỉnh 17 2.3 Mẫu dáng sử dụng biến đổi Hough 18 2.4 Sử dụng máy gia tốc quay hồi chuyển 19 2.5 Hệ thống giày cảm biến GaitShoe 20 2.6 Bối cảnh trình xử lý nghiên cứu 21 2.7 Ảnh hồng ngoại tiền xử lý nghiên cứu 22 2.8 Các đặc trưng sử dụng nghiên cứu 23 2.9 Tham số xác suất mô hình Markov ẩn 25 2.10 Mơ hình HMM tương ứng với mơ hình HMM hoạt động 26 2.11 Mơ hình cấu trúc nơ-ron ANN 27 2.12 Mơ hình mạng nơron dùng nghiên cứu 28 3.1 Giải pháp đề xuất trình thực 29 3.2 Giao diện công cụ MakeHuman 31 viii Số hiệu Tên hình hình Trang 3.3 Giao diện phần mềm Blender 32 3.4 Một số khung ảnh lưu vào sở liệu 33 3.5 Chia khối trích đặc trưng HoG 35 3.6 Minh họa toán phân hai lớp với phương pháp SVM 37 3.7 Bài toán SVM trường hợp liệu mẫu không phân tách tuyến tính 38 3.8 Chuỗi ảnh thể dáng đi: (a) Dáng bình thường, (b) Dáng vẹo cột sống 40 3.9 Ảnh trước sau trích xuất đặc trưng HoG: (a) Ảnh đầu vào, (b) Ảnh sau trích xuất đặc trưng HoG 43 3.10 Hình ảnh kết nhận dạng xuất hình: (a) Kết nhận dạng người bình thường, (b) Kết nhận dạng người bệnh vẹo cột sống 43 44 Kết nhận dạng thể bảng sau: Bảng 3.2 Kết nhận dạng dáng Nhân vật Nhân vật Nhân vật Nhân vật Dáng Frame nhận dạng Kết luận Bình thường 98% 100% Lệch vai 91% 100% Bình thường 96% 100% Lệch vai 88% 100% Bình thường 95% 100% Lệch vai 87% 100% Dựa vào kết thực nghiệm nhận dạng dáng đi, ta thấy độ xác giải pháp 92 5% nhận dạng dựa khung hình 93.8% nhận dạng dựa video Nhận xét kết thử nghiệm trên, ta thấy chu kỳ dáng bình thường vẹo cột sống phân tách rõ ràng dựa ngưỡng xác định q trình huấn luyện Tuy nhiên mơ hình SVM xác hiệu phụ thuộc nhiều vào tập liệu huấn luyện Tập liệu phải thu thập đủ lớn khách quan 45 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Thị giác máy tính lĩnh vực phát triển mạnh mẽ giới nói chung Việt Nam nói riêng Khái niệm thị giác máy tính có liên quan đến nhiều ngành học có nhiều hướng nghiên cứu khác Đặc biệt, với nhu cầu ngày tăng hệ thống giám sát trực quan, nhận dạng đối tượng người khoảng cách định quan tâm nhiều thời gian gần Sự phát triển kỹ thuật thị giác máy tính ảnh hưởng lớn theo chiều hướng tích cực tới khả nâng cao độ xác phương pháp phân tích dáng Luận văn trình bày tổng quan bệnh vẹo cột sống, công cụ, đặc trưng sử dụng nhận dạng dáng đi, phương pháp học máy phân tích dáng có, từ đề xuất phương pháp phân tích dáng người bệnh vẹo cột sống dựa vào đặc trưng HoG phương pháp học máy SVM Đầu tiên, sử dụng đặc trưng HoG để tiến hành rút trích đặc trưng từ khung hình video đưa vào, sau sử dụng phân lớp SVM để xác định dáng người bị vẹo cột sống hay không dựa vào giá trị ngưỡng xác định trước Khi tiến hành thực nghiệm liệu gồm nhân vật tự tạo công cụ Make Human Blender với 550 chu kỳ dáng bình thường, 500 chu kỳ dáng vẹo cột sống, độ xác giải pháp 92 5% nhận dạng dựa khung hình 93.8% nhận dạng dựa video Kết thực nghiệm cho thấy chu kỳ dáng bình thường vẹo cột sống phân tách rõ ràng dựa ngưỡng xác định trình huấn luyện Với việc không phân loại nhầm lẫn chu kỳ nào, giải pháp đề xuất kì vọng mang lại hiệu cao ứng dụng thực tế Tuy nhiên mơ hình SVM xác hiệu phụ thuộc nhiều vào tập liệu huấn luyện Tập liệu phải thu thập đủ lớn khách quan Hướng phát triển Trong tương lai, giải pháp đề xuất cải tiến để xây dựng thêm nhiều mơ hình dáng người để ứng dụng cho việc nhận dạng nhận biết số bệnh liên quan đến dáng Parkinson, bệnh hệ thống, di chứng đột quỵ, bệnh lão hóa…dựa vào đặc trưng cụ thể loại bệnh khác 46 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Hồ Viết Hà and Huỳnh Hữu Hưng, Ngô Văn Sỹ, Đ V Đàng, and T V Vũ, "Phân tích dáng dựa theo thơng tin độ sâu", Hội nghị Khoa học Quốc gia lần thứ IX "Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9), Cần [2] Thơ, 2016 P Đ Long, "Bài giảng ứng dụng xử lý ảnh công nghiệp", Thái Nguyên, [3] 2013 T A Tú, "Phân tích dáng sử dụng thông tin đường bao", Đại học Bách Khoa Đà Nẵng, 2017 Tài liệu Tiếng Anh [4] D Anderson, J M Keller, M Skubic, X Chen, and Z He, "Recognizing Falls from Silhouettes", International Conference of the IEEE Engineering in Medicine and Biology Society, pp 6388-6391, 2016 [5] [6] [7] [8] [9] [10] [11] J Bae and M Tomizuka, "Gait phase analysis based on a Hidden Markov Model", Mechatronics, vol 21, pp 961-970, 2011 S J M Bamberg, A Y Benbasat, D M Scarborough, D E Krebs, and J A Paradiso, "Gait Analysis Using a Shoe-Integrated Wireless Sensor System", IEEE Transactions on Information Technology in Biomedicine, vol 12, pp 413-423, 2008 R K Begg, M Palaniswami, and B Owen, "Support vector machines for automated gait classification", IEEE Transactions on Biomedical Engineering, vol 52, pp 828-838, 2005 T Bhosale, H Kudale, V Kumthekar, S Garude, and P Dhumal, "Gait analysis using wearable sensors", International Conference on Energy Systems and Applications, pp 267-269, 2015 N V Boulgouris, K N Plataniotis, and D Hatzinakos, "An angular transform of gait sequences for gait assisted recognition", in Image Processing, 2004 ICIP '04 2004 International Conference on, vol.2, pp 857-860, 2014 C J C Burges, "A Tutorial on Support Vector Machines for Pattern Recognition", Data Min Knowl Discov., vol 2, pp 121-167, 1998 C Cortes and V Vapnik, "Support-vector networks", Machine Learning, vol 20, pp 273-297, 1995 47 [12] [13] [14] [15] N Dalal and B Triggs, "Histograms of oriented gradients for human detection", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), vol.1, pp 886-893, 2005 E Dziuban, HUMAN BODY TEMPERATURE MEASUREMENT CLASS PROGRAM, 2002 T Krzeszowski, A Michalczuk, B Kwolek, A Switonski, and H Josinski, "Gait recognition based on marker-less 3D motion capture", IEEE International Conference on Advanced Video and Signal Based Surveillance, pp 232-237, 2013 B A Kusuma, "Determination of spinal curvature from scoliosis X-ray images using K-means and curve fitting for early detection of scoliosis disease", 2nd International conferences on Information Technology, Information Systems and [16] Electrical Engineering (ICITISEE), pp 159-164, 2017 B Kwolek, T Krzeszowski, A Michalczuk, and H Josinski, "3D Gait Recognition Using Spatio-Temporal Motion Descriptors" in Intelligent Information and Database Systems, Cham, pp 595-604, 2014 [17] W Liang, T Tieniu, N Huazhong, and H Weiming, "Silhouette analysis-based [18] gait recognition for human identification", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 25, pp 1505-1518, 2003 G Panahandeh, N Mohammadiha, A Leijon, and P Händel, "Continuous Hidden Markov Model for Pedestrian Activity Classification and Gait Analysis", IEEE Transactions on Instrumentation and Measurement, vol 62, [19] [20] [21] [22] [23] pp 1073-1083, 2013 Pushparani, Mariappan, and D Sasikala, "A Survey of Gait Recognition Approaches Using PCA & ICA By", 2012 L R Rabiner, "A tutorial on hidden Markov models and selected applications in speech recognition", Proceedings of the IEEE, vol 77, pp 257-286, 1989 C Rougier, J Meunier, A St-Arnaud, and J Rousseau, "Fall Detection from Human Shape and Motion History Using Video Surveillance", in Advanced Information Networking and Applications Workshops, AINAW '07 21st International Conference on, pp 875-880, 2007 T S., R., A S Shukla, and V Sharma, "Identification of People Using Gait Biometrics", International journal of machine learning and computing, pp 409-415, 2011 M Stanke and S Waack, "Gene prediction with a hidden Markov model and a new intron submodel", Bioinformatics, vol 19, pp ii215-ii225, 2003 48 [24] [25] [26] E E Stone and M Skubic, "Passive in-home measurement of stride-to-stride gait variability comparing vision and Kinect sensing", Conf Proc IEEE Eng Med Biol Soc, pp 6491-4, 2011 S Tanee and D Thanapatay, "Scoliosis screening using depth camera", in International Electrical Engineering Congress (iEECON), pp 1-4, 2017 D Villanueva, A Trujillo, E Fermon, E Cardiel, and P R Hedz, "Method for monitoring acceleration of the trunk during gait," in Proceedings of the Second Joint 24th Annual Conference and the Annual Fall Meeting of the Biomedical Engineering Society] [Engineering in Medicine and Biology, vol.2, pp 17581759, 2002 [27] [28] [29] Z Xue, D Ming, W Song, B Wan, and S Jin, "Infrared gait recognition based on wavelet transform and support vector machine", Pattern Recognition, vol 43, pp 2904-2910, 2010 Y Yacoob and M J Black, "Parameterized modeling and recognition of activities", in Sixth International Conference on Computer Vision (IEEE Cat No.98CH36271), pp 120-127, 1998 J H Yoo, D Hwang, K Y Moon, and M S Nixon, "Automated Human Recognition by Gait using Neural Network", in First Workshops on Image Processing Theory, Tools and Applications, pp 1-6, 2008 Tài liệu trực tuyến [30] http://suckhoedoisong.vn/chung-veo-cot-song-n48725.html [Ngày truy cập: [31] [32] [33] [34] [35] [36] 22/02/2018] http://moh.gov.vn/pctainan/pages/tintuc.aspx?CateID=3&ItemID=1437 [Ngày truy cập: 02/02/2018] https://tuanvanle.wordpress.com/2013/12/25/phuong-phap-phan-tich-thanhphan-chinh-principal-component-analysis-pca/ [Ngày truy cập: 17/06/2018] https://suckhoe.vnexpress.net/tin-tuc/suc-khoe/veo-cot-song-chuc-nang-chiemty-le-cao-o-lua-tuoi-hoc-duong-2255498.html [Ngày truy cập: 16/02/2018] https://en.wikipedia.org/wiki/Canny_edge_detector [Ngày truy cập: 09/05/2018] https://en.wikipedia.org/wiki/Histogram_of_oriented_gradients [Ngày truy cập: 18/05/2018] https://en.wikipedia.org/wiki/K-means_clustering [Ngày truy cập: 14/04/2018] Scanned by CamScanner Scanned by CamScanner Scanned by CamScanner Scanned by CamScanner ... thiết bị sử dụng phân tích dáng đi, đồng thời giới thiệu kỹ thuật trích chọn đặc trưng, mơ hình sử dụng phân tích nhận dạng dáng Chương - Phân tích dáng người bệnh vẹo cột sống sử dụng đặc trưng HOG. .. sàng dáng người bệnh vẹo cột sống; - Nghiên cứu giải pháp nhận dạng dáng người bị bệnh vẹo cột sống; - Nghiên cứu thiết bị phân tích dáng đi, kỹ thuật trích chọn đặc trưng, mơ hình sử dụng phân tích. .. ? ?Phân tích dáng người bị bệnh vẹo cột sống sử dụng đặc trưng HOG? ?? 2 Mục tiêu nghiên cứu 2.1 Mục tiêu nghiên cứu Mục tiêu đề tài xây dựng giải pháp đề xuất để phân tích dáng người bệnh vẹo cột