Lựa chọn đặc trưng bằng giải thuật di truyền trong bài toán nhận dạng hành vi

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA - HUỲNH TRUNG TÍN LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI FEATURE SELECTION WITH GENETIC ALGORITHM IN HUMAN ACTIVITIES RECOGNITION Ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 06 năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học: TS Phạm Hoàng Anh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: TS Nguyễn Minh Sơn (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: PGS.TS Huỳnh Trung Hiếu (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 17 tháng 07 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) TS Nguyễn Đức Dũng TS Nguyễn Trần Hữu Nguyên TS Nguyễn Minh Sơn PGS.TS Huỳnh Trung Hiếu TS Lê Thanh Vân Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI HỌC BÁCH KHOA NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HUỲNH TRUNG TÍN MSHV: 1570012 Ngày, tháng, năm sinh: 15/09/1992 Nơi sinh: Đồng Tháp Ngành: KHOA HỌC MÁY TÍNH Mã số : 60 48 01 01 I TÊN ĐỀ TÀI: LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI II NHIỆM VỤ VÀ NỘI DUNG: Sử dụng giải thuật di truyền để thu gọn vector đặc trưng nhằm nâng cao hiệu suất mô hình phân lớp tốn nhận dạng hành vi III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) 10/07/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) 03/12/2017 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS PHẠM HOÀNG ANH Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN TRƯỞNG KHOA KH & KTMT (Họ tên chữ ký) (Họ tên chữ ký) LỜI CẢM ƠN Lời xin gửi lời cảm ơn chân thành sâu sắc đến TS Phạm Hoàng Anh, người hướng dẫn tơi tận tâm, nhiệt tình khoa học để tơi hồn thành luận văn thạc sĩ Đồng thời, xin chân thành cảm ơn đến bạn Phạm Hữu Tuấn Nguyễn Ngọc Phi hỗ trợ tơi q trình thực nghiệm thu thập số liệu Tôi xin cảm ơn thầy cô giáo trường Đại học Bách Khoa thành phố Hồ Chí Minh, đặc biệt thầy Khoa sau đại học giúp tơi q trình thực luận văn Tôi xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp người sát cánh bên cạnh ủng hộ tôi, động lực cho tơi hồn thành luận văn cách thuận lợi Tp Hồ Chí Minh, tháng 06 năm 2018 Huỳnh Trung Tín TĨM TẮT Ngày nay, số lượng người dùng thiết bị di động ngày nhiều điện thoại thông minh trang bị nhiều cảm biến Đó điều kiện thuận lợi cho việc triển khai ứng dụng nhận dạng hành vi điện thoại thông minh Tuy nhiên điện thoại thơng minh cịn hạn chế sức mạnh phần cứng so sánh với máy tính Do đó, luận văn thực với mục tiêu áp dụng giải thuật di truyền để thu giảm kích thước vector đặc trưng, tìm kiếm vector đặc trưng tối ưu cho mơ hình học máy khác nhằm nâng cao kết phân lớp hiệu suất thực thi mơ hình phân lớp (bao gồm thời gian thực thi nhớ sử dụng) Cụ thể luận văn tối ưu vector đặc trưng cho mơ hình Support Vector Machine thu độ xác 96.64% mơ hình 2-Stages Continous Hidden Markovs 88.36% SUMMARY Nowadays many of people use mobile phones and those phones have many built-in sensors That is a good condition for developing activities recognition systems However, smartphones still have limit of hardware power In this thesis, I use genetic algorithms for feature selection, try to find optimized feature vector for classifier algorithms (Support Vector Machine and 2-Stages Continuous Hidden Markov Model) In result, the accuracy of Support Vector Machine is 96.64% and accuracy of 2-Stages Continuous Hidden Markov Model is 88.36% LỜI CAM ĐOAN Tôi xin cam đoan luận văn LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI kết q trình tự nghiên cứu riêng tơi Ngoại trừ nội dung tham khảo từ công trình khác nêu rõ luận văn, số liệu diều tra, kết nghiên cứu đưa luận văn trung thực chưa công bố cơng trình nghiên cứu có từ trước Tp Hồ Chí Minh, tháng 06 năm 2018 Huỳnh Trung Tín MỤC LỤC MỤC LỤC .7 DANH MỤC HÌNH DANH MỤC BẢNG .10 CHƯƠNG MỞ ĐẦU 1.1 Lý chọn đề tài 1.2 Mục tiêu nghiên cứu 1.3 Đối tượng nghiên cứu .2 1.4 Phạm vi nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn 1.5.1 Ý nghĩa thực tiễn 1.5.2 Ý nghĩa khoa học CHƯƠNG 2.1 TỔNG QUAN Các cơng trình liên quan 2.1.1 Cơng trình C A Ronao and S Cho [2] 2.1.2 Cơng trình Rodrigo Cilla et al [3] CHƯƠNG 3.1 NHỮNG NGHIÊN CỨU LÝ THUYẾT VÀ THỰC NGHIỆM Cơ sở lý thuyết 3.1.1 Mơ hình Support Vector Machine .7 3.1.2 Mô hình 2-Stages Continuous Hidden Markov Model (2SCHMM) 13 3.1.3 Giải thuật di truyền (GAs) 18 3.2 Phương pháp nghiên cứu 20 3.2.1 Phương pháp nghiên cứu lý thuyết 20 3.2.2 Phương pháp nghiên cứu thực nghiệm 20 3.2.3 Phương pháp đánh giá kết nghiên cứu .22 CHƯƠNG 4.1 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ 23 Quá trình thực nghiệm 23 4.1.1 Quá trình phân lớp để đánh giá cá thể .23 4.1.2 Quá trình thu gọn vector đặc trưng giải thuật di truyền 30 4.1.3 Quá trình đánh giá kết 32 4.2 Kết thực nghiệm 33 4.2.1 Giải thuật SVM 33 4.2.2 Giải thuật 2SCHMM 34 4.2.3 So sánh kết 35 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ .37 5.1 Những công việc thực 37 5.2 Những hạn chế 37 5.3 Hướng phát triển 37 TÀI LIỆU THAM KHẢO .39 PHỤ LỤC 40 Danh mục từ viết tắt 40 DANH MỤC HÌNH Hình 3-1 Mơ hình Support Vector Machine Hình 3-2 Siêu phẳng mơ hình SVM Hình 3-3 Margin mơ hình SVM .9 Hình 3-4 Ảnh hưởng 𝛄 đến kết phân lớp SVM 10 Hình 3-5 Ảnh hưởng C đến kết phân lớp SVM 11 Hình 3-6 Giai đoạn – Phân lớp thơ hành vi 17 Hình 3-7 Giai đoạn – Phân lớp xác hành vi 17 Hình 3-8 Lưu đồ giải thuật giải thuật di truyền 19 Hình 3-9 Lưu đồ giải thuật cho thu gọn vector đặc trưng giải thuật di truyền21 Hình 4-1 Kết tìm kiếm xác (C,γ) lưới tìm kiếm (Đơn vị: %) 25 Hình 4-2 Biểu đồ đường viền đánh giá thơng số mơ hình HMM 28 Hình 4-3 Các toán tử giải thuật di truyền .30 Hình 4-4 So sánh thơng số có khơng thu gọn vector đặc trưng 35 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ Bảng 4-4 Trọng số lựa chọn thông số cho mơ hình HMM N 65.77 65.69 65.67 65.66 65.64 65.64 65.64 65.63 65.63 66.94 66.92 66.93 66.90 66.90 66.90 66.90 66.89 66.89 66.71 66.47 66.96 66.46 66.54 66.60 66.62 66.68 66.62 66.86 66.58 66.66 66.70 66.70 66.73 66.68 66.68 66.60 66.68 66.61 66.71 66.49 66.43 66.65 66.29 66.56 65.97 66.68 66.82 67.19 67.01 66.84 67.11 66.78 66.78 66.68 66.94 66.57 67.03 66.62 66.78 67.03 66.73 66.87 66.62 66.72 66.41 66.06 66.62 66.21 66.87 66.60 66.70 66.59 66.83 66.39 66.70 66.52 66.43 66.19 66.35 66.56 66.48 10 66.40 66.39 66.54 66.52 66.35 66.29 66.19 66.13 66.32 11 66.80 65.87 65.62 66.11 65.92 66.40 65.67 65.64 65.88 12 65.85 65.92 66.19 65.62 65.53 65.78 65.62 65.64 65.75 13 66.09 65.95 66.22 66.02 65.51 65.45 65.70 65.39 65.15 14 65.96 65.59 65.84 65.40 65.76 65.56 65.72 65.70 65.43 M Từ kết đó, luận văn vẽ biểu đồ đường viền sau: N 14 13 12 11 10 1 M 64-65 65-66 66-67 67-68 Hình 4-2 Biểu đồ đường viền đánh giá thơng số mơ hình HMM Dựa kết Hình 4-2, kết tối ưu (𝑁, 𝑀) = (6, 6) (𝑁, 𝑀) = (3, 6) Kết phù hợp với kết nghiên cứu báo cáo [5], 28 28 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ số trạng thái HMM số lớp cần phân loại Tuy nhiên nghiên cứu, nhóm tác giả không đề cập đến số phân bố xác suất trạng thái Từ kết thực nghiệm, luận văn bổ sung thêm kết luận: nên chọn số phân bố Gauss cho trạng thái số lớp cần phân loại Dựa kết này, luận văn tiếp tục phát triển mơ hình phân lớp thành mơ hình 2SCHMM dựa báo cáo [2] Mơ hình 2SCHMM mơ hình phân lớp sử dụng HMM chia thành tầng: tầng phân lớp thô tầng phân lớp xác Trong tầng phân lớp thơ, luận văn phát triển HMM để cố gắng phân lớp liệu đầu vào thành hai nhóm hành vi động hành vi tĩnh Các kết phân lớp sơ đưa qua tầng gọi tầng phân lớp xác, tầng nhận nhiệm vụ phân lớp liệu thành hành vi (walking, walking upstairs, walking downstairs, sitting, standing lying), để làm điều tầng bao gồm nhóm HMM: nhóm tiếp nhận hành vi động nhóm tiếp nhận hành vi tĩnh Nhóm tiếp nhận hành vi động phân lớp liệu thành ba hành vi walking, walking upstairs walking downstairs Tương tự nhóm tiếp nhận hành vi tĩnh phân lớp liệu thành sitting, standing laying Sử dụng kết thu từ mơ hình HMM tầng, luận văn sử dụng thông số cho HMM tầng sau: Đối với tầng phân loại thô: - Phân lớp: hành vi động hành vi tĩnh - Số HMM: - Số trạng thái HMM: - Số phân phối Gauss trạng thái: Phân lớp xác: - Phân lớp: gồm nhóm, nhóm hành vi động (walking, walking upstairs, walking downstairs) nhóm hành vi tĩnh (sitting, standing laying) - Số HMM nhóm: (Tổng cộng HMM cho nhóm) - Số trạng thái HMM: - Số phân phối Gauss trạng thái: 29 29 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ Ngồi HMM mơ hình phù hợp với chuỗi liệu ngắn, liệu huấn luyện chia nhỏ thành nhiều chuỗi trước huấn luyện Kích thước chuỗi 100 mẫu 4.1.2 Quá trình thu gọn vector đặc trưng giải thuật di truyền Sau tìm mơ hình phân lớp tối ưu, luận văn áp dụng giải thuật di truyền để thu gọn vector đặc trưng Giải thuật di truyền phương pháp tìm kiếm thơng qua dân số Nó sử dụng chuỗi nhị phân để biểu diễn cho đáp án (hay cịn gọi cá thể) cho tốn Rõ ràng, N số lượng đặc trưng số lượng tập 2N Mỗi cá thể biểu diễn chuỗi N bits, giá trị nghĩa đặc trưng có khơng có vector đặc trưng Mỗi cá thể đánh giá độ phù hợp hàm đánh giá phụ thuộc vào mục tiêu toán Ba tốn tử di truyền sử dụng quần thể là: phép chọn (selection), phép trao đổi chéo (crossover) phép đột biến (mutation) Hình 4-3 Các tốn tử giải thuật di truyền Phép chọn dùng để chọn cá thể quần thể dựa độ phù hợp (evaluation) cá thể đó, cá thể có độ phù hợp cao có xác suất chọn cao cá thể có độ phù hợp thấp Đồng thời cá thể có độ phù hợp thấp có xác suất chọn với xác suất thấp, mục đích đa dạng hóa quần thể Các cặp cá thể chọn (cặp bố mẹ) sau thực trao đổi chéo, chúng trao đổi thông tin với để tạo cá thể (con cái) Song song đó, giải thuật di truyền thực thao tác đột biến cách đảo bit cá thể chọn 30 30 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ với xác suất đột biến định để tạo cá thể Quá trình lặp lại đạt điều kiện dừng (khi khơng tìm cá thể tốt hay sau số lượng hệ định), chu kì gọi hệ Luận văn đề xuất sử dụng giải thuật di truyền báo cáo [3], sử dụng quần thể với kích thước 561 cá thể (tương đương với kích thước vector đặc trưng), cá thể phương án để thu gọn vector đặc trưng Tỉ lệ đột biến sử dụng 1/561 Sau lượt đánh giá giữ lại 1% cá thể tốt cho lần tạo dân số tiếp theo, chọn ngẫu nhiên 1% cá thể từ tập cá thể lại với xác suất chọn 0.01 Giải thuật dừng lại kết phân lớp mơ hình học máy cho cá thể tốt không thay đổi trải qua hệ Quá trình thu gọn vector đặc trưng thực lưu đồ Hình 3-9: - Khởi tạo dân số: Tập dân số gồm 561 cá thể, cá thể có 561 gen (tương ứng với 561 đặc trưng vector đặc trưng), cá thể có số ngẫu nhiên gen gán (đồng nghĩa với đặc trưng sử dụng mơ hình học máy) Tỉ lệ trao lai ghép 100% Tỉ lệ đột biến 1/561 - Thu gọn vector đặc trưng: Từng cá thể sử dụng để thu gọn vector đặc trưng - Chạy mơ hình học máy: Chạy mơ hình học máy (SVM 2-Stages CHMM) với vector đặc trưng thu gọn tập liệu UCI HAR - Đánh giá độ xác: Kiểm tra kết học máy tập liệu UCI HAR, tính độ xác kết học - Điều kiện dừng: Đã đủ hệ độ xác kết học khơng tăng - Chọn cá thể: Chọn 1% cá thể có kết nhận dạng tốt - Trao đổi chéo, đột biến: Với xác suất trao đổi chọn, trao đổi hai cá thể bố mẹ để tạo cá thể Với xác suất đột biến chọn, biến đổi cá thể - Ngồi ra, giải thuật di truyền kỹ thuật tìm kiếm ngẫu nhiên nên lặp lại lần tìm kiếm với mong muốn tìm cá thể tốt Thông số dùng để đánh giá cá thể kết mơ hình phân lớp sử dụng liệu cá thể để thu gọn vector đặc trưng 31 31 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ 4.1.3 Quá trình đánh giá kết Luận văn áp dụng phương pháp so sánh thông số thu để đánh giá kết áp dụng thu gọn vector đặc trưng không thu gọn vector đặc trưng Cụ thể thông số đánh giá bao gồm kết phân lớp, kích thước vector đặc trưng, thời gian thực thi, nhớ sử dụng Ở mơ hình phân lớp, luận văn sử dụng biểu đồ dạng cột để so sánh, bao gồm biểu đồ sau: - Kết phân lớp chưa thu gọn vector đặc trưng sử dụng giải thuật di truyền để thu gọn vector đặc trưng - Kích thước vector đặc trưng ban đầu (561 đặc trưng) kích thước vector đặc trưng sau thu gọn - Thời gian thực thi chạy mơ hình học máy với vector đặc trưng chưa thu gọn thu gọn - Bộ nhớ sử dụng chạy mô hình học máy với vector đặc trưng chưa thu gọn thu gọn Sau hoàn thành biểu đồ cho thông số, luận văn tiến hành đánh giá theo tiêu chí sau: - Đối với kết phân lớp, độ xác cao tốt Kết thu gọn vector đặc trưng tốt - Đối với kích thước vector đặc trưng, kích thước nhỏ tốt - Đối với thời gian thực thi, thời gian tiêu tốn nhỏ tốt - Đối với nhớ sử dụng, sử dụng tốt Dựa kết đánh giá, luận văn tiến hành rút kết luận kết thu gọn vector đặc trưng giải thuật di truyền 32 32 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ 4.2 Kết thực nghiệm 4.2.1 Giải thuật SVM Đối với mơ hình SVM, trường hợp khơng sử dụng giải thuật di truyền để thu gọn vector đặc trưng (vector đặc trưng có 561 đặc trưng), ta thu kết phân lớp sau: Bảng 4-5 Kết phân lớp dùng SVM không thu gọn vector đặc trưng Accuracy = 96.78% Actual Predicted WA UP DO SI ST LA Recall WA 492 0 99.19% UP 16 454 0 96.39% DO 13 403 0 95.95% SI 443 45 90.22% ST 0 523 98.31% LA 0 0 537 100% Precision 96.43% 93.27% 98.99% 97.80% 92.23% 100% Kết thu hiệu suất mơ hình phân lớp - Kích thước vector đặc trưng: 561 - Thời gian thực thi: 3.70 giây - Tài nguyên sử dụng: 366MB Đối với trường hợp sử dụng mơ hình phân lớp SVM giải thuật di truyền để thu gọn vector đặc trưng ta thu kết sau: Bảng 4-6 Kết phân lớp dùng SVM có thu gọn vector đặc trưng Accuracy = 96.64% Actual Predicted WA UP DO SI ST LA Recall WA 489 0 98.58% UP 13 457 0 97.03% DO 15 400 0 95.24% SI 450 39 91.65% ST 0 17 515 96.80% LA 0 0 537 100% Precision 96.45% 95.81% 98.77% 96.36% 92.96% 100% 33 33 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ Kết thu hiệu suất mơ hình phân lớp - Kích thước vector đặc trưng: 284 - Thời gian thực thi: 2.15 giây - Tài nguyên sử dụng: 354MB 4.2.2 Giải thuật 2SCHMM Đối với mơ hình 2SCHMM, trường hợp không sử dụng giải thuật di truyền để thu gọn vector đặc trưng (vector đặc trưng có 561 đặc trưng), ta thu kết phân lớp sau Bảng 4-7 Kết phân lớp dùng 2SCHMM không thu gọn vector đặc trưng Accuracy = 86.56% Actual Predicted WA UP DO SI ST LA Recall WA 487 0 98.19% UP 31 415 25 0 88.11% DO 40 37 343 0 81.67% SI 317 117 64.56% ST 0 80 452 84.96% LA 0 0 537 100% Precision 87.28% 90.61% 91.96% 79.85% 79.44% 99.81% Kết thu hiệu suất mô hình phân lớp - Kích thước vector đặc trưng: 561 - Thời gian thực thi: 13 giây - Tài nguyên sử dụng: 247MB Đối với trường hợp sử dụng mô hình phân lớp 2SCHMM giải thuật di truyền để thu gọn vector đặc trưng ta thu kết sau: Bảng 4-8 Kết phân lớp dùng 2SCHMM có thu gọn vector đặc trưng Accuracy = 88.36% Actual Predicted WA UP DO SI ST LA Recall WA 484 0 97.58% UP 38 413 20 0 87.69% DO 36 33 351 0 83.57% SI 349 140 71.08% 34 34 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ ST 0 61 471 88.53% LA 0 536 99.81% Precision 86.74% 90.97% 93.35% 84.91% 77.09% 99.81% Kết thu hiệu suất mơ hình phân lớp - Kích thước vector đặc trưng: 284 - Thời gian thực thi: 7.28 giây - Tài nguyên tiêu tốn: 190MB 4.2.3 So sánh kết Luận văn tổng hợp kết phân lớp có sử dụng giải thuật di truyền để thu gọn vector đặc trưng kết phân lớp không thu gọn vector đặc trưng sau: VECTOR ĐẶC TRƯNG Không SVM T H Ờ I G IA N T H Ự C T H I ( G IÂ Y ) Khơng 366 Có Có 247 190 7.28 2.15 3.7 2SCHMM TÀI NGUYÊN SỬ DỤNG (MB) 13 Không 284 284 88.36 2SCHMM 354 SVM SVM Có 561 Có 561 Khơng 86.56 96.64 96.78 Đ Ộ C H ÍN H X Á C ( % ) 2SCHMM SVM 2SCHMM Hình 4-4 So sánh thơng số có khơng thu gọn vector đặc trưng 35 35 TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN KẾT QUẢ Qua Hình 4-4, độ xác sau áp dụng giải thuật di truyền để thu gọn vector đặc trưng mơ hình 2SCHMM cải thiện đáng kể 1.8%, cịn mơ hình SVM gần không đổi Tuy nhiên hiệu suất thực thi mơ hình phân lớp kết khả quan cho mơ hình SVM mơ hình HMM Cụ thể kích thước vector đặc trưng giảm gần 50% từ 561 284 cho SVM HMM Về thời gian huấn luyện giảm gần 50% từ 3.7 giây 2.15 giây cho SVM từ 13 giây 7.28 giây cho HMM Cuối nhớ sử dụng cải thiện đáng kể cho HMM không đáng kể cho SVM 36 36 KẾT LUẬN VÀ KIẾN NGHỊ CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 5.1 Những công việc thực Luận văn sử dụng giải thuật di truyền để thu gọn vector đặc trưng từ tập 561 đặc trưng ban đầu (tập liệu UCI HAR) Hai giải thuật phân lớp chọn để làm mẫu SVM 2SCHMM, độ xác thu từ mơ hình phân lớp dùng để đánh giá cá thể quần thể giải thuật di truyền Nhờ thu gọn vector đặc trưng mà độ xác, thời gian huấn luyện tài ngun tiêu tốn mơ hình phân lớp (SVM 2SCHMM) cải thiện so với dùng 561 đặc trưng Cụ thể kết sau thu gọn vector đặc trưng sau: - Đối với mơ hình SVM: Kết phân lớp 96.64%, kích thước vector đặc trưng 284, thời gian thực thi 2.15 giây nhớ tiêu thụ 354MB - Đối với mơ hình 2SCHMM: Kết phân lớp 88.36%, kích thước vector đặc trưng 284, thời gian thực thi 7.28 giây nhớ tiêu thụ 190MB Như định hướng ban đầu việc thu gọn vector đặc trưng giúp tăng hiệu suất mơ hình học máy tốn nhận dạng hành vi, đặc biệt ứng dụng hoạt động thiết bị có phần cứng giới hạn điện thoại Ngồi thu gọn vector đặc trưng cịn giúp giảm thời gian chi phí phát triển phần mềm cần trích xuất đặc trưng đủ cho mơ hình học máy 5.2 Những hạn chế Hiện luận văn hạn chế sau: - Đánh giá thông số độc lập (kết phân lớp, kích thước vector đặc trưng, thời gian thực thi nhớ tiêu thụ) - Chưa cho thấy mối tương quan đặc trưng vector đặc trưng thu gọn 5.3 Kết phân lớp 2SCHMM chưa tốt Hướng phát triển Từ hạn chế tại, luận văn cịn nhiều cơng việc cần phát triển tương lai Đầu tiên luận văn đề xuất thông số đánh giá tổng quát 37 37 KẾT LUẬN VÀ KIẾN NGHỊ kết hợp kết phân lớp, kích thước vector đặc trưng, thời gian thực thi nhớ tiêu thụ (hiện thông số đánh giá độc lập) Song song luận văn phát triển thêm thông số để đánh giá độ tương quan đặc trưng thu vector đặc trưng thu gọn nhằm cho thấy độ hiệu đặc trưng chọn, lý giải đặc trưng mang lại hiệu đặc trưng khác Tiếp theo luận văn đưa giải thuật phân lớp xuống tảng điện thoại thông minh để đánh giá hiệu kết thu gọn đặc trưng cho giải thuật phân lớp tương ứng Cũng tiếp tục thí nghiệm tìm kiếm phương pháp lựa chọn đặc trưng tốt (ví dụ rừng ngẫu nhiên), đồng thời cải tiến giải thuật phân lớp 2SCHMM 38 38 TÀI LIỆU THAM KHẢO [1] O´ S D Lara and M A Labrador, "A Survey on Human Activity Recognition using," IEEE COMMUNICATIONS SURVEYS & TUTORIALS, vol 15, no 3, 2013 [2] C A Ronao and S Cho, "Human Activity Recognition Using Smartphone Sensors With Two-Stage Continuous Hidden Markov Models," in ICNC, 2014 [3] Rodrigo Cilla, et al, "Recognizing Human Activities from Sensors Using Hidden Markov Models Constructed by Feature Selection Techniques," Algorithms, vol 2, no 1, pp 282-300, 2009 [4] C Hsu, et al, "A Practical Guide to Support Vector Classi," Department of Computer Science National Taiwan University, Taipei, 2003 [5] R San-Segundo, et al, "Human Activity Monitoring Based on Hidden Markov Models Using a Smartphone," IEEE Instrumentation & Measurement Magazine, 2016 [6] M J.-H P a C S Sarich, ""Markov model theory." An Introduction to Markov State Models and Their Application to Long Timescale Molecular Simulation," Springer Netherlands, 2014, pp 23-44 [7] J Han, et al, Data Mining: Concepts and Techniques, Morgan Kaufmann, 2000 [8] M L Raymer, et al, "Dimensionality Reduction Using Genetic Algorithms," IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION, vol 4, Jul 2000 [9] J B Conway, A Course in Functional Analysis, New York: Springer-Verlag, Second Edition, 2007 [10] Y Lee and S Cho, "Activity Recognition Using Hierarchical Hidden Markov Models on a Smartphone with 3D Accelerometer," Springer-Verlag, pp 460467, 2011 39 PHỤ LỤC Danh mục từ viết tắt 3DD 3D Deviation of the acceleration signals ACC Accelerometers AMB Ambulation activities (see Table I) ANN Artificial Neural Network ALR Additive Logistic Regression classifier AR Auto-Regressive model coefficients AV Angular velocity BN Bayesian Network classifier CART Classification And Regression Tree DA Daily activities DCT Discrete Cosine Transform DO Walking downstair DT Decision Tree-based classifier DTW Dynamic Time Warping ENV Environmental sensors FBF Fuzzy Basis Function FD Frequency-domain features GYR Gyroscope HMM Hidden Markov Models HRB Heart Rate Beats above the resting heart rate HRM Heart Rate Monitor HW Housework activities KNN k-Nearest Neighbors classifier LA Laying LAB Laboratory controlled experiment LDA Linear Discriminant Analysis LS Least Squares algorithm MIL Military activities 40 MNL Monolithic classifier (subject independent) NAT Naturalistic experiment NB The Naăve Bayes classifier NDDF Normal Density Discriminant Function PCA Principal Component Analysis PHO Activities related to phone usage PR Polynomial Regression RFIS Recurrent Fuzzy Inference System SD Subject Dependent evaluation SFFS Sequential Forward Feature Selection SI Subject Independent evaluation SI Sitting SMA Signal Magnitude Area SMCRF Semi-Markovian Conditional Random Field SPC User-specific classifier (subject dependent) SPI Spiroergometry ST Standing TA Tilt Angle TD Time-domain features TF Transient Features TR Transitions between activities UB Upper body activities UP Walking upstair VS Vital sign sensors WA Walking 41 LÝ LỊCH TRÍCH NGANG Họ tên: HUỲNH TRUNG TÍN Ngày, tháng, năm sinh: 15/09/1992 Nơi sinh: ĐỒNG THÁP Địa liên lạc: 453KH/53A, LÊ VĂN SỸ, PHƯỜNG 12, QUẬN 3, TP HỒ CHÍ MINH Q TRÌNH ĐÀO TẠO Thời gian 2010 – 4/2015 4/2015 – Nơi công tác hay học tập Chức vụ, công việc Trường đại học Bách Khoa Học đại học Hồ Chí Minh Trường đại học Bánh Khoa Học cao học Hồ Chí Minh Q TRÌNH CƠNG TÁC Thời gian Nơi cơng tác hay học tập Chức vụ, công việc 4/2015 – 12/2016 Trường đại học Bách Khoa Trợ giảng làm tự Hồ Chí Minh 1/2017 – Cơng ty TNHH Cơng nghệ ADZ Lập trình viên ... LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI II NHIỆM VỤ VÀ NỘI DUNG: Sử dụng giải thuật di truyền để thu gọn vector đặc trưng nhằm nâng... luận văn LỰA CHỌN ĐẶC TRƯNG BẰNG GIẢI THUẬT DI TRUYỀN TRONG BÀI TOÁN NHẬN DẠNG HÀNH VI kết trình tự nghiên cứu riêng Ngoại trừ nội dung tham khảo từ cơng trình khác nêu rõ luận văn, số liệu di? ??u... dừng Lựa chọn Đúng Lựa chọn giải pháp tốt Kết thúc Hình 3-8 Lưu đồ giải thuật giải thuật di truyền Chi tiết giải thuật di truyền thực qua bước sau: - Bước bắt đầu: Nhận tham số cho thuật toán -