Nhận dạng cử chỉ người với đồng hồ đeo tay thông minh (tt)

Nhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minhNhận dạng cử chỉ người với đồng hồ đeo tay thông minh

1 MỞ ĐẦU Lý chọn đề tài Ngày nay, sản phẩm công nghệ trở nên gần gũi với người sử dụng Nó mang lại nhiều tiện ích ứng dụng hỗ trợ đắc lực giúp cho sống công việc trở nên đơn giản, thuận tiện tiết kiệm thời gian Những sản phẩm công nghệ thông minh ngày phát triển điện thoại thông minh, đồng hồ đeo tay thông minh,… Ưu điểm thiết bị chúng dễ dàng mang theo, sử dụng hầu hết khắp nơi thời điểm Khi máy tính ngày thu nhỏ kích thước kính hay đồng hồ đeo tay việc sử dụng bàn phím, chuột hay hình cảm ứng trở nên khơng thích hợp Thay vào đó, tương tác người – máy nghiên cứu phát triển mạnh Bàn tay, phận hoạt động xác hiệu người sử dụng công cụ, đánh giá nhiều tiềm Và thực tế toán nhận dạng cử nhận nhiều quan tâm nghiên cứu có ứng dụng cụ thể tương tác robot, nhận diện ngôn ngữ cử chỉ, hay điều khiển thiết bị thông minh Tuy nhiên, ứng dụng tương tác qua bàn tay thường đòi hỏi độ xác cao số bậc tự lớn khiến phương pháp truyền thống tỏ hiệu Thay vào đó, phương pháp nhận dạng cử người dựa đồng hồ đeo tay thông minh hướng tiếp cận khả thi Các cơng trình nghiên cứu trước cho thấy cử giao tiếp tự nhiên với người có tiềm trở thành tương tác mặt cử Trong luận văn này, nghiên cứu xây dựng chế kỹ thuật nhận dạng cử người thông qua việc sử dụng công nghệ cảm biến gia tốc chiều quay hồi quy chiều tích hợp sẵn đồng hồ đeo tay thơng minh Mục đích nghiên cứu Tương tác người – máy lĩnh vực nghiên cứu thu hút nhiều quan tâm nhà khoa học giới nước thời gian gần Mục đích nghiên cứu nhằm hướng tới hệ tương tác người máy, tiệm cận tương tác người với người, nghĩa dùng phương tiện tương tác thông qua cử chỉ,… Mục tiêu nghiên cứu  Luận văn có hai mục tiêu:  Đầu tiên, nghiên cứu phát triển phương pháp nhận dạng cử người với đồng hồ đeo tay thông minh  Đánh giá phương pháp đề xuất thực nghiệm với liệu thu thập người dùng khác Đối tượng phạm vi nghiên cứu  Đối tượng nghiên cứu: Nghiên cứu phát triển phương pháp nhận dạng cử người đồng hồ đeo tay thông minh  Phạm vi nghiên cứu:  Nghiên cứu lập trình với cảm biến gia tốc xử lý liệu cảm biến gia tốc  Nghiên cứu thuật toán nhận dạng cử người  Thử nghiệm đánh giá phương pháp Phương pháp nghiên cứu - Nghiên cứu cảm biến gia tốc: xử lý tín hiệu liệu cảm biến đến từ đồng hồ đeo tay thông minh - Nghiên cứu phương pháp học máy cho toán nhận dạng cử người sử dụng đồng hồ đeo tay thông minh - Thử nghiệm đánh giá phương pháp Chương TỔNG QUAN NHẬN DẠNG CỬ CHỈ Giới thiệu chương: Chương giới thiệu tổng quan nhận dạng cử người Các đặc trưng, tiện ích ứng dụng nhận dạng cử người  Nội dung chương 1:  Các nghiên cứu trước nhận dạng cử người  Các ứng dụng sử dụng nhận dạng cử người  Các mục tiêu nghiên cứu  Phạm vi giả định luận văn  Kết luận chương 1.1 Giao diện cử Tương tác người-máy cử phương tiện diễn đạt giao tiếp bắt đầu phát triển so với kết đạt phương thức tương tác khác như: tiếng nói, hình ảnh, tiếp xúc Độ phức tạp nghiên cứu tương tác tăng dần từ nhận dạng cử tượng trưng (symbol) tới nhận dạng ngôn ngữ cử (sign language) Do cử chỉ, ký hiệu mang ý nghĩa định nên tổng hợp cử cần có khả phân tích, tổng hợp để hiểu ý nghĩa đối thoại 1.1.1 Định nghĩa cử Cử sử dụng cho tương tác, người giao tiếp khơng tương tác lời nói, mà cử động thể, biểu cảm bao gồm biểu tay, biểu cảm nét mặt… Giao diện cử tương tác người – máy sử dụng cử cá nhân rời rạc Việc sử dụng cử đề cập hai trường hợp Trường hợp đầu tiên, giao diện thông qua cử người dùng Trong trường hợp thứ hai, cử xác định người dùng người dùng cần phải thích ứng với chúng 1.1.2 Phân loại cử Cử chuỗi hành động liên tiếp để biểu thị nội dung nhằm mục đích truyền đạt thơng tin mà khơng cần sử dụng lời nói Một cử mang thông tin định dùng để diễn đạt từ ngữ giao tiếp người Cử chia thành loại cử tĩnh, cử động hay kết hợp cử tĩnh cử động Cử tĩnh: Cử chỉ phụ thuộc vào hình dạng, khơng phụ thuộc vào vị trí, góc quay hay tỉ lệ lớn nhỏ đối tượng diễn đạt, biểu diễn nhiều hình ảnh 4 Cử động: Biểu diễn dãy trạng thái, tư khác bàn tay theo trình tự thời gian khơng gian, thuộc cử mơ chuỗi hình ảnh, hình ảnh trạng thái, tư tay bàn tay Ngôn ngữ cử điều khiển trọng nghiên cứu phát triển hệ thống tương tác robot, hệ thống điều khiển máy tính,… Ngôn ngữ cử thường không theo tiêu chuẩn chung mà tùy thuộc vào quy định cho hệ thống cụ thể nhằm mục đích giảm độ phức tạp cử chỉ, tạo tương tác gần gũi, dễ dàng, dễ sử dụng điều khiển 1.2 Nhận dạng cử Nhận dạng lĩnh vực nghiên cứu khoa học máy tính phương pháp lập luận mơ tả nhận thức cho máy tính khả nhận biết cử đối tượng giới thực Nhận dạng cử công nghệ ngôn ngữ ngành khoa học máy tính với mục tiêu giải thích cử người thông qua thuật toán học máy Nhận dạng cử người trình theo dõi hành động cử người, chuyển đổi ngôn ngữ cử thành lệnh tương tác có ý nghĩa Nhận dạng cử người xác định xem người thực cử thuộc lớp cử số tập cử huấn luyện từ trước 1.2.1 Kỹ thuật nhận dạng cử Để tương tác, giao diện cử người dùng cần thu thập cử người dùng Điều thực cách thu thập liệu cảm biến người dùng thực cử hình ảnh qua camera thu thập liệu cử thông qua cảm biến gắn trực tiếp vào người dùng Thu thập liệu cử hình ảnh camera kỹ thuật theo dõi đường chuyển động cử người dùng qua camera cài đặt trước môi trường Kỹ thuật đòi hỏi phải chuẩn bị trước mơi trường tương tác cử cách ghi lại video chuyển động cử Việc gắn thiết bị cảm biến trực tiếp với người dùng đem lại môi trường tương tác, thu thập liệu cử cách khách quan, không phụ thuộc vào môi trường tương tác Các thiết bị cảm biến thường sử dụng để thu thập liệu cử cảm biến gia tốc quay hồi chuyển Chúng gắn thiết bị điện thoại di động thông minh, đồng hồ đeo tay thông minh,…để đo chuyển động thiết bị sử dụng phép đo để suy diễn chuyển động cử người dùng 5 Tiền xử lý liệu Tiền xử lý liệu đầu vào q trình chuẩn hóa lại liệu nhằm mục đích loại bỏ liệu dư thừa, giữ lại liệu đặc trưng cho trình huấn luyện liệu kết trình nhận dạng Loại bỏ liệu dư thừa làm tăng dung lượng nhớ, giúp hệ thống xử lý nhanh Trích chọn đặc trưng Trích chọn đặc trưng trình ghi nhận đặc trưng nhất, cho dù đối tượng có thay đổi hệ thống nhận dạng dựa vào đặc trưng nhận cử cách tương đối xác Có nhiều phương pháp để trích chọn đặc trưng tùy theo loại đối tượng tùy thuộc vào hoàn cảnh ứng dụng đối tượng nên khơng thể nói phương pháp phương pháp tốt chưa xác định hệ thống nhận dạng cụ thể Quá trình học nhận dạng Q trình học: Sau trích chọn đặc trưng, chuyển động mô tả dãy tín hiệu, dãy tín hiệu tham số đầu vào cho thuật toán Baum-Welch để huấn luyện tham số cho mơ hình HMM Đối với lớp sau huấn luyện mơ hình HMM lưu trữ để phục vụ cho trình nhận dạng Quá trình nhận dạng: Từ chuỗi tín hiệu thu được, sau tiền xử lý trích chọn đặc trưng Sử dụng thuật tốn Viterbi để nhận dạng dựa liệu mẫu huấn luyện trước Thuật tốn Viterbi tính giá trị xác suất chuỗi lớp mơ hình HMM để chọn lớp có giá trị lớn phục vụ cho q trình nhận dạng Mơ hình HMM, thuật toán Baum-Welch thuật toán Viterbi sử dụng làm phương pháp nhận dạng cử người với đồng hồ đeo tay thơng minh, trình bày chương 1.2.2 Ứng dụng nhận dạng cử Nhận dạng cử có nhiều ứng dụng thực tế, lĩnh vực quan trọng thị giác máy tính, từ đời hệ thống nhận dạng cử nhận nhiều quan tâm phát triển vượt trội Sự phát triển tương tác người máy tính thu hẹp khoảng cách, trở nên gần gũi tương tác người với người Ứng dụng nhận dạng cử phân loại theo chủ đề cốt lõi ứng dụng tương tác rô-bốt, ngôn ngữ ký hiệu, thực tế ảo, điều khiển trò chơi,… Ứng dụng máy tính, cử người cung cấp mơi trường tương tác thay bàn phím, chuột, sử dụng để thao tác với đối tượng đồ họa, nhân vật ảo Trong tương tác thực tế ảo, cử người tương tác với đối tượng ảo 3D 2D Ứng dụng thực tế ảo chia thành ba loại bản: tương tác đầy đủ (fullyimmersive), tương tác bán nhập vai (semi-immersive) tương tác không nhúng (nonimmersed) Ứng dụng điều khiển hệ thống nhà thông minh phát triển mạnh mẽ thời gian gần đây, cử người điều khiển thiết bị điện tử, hệ thống chiếu sáng, điều hòa nhiệt độ ngơi nhà,… 1.3 Tương tác cử thiết bị thông minh Giao diện cử phù hợp với thiết bị thơng minh, chúng cho phép tương tác cách tự nhiên cho phép khắc phục số hạn chế giao diện người dùng Giao diện cử gắn với thiết bị thông minh cho phép người dùng nhập lệnh cách linh hoạt Người dùng tương tác với thiết bị thơng minh có gắn cảm biến gắn trực tiếp tay cử tay việc xoay tay với cổ tay cẳng tay Việc có lợi cử khơng đòi hỏi khơng gian lớn để thực Các cử tay thông qua cảm biến gửi tới thiết bị thông minh, từ thiết bị thông minh giải mã cử chuyển thành lệnh tới dịch vụ xung quanh 1.4 Các nghiên cứu trước 1.4.1 Nhận dạng người dùng dựa đặc điểm sinh trắc học Sinh trắc học (biometrics) lĩnh vực nghiên cứu phương pháp toán học thống kê áp dụng tốn phân tích liệu sinh học Sinh trắc học gồm phương pháp nhận diện người dựa đặc điểm sinh lý học hay đặc điểm hành vi người Các hệ thống sinh trắc phát triển ứng dụng thực tế hệ thống bảo mật, quản lý truy xuất, hệ thống điều phối Sinh trắc học đem lại số ưu điểm so với phương pháp bảo mật truyền thống (thẻ, mật ) như: khơng thể khó giả mạo, khơng bị đánh cắp hay bị Tuy nhiên, kết cơng trình nghiên cứu lĩnh vực chưa đủ hồn thiện để thay hẳn phương pháp truyền thống Hiện nay, kỹ thuật sinh trắc thường sử dụng kết hợp với mật hay thẻ để tăng cường khả bảo mật tính an tồn liệu 7 Sinh trắc học sử dụng theo hai hình thức nhận dạng (identification) thẩm định (verification): 1.4.2 Nhận dạng dựa chuyển động 1.4.2.1 Chuyển động người dùng cho tương tác máy Tất giao diện người dùng sử dụng chuyển động người dùng cách thức nhập liệu Các ví dụ điển hình nút bấm, bàn phím, trỏ hình cảm ứng Wobbrock đề suất chế xác thực gọi TapSong sử dụng nút Người sử dụng tiến hành xác thực cách ấn vào nút cách nhịp nhàng tương tự nhịp điệu chọn trình đăng ký Các nhịp điệu sử dụng dựa hát để giúp người dùng dễ dàng việc ghi nhớ Các cách tiếp cận khả thi khác sử dụng tổ hợp phím động Các chế không sử dụng nội dung người dùng nhập vào mà lại nhận dạng cách thức người dùng tương tác với bàn phím 1.4.2.2 Chữ ký tay Chữ ký tay cách phổ biến để chứng minh danh tính người Chữ viết chữ ký văn coi đặc điểm riêng người Trên thực tế, chữ ký văn sử dụng để ký kết hợp đồng Khi người ký vào văn bản, điều có nghĩa biết, hiểu chấp nhận điểu khoản nội dung Chữ ký màng tính ràng buộc pháp luật cấm việc giả mạo chữ ký 1.4.2.3 Cử tay Một chế sử dụng cử rời rạc để ánh xạ đến số mã PIN thiết bị di động giới thiệu Chong Chong, 2009 Người dùng nhập vào số mã PIN cách áp dụng cử tương ứng thiết bị di động Các cử sử dụng chuyển động tay thời gian ngắn, bắt đầu kết thúc vị trí Người dùng cần thực cử cách xác đê việc nhận dạng thành cơng Trên thực thế, trình xác thực người dùng tiết lộ cử bí mật sử dụng mã PIN kẻ cơng biết tập hợp cử rời rạc Điều cho phép kẻ cơng dò mã PIN cách quan sát cử cách dễ dàng Anh ta sử dụng thông tin để bắt chước thứ tự cử hợp lệ khơng cần phải giả mạo cách xác chuyển động người dùng hợp lệ mà cần thực cử rời rạc 8 Chương NHẬN DẠNG CỬ CHỈ NGƯỜI VỚI ĐỒNG HỒ ĐEO TAY THÔNG MINH Giới thiệu chương: Nhận định cảm biến liệu cảm biến gia tốc, kỹ thuật nhận dạng cử Sau đó, tìm hiểu nghiên cứu phương pháp chế hoạt động cử người với cảm biến gia tốc tích hợp sẵn đồng hồ đeo tay thông minh  Nội dung chương cấu trúc theo mục sau:  Khảo sát cảm biến tích hợp đồng hồ đeo tay thơng minh  Phân tích xử lý liệu cảm biến  Nhận dạng cử người đồng hồ đeo tay thông minh 2.1 Cảm biến với hoạt động nhận dạng Khái niệm cảm biến cho hoạt động nhận dạng dùng để cảm biến gắn trực tiếp hay gián tiếp thể người Cảm biến sinh tín hiệu người dùng thực hoạt động cử Dựa vào đặc điểm tín hiệu đầu cảm biến, hệ thống phân biệt trạng thái loại hoạt động thực người Cảm biến gắn quần áo, kính mắt, thắt lưng, giày, đồng hồ, thiết bị di động đặt trực tiếp thể người Các cảm biến phân loại theo cách thức, mục đích sử dụng chúng phương pháp nhận dạng hoạt động cử người, bao gồm: cảm biến chuyển động (có kết hợp cảm biến khác), cảm biến giúp xác định vị trí người dùng, cảm biến gắn vào đối tượng sử dụng cảm biến phát dấu hiệu sống Nhóm thứ gồm cảm biến mang người hay dùng nghiên cứu nhận dạng hoạt động, cử người Đó cảm biến thu nhận thông tin chuyển động thể, bao gồm cảm biến gia tốc, cảm biến quay hồi chuyển, cảm biến âm Trong cảm biến gia tốc dùng nhiều [4, 13, 14, 18] khả đo tần suất lẫn cường độ chuyển động, kết hợp với số cảm biến khác quay hồi chuyển hay cảm biến âm để tăng hiệu nhận dạng hoạt động nhiều điều kiện môi trường khác Các cảm biến nhóm có độ xác cao, chi phí thấp gây khơng gian cho người dùng so với cảm biến khác mi-crô hay máy quay phim Nhóm thứ hai phổ biến cảm biến dùng để xác định vị trí, mà phổ biến GPS quay hồi chuyển [4, 14] Dữ liệu GPS sử dụng để xác định cụ thể hành vi mức cao người [20], dự đoán di chuyển nhiều người [3], hay học suy diễn mơ hình di chuyển người dùng để xác định hành vi bất thường [16] Còn liệu quay hồi chuyển giúp định vị người dùng tăng độ xác nhận dạng hoạt động người cho số dạng hoạt động cụ thể ngồi, đứng [4, 14] Nhóm thứ ba cảm biến gắn vào đối tượng sử dụng, ví dụ RFID, cảm biến phát tia hồng ngoại, chuyển mạch cộng từ cảm biến chuyển động, ứng dụng để phát kiện sử dụng đối tượng (như mở cửa, mở ngăn, v.v.) Nhóm cảm biến giúp tạo cách tiếp cận linh hoạt cho nhận dạng hoạt động cử người gây hạn chế môi trường thiết kế đóng Cuối nhóm cảm biến sinh học, giúp đo dấu hiệu sống (bao gồm huyết áp, nhịp tim, điện não, điện tim thông tin hơ hấp), từ ứng dụng nhận dạng hoạt động người phát hiện tượng hạ thân nhiệt [26], đo nhịp hô hấp [6], đo co thắt bắp [17] Bảng 2.1 liệt kê nhóm cảm biến Các mơ hình cảm biến sử dụng khai thác nghiên cứu từ trước tới đa dạng, thuộc nhiều nhóm nghiên cứu khác nhau, từ mơ hình với cảm biến đến mơ hình kết hợp nhiều loại cảm biến với Trong nghiên cứu [15] nhận dạng hoạt động mình, Lester thực xếp hạng cảm biến sử dụng chế lựa chọn đặc trưng thấy liệu cảm biến gia tốc (Accelerometer) liệu đóng vai trò quan trọng thực nghiệm Đồng thời, cảm biến gia tốc cảm biến trang bị ứng dụng nhiều thiết bị thông minh mang theo người Do phần sau nghiên cứu tập trung chủ yếu vào phương pháp hệ thống sử dụng cảm biến gia tốc (Accelerometers) kết hợp quay hồi chuyển (Gyroscope) 2.2 Cảm biến gia tốc Accelerometers quay hồi chuyển Gyroscope Cảm biến thiết bị dung để cảm nhận biến đổi đại lượng vật lý cà đại lượng tính chất điện cần đo thành đại lượng điện xử lý Các đại lượng cần đo (m) thường khơng có tính chất điện (như nhiệt độ, áp suất, gia tốc….) tác động lên cảm biến cho ta đặc trưng (s) mang tính chất điện (như điện tích, điện áp, dòng điện trở kháng) chứa đựng thông tin cho phép xác định giá trị đại lượng đo Đặc trưng (s) hàm đại lượng cấn đo (m): s = F(m) Người ta gọi (s) đại lượng đầu phản ứng cảm biến, (m) đại lượng đầu vào hay kích thích Thơng qua đo đạc (s) cho phép nhận biết giá trị (m) Đại lượng cần đo (m) → Cảm biến → đại lượng điện (s) 10 Các hệ thống điện tử (MEMS) thành phần thiếu sản phẩm công nghệ thơng minh Một số yếu tố để cấu thành hệ thống điện tử cảm biến cảm biến gia tốc Accelerometers quay hồi chuyển Gyroscope, cảm biến MEMS trở thành yếu tố quan trọng việc thiết kế sản phẩm khác biệt cho thị trường tiêu dùng di động điều khiển trò chơi, điện thoại thơng minh, đồng hồ thơng minh, máy tính bảng,… MEMS cho người dùng cách để giao tiếp với thiết bị thông minh họ 2.2.1 Cảm biến gia tốc Accelerometers Gia tốc chuyển động thành phần quan trọng thông số động học như: vị trí, vận tốc, gia tốc, tốc độ biến thiên gia tốc Mỗi thông số lại có liên hệ tuyến tính với thơng số cạnh Bởi thế, tất thơng số động học lấy từ thơng số Có hai kỹ thuật đo gia tốc: phương pháp đo trực tiếp qua gia tốc kế đặc biệt phương pháp gián tiếp đạo hàm vận tốc Khả ứng dụng kỹ thuật phụ thuộc vào dạng chuyển động (chuyển động thẳng, tròn, chuyển động cong) trạng thái cân dao động Với chuyển động thẳng chuyển động cong, người ta ưu tiên dung phương pháp đo gia tốc kế trực tiếp Tuy nhiên, người ta thường đo gia tốc góc phương pháp đo gián tiếp Gia tốc thông số quan trọng cho mục đích đo độ dịch chuyển tuyệt đối, dao động, đo độ shock Với mục đích vậy, có nhiều loại gia tốc kế với tính dải đo rộng nhằm đáp ứng yêu cầu ứng dụng đa dạng, chủ yếu lĩnh vực: Cảm biến gia tốc chế tạo dựa công nghệ vi điện tử (MEMS) vi hệ thống Về có loại cảm biến gia tốc, cảm biến gia tốc kiểu tụ, áp điện áp điện trở Giá trị đọc cảm biến thường tính theo đơn vị “g”, g gia tốc trọng trường Do đó, kết tính tốn góc nghiêng sau chia cho thành phần “g”, tức kết đo góc khơng phụ thuộc vào gia tốc trọng trường, không phụ thuộc vào vị trí địa lý 2.2.2 Cảm biến quay hồi chuyển Con quay hồi chuyển (gyroscope) thiết bị dùng để đo trì định hướng 11 Có cấu tạo đơn giản gồm bánh đà (đĩa quán tính) quay với tốc độ cao gắn lỏng lên khung đỡ Khi khung ngồi quay, tác động momen ngoại lực vào đĩa, làm đĩa chịu thêm chuyển động quay theo phương vng góc với phương quay khung Khi đĩa xoay với vận tốc cao, chuyển hướng theo momen ngoại lực giảm thiểu (do hầu hết bị chuyển sang phương vng góc) giúp gyroscope trì độ nghiêng Cũng gyroscope, cảm biến gyroscope lợi dụng tượng vật xoay tròn biến chuyển động theo phương thành chuyển động theo phương khác vng góc Các loại cảm biến Gyroscope:  Spinning Mass Gyroscope  MEMS Gyroscope  Optical Gyroscope Cảm biến gyroscope dùng kết hợp với cảm biến accelerometer thiết bị để hỗ trợ việc tính tốn gia tốc tuyến tính tương đối so với khung tham chiếu Khi cảm biến quay hồi chuyển kết hợp với cảm biến gia tốc, cảm biến nhận diện chiều khác (trái, phải, trên, dưới, trước sau) Cảm biến nhận diện chuyển động dựa chiều không gian X, Y, Z 2.3 Xử lý liệu cảm biến Nhận dạng cử thực theo nhiều cách, với nhiều kiểu cảm biến hướng tới nhiều loại cử khác Một hệ thống nhận dạng cử người nói chung nhận liệu đầu vào liệu thô lấy từ cảm biến thông thường gồm bước sau: tiền xử lý, phân đoạn, trích chọn đặc trưng, tập huấn luyện cử Dữ liệu cảm biến Dữ liệu cảm biến đầu vào cho hệ thống trường hợp riêng chuỗi liệu thời gian, gồm chuỗi điểm liệu liệt kê theo trật tự thời gian Khi đó, chuỗi liệu cảm biến đầu vào có trật tự thời gian Tính chất khiến việc phân tích chuỗi thời gian khác biệt so với loại nghiên cứu khác sử dụng mẫu quan sát không tuân theo trật tự thời gian Trong chuỗi thời gian, mẫu quan sát gần mặt thời gian có mối liên hệ chặt chẽ mẫu xa Thêm nữa, chuỗi liệu thời gian có tính chất chiều theo trật tự thời gian, giá trị khoảng thời gian 12 định thể phát sinh từ giá trị khứ, giá trị tương lai [7] Bước 1: Tiền xử lý Tiền xử lý giai đoạn hệ thống nhận dạng cử điển hình Dữ liệu đầu vào cho bước tiền xử lý (cũng liệu đầu vào cho hệ thống) luồng liệu thu từ cảm biến đồng hồ thông minh mà người đeo thực cử Dữ liệu cảm biến đầu vào chuỗi liệu thời gian nhiều chiều nhiều nguyên nhân, cảm biến gia tốc chiều có giá trị tương ứng với trục x, y, z Bước Phân đoạn Bước phân đoạn (còn gọi phát cử chỉ, đánh dấu thực cử chỉ) lấy liệu xử lý (từ luồng liệu sau tiền xử lý), sau chia thành phần nhỏ có khả chứa thơng tin hoạt động hay cử Các phần liệu gọi đoạn (segment) Phân đoạn luồng cảm biến liên tục việc khó Có phương pháp khác để thực phân đoạn [8], bao gồm phân đoạn sử dụng cửa sổ trượt, phân đoạn dựa vào lượng phân đoạn dựa vào vị trí nghỉ (bằng cách sử dụng loại cảm biến để phân đoạn cho liệu loại cảm biến khác hay sử dụng thông tin ngữ cảnh bên ngoài) Trong nhận dạng cử sử dụng cảm biến mang người, phân đoạn sử dụng cửa sổ trượt thường sử dụng nhiều [8] Do đó, cửa sổ trượt sử dụng để phân đoạn liệu hệ thống nhận dạng Bước Trích chọn đặc trưng Trích chọn đặc trưng bao gồm hai phần: tách/trích xuất đặc trưng (feature extraction) lựa chọn đặc trưng (feature selection) Trích chọn đặc trưng nhằm rút gọn tín hiệu thành đặc trưng để phân biệt cử sử dụng làm liệu đầu vào cho bước phân lớp Tùy thuộc vào hệ thống cụ thể mà lựa chọn đặc trưng thực hay khơng Tập đặc trưng có từ liệu gọi khơng gian đặc trưng Nói chung, hoạt động phân tách rõ ràng không gian đặc trưng hiệu suất nhận dạng hệ thống cao Điều quan trọng đặc trưng cử nhóm thành nhóm khơng gian đặc trưng ngược lại đặc trưng cử khác cần phân biệt xa tốt 13 Không gian đặc trưng có số chiều lớn cần nhiều liệu huấn luyện để tính tốn tham số cho mơ cần nhiều lượng tính toán thực phân lớp Đặc biệt hệ thống nhúng cần xử lý theo thời gian thực, mục tiêu cần đạt tối thiểu hóa yêu cầu nhớ, lượng tính tốn băng thơng Vì vậy, điều quan trọng cần sử dụng số lượng đặc trưng đảm bảo hiệu cho hệ thống nhận dạng Bước Tập huấn luyện Sau đặc trưng tách gán nhãn tương ứng, đặc trưng sử dụng làm liệu đầu vào để huấn luyện mơ hình cử Ở chế độ phân lớp, đặc trưng mơ hình huấn luyện trước sử dụng để tính giá trị lớp cử ánh xạ giá trị với nhãn riêng lúc phân lớp Khi sử dụng nhiều cảm biến hay nhiều phân lớp, đầu phân lớp kết hợp với để đưa định 2.4 Trích chọn đặc trưng Tín hiệu gia tốc tín hiệu có mức độ dao động lớn, khó nhận dạng mẫu sử dụng giá trị thô tín hiệu chưa xử lý Hầu hết hệ thống thời sử dụng đặc trưng theo miền thời gian tần số [9] Phương pháp trích chọn đặc trưng thường sử dụng tính tốn đại lượng thống kê trực tiếp liệu thô đầu vào cảm biến, độc lập khung liệu phân đoạn cửa sổ trượt Các đại lượng thống kê phổ biến bao gồm giá trị trung bình mean, độ lệch chuẩn standard deviation, phương sai, lượng energy, entropy, tương quan trục Trong miền tần số, phương pháp biến đổi Cô-sin rời rạc (Discrete Cosine Transform) mang lại kết khả quan Các phương pháp hình thành để giải tính biến đổi cao vốn có tín hiệu loại Phương pháp trích xuất đặc trưng mô tả bảng 1.2 Các đặc trưng thống kê sử dụng nhiều nghiên cứu tính đơn giản hiệu cao nhiều toán nhận dạng cử người Một số đặc trưng khảo sát kỹ lưỡng chứng minh hiệu cho nhận dạng cử chỉ, đặc biệt trường hợp cần phân biệt số cử cụ thể, đơn giản Ví dụ thơng qua tính tốn véc-tơ trọng lực, giá trị trung bình mức trung bình giá trị gia tốc, từ giúp phân biệt tư cử chỉ, phương sai chứng minh giúp phân biệt tốt mức độ chuyển động có tín hiệu [11] Tương quan cặp trục gia tốc giúp phân biệt cử 14 liên quan tới chuyển đổi theo hướng cử chuyển đổi nhiều hướng [24] Một số đặc trưng hiệu khác, tỷ lệ vượt qua điểm không ZCR (zero crossing rate), tỷ lệ vượt qua trung bình MCR (mean crossing rate), đặc trưng thống kê quan trọng hay sử dụng toán xử lý liệu chuỗi thời gian, ví dụ nhận dạng tiếng nói [28] Một tập đặc trưng khác giới thiệu [27] chứng minh hiệu đặc trưng thống kê khác phân biệt chuyển động lại gọi đặc trưng vật lý Tên gọi dựa giải thích vật lý chuyển động người Các đặc trưng vật lý tính tốn khác với cách tính đặc trưng thống kê Đối với đặc trưng thống kê, đặc trưng trích từ trục cảm biến (kênh) riêng Trong đó, hầu hết đặc trưng vật lý trích từ nhiều kênh cảm biến Nói cách khác, kết hợp cảm biến thực mức đặc trưng đặc trưng vật lý Một vấn đề tồn nghiên cứu nhận dạng cử sử dụng cảm biến đồng hồ thơng minh mang người, cần phải có phương pháp biểu diễn đặc trưng mới, hiệu phân biệt cử khác có đặc tính liệu tương tự, có khả tính tốn nhanh để chạy hệ thống yêu cầu xử lý theo thời gian thực bị hạn chế tài nguyên Một số đặc trưng thường sử dụng tín hiệu S = {S1, …, Sn}, với Si giá trị đầu cảm biến thời điểm (i = 1, …,n)  Giá trị trung bình (mean) 𝑆̅ = ∑𝑛𝑖=1 𝑆𝑖 (2.1) 𝑛  Độ đo phân tán phương sai 𝜎𝑆2 , độ lệch chuẩn Standard deviation 𝜎𝑆 𝜎𝑆 = √ 𝜎𝑆2 = 𝑛−1 𝑛−1 ∑𝑛𝑖=1(𝑆𝑖 − 𝑆̅)2 ∑𝑛𝑖=1(𝑆𝑖 − 𝑆̅)2 (2.2) (2.3)  Các độ đo chuyển đổi miền, lượng energy Energy(S) = ∑𝑛 𝑖=1 𝑆𝑖 𝑛 (2.4)  Các độ đo thống kê Entropy với P(Si) phân bố xác suất Si cửa sổ thời gian, tính số Si cửa sổ thời gian chia cho n HY = - ∑𝑁 𝑖 𝑃(𝑆𝑖 )log(𝑃(𝑆𝑖 ))  Tương quan cặp trục (2.5) 15 𝛿𝑥,𝑦 = ̅ ̅ ∑𝑛 𝑖=1(𝑥𝑖 − 𝑆𝑥 )(𝑦𝑖 − 𝑆𝑦 ) 𝑁𝜎𝑥 𝜎𝑦 (2.6) 2.5 Mơ hình Markov ẩn (Hiden Markov Model - HMM) 2.5.1 Giới thiệu mơ hình Markov ẩn Mơ hình Markov ẩn (Hiden Markov Model - HMM) mơ hình máy hữu hạn trạng thái với tham số biểu diễn xác suất chuyển trạng thái xác suất sinh liệu quan sát trạng thái Mơ hình Markov ẩn (Hidden Markov Model) mơ hình thống kê hệ thống mơ hình hóa cho q trình Markov với tham số trước nhiệm vụ xác định tham số ẩn từ tham số quan sát dựa thừa nhận Các tham số mơ hình rút sau sử dụng để thực phân tích kế tiếp, ví dụ cho ứng dụng nhận dạng mẫu Trong mơ hình Markov điển hình, trạng thái quan sát trực tiếp người quan sát, xác suất chuyển tiếp trạng thái tham số Mơ hình Markov ẩn thêm vào đầu ra: trạng thái có xác suất phân bố biểu đầu Vì vậy, nhìn vào dãy biểu sinh HMM không trực tiếp dãy trạng thái Ta có tìm chuỗi trạng thái mô tả tốt cho chuỗi liệu quan sát cách tính P(Y|X) = P(Y|X) / P(X) Ở Yn trạng thái thời điểm thứ t=n chuỗi trạng thái Y, Xn liệu quan sát thời điểm thứ t=n chuỗi X Do trạng thái phụ thuộc vào trạng thái trước với giả thiết liệu quan sát thời điểm t phụ thuộc trạng thái t Ta tính: P(Y,X) = P(Y1)P(X1 | Y1)∏𝑛𝑡−2 𝑃(𝑌𝑡 | 𝑌𝑡−1 ) * P(Xt | Yt) (2.7) Một số hạn chế mơ hình Markov để tính xác suất P(Y,X) thơng thường ta phải liệt kê hết trường hợp chuỗi Y chuỗi X Thực tế chuỗi Y hữu hạn liệt kê được, X (các liệu quan sát) phong phú Để giải vấn đề HMM đưa giả thiết độc lập liệu quan sát: Dữ liệu quan sát thời điểm t phụ thuộc vào trạng thái thời điểm Hạn chế thứ hai gặp phải việc sử dụng xác suất đồng thời P(Y, X) đơi khơng xác với số tốn việc sử dụng xác suất điều kiện P(Y | X) cho kết tốt nhiều 16 2.5.2 Tham số mơ hình Markov ẩn Một mơ hình Markov ẩn đặc trưng thành phần sau: N, số trạng thái (state) mơ hình Markov Các trạng thái thường ký hiệu S={S1, S2, S3, } trạng thái mơ hình thời điểm t kí hiệu qt, M số ký hiệu quan sát (observation symbol) Các ký hiệu quan sát biểu diễn V={v1, v2, }, A = {aij} xác suất chuyển trạng thái (state transition probability distribution) Trong aij xác suất để trạng thái j xuất thời điểm t+1 trạng thái i xuất thời điểm t aij = P(qt+1 = Sj | qt = Si) ̅̅̅̅̅ ∑𝑁 𝑗=1 𝑎𝑖𝑗 = 1; 𝑖 = 1, 𝑁 { ̅̅̅̅̅ 𝑎𝑖𝑗 ≥ 0; 𝑖, 𝑗 = 1, 𝑁 (2.8) B = {bj(k)} xác suất phát xạ quan sát trạng thái (observation symbol probability distribution in state), bj(k) xác suất quan sát vk trạng thái j thời điểm t bj(k) = P(vk thời điểm t | qt = Sj) ̅̅̅̅̅ ∑𝑀 𝑘=1 𝑏𝑗 (𝑘) = 1; 𝑗 = 1, 𝑁 { ̅̅̅̅̅ 𝑏𝑗 (𝑘 ) ≥ 0; 𝑗 = 1, 𝑁; 𝑘 = ̅̅̅̅̅̅ 1, 𝑀 (2.9) π = { 𝜋1 , 𝜋2 , …, 𝜋𝑁 } xác suất trạng thái khởi đầu (initial state distribution), 𝜋1 xác suất để trạng thái i chọn thời điểm khởi đầu t = 𝜋𝑖 =P(q1=Si) ∑𝑁 𝑖=1 𝜋𝑖 = { 𝜋𝑖 ≥ 0; 𝑖 = ̅̅̅̅̅ 1, 𝑁 (2.10) Với giá trị thích hợp A, B, π, M, N, mơ hình Markov ẩn dùng để sinh dãy quan sát O = {O1, O2, …, OT} với T độ dài chuỗi quan sát Trong Oi lấy giá trị V Hoạt động HMM mô tả sau: Chọn trạng thái khởi đầu qt tương ứng với xác suất trạng thái khởi đầu π Gán t = Chọn Oi = vk tương ứng với xác suất quan sát trạng thái Si: bi(k) Chuyển sang trạng thái qt+1 = Sj tương ứng với xác suất chuyển trạng thái aij Gán t=t+1, quay trở lại bước t