CHƢƠNG 2 NHẬN DẠNG HÀNH ĐỘNG GIAO THƠNG
2.5 Thực nghiệm và đánh giá
2.5.6 Đánh giá hệ thống đề xuất so với một số nghiên cứu hiện tại[CT4]
Phương pháp nhận dạng các đối tượng trong hệ thống giao thơng bằng các thuật tốn phân lớp là một phương pháp phổ biến được nhiều nghiên cứu sử dụng. Tùy theo dữ liệu, yêu cầu của bài tốn sẽ cĩ những hệ thống nhận dạng được thiết kế khác nhau. Hơn nữa, các dữ liệu phục vụ cho nhận dạng thường cĩ bản quyền và ít được cơng bố rộng rãi. Do vậy, để đánh giá hệ thống nhận dạng trên cùng một bộ dữ liệu đủ lớn được cơng bố gặp nhiều khĩ khăn.
Để đánh giá hệ thống nhận dạng được đề xuất, qua tìm hiểu thu thập, chúng tơi tiến hành thực nghiệm đánh giá hệ thống dựa trên tập dữ liệu được thu thập bởi cơng ty HTC của Đài Loan được cơng bố trong [56]. Hiện tại, tập dữ liệu được cơng bố với 25,6GB gồm các cảm biến gia tốc, con quay hồi chuyển, cảm biến từ và GPS. Dữ liệu được thu thập với các nhãn lớp là: dừng, đi bộ, chạy, xe đạp, xe buýt, ơ tơ, tàu điện ngầm, tàu hỏa, xe điện, tàu nhanh.
Một số nghiên cứu khác cũng đã thực hiện đánh giá kiểm thử các phương pháp, thuật tốn đề xuất để so sánh kết quả dựa trên tập dữ liệu này [31][32][56]. Tác giả trong nghiên cứu [57] tập trung phân biệt các dạng khơng phải động cơ đĩ là dừng chờ, đi bộ, chạy và đạp xe (still, walk, run, và bike) và các dạng phương tiện cơ giới khác. Hai hệ thống phát hiện cho hai dạng đối tượng khơng phải phương tiện cơ giới là dừng chờ và đi bộ (Still, walk) và phương tiện cơ giới là xe buýt, ơ tơ, xe điện ngầm, xe điện và tàu nhanh (bus, car, metro, train, tram, và HSR) từ cảm biến gia tốc, cảm biến từ và con quay hồi chuyển.
Trên thực tế, tiết kiệm số lượng các cảm biến sử dụng cho hệ thống sẽ tiêu hao ít năng lượng của thiết bị hơn. Bởi vậy, phương pháp nhận dạng của chúng tơi chỉ sử dụng cảm biến gia tốc nên về thực tế sẽ sử dụng năng lượng ít hơn. Hơn nữa, hệ thống của các cơng bố này sử dụng kích thước cửa sổ dữ liệu dài hơn với kích thước 17,06 giây và 60 giây, điều này cần nhiều thời gian để trả lại kết quả cũng như sử dụng tài nguyên tính tốn của thiết bị hơn so với hệ thống của chúng tơi. Đồng thời, hướng đề xuất của [32] cần sử dụng 348 thuộc tính đặc trưng sẽ gặp phải khĩ khăn khi hướng đến mục tiêu của các ứng dụng dự đốn tức thời so với hệ thống của chúng tơi chỉ sử dụng 27 thuộc tính đặc trưng [CT4]. Thêm vào đĩ, kết quả của phương pháp nhận dạng được chúng tơi đề xuất so với các hệ thống khác trên cùng một bộ dữ liệu của cơng ty HTC là 97,33% như trong Bảng 2-19, cao hơn so với hai nghiên cứu hiện tại [31][32].
Với tập thuộc tính được đề xuất như trong cơng bố [CT4], chúng tơi thực nghiệm trên bộ dữ liệu HTC[56] được thu thập bởi cơng ty HTC Đài Loan; kết quả thực nghiệm của chúng tơi cao hơn so với các phương pháp của một số nghiên cứu
trên cùng bộ dữ liệu này như trong Bảng 2-19 dưới đây. Qua những kết quả đánh giá này cho thấy, hệ thống nhận dạng là phù hợp và cĩ kết quả khả quan trong việc nhận dạng các đối tượng trong hệ thống giao thơng.
Nghiên cứu Kết quả phân lớp accuracy
Fang et al, [31] (Sử dụng KNN) 83,57% Guvensan et al [32], (Sử dụng RF) 91,63%
Phương pháp đề xuất (sử dụng RF) 97,33%
Bảng 2-19. Kết quả so sánh phƣơng pháp nhận dạng dựa trên tập thuộc tính đề xuất với các phƣơng pháp khác trên cùng bộ dữ liệu HTC [56] [CT4]
2.6 Kết luận
Trong chương này chúng tơi đề xuất hệ thống nhận dạng để thực hiện nhận dạng hành động giao thơng cơ bản là {Dừng, Đi thẳng, Rẽ trái, Rẽ phải } dựa trên cảm biến gia tốc thu được từ điện thoại thơng minh của người sử dụng phương tiện khi vị trí điện thoại khơng cố định.
Đồng thời sử dụng phương pháp biến đổi hệ tọa độ thiết bị theo hệ tọa độ của trái đất nhằm thu được dữ liệu hữu ích cho hệ thống nhận dạng hành động. Dựa trên dữ liệu thu được, đề xuất một tập thuộc tính đặc trưng phù hợp – TFH2 gồm 59 thuộc tính để trích xuất, biến đổi dữ liệu cảm biến gia tốc thành dữ liệu đặc trưng. Trong đĩ, tập thuộc tính Hjorth đã gĩp phần nâng cao kết quả phân lớp khi kết hợp cùng các thuộc tính miền thời gian và tần số.
Phương pháp tối ưu kích thước cửa sổ và con trượt dựa vào độ đo AUC được sử dụng để lựa chọn ra các kích thước cửa sổ phù hợp với từng nhãn lớp hành động. Qua đĩ, xây dựng được tập dữ liệu đặc trưng phụ vụ cho hệ thống nhận dạng. Từ thực nghiệm khảo sát, đánh giá các thuật tốn thơng dụng cho bài tốn nhận dạng. Thuật tốn RF cho kết quả độ đo Accuracy và độ đo AUC cao hơn các thuật tốn khác nên hệ thống chọn RF làm thuật tốn nhận dạng hành động giao thơng.
Dựa trên tập dữ liệu đã được cơng bố bởi cơng ty HTC của Đài Loan, thực nghiệm đánh giá hệ thống đề xuất trên cùng tập dữ liệu này cho kết quả chính xác hơn so với một số cơng bố tương tự [31], [32] cũng sử dụng tập dữ liệu này [CT4].
Chƣơng 3. NHẬN DẠNG HÀNH VI BẤT THƢỜNG 3.1 Giới thiệu