Nhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoạiNhận dạng hành vi của người tham gia giao thông dựa trên cảm biến điện thoại
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lữ Đăng Nhạc NHẬN DẠNG HÀNH VI CỦA NGƯỜI THAM GIA GIAO THÔNG DỰA TRÊN CẢM BIẾN ĐIỆN THOẠI LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI – 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lữ Đăng Nhạc NHẬN DẠNG HÀNH VI CỦA NGƯỜI THAM GIA GIAO THÔNG DỰA TRÊN CẢM BIẾN ĐIỆN THOẠI Chun ngành: Hệ thống Thơng tin Mã số: 9480401.01 LUẬN ÁN TIẾN SĨ CƠNG NGHỆ THƠNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS NGUYỄN HÀ NAM 2. PGS. TS PHAN XUÂN HIẾU Hà Nội – 2019 LỜI CAM ĐOAN Tơi xin cam đoan đây là cơng trình nghiên cứu do tơi thực hiện dưới sự hướng dẫn của PGS.TS. Nguyễn Hà Nam và PGS.TS. Phan Xn Hiếu tại Bộ mơn các Hệ thống Thơng tin, Khoa Cơng nghệ Thơng tin, Trường Đại học Cơng nghệ, Đại học Quốc gia Hà Nội. Các số liệu và kết quả trình bày trong luận án là trung thực và chưa được cơng bố trong các cơng trình khác. Tác giả Lữ Đăng Nhạc LỜI CẢM ƠN Luận án được thực hiện tại Bộ môn Hệ thống Thông tin-Khoa CNTT-Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của PGS.TS. Nguyễn Hà Nam và PGS.TS Phan Xuân Hiếu. Trước tiên, tơi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS. Nguyễn Hà Nam và PGS.TS Phan Xn Hiếu. Những người Thầy đã tận tụy chỉ dạy, giúp đỡ tơi giải quyết những vấn đề khó khăn trong nghiên cứu khoa học và trong cuộc sống. Tơi cũng xin gửi lời cảm ơn tới tập thể các Thầy, Cơ giáo, các Nhà khoa học trong khoa CNTT đã truyền đạt những kiến thức q báu và đã tạo điều kiện thuận lợi cho tơi trong q trình học tập và nghiên cứu. Để có được dữ liệu phục vụ cho nghiên cứu, tơi xin gửi lời cảm ơn tới Nhóm nghiên cứu của PGS.TS. Nguyễn Hà Nam đã giúp tơi thu thập dữ liệu cũng như tiến hành một số thực nghiệm liên quan đến Luận án. Tơi cũng gửi lời tri ân tới bạn bè, đồng nghiệp, người thân đã giúp đỡ và hỗ trợ tơi trong suốt q trình nghiên cứu. Cuối cùng, tơi vơ cùng biết ơn gia đình, bố mẹ, anh chị em, đặc biệt là vợ và hai con nhỏ của tơi, những người đã động viên, giành những điều kiện tốt nhất để tơi có thể hồn thành chương trình nghiên cứu của mình. Lữ Đăng Nhạc Hà Nội, 2019 ii MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN .II MỤC LỤC III DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT V DANH MỤC HÌNH ẢNH VII DANH MỤC BẢNG BIỂU IX MỞ ĐẦU Tính cấp thiết của luận án 1 Mục tiêu của luận án . 3 Đối tượng và phạm vi nghiên cứu 4 Phương pháp nghiên cứu . 4 Đóng góp của luận án 5 Bố cục của luận án 6 CHƯƠNG TỔNG QUAN VỀ NHẬN DẠNG HÀNH VI 1.1 Giới thiệu . 7 1.2 Một số khái niệm cơ bản 8 1.2.1 Hành động giao thông 8 1.2.2 Hành vi giao thông . 9 1.3 Sử dụng dữ liệu cảm biến để phân tích hành vi 10 1.4 Một số nghiên cứu liên quan 13 1.5 Phương pháp nhận dạng hành vi giao thông dựa trên cảm biến 20 1.6 Kết luận . 24 CHƯƠNG NHẬN DẠNG HÀNH ĐỘNG GIAO THÔNG 25 2.1 Giới thiệu 25 2.2 Sử dụng dữ liệu cảm biến để nhận dạng hành động giao thông 25 2.3 Một số nghiên cứu liên quan 26 2.4 Hệ thống nhận dạng hành động sử dụng cảm biến gia tốc 30 2.4.1 Một số kiến thức cơ sở . 30 2.4.2 Tập thuộc tính đặc trưng 50 iii 2.4.3 2.5 2.6 Đề xuất hệ thống nhận dạng hành động 52 Thực nghiệm và đánh giá 57 2.5.1 Môi trường thực nghiệm 57 2.5.2 Dữ liệu thực nghiệm 58 2.5.3 Lựa chọn tập thuộc tính 61 2.5.4 Khảo sát thuật toán phân lớp . 64 2.5.5 Xây dựng dữ liệu huấn luyện 65 2.5.6 Đánh giá hệ thống đề xuất so với một số nghiên cứu hiện tại[CT4]. 70 Kết luận . 72 CHƯƠNG NHẬN DẠNG HÀNH VI BẤT THƯỜNG 73 3.1 Giới thiệu 73 3.2 Bài toán nhận dạng hành vi bất thường . 73 3.2.1 Nhận dạng bất thường 73 3.2.2 Sử dụng cảm biến điện thoại để nhận dạng hành vi bất thường 77 3.3 Một số nghiên cứu liên quan 78 3.4 Giải pháp nhận dạng hành vi bất thường dựa trên hệ thống nhận dạng hành động . 81 3.4.1 Một số kỹ thuật nhận dạng hành vi bất thường 81 3.4.2 Giải pháp đề xuất nhận dạng hành vi bất thường dựa trên hệ thống nhận dạng hành động . 85 3.5 3.6 Thực nghiệm và đánh giá 89 3.5.1 Môi trường thực nghiệm 89 3.5.2 Dữ liệu thực nghiệm 89 3.5.3 Kết quả thực nghiệm với DTW 93 3.5.4 Kết quả thực nghiệm với RF và Dl4jMlpClassifier 95 3.5.5 Kết quả thực nghiệm với giải pháp đề xuất . 97 Kết luận 101 KẾT LUẬN 103 DANH MỤC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 105 TÀI LIỆU THAM KHẢO 106 iv DANH MỤC KÝ HIỆU VÀ TỪ VIẾT TẮT DIỄN GIẢI TỪ VIẾT TẮT TIẾNG ANH TIẾNG VIỆT ACC Accuracy Độ chính xác trong phân lớp dữ liệu Acc Accelerometer Cảm biến gia tốc ANN AUC Artificial Neural Mạng nơ - ron Network Area Under Curve Diện tích dưới đường cong ROC Cross Validation – 10 Phương pháp đánh giá phân lớp bằng Fold cách chia dữ liệu thành 10 tập Dynamic Time Kỹ thuật tìm kiếm độ tương tự của Wrapping hai chuỗi FFT Fast Fourier Transform Biến đổi Fourier nhanh FN False Negative FP False Positive CV10 DTW GPS Gyr Âm tính giả (mẫu mang nhãn dương bị phân lớp sai vào lớp âm) Dương tính giả (mẫu mang nhãn âm bị phân lớp sai vào lớp dương) Global Positioning Hệ thống định vị tồn cầu System Gyroscope Cảm biến con quay hồi chuyển Là một thuật tốn phân lớp thuộc J48 J48 CART (Classification and Regression Tree) Thuật toán phân lớp k láng giềng gần k- NN k Nearest Neighbor Mag Magnetometer Cảm biến từ trường NB Nạve Bayes Classifier Thuật tốn phân lớp Nạve Bayes nhất v RF Random Forest Rừng ngẫu nhiên Receiver Operator ROC Đặc tính hoạt động của bộ thu nhận Characteristic Support SVM Vector Machines TN Véc-tơ tựa Âm tính thật (mẫu mang nhãn âm True Negative được phân lớp đúng vào lớp âm) Dương tính thật (mẫu mang nhãn TP True Positive dương được phân lớp đúng vào lớp dương) ZCR Zero Crossing Rate Tỷ lệ vượt qua điểm cắt không DT Decision Table Bảng quyết định vi DANH MỤC HÌNH ẢNH Hình 1-1. Hướng nghiên cứu tổng thể của bài tốn nhận dạng hành vi 23 Hình 1-2. Hệ thống phân tích hành vi bất thường 24 Hình 2-1. Một số kỹ thuật chuẩn bị dữ liệu [37] . 31 Hình 2-2. Phân đoạn chuỗi tín hiệu thành các cửa sổ dữ liệu 34 Hình 2-3. (a) Hướng của điện thoại được xác định bởi hệ tọa độ (X, Y, Z). (b) Hướng di chuyển của phương tiện theo hệ tọa độ trái đất (X’, Y’, Z’) 35 Hình 2-4. Kết hợp biểu diễn thơng tin trên miền thời gian và tần số [46] . 36 Hình 2-5. Hệ tọa độ và các trục quay trên điện thoại thơng minh[48] . 42 Hình 2-6. Độ đo AUC[50] . 48 Hình 2-7. Hệ thống nhận dạng hành động giao thơng . 53 Hình 2-8. Thuật tốn lựa chọn kích thước cửa sổ và chồng dữ liệu theo AUC 54 Hình 2-9. Nhận dạng hành động với các kích thước cửa sổ lựa chọn. . 56 Hình 2-10. Hành động dừng và hành động đi thẳng . 58 Hình 2-11. (a): Hành động rẽ phải; (b): Hành động rẽ trái 59 Hình 2-12. Mơ tả tín hiệu cảm biến gia tốc của các hành động (a): “Dừng”; (b): “Đi thẳng”; (c):”Rẽ trái”; (d): “Rẽ phải”. 59 Hình 2-13. Tập dữ liệu đặc trưng sử dụng cho nhận dạng hành động giao thơng cơ bản 60 Hình 2-14. Phân bổ của tập dữ liệu đặc trưng được biến đổi với 59 thuộc tính . 60 Hình 2-15. Kết quả phân lớp sử dụng các tập thuộc tính H2, T2, F2, TH2, TF2, TFH2 62 Hình 2-16. Kết quả so sánh dữ liệu thơ và dữ liệu biến đổi hệ tọa độ . 63 Hình 2-17. Kết quả độ đo thực nghiệm với các thuật tốn phân lớp . 64 vii Hình 2-18. Chu kỳ thay đổi độ đo AUC tương ứng với hai kích thước cửa sổ liền nhau của các hành động cơ bản với: (a) Dừng; (b) Đi thẳng; (c) Rẽ trái; (d) Rẽ phải . 67 Hình 2-19. Kết quả phân lớp với kích thước cửa sổ lựa chọn trên tập TF2 và TFH2 70 Hình 3-1. Khái niệm dữ liệu bất thường[58] 74 Hình 3-2. Độ đo DTW 82 Hình 3-3. Sử dụng DTW để phát hiện hành vi bất thường 83 Hình 3-4. Nhận dạng hành vi bất thường dựa trên hành động cơ bản . 84 Hình 3-5.Sơ đồ hệ thống phát hiện hành vi bất thường 86 Hình 3-6. Phát hiện hành vi bất thường dựa trên hành động giao thơng cơ bản 88 Hình 3-7. Mẫu dữ liệu cảm biến gia tốc của hành vi bất thường – “lạng lách” . 91 Hình 3-8. Mẫu dữ liệu cảm biến gia tốc của hành vi bình thường (đi thẳng) 92 Hình 3-9. Kết quả so khớp với các giá trị ngưỡng khác nhau 94 Hình 3-10. Kết quả nhận dạng hành vi bình thường và bất thường . 100 viii chất của dữ liệu cũng như cách thức thực nghiệm. Khi thay đổi các giá trị ngưỡng DTW , tỉ lệ nhận dạng đúng các hành vi thay đổi khác nhau. Đường biểu diễn sự thay đổi tỉ lệ nhận dạng đúng hành vi bình thường và hành vi bất thường dần hội tụ về hai giá trị là S6-1 S6-5. Tuy nhiên, kết quả tỉ lệ nhận dạng đúng hành vi bất thường của giá trị S6-5 lớn hơn của S6-1 nên giá trị tham số S6-5 tương ứng với kích thước cửa sổ 6 giây, giá trị ngưỡng DTW 5 được lựa chọn là tham số để phát hiện hành vi giao thông bất thường. Sử dụng giá trị này để phát hiện hành vi bất thường trên tập dữ liệu kiểm tra thu được kết quả tỉ lệ phát hiện chính xác là 59,6%. Từ kết quả nhận dạng hành vi hành vi giao thơng bất thường sử dụng cảm biến gia tốc sử dụng DTW thu được cho thấy: tỉ lệ nhận dạng đúng phụ thuộc vào dữ liệu mẫu về các hành vi. Tỉ lệ nhận dạng đúng cao hơn khi thu thập được một tập đầy đủ các mẫu dữ liệu về hành vi ở nhiều cảnh huống trên nhiều đối tượng khác nhau. Dây cũng là một trong những khó khăn khi sử dụng phương pháp này bởi đối với hành vi bất thường, việc xác định dữ liệu mẫu rất khó khăn và đa dạng, dẫn đến lựa chọn tham số phù hợp cho hệ thống nhận dạng hành vi. 3.5.4 3.5.4.1 Kết thực nghiệm với RF Dl4jMlpClassifier Dữ liệu thực nghiệm Dữ liệu huấn luyện sử dụng xây dựng mơ hình phân lớp được thu thập là dữ liệu cảm biến gia tốc với hai nhãn lớp bất thường “lạng lách” và bình thường “đi thẳng” trên tần số 50Hz. Sau khi tiền xử lý, biến đổi thu được dữ liệu đặc trưng dựa trên tập thuộc tính đặc trưng TFH2 được lựa chọn để nhận dạng hành động như trong Chương 2. Dữ liệu cảm biến gia tốc sử dụng cho thực nghiệm với kích thước cửa sổ 4 giây, 5 giây và 6 giây để thu được các tập dữ liệu dữ liệu đặc trưng. Dữ liệu đặc trưng này sử dụng cho việc huấn luyện, xây dựng mơ hình và kiểm tra, đánh giá nhận dạng hành vi sử dụng phương pháp phân lớp bằng thuật tốn RF và kỹ thuật học sâu. 95 3.5.4.2 - Kết thực nghiệm Thực nghiệm phân lớp dữ liệu với thuật tốn RF trên tập dữ liệu kiểm tra đã thu được với tham số mặc định của thuật tốn RF bằng cơng cụ Weka phiên bản 3.8 như sau: Tham số mặc định RF P I num-slots K M V S 100 100 1 0 1 0.001 1 Bảng 3-3 Tham số mặc định thuật toán RF Với các tham số này, kết quả độ chính xác phân lớp của các tập dữ liệu huấn luyện tương ứng với các kích thước cửa sổ 4 giây, 5 giây và 6 giây sử dụng phương pháp kiểm chứng chéo CV10 nhận được kết quả như trong Bảng 3-5. - Thực nghiệm phân lớp với kỹ thuật học sâu sử dụng gói WekaDeeplearning4J trên bộ phân lớp Dl4jMlpClassifier. Các tham số mặc định cho bộ phân lớp này được trình bày trong Bảng 3-5 dưới đây: Stt Tham số 1 number of epochs = 10 2 optimization algorithm = STOCHASTIC_GRADIENT_DESCENT 3 batch size = 100 4 number decimal = 2 5 seed = 1 Bảng 3-4 Tham số Dl4jMlpClassifier Bộ phân lớp này được tích hợp vào WEKA phiên bản 3.8; phương pháp kiểm chứng chéo CV10 được áp dụng cho thực nghiệm đối với tập dữ liệu huấn luyện thu được kết quả phân lớp với độ đo Accuracy như Bảng 3-5 dưới đây: Kích thước cửa sổ 4 giây 5 giây 6 giây RF 81,19% 81,12% 80,97% Dl4jMlpClassifier 89,33% 86,57% 89,13% Bảng 3-5 Kết nhận dạng sử dụng CV10 96 Từ kết quả thu nhận dạng hành vi của các thực nghiệm sử dụng phương pháp phân lớp khác nhau trên tập dữ liệu kiểm tra cho thấy: Kết quả phân lớp tốt nhất ở kích thước cửa sổ 4 giây và với tập dữ liệu hành vi có nhãn bình thường/ bất thường, kỹ thuật học sâu cho kết quả cao hơn so với RF là 8,14%. 3.5.5 3.5.5.1 Kết thực nghiệm với giải pháp đề xuất Dữ liệu thực nghiệm Phương pháp nhận dạng hành vi bất thường đề xuất với hướng tiếp cận đánh giá hành vi bất thường dựa trên hệ thống nhận dạng hành động cơ bản được trình bày ở Chương 2. Tập dữ liệu cảm biến gia tốc thu được chia thành hai phần với 70% là dữ liệu huấn luyện, phần còn lại sử dụng làm dữ liệu để kiểm tra. Để nhận dạng các cửa sổ dữ liệu đã được chia nhỏ nhằm để đánh giá tính bất thường, cần xây dựng tập dữ liệu huấn luyện phù hợp cho hệ thống nhận dạng các hành động xảy ra trong thời gian ngắn với kích thước cửa sổ W’ nhỏ hơn. Các bước xây dựng tập dữ liệu huấn luyện này được thực hiện theo các bước sau: - Thu dữ liệu cảm biến gia tốc của hành vi bất thường (lạng lách) và hành vi bình thường (đi thẳng và dừng). Mẫu hành vi bất thường (“Lạng lách”) được thu khi phương tiện liên tục đổi hướng như Hình 3-7. Mẫu hành vi bình thường (“Đi thẳng”) được thu khi phương tiện liên tục đổi hướng như Hình 3-8. - Với mục đích nhận dạng ra một hành vi bất thường trong khoảng thời gian của một hành động cơ bản xảy ra. Do đó, chuỗi dữ liệu hành vi bình thường được cắt theo kích thước cửa sổ W. Mỗi mẫu dữ liệu có kích thước W này được cắt thành 6 cửa sổ có kích thước W’ với tỉ lệ chồng dữ liệu và gán nhãn theo chuỗi 6 hành động thay đổi hướng tương ứng có mẫu dạng là: “L, R, R, L, L, R” được mơ tả ở Hình 3-7. Từ đó nhận được các nhãn hành động “L”, “R” xảy ra trong hành vi bất thường. - Với phương pháp tương tự như trên, nhãn hành động “G” được gán từ mẫu hành vi bình thường. 97 Do các hành vi “lạng lách” ảnh hưởng từ người điều khiển phương tiện, chủng loại phương tiện và cả hiện trạng giao thơng nên vận tốc, tính chất khác nhau. Vì vậy, cần phải khảo sát để lựa chọn được kích thước cửa sổ W và W’ phù hợp nhằm xây dựng được dữ liệu huấn luyện đủ tốt cho hệ thống nhận dạng các hành động. Với tập dữ liệu huấn luyện thu được, đồng thời sử dụng để đánh giá các giá trị ngưỡng dựa vào tỉ lệ phát hiện đúng các hành vi đã được gán nhãn bởi hàm (3.9) sau: y f (W,W,' ) (3.9) Với mỗi giá trị ngưỡng được lựa chọn khác nhau sẽ cho tỉ lệ phát hiện đúng hành vi khác nhau trên cùng cửa sổ W và W' là giá trị nhận được y thông qua ' công thức (3.9). Do đó, cần khảo sát và lựa chọn được bột giá trị tb (Wb ,Wb ,b ) phù hợp để có tỉ lệ nhận dạng hành vi bất thường tốt nhất. 3.5.5.2 Kết thực nghiệm Thực nghiệm tiến hành khảo sát, đánh giá để tìm ra kích thước cửa sổ W' dựa trên tập dữ liệu đặc trưng sử dụng cho huấn luyện thu được. Các hành động xảy ra trong một hành vi bất thường diễn ra nhanh nên kích thước cửa sổ W' được lựa chọn khảo sát là 1 giây và 2 giây. Kết quả phân lớp bằng RF tương ứng với tập dữ liệu cắt bởi kích thước cửa sổ khác nhau, đánh giá bằng phương pháp kiểm chứng chéo 10 – fold thu được kết quả như Bảng 3-6 dưới đây: giây Chồng DL Accuracy AUC giây 75% 50% 25% 75% 50% 25% 67,58% 59,79% 64,40% 84,40% 84,93% 83,42% 0,883858 0,831517 0,857771 0,91217 0,91909 0,90945 Bảng 3-6 Kích thước cửa sổ liệu phát hành vi Qua kết quả thu được từ Bảng 3-6, kích thước cửa sổ W’ = 2 giây và chồng dữ liệu 50% được chọn nhằm phát hiện hành vi bất thường. Ngồi ra, để khảo sát 98 khoảng thời gian một hành vi bất thường diễn ra, chúng tôi lựa chọn các tham số W’ là 4 giây, 5 giây và 6 giây. Các giá trị ngưỡng được lựa chọn là {0,5; 0,6; 0,7; 0,8; 0,9} nhằm đánh giá tỉ lệ nhận dạng đúng các hành vi dựa trên tập dữ liệu huấn luyện thu được. Kết quả của thực nghiệm được biểu diễn trong Bảng 3-7 như sau: W 0,5 ε Hành vi phát hiện 347 đúng Tổng hành 884 vi Tỉ lệ đúng 0,393 (%) 0,6 giây 0,7 0,8 0,9 0,5 0,6 giây 0,7 0,8 0,9 0,5 0,6 giây 0,7 0,8 0,9 218 122 95 48 258 190 116 75 27 666 666 623 487 256 884 884 884 884 666 666 666 666 666 666 666 666 666 666 0,247 0,138 0,107 0,054 0,387 0,285 0,174 0,113 0,041 1 0,935 0,731 0,384 Bảng 3-7 Lựa chọn ngưỡng sai khác nhằm phát hành vi bất thường Kết quả thu được thể hiện trong Bảng 3-7 cho thấy việc lựa chọn các giá trị ngưỡng tác động lớn đến kết quả nhận dạng. Để có được giá trị phù hợp, chúng tơi lựa chọn tham số kích thước cửa sổ W = 6 giây, W’ = 2 giây và ngưỡng giá trị {0, 5; 0, ; 0, 7} tương ứng với tỉ lệ nhận dạng đúng là {100%; 100%; 93,5%} để khảo sát, đánh giá trên tập dữ liệu kiểm tra. Kết quả thực nghiệm trên tập kiểm tra có kết quả thu được tệ lệ nhận dạng hành vi bất thường như trong Bảng 3-8 dưới đây: S(W, ε) Hành vi bất thường Hành vi bình thường Trung bình S(6, 5) 90,86% 90,00% 90.43% S(6, 6) 80,00% 90,81% 85.41% S(6, 7) 66,28% 95,90% 81.09% Bảng 3-8 Kết phát hành vi giải pháp đề xuất tập liệu kiểm tra Kết quả tỉ lệ phát hiện hành vi cũng được biểu diễn bởi Hình 3-10 dưới đây: 99 Kết nhận dạng hành vi Tỉ lệ nhận dạng (%) 100% 80% 60% 40% 20% 0% S(6-5) S(6-6) S(6-7) Các ngưỡng giá trị xác định hành vi Hành vi bất thường Hành vi bình thường Hình 3-10 Kết nhận dạng hành vi bình thường bất thường Từ kết quả trong Bảng 3-8 và Hình 3-10 ta thấy, với kích thước 6 giây và giá trị ngưỡng 0, cho kết quả là 90,43%; kết quả này cũng cao hơn phương pháp sử dụng DTW và phương pháp phân lớp sử dụng Dl4jMlpClassifier được trình bày trong Bảng 3-9 dưới đây: Phương pháp Tỉ lệ phát Dl4jMlpClassifier 59,6% 89,33% DTW RF Phương pháp đề xuất 81.19% 90,43% Bảng 3-9 Kết phát hành vi phương pháp khác Từ kết quả thực nghiệm thu được cho thấy, phương pháp sử dụng kỹ thuật so khớp với DTW dựa trên dữ liệu cảm biến gia tốc bởi sự so khớp khoảng cách giữa hai chuỗi dữ liệu được thực hiện đơn giản hơn nhưng đồng thời nhạy cảm với dữ liệu mẫu hành vi thu thập được. Nếu thu mẫu thiếu chính xác, hoặc nhiễu từ thiết bị cảm biến sẽ ảnh hưởng tới lựa chọn ngưỡng để đánh giá hành vi dẫn đến sai lệch làm giảm kết quả của hệ thống. Do vậy, phương pháp này thường được áp dụng với thực nghiệm mà vị trí điện thoại được cố định theo hướng di chuyển của phương tiện. Khi phương tiện di chuyển sẽ làm thay đổi giá trị trên trục tọa độ cố định, biết trước nên việc so sánh có 100 kết quả khả quan hơn trường hợp điện thoại thay đổi vị trí trong khi tham gia giao thơng. Khi sử dụng phương pháp phân lớp để nhận dạng hành vi bằng các bộ phân lớp RF và Dl4jMlpClassifier, việc xác định hành vi bất thường và bình thường cũng như thu dữ liệu mẫu đối với các hành vi này cũng gặp khó khăn, các hành vi bất thường khó xác định, đa dạng với các đối tượng khác nhau, phương tiện khác nhau và cảnh huống thu dữ liệu khác nhau sẽ ảnh hưởng tới kết quả nhận dạng. Thuật toán RF nhận dạng tốt đối với các hành động cơ bản, xong đối với dữ liệu hành vi thì có kết quả nhận dạng thấp hơn so với cả bộ phân lớp Dl4jMlpClassifier. Khác với một số nghiên cứu trước đây, việc đánh giá hành vi bất thường dựa trên hành động, các phương pháp này phụ thuộc rất nhiều vào sự chính xác khi thu mẫu dữ liệu hành vi. Giải pháp đề xuất nhận dạng hành vi bất thường dựa vào đánh giá một số hành động thay đổi bất thường trong khoảng thời gian ngắn bởi hệ thống nhận dạng hành động sẽ ít lệ thuộc vào việc xác định mẫu hành vi bất thường khi nhận dạng. 3.6 Kết luận Trong chương này, luận án tập trung nghiên cứu, khảo sát các kỹ thuật, phương pháp xác định tính bình thường và bất thường của hành vi giao thơng. Từ đó đề xuất giải pháp nhận dạng hành vi giao thông bất thường dựa trên hệ thống nhận dạng. Đồng thời, một số kỹ thuật thường được sử dụng trong bài toán phát hiện, nhận dạng hành vi bất thường như sử dụng kỹ thuật DTW, phương pháp phân lớp với RF và Dl4jMlpClassifier. Thông qua các thực nghiệm bằng các kỹ thuật này để kiểm chứng, làm rõ thêm ý nghĩa của giải pháp đề xuất. Thực nghiệm phát hiện hành vi bất thường với giải phát đề xuất cho thấy kết quả thu được cao hơn phương pháp sử dụng Dl4jMlpClassifier là 1.1% và so với DTW là 30,83%.Với một số 101 hành vi bất thường khác, việc xây dựng thực nghiệm phát hiện hành vi thực hiện tương tự như giải pháp đối với hành vi đã được hệ thống thực hiện[CT3]; [CT4]. 102 KẾT LUẬN Luận án đã tiến hành tìm hiểu, thu thập, khảo sát tính chất của dữ liệu cảm biến, các kỹ thuật phân tích dữ liệu áp dụng cho loại dữ liệu đặc thù này. Sau đó, luận án nghiên cứu xây dựng tập thuộc tính đặc trưng nhằm nâng cao hiệu quả của hệ thống nhận dạng phương tiện và hành động giao thơng. Phương pháp đề xuất đã được thử nghiệm và đánh giá kết quả dựa trên dữ liệu do chúng tơi tự thu thập và một số bộ dữ liệu đã được cơng bố. Dựa vào kết quả nhận dạng của các hành động giao thông, chúng tôi đề xuất kỹ thuật phát hiện hành vi bất thường bằng cách phân đoạn cửa sổ dữ liệu của một hành động giao thông thành các đoạn với kích thước cửa sổ đủ nhỏ và áp dụng phương pháp nhận dạng hành động với các cửa sổ dữ liệu này. Sự sai khác của kết quả nhận dạng có được với nhãn lớp của hành động giao thơng cơ bản là cơ sở để phân loại hành vi giao thơng dựa trên kỹ thuật so khớp chuỗi. Phương pháp đề xuất được so sánh, đánh giá trên dữ liệu thu thập và phân tích với một số kỹ thuật phát hiện thường dùng trong bài tốn nhận dạng hành vi giao thơng khác. Luận án đã thu được một số kết quả như sau: - Xây dựng được tập thuộc tính đặc trưng phù hợp gồm 59 thuộc tính trên các miền thời gian, tần số cũng như thuộc tính Hjorth. - Đề xuất giải pháp nhận dạng hành động giao thơng cơ bản. - Đề xuất giải pháp nhận dạng hành vi bất thường dựa trên các hành động cơ bản đã được xây dựng ở chương 2. Bên cạnh một số kết quả đã thu được, vẫn còn một số nội dung mà Luận án chưa thực hiện được, bao gồm: - Xây dựng hệ thống hiển thị và giám sát giao thơng. Từ đó, có thể nghiên cứu phân tích các tình huống giao thơng khác nhau. - Đối với hành vi bất thường, Luận án mới chỉ dừng ở việc xây dựng mơ hình nhận dạng hành vi bất thường, thực hiện khảo sát với loại hành vi lạng lách của 103 phương tiện xe máy mà chưa có điều kiện thu thập, phân tích nhiều dạng hành vi bất thường khác nhau, đối với các loại phương tiện khác nhau trong hệ thống giao thơng. - Số lượng các mẫu hành vi cũng chưa được thu thập đa dạng, đủ lớn từ nhiều đối tượng thực nghiệm, phủ hết các cảnh huống, điều kiện và trên các loại phương tiện khác nhau. Trong thời gian tới, chúng tôi sẽ tiếp tục hồn thiện nghiên cứu của mình theo một số cách tiếp cận khác nhau như: - Áp dụng các phương pháp lọc, đánh giá tập thuộc tính đặc trưng với mong muốn nâng cao hiệu quả của mơ hình phát hiện, nhận dạng, phát hiện hành động và hành vi bất thường. - Tiến hành thực nghiệm, đánh giá trên các loại phương tiện khác như ơ tơ, xe bt, xe đạp cũng như một số phương tiện phổ thơng khác ở đơ thị của Việt nam - Mở rộng tập các hành động cơ bản khác liên quan đến thay đổi tốc độ, thay đổi hướng khi điều khiển phương tiện. Dựa trên những hành động này mở rộng tập các hành vi bất thường cho bài tốn nhận dạng, ví dụ như: thay đổi vận tốc đột ngột hoặc một số hành vi bất thường khác. - Xây dựng ứng dụng với dữ liệu theo thời gian thực. - Mở rộng nghiên cứu xây dựng hệ thống mơ phỏng, giám sát giao thơng trực tuyến. Đây cũng là cơ sở để xây dựng các giải pháp quản trị giao thơng thơng minh cũng như hỗ trợ người dân đơ thị khi tham gia giao thơng. 104 DANH MỤC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN [CT1]. Lu DN., Nguyen TT., Ngo TTT., Nguyen TH., Nguyen HN. (2016) Mobile Online Activity Recognition System Based on Smartphone Sensors. In: Advances in Information and Communication Technology. ICTA 2016. Advances in Intelligent Systems and Computing, vol 538. Springer, Cham. (SCOPUS) [CT2]. Lu DN., Ngo TTT., Nguyen DN., Nguyen TH., Nguyen HN. (2017) A Novel Mobile Online Vehicle Status Awareness Method Using Smartphone Sensors. In: Information Science and Applications 2017. ICISA 2017. Lecture Notes in Electrical Engineering, vol 424. Springer, Singapore. (SCOPUS) [CT3]. Lu DN., Tran TB., Nguyen DN., Nguyen TH., Nguyen HN. (2018) Abnormal Behavior Detection Based on Smartphone Sensors. In: ContextAware Systems and Applications, and Nature of Computation and Communication. ICCASA 2017, ICTCC 2017. Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol 217. Springer, Cham.(SCOPUS). [CT4].Lu, D.-N.; Nguyen, D.-N.; Nguyen, T.-H.; Nguyen, H.-N. Vehicle Mode and Driving Activity Detection Based on Analyzing Sensor Data of Smartphones. Sensors 2018, 18, 1036. (SCIE). 105 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] T. Toroyan, “Global status report on road safety,” World Heal Orgainisation, p. 318, 2015. L. Bedogni, M. Di Felice, and L. Bononi, “By train or by car? Detecting the user’s motion type through smartphone sensors data,” IFIP Wirel Days, 2012. A. C. Prelipcean, G. Gidófalvi, and Y. O. Susilo, “Transportation mode detection– an in-depth review of applicability and reliability,” Transp Rev., vol. 37, no. 4, pp. 442–464, 2017. M. Van Ly, S. Martin, and M. M. Trivedi, “Driver classification and driving style recognition using inertial sensors,” IEEE Intell Veh Symp Proc., no. Iv, pp. 1040– 1045, 2013. D. A. Johnson and M. M. Trivedi, “Driving style recognition using a smartphone as a sensor platform,” IEEE Conf Intell Transp Syst Proceedings, ITSC, pp. 1609– 1615, 2011. M. Fazeen, B. Gozick, R. Dantu, M. Bhukhiya, and M. C. González, “Short Papers Safe Driving Using Mobile Phones,” pp. 1–7, 2012. C. Lee, F. Saccomanno, and B. Hellinga, “Analysis of Crash Precursors on Instrumented Freeways,” Transp Res Rec., vol. 1784, no. 1, pp. 1–8, 2002. J. Zaldivar, C. T. Calafate, J. C. Cano, and P. Manzoni, “Providing accident detection in vehicular networks through OBD-II devices and android-based smartphones,” Proc - Conf Local Comput Networks, LCN, pp. 813–819, 2011. B. Anbaroğlu, T. Cheng, and B. Heydecker, “Non-recurrent traffic congestion detection on heterogeneous urban road networks,” Transp A Transp Sci., vol. 11, no. 9, pp. 754–771, 2015. Hoàng Phê (Chủ biên), Từ điển Tiếng Việt - GS Hoàng Phê. Nhà xuất bản Hồng Đức, 2016. E. Carvalho, B. V Ferreira, C. De Souza, Y. Suhara, A. Pentland, and G. Pessin, “Driver behavior profiling : An investigation with different smartphone sensors and machine learning,” pp. 1–16, 2017. G. Singh, D. Bansal, and S. Sofat, “A Smartphone Based Technique to Monitor Driving Behavior using DTW and Crowdsensing,” Pervasive Mob Comput., 2017. Z. Liu, M. Wu, K. Zhu, and L. Zhang, “SenSafe : A Smartphone-Based Traffic Safety Framework by Sensing Vehicle and Pedestrian Behaviors,” vol. 2016, 2016. C. Ma, X. Dai, J. Zhu, N. Liu, H. Sun, and M. Liu, “DrivingSense: Dangerous Driving Behavior Identification Based on Smartphone Autocalibration,” Mob Inf Syst., vol. 2017, 2017. J. Yu, Z. Chen, Y. Zhu, Y. Chen, L. Kong, and M. Li, “Fine-grained Abnormal Driving Behaviors Detection and Identification with Smartphones,” vol. 1, no. c, pp. 1–14, 2016. R. Goregaonkar and S. Bhosale, “Driving Assistance and Accident Monitoring Using Three Axis Accelerometer and GPS System,” Int J Sci Res., vol. 3, no. 6, pp. 393–398, 2014. D. A. Johnson and M. M. Trivedi, “Driving Style Recognition Using a Smartphone as a Sensor Platform,” pp. 1609–1615, 2011. A. H. Ali, A. Atia, and M.-S. M. Mostafa, “Recognizing Driving Behavior and Road 106 [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] Anomaly Using Smartphone Sensors,” Int J Ambient Comput Intell., vol. 8, no. 3, pp. 22–37, Jul. 2017. L. Liu, Y. Peng, S. Wang, M. Liu, and Z. Huang, “Complex activity recognition using time series pattern dictionary learned from ubiquitous sensors,” Inf Sci (Ny)., vol. 340–341, pp. 41–57, 2016. P. Vavouranakis, S. Panagiotakis, G. Mastorakis, C. X. Mavromoustakis, and J. M. Batalla, “Recognizing Driving Behaviour Using Smartphones,” in Beyond the Internet of Things, Springer, 2017, pp. 269–299. F. Li, H. Zhang, H. Che, and X. Qiu, “Dangerous Driving Behavior Detection Using Smartphone Sensors,” pp. 1902–1907, 2016. C. Pham and N. T. T. Thuy, “Real-Time Traffic Activity Detection Using Mobile Devices,” Proc 10th Int Conf Ubiquitous Inf Manag Commun - IMCOM ’16, pp. 1–7, 2016. C. A. Ronao and S. Cho, “PT US CR,” Expert Syst Appl., 2016. “Analyzing Driver Behavior using Smartphone Sensors : A Survey Analyzing Driver Behavior using Smartphone Sensors : A,” no. January 2014, 2015. A. Campilho and M. Kamel, “Image Analysis and Recognition: 11th International Conference, ICIAR 2014 Vilamoura, Portugal, October 22-24, 2014 Proceedings, Part I,” Lect Notes Comput Sci (including Subser Lect Notes Artif Intell Lect Notes Bioinformatics), vol. 8814, pp. 256–265, 2014. H. J. Walnum and M. Simonsen, “Does driving behavior matter ? An analysis of fuel consumption data from heavy-duty trucks,” Transp Res Part D, vol. 36, pp. 107–120, 2015. Y. Lee and S. Cho, “Neurocomputing Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data,” Neurocomputing, vol. 126, pp. 106–115, 2014. Y. Mirsky, A. Shabtai, and B. Shapira, “Anomaly detection for smartphone data streams Anomaly Detection for Smartphone Data Streams,” Pervasive Mob Comput., 2016. P. Handel et al., “Insurance telematics: Opportunities and challenges with the smartphone solution,” IEEE Intell Transp Syst Mag., vol. 6, no. 4, pp. 57–70, 2014. E. I. Vlahogianni and E. N. Barmpounakis, “Driving analytics using smartphones : Algorithms , comparisons and challenges,” Transp Res Part C, vol. 79, pp. 196– 206, 2017. S. H. Fang et al., “Transportation modes classification using sensors on smartphones,” Sensors (Switzerland), vol. 16, no. 8, pp. 1–15, 2016. M. Guvensan, B. Dusun, B. Can, and H. Turkmen, “A Novel Segment-Based Approach for Improving Classification Performance of Transport Mode Detection,” Sensors, vol. 18, no. 2, p. 87, 2017. P. I. of T. Widhalm, P. I. of T. Nitsche, and N. I. of T. Brändle, “Transport Mode Detection with Realistic Smartphone Sensor Data,” Icpr, no. Icpr, pp. 573–576, 2012. M. A. Shafique and E. Hato, “Travel mode detection with varying smartphone data collection frequencies,” Sensors (Switzerland), vol. 16, no. 5, 2016. G. Castignani, T. Derrmann, R. Frank, and T. Engel, “Driver behavior profiling using smartphones: A low-cost platform for driver monitoring,” IEEE Intell Transp 107 [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] Syst Mag., vol. 7, no. 1, pp. 91–102, 2015. D. Pyle, S. Editor, and D. D. Cerra, Data Preparation for Data Mining, vol. 17. 1999. S. García, Intelligent Systems Reference Library 72 Data Preprocessing in Data Mining. 2015. C. Torres-huitzil and A. Alvarez-landero, “Recognition in Smartphones for Healthcare Services.” A. S. B, B. J. Woodford, and H. Lin, “Trends and Applications in Knowledge Discovery and Data Mining,” vol. 10526, pp. 26–38, 2017. W. Astuti, W. Sediono, A. M. Aibinu, R. Akmeliawati, and M. J. E. Salami, “Adaptive Short Time Fourier Transform (STFT) Analysis of seismic electric signal (SES): A comparison of Hamming and rectangular window,” ISIEA 2012 - 2012 IEEE Symp Ind Electron Appl., pp. 372–377, 2012. L. M. S. Morillo, L. Gonzalez-Abril, J. A. O. Ramirez, and M. A. A. De La Concepcion, “Low energy physical activity recognition systemon smartphones,” Sensors (Switzerland), vol. 15, no. 3, pp. 5163–5196, 2015. K. Katevas, H. Haddadi, and L. Tokarchuk, “Sensing Kit: Evaluating the sensor power consumption in iOS devices,” Proc - 12th Int Conf Intell Environ IE 2016, pp. 222–225, 2016. Y. E. Ustev, O. Durmaz Incel, and C. Ersoy, “User, device and orientation independent human activity recognition on mobile phones,” Proc 2013 ACM Conf Pervasive ubiquitous Comput Adjun Publ - UbiComp ’13 Adjun., pp. 1427–1436, 2013. M. Shoaib, S. Bosch, O. Incel, H. Scholten, and P. Havinga, “A Survey of Online Activity Recognition Using Mobile Phones,” Sensors, vol. 15, no. 1, pp. 2059–2085, 2015. D. Figo, P. C. Diniz, D. R. Ferreira, and M. P. Cardoso, “Preprocessing techniques for context recognition from accelerometer data,” pp. 645–662, 2010. B. Boashash, Time-Frequency Signal Analysis and Processing: A Comprehensive Review. 2015. A. Antoniou, Digital Signal Processing: Signals, Systems, and Filters. 2006. M. Pedley, “Tilt Sensing Using a Three-Axis Accelerometer,” Free Semicond Appl notes, pp. 1–22, 2013. B. O. Hjorth, “Technical contributions eeg analysis based on time domain properties,” pp. 306–310, 1970. T. Fawcett, “An introduction to ROC analysis,” Pattern Recognit Lett., vol. 27, no. 8, pp. 861–874, 2006. J. Huang and C. X. Ling, “Using AUC and Accuracy in Evaluating Learning Algorithms,” vol. 17, no. 3, pp. 299–310, 2005. S. Oh, Y. Lee, and H. Kim, “A Novel EEG Feature Extraction Method Using Hjorth Parameter,” vol. 2, no. 2, pp. 106–110, 2014. M. A. Hall, E. Frank, G. Holmes, B. Pfahringer, P. Reutemann, and I. H. Witten, “The WEKA data mining software: an update,” SIGKDD Explor., vol. 11, no. 1, pp. 10–18, 2009. Y. Kwon, K. Kang, and C. Bae, “Expert Systems with Applications Unsupervised learning for human activity recognition using smartphone sensors,” Expert Syst Appl., no. May, 2014. 108 [55] L. Bao and S. S. Intille, “Activity Recognition from User-Annotated Acceleration Data,” pp. 1–17, 2004. [56] M.-C. Yu, T. Yu, S.-C. Wang, C.-J. Lin, and E. Y. Chang, “Big data small footprint,” Proc VLDB Endow., vol. 7, no. 13, pp. 1429–1440, 2014. [57] T. H. Vu and J.-C. Wang, “Transportation Mode Detection on Mobile Devices Using Recurrent Nets,” Proc 2016 ACM Multimed Conf - MM ’16, pp. 392–396, 2016. [58] V. Chandola, A. Banerjee, and V. Kumar, “Anomaly detection: A survey,” ACM Comput Surv., vol. 41, no. September, pp. 1–58, 2009. [59] S. Agrawal and J. Agrawal, “Survey on anomaly detection using data mining techniques,” Procedia Comput Sci., vol. 60, no. 1, pp. 708–713, 2015. [60] J. Dai, J. Teng, X. Bai, Z. Shen, and D. Xuan, “Mobile Phone Based Drunk Driving Detection.” [61] J. Engelbrecht, M. J. T. Booysen, G. Van Rooyen, and F. J. Bruwer, “Performance comparison of dynamic time warping ( DTW ) and a maximum likelihood ( ML ) classifier in measuring driver behavior with smartphones,” no. Ml, pp. 427–433, 2015. [62] H. Eren, “Estimating driving behavior by a smartphone,” no. June 2012, 2016. [63] M. Zhang, C. Chen, T. Wo, T. Xie, and S. Member, “SafeDrive : Online Driving Anomaly Detection from Large-Scale Vehicle Data,” pp. 1–10. [64] V. Ngoc, T. Sang, N. D. Thang, V. Van Toi, and N. D. Hoang, “Human Activity Recognition and Monitoring Using Smartphones,” pp. 481–485, 2015. [65] S. Ferrer and T. Ruiz, “Travel Behavior Characterization Using Raw Accelerometer Data Collected from Smartphones,” Procedia - Soc Behav Sci., vol. 160, no. Cit, pp. 140–149, 2014. [66] Y. Watanabe, “Toward application of immunity-based model to gait recognition using smart phone sensors: A study of various walking states,” Procedia Comput Sci., vol. 60, no. 1, pp. 1856–1864, 2015. [67] W. H. Abdulla, D. Chow, G. Sin, and N. Zealand, “Cross-words Reference Tempiate for DTW-based Speech Recognition Systems,” October, vol. 4, pp. 1576– 1579, 2003. [68] D. J. Berndt and J. Clifford, “Using Dynamic Time Warping to Find Patterns in Time Series,” in KDD workshop, 1994, vol. 10, no. 16, pp. 359–370. [69] N. Kalra and D. Bansal, “Analyzing Driver Behavior using Smartphone Sensors : A Survey,” Int J Electron Electr Eng., vol. 7, no. 7, pp. 697–702, 2014. [70] N. D. Lane and P. Georgiev, “Can Deep Learning Revolutionize Mobile Sensing?,” Proc 16th Int Work Mob Comput Syst Appl - HotMobile ’15, pp. 117–122, 2015. [71] S. Yan, Y. Teng, J. S. Smith, and B. Zhang, “Driver behavior recognition based on deep convolutional neural networks,” 2016 12th Int Conf Nat Comput Fuzzy Syst Knowl Discov., no. 1, pp. 636–641, 2016. 109 ... tích hành vi giao thơng, phát hiện hành vi giao thơng bất thường dựa trên cảm biến gia tốc của điện thoại thơng minh. 1.2 Một số khái niệm 1.2.1 Hành động giao thông Hành động giao thông ... hiện và đốn nhận hành vi bất thường sử dụng cảm biết gia tốc của điện thoại thơng minh, chúng tơi chọn đề tài: Nhận dạng hành vi người tham gia giao thông dựa cảm biến điện thoại làm ... cảm biến để phân tích hành vi Phân tích, nhận dạng hành vi giao thông được thực hiện ở nhiều quốc gia trên thế giới nhằm phân loại được hành vi của người tham gia lưu thông phục