Nghiên cứu xây dựng hệ thống cảnh báo ùn tắc giao thông dựa vào phân tích dữ liệu lớn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA MAI TẤN HÀ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CẢNH BÁO ÙN TẮC GIAO THÔNG DỰA VÀO PHÂN TÍCH DỮ LIỆU LỚN Chun ngành: Hệ thống thơng tin quản lý Mã số: 83 40 405 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HỌ VÀ TÊN HỌC VIÊN MAI TẤN HÀ TÊN ĐỀ TÀI NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CẢNH BÁO ÙN TẮC GIAO THÔNG DỰA VÀO PHÂN TÍCH DỮ LIỆU LỚN NGÀNH: HỆ THỐNG THƠNG TIN QUẢN LÝ MÃ NGÀNH: 8340405 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS TRẦN MINH QUANG THÀNH PHỐ HỒ CHÍ MINH – NĂM 2020 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán hướng dẫn khoa học: PGS.TS TRẦN MINH QUANG Cán chấm nhận xét 1: TS LÊ LAM SƠN Cán chấm nhận xét 2: PGS.TS NGUYỄN TUẤN ĐĂNG Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 25 tháng năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: PGS.TS ĐẶNG TRẦN KHÁNH………………………………………… Thư ký: TS PHAN TRỌNG NHÂN………………………………………………… Phản biện 1: TS LÊ LAM SƠN…………………………………………………… Phản biện 2: PGS.TS NGUYỄN TUẤN ĐĂNG…………………………………… Ủy viên: PGS.TS VŨ THANH NGUYÊN………………………………………… Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KTMT ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: MAI TẤN HÀ MSHV: 1870303 Ngày, tháng, năm sinh: 21/07/1992 Nơi sinh: Phú Yên Ngành: Hệ thống thông tin quản lý Mã số: 83 40 405 I TÊN ĐỀ TÀI: NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CẢNH BÁO ÙN TẮC GIAO THƠNG DỰA VÀO PHÂN TÍCH DỮ LIỆU LỚN II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu đề xuất mơ hình khai phá liệu tình trạng giao thông thu thập khứ dựa phương pháp phân tích liệu học máy, thống kê,…để đưa dự đốn tình trạng giao thơng thời điểm địa bàn Tp.HCM III NGÀY GIAO NHIỆM VỤ: 24/02/2020 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 27/07/2020 V CÁN BỘ HƯỚNG DẪN: PGS TS TRẦN MINH QUANG Tp HCM, ngày 27 tháng 07 năm 2020 CÁN BỘ HƯỚNG DẪN TRƯỞNG KHOA KH & KTMT (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KH & KTMT (Họ tên chữ ký) LỜI CÁM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn gửi đến thầy PGS.TS Trần Minh Quang lời cám ơn chân thành Thầy tận tình bảo, hướng dẫn định hướng cho suốt q trình thực luận văn Tơi xin gửi lời cám ơn chân thành đến quý thầy cô Khoa Khoa học Kỹ thuật Máy Tính, Khoa Quản Lý Cơng Nghiệp hết lịng truyền dạy cho tơi bạn khóa MIS 2018 kiến thức suốt thời gian học tập nghiên cứu trường Đại học Bách Khoa – Đại học Quốc Gia Tp Hồ Chí Minh Tơi xin chân thành cám ơn bạn tình nguyện viên giúp đỡ, hỗ trợ tơi nhiều q trình thu thập liệu giao thông thực tế ứng dụng di động ứng dụng chạy tự động Google Colab Sau xin gửi lời cám ơn chân thành đến gia đình tơi, bạn bè, người ln động viên, khuyến khích tạo điều kiện thuận lợi cho tơi tồn q trình học tập thực đề tài nghiên cứu Tp Hồ Chí Minh, ngày 27 tháng 07 năm 2020 Người thực luận văn MAI TẤN HÀ TÓM TẮT LUẬN VĂN THẠC SĨ Mục tiêu nghiên cứu đề xuất phương pháp khai phá liệu dựa vào liệu TTGT khứ thu thập từ cộng đồng hệ thống giao thông khác thành phố như: liệu giao thông GPS từ xe buýt, ứng dụng thiết bị di động, liệu từ hệ thống khác, để đưa ước lượng dự đoán TTGT đoạn đường bị thiếu liệu thời điểm Cụ thể hơn, mục tiêu nghiên cứu tập trung vào đề xuất mơ hình phân tích khai phá liệu dựa trên: mơ hình thống kê, phân tích tương quan, học máy, để phân tích lượng lớn liệu (big data) TTGT khứ khu vực có liên quan nhằm dự đoán TTGT nơi thiếu liệu thời (không nhận liệu cung cấp từ cộng đồng hệ thống khác), qua mở rộng độ bao phủ tính hiệu hệ thống đề xuất Kết đề tài làm tiền đề để xem xét tính hiệu phương pháp tiếp cận từ có kế hoạch phát triển ứng dụng vào thực tiễn nhằm ứng dụng giảm thiểu ùn tắc giao thông Tp.HCM Từ khóa: dự đốn tình trạng giao thơng, khai phá liệu, liệu chia sẻ từ cộng đồng, giao thông đô thị ABSTRACT Aiming to advocate data mining methods based on historical traffic data collected from the community and various transport systems in Ho Chi Minh city such as GPS traffic data from buses, mobile apps, and other systems, this thesis provides a mechanism to make estimations and predictions of traffic conditions at roads missing real-time traffic data Mainly, this research focuses on proposing data mining models stand on statistical, algorithms, correlation analysis, machine learning to analyze large amounts of data (big data) from past traffic conditions and related areas to predict traffic conditions when the real-time data are missing, thereby expanding the coverage and effectiveness of the proposed system The results of the thesis will serve as a premise to consider the effectiveness of the proposed method before developing and applying it in practice to reduce traffic congestion in the Ho Chi Minh city Keywords: Estimate traffic condition - Data mining – Crowd-sourced data – Urban traffic LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu khoa học tơi tự thực Dữ liệu sử dụng tồn q trình phân tích luận văn có nguồn gốc rõ ràng minh bạch, công bố theo quy định đạo đức nghiên cứu khoa học Các kết đạt nghiên cứu luận văn này, tự thực cách trung thực khách quan Kết luận văn công bố lần báo cáo chưa cơng bố luận văn trước Tp Hồ Chí Minh, ngày 27 tháng 07 năm 2020 Người thực luận văn MAI TẤN HÀ MỤC LỤC PHẦN MỞ ĐẦU 11 1.1 Lý chọn đề tài 11 1.2 Mục đích nghiên cứu 12 1.3 Phạm vi đối tượng nghiên cứu 13 CÁC NGHIÊN CỨU LIÊN QUAN 16 2.1 Tổng quan tình hình ùn tắc giao thơng Tp HCM 16 2.2 Các nghiên cứu Việt Nam 17 2.3 Các nghiên cứu nước 18 NỀN TẢNG LÝ THUYẾT 20 3.1 Các cách tiếp cận có cảnh báo TTGT thị 20 3.2 Định nghĩa khai phá liệu 21 3.3 Dữ liệu lớn 22 3.4 Các thuật toán ứng dụng giải thuật phân loại liệu 23 GIẢI PHÁP ĐỀ XUẤT 29 4.1 Các mơ hình thu thập liệu đề xuất 29 4.1.1 Mô hình thu thập liệu trực tiếp từ ứng dụng di động 30 4.1.2 Mơ hình thu thập liệu từ TomTom 31 4.2 Mơ hình dự đốn liệu 33 THỰC NGHIỆM 39 5.1 Phương pháp thu thập liệu 39 5.1.1 Thu thập liệu thông qua ứng dụng di dộng 39 5.1.2 Thu thập liệu từ TomTom 41 5.2 Tiền xử lý liệu 43 5.2.1 Tiền xử lý liệu thu thập từ ứng dụng di dộng 43 5.2.2 Tiền xử lý liệu thu thập từ TomTom 46 5.3 Kết thực nghiệm q trình phân tích liệu 47 5.3.1 Kết khai phá từ liệu ứng dụng di dộng 47 5.3.2 Kết khai phá từ liệu từ TomTom 51 TÍCH HỢP CÁC MƠ HÌNH KHAI PHÁ VÀO HỆ THỐNG 55 6.1 Mô hình dự đốn TTGT hệ thống ITS 55 6.2 Các trường hợp sử dụng mơ hình dự đốn TTGT 56 6.3 Huấn luyện cập nhật mơ hình theo lịch trình 58 ĐÁNH GIÁ VÀ TỔNG KẾT NGHIÊN CỨU 60 7.1 Đánh giá kết đạt 60 7.1.1 Kết khoa học 60 7.1.2 Kết thực tiễn 60 7.2 Giới hạn nghiên cứu 62 7.3 Đề xuất hướng mở rộng 62 KẾT QUẢ ĐẠT ĐƯỢC TỪ QUÁ TRÌNH NGHIÊN CỨU 64 DANH MỤC TÀI LIỆU THAM KHẢO 64 PHỤ LỤC 70 PHỤ LỤC 1: DANH MỤC HÌNH ẢNH 70 PHỤ LỤC 2: DANH MỤC BẢNG BIỂU 70 PHỤ LỤC 3: DANH MỤC VIẾT TẮT 71 LÝ LỊCH TRÍCH NGANG 72 QUÁ TRÌNH ĐÀO TẠO 72 Q TRÌNH CƠNG TÁC 72 CÁC CƠNG TRÌNH CƠNG BỐ 73 10 vào khai phá nhằm mục đích tìm mơ hình có kết tốt hơn, (3) Bên cạnh thuật toán cũ sử dụng, bước áp dụng thêm thuật tốn mới, để tìm kiếm mơ hình phù hợp có kết tốt hơn, (4) Dựa vào kết mơ hình huấn luyện, hệ thống định việc cập nhật lại mơ hình hay khơng Những mơ hình cho kết tốt mơ hình cập nhật lên hệ thống ITS Để thực đánh giá tính hiệu mơ hình hệ thống dựa thông số Precision (P), ReCall (R) F-score mô tả sau: P= R= TP (4) TP + FP TP TP + FN 𝐹−𝑠𝑐𝑜𝑟𝑒 = 2∗R∗P R+P (5) (6) Với TP số điểm Positive mô hình dự đốn đúng, FP số điểm Positive mơ hình dự đốn sai, FN số điểm Negative mơ hình dự đốn sai Precision (P) định nghĩa tỉ lệ số điểm Positive mơ hình dự đốn (TP) tổng số điểm mơ hình dự đốn Positive (TP + FP) công thứ (4) ReCall định nghĩa tỉ lệ số điểm Positive mơ hình dự đoán (TP) tổng số điểm thật Positive, công thức (5) Precision cao, tức số điểm mơ hình dự đốn Positive Positive nhiều Precision = 1, tức tất số điểm mơ hình dự đốn Positive đúng, hay khơng có điểm có nhãn Negative mà mơ hình dự đốn nhầm Positive ReCall cao, tức số điểm Positive bị bỏ sót ReCall = 1, tức tất số điểm có nhãn Positive mơ hình nhận Tuy nhiên, có Precision hay có Recall khơng đánh giá chất lượng mơ hình Chỉ dùng Precision, mơ hình đưa dự đốn cho điểm mà chắn Khi Precision = 1, ta khơng thể nói mơ hình tốt Cịn dùng ReCall, mơ hình dự đốn tất điểm Positive Khi ReCall = 1, ta khơng thể nói mơ hình tốt Khi F-score sử dụng trung bình điều hịa (harmonic mean) precision recall cơng thức (6) để đánh giá tính hiệu mơ hình 59 ĐÁNH GIÁ VÀ TỔNG KẾT NGHIÊN CỨU 7.1 Đánh giá kết đạt 7.1.1 Kết khoa học Về mặt khoa học, nghiên cứu đưa chế giúp giải vấn đề mặt thiếu liệu TTGT khắc phục hạn chế độ bao phủ hệ thống thời gian đưa vào sử dụng vận hành Kết nghiên cứu mang lại đóng góp sau đây: • Đánh giá tính khả thi khả ứng dụng thực tế mơ hình đề xuất vào hệ thống giao thông thông minh cho thành phố lớn Hồ Chí Minh nước phát triển, nơi có sở hạ tầng giao thông chưa phát triển kịp để đáp ứng tốc độ phát triển phương tiện dân số • Xác định biến đầu vào cần thiết cho mô hình dự đốn TTGT dựa vào liệu q khứ, biến tối thiểu đảm bảo độ xác mơ hình dự đốn, đề xuất hệ thống phục vụ cho việc thu thập liệu từ nhiều nguồn khác • Đề xuất khung (framework) cho việc ước lượng TTGT dựa phương pháp học máy để giải toán thiếu liệu thời gian thực hệ thống ước tính TTGT thị Kết mang lại từ mơ hình đề xuất khả quan, với độ xác mơ hình 73%, kết chấp nhận ứng dụng vào thực tế, phục vụ cho việc dự đoán ước lượng TTGT địa bàn Tp HCM 7.1.2 Kết thực tiễn Đề tài góp phần cung cấp thông tin TTGT cho người dân sinh sống làm việc địa bàn Tp HCM với mục đích giúp người tham gia giao thơng có nhìn tổng quan TTGT vị trí với khơng gian thời gian xác định, qua có điều chỉnh kịp thời lộ trình di chuyển nhằm giảm thiểu ùn tắc Không mang lại lợi ích trực tiếp mặt tránh giảm thiểu kẹt xe mà cịn góp phần gián tiếp nâng cao đời sống người dân, giảm nhiễm khơng khí, tiết kiệm nhiên liệu, tăng tính kinh tế thơng qua rút ngắn thời gian di chuyển đồng thời giúp hàng hóa vận chuyển nhanh hơn,… Bên cạnh phục vụ cho người dân, đề tài phục vụ cho cấp quản lý quan chịu trách nhiệm quy hoạch, nâng cấp sở hạ tầng giao 60 thơng Lợi ích mang lại cho nhà quản lý, quan chức cách cung cấp báo cáo, thống kê, dự đốn, ước lượng tình trạng giao địa bàn Tp HCM trích xuất thơng liệu từ hệ thống, qua cung cấp thơng tin hỗ trợ nhà quản lý đưa định kịp thời nhằm giảm thiểu tình trạng ùn tắc giao thơng địa điểm thường xun có TTGT phức tạp đưa quy hoạch nâng cấp phù hợp Lợi ích từ hệ thống mang lại minh họa rõ qua trường hợp cụ thể, mô tả sau đây: Trường hợp với phát viên kênh giao thông: thông thường phận phát viên nhận thông tin TTGT thông qua gọi tổng đài từ bác tài, người tham giao thông hay từ cộng tác viên đài Với cách tại, phát viên bị động việc nắm tình hình giao thơng thành phố, nắm TTGT địa điểm có thơng tin báo nhà đài, xảy trường hợp nhiều điểm bị kẹt xe lại không cập nhật dẫn đến thiếu sót thơng tin Nhưng hệ thống ứng dụng, triển khai vào thực tiễn giải vấn đề bao phủ TTGT thành phố, lúc bên cạnh thông tin nhận thông qua gọi từ người dùng, phát viên cịn xem TTGT thành phố thông qua trang web trực tuyến cập nhật liên tục kịp thời cách trực quan Tương tự vậy, nghiên cứu mang lại lợi ích tương tự cho người dân họ muốn di chuyển từ điểm A đến điểm B, họ xem TTGT lựa chọn tuyến đường phù hợp nhằm tránh ùn tắc Trường hợp với quan quản lý giao thông: hệ thống giúp quan chức vận hành xây dựng hạ tầng phục vụ cho hoạt động giao thông cách hiệu hơn, hướng đến giảm thiểu ùn tắc, kẹt xe địa bàn thành phố Hệ thống cung cấp thống kê, báo cáo cho quan quản lý thông tin như: nơi hay xảy tình trạng kẹt xe, mức độ nào, thời gian thường xuyên xảy ra,…những thơng tin giúp nhà quản lý có nhìn tổng qt xác trạng giao thông thành phố khứ, dự đoán tương lai Dựa vào thông tin hỗ trợ từ hệ thống giúp nhà quản lý đưa định phù hợp, kịp thời để cải thiện TTGT 61 7.2 Giới hạn nghiên cứu Trong phạm vi nghiên cứu này, việc xây dựng đầy đủ tất mơ hình dựa nhiều thuật toán khác phân cụm (clustering), quy tắc kết hợp (association rules), v.v điều chưa thực trọn vẹn giới hạn mặt thời gian Nghiên cứu thực khai phá phân tích liệu dựa thuật toán phân loại (classification) như: Random Forest, Decision Tree, SVM, ANN, Naive Bayes Trong trình nghiên cứu, hạn chế lớn lúc bắt đầu thực nghiên cứu tốn liệu, hệ thống cịn trình xây dựng phát triển nên cịn hạn chế khơng mặt số lượng người sử dụng, người chia sẻ liệu mà số lượng liệu TTGT khứ (lúc đầu có liệu tình trạng giao thơng dựa liệu GPS từ xe buýt) Bên cạnh xây dựng mơ hình, chúng tơi cịn phải nghiên cứu, đề xuất mơ hình để thu thập liệu, mục đích làm giàu liệu TTGT Để đảm bảo số lượng liệu đủ lớn nhằm phục vụ cho trình khai phá hiệu đảm bảo độ xác 7.3 Đề xuất hướng mở rộng Với đề xuất hướng mở rộng cho đề tài này, mở rộng theo hướng: kỹ thuật, quản lý Về hướng kỹ thuật: Cần mở rộng khai phá thuật toán như: phân cụm (clustering), quy tắc kết hợp (association rules) Xem xét xây dựng mơ hình dựa thuật tốn (dựa liệu 300 điểm nóng, dùng thuật toán phân cụm để xác định thời điểm cụ thể có đoạn đường điểm nóng có tình trạng giao thơng nhau, ta tiến hành phân cụm liệu Sau sử dụng thuật tốn quy tắc kết hợp để dự đốn đoạn đường điểm nóng có liên quan với nhau, ví dụ: đoạn đường A xảy tình trạng kẹt xe đoạn đường gần B, C xảy tình trạng tương tự) sử dụng kết hợp thuật toán với để xây dựng mơ hình Bên cạnh việc mở rộng khảo sát thuật tốn khai phá việc thêm chiều liệu có liên quan đến đặc điểm đường yếu tố cần quan tâm xem xét (ví dụ: đường có trường học có đặc điểm đông xe vào thời điểm tan trường, phụ 62 huynh đến đón học sinh, đường có bệnh viện, chợ, v.v nên có thêm yếu tố đầu vào trình khai phá xây dựng mơ hình dự đốn) Về hướng quản lý: Cần mở rộng hệ thống hỗ trợ thống kê, dự báo TTGT định hướng hỗ trợ định cho nhà quản lý Giúp nhà quản lý quan liên quan có nhìn tổng qt TTGT thành phố Xác định điểm thực nóng để đưa định kịp thời nhằm giải giảm thiểu tình trạng ùn tắc Song song với đó, cần phát triển mơ hình kinh doanh để đưa ứng dụng thị trường, làm để thúc đẩy ứng dụng nhiều người biết sử dụng cơng cụ hỗ trợ việc cảnh báo thông tin TTGT (như xây dựng mơ hình kinh doanh quảng cáo, mơ hình tích điểm đổi q ứng dụng di động để khuyến khích người dân sử dụng chia sẻ liệu TTGT thời gian đầu hệ thống chưa nhiều người biết đến) 63 KẾT QUẢ ĐẠT ĐƯỢC TỪ QUÁ TRÌNH NGHIÊN CỨU Trong trình thực nghiên cứu, tơi cố gắng viết báo may mắn công bố báo hội nghị tạp chí liệt kê bảng bên TT Tên công trình (bài báo, cơng trình ) Traffic Congestion Estimation Based on Crowd-Sourced Data Là tác giả đồng tác giả cơng trình Mining Urban Traffic Condition from Crowd-Sourced Data Traffic Condition Estimation Based on Historical Data Analysis Tác giả Đồng tác giả Tác giả Nơi công bố (tên tạp chí đăng cơng trình) 2019 International Conference on Advanced Computing and Applications, (ACOMP 2019) SN Computer Science Năm công bố 2020 IEEE Eighth International Conference on Communications and Electronics, (IEEE-ICCE 2020) 2021 2019 2020 DANH MỤC TÀI LIỆU THAM KHẢO [1] T T Anh, N X Dao, and T T Anh, "The los of road traffic accident in Vietnam," Eastern Assian Society for Transportation Studies, Vol 2005, pp 19231933 [2] An tồn giao thơng, "Nhiều giải pháp chống ùn tắc giao thông Tp HCM," http://www.atgt.vn/nhieu-giai-phap-chong-un-tac-giao-thong-o-tp-hcm-d126317.html, truy cập 10/2019 [3] Trung tâm dự báo nghiên cứu đô thị, “tài liệu quản lý vận hành mạng lưới giao thơng cơng cộng”, Khóa tập huấn hợp tác với AFD, 2015 [4] Tổng cục thống kê Việt Nam, “Số liệu diện tích, mật độ dân số theo địa phương”, Hà Nội, 2016 64 [5] T Nguyên (2015) “Mỗi năm, TP HCM tỷ USD ùn tắc giao thông”, https://news.zing.vn/moi-nam-tp-hcm-mat-hon-1-ty-usd-vi-un-tac-giao-thongpost594855.html, truy cập 12/2019 [6] DH (2018) “Quỹ đất giao thông thấp, kẹt xe TP HCM thiệt hại 2,4 tỷ đồng”, http://ndh.vn/quy-dat-giao-thong-thap-moi-gio-ket-xe-tp-hcm-thiet-hai-2-4-tydong-20180112101058307p148c173.news, truy cập 12/2019 [7] Sở giao thông vận tải Tp.HCM, http://sgtvt.hochiminhcity.gov.vn/, truy cập 10/2019 [8] Tổng cục thống kê "Công bố kết Tổng điều tra dân số 2019" http://tongdieutradanso.vn/cong-bo-ket-qua-tong-dieu-tra-dan-so-2019.html, truy cập 10/2019 [9] Giao thông FM91 MHz, " VOV – đồ giao thông," http://vovgiaothong.vn/, truy cập 10/2019 [10] Kênh thông tin giao thơng Đài Tiếng nói Nhân dân TP HCM, http://voh.com.vn/thong-bao/kenh-giao-thong-do-thi-tren-lan-song-fm-95-6-mhz-cuadai-tnnd-tphcm-111909.html, truy cập 10/2019 [11] Cổng thông tin giao thông TP HCM Sở giao thông vận tải TP HCM, http://giaothong.hochiminhcity.gov.vn/, truy cập 10/2019 [12] P T Vu, et al., "Smart BK Traffic", http://traffic.hcmut.edu.vn/index.html, truy cập 10/2019 [13] P H Quang, et al., "Xây dựng mạng camera với hệ thống xử lý hình ảnh thơng minh phục vụ điều khiển giao thông giám sát an ninh," http://kc03.vpct.gov.vn/News.aspx?ctl=projectdetail&ID=567, truy cập 10/2019 [14] N T Thắng, "Nghiên cứu xây dựng Hệ thống giám sát xử lý vi phạm TTATGT hình ảnh hệ thống giao thơng đường bộ," Hội nghị An tồn giao thơng, 2015, pp 1-12 [15] T C M Hien, "Xây dựng hệ thống giám sát xử lý vi phạm TTATGT hình ảnh hệ thống giao thơng đường bộ," Hội nghị An tồn giao thông, 2015, pp 1-8 [16] Japan Ministry of Land Infrastructure and Transport: “The System Outline of VICS,” http://www.vics.or.jp, truy cập 8/2018 [17] Route search and location based consumer services in Japan http://www.navitime.co.jp, truy cập 8/2018 65 [18] Kansas ITS: http://www.ksdot.org/burtransplan/burovr/inttrans.asp, truy cập 10/2019 [19] B Coifman, “Improved velocity estimation using single loop detectors,” Trans Res A, vol 35, no 10, pp 863–880, Dec 2001 [20] S Tang and F.-Y Wang, “A PCI-based evaluation method for level of services for traffic operational systems,” IEEE Trans Intell Transp Syst., Vol 7, No 4, 2006, pp 494–499 [21] J Wright and J Dahlgren, “Using vehicles equipped with toll tags as probes for providing travel times.” California PATH Working Paper UCB-ITSPWP-2001-13, Institute of Transportation Studies, University of California, Berkeley, CA, 2001 [22] X Ban, Y Li, A Skabardonis, and J.D Margulici, “Performance evaluation of travel time methods for real time traffic applications.” 11th World Conference on Transport Research, Berkeley, CA, June 2007 [23] Y Cho and J Rice, “Estimating velocity fields on a freeway from lowresolution videos,” IEEE Trans Intell Transp Syst., Vol 7, No 4, 2006, pp 463–469 [24] Mobile Millennium Project http://traffic.berkeley.edu/theproject.html, truy cập 10/2019 [25] T.M Quang, K Eiji “Traffic State Estimation with Mobile Phones Based on The “3R” Philosophy,” IEICE Transactions on Communications, Vol E94-B, No 12, 2011, pp 3447-3458 [26] T.M Quang and K Eiji, “Granular Quantifying Traffic State Using Mobile Probes,” IEEE 72nd Vehicle Technology Conference: VTC2010-Fall, Ottawa, Canada, Sep 6-9, 2010, pp 1-6 [27] K Sohn and K Hwang, “Space-based passing time estimation on a freeway using cell phones as traffic probes,” IEEE Trans Intell Transp Syst., Vol 9, No 3, 2008, pp 559–568 [28] M of Transport of Vietnam, “Table of speed specifications for all drivers,” https://luatvietnam.vn/tin-phap-luat/bang-quy-dinh-ve-tocdo-toi-da-moi-tai-xe-cannho-230-18150-article.html, truy cập 10/2019 [29] M Khilari and P B V P, “A REVIEW ON SPEECH TO TEXT CONVERSION METHODS,” International journal of advanced research in computer engineering and technology (ijarcet) vol 4, pp 3067–3072, 2015 Available: http://ijarcet.org/ wpcontent/uploads/IJARCET-VOL-4-ISSUE-7-3067-3072.pdf 66 [30] H T H Lê Minh Đức, “Xây dựng hệ thống ước lượng vận tốc di chuyển luồng phương tiện sử dụng tín hiệu gps từ điện thoại di động.,” 2018 [31] OpenStreetMap, https://www.openstreetmap.org/#map=3/2.55/66.71, truy cập 10/2019 [32] Q T Minh, H.-N Pham-Nguyen, H M Tan, and N X Long, “Traffic congestion estimation based on crowd-sourced data,” in Proceedings of the 2019 International Conference on Advanced Computing and Applications (ACOMP), ACOMp ’19, pp 119–126, 2019 [33] H T H Lê Minh Đức, “Xây dựng hệ thống ước lượng vận tốc di chuyển luồng phương tiện sử dụng tín hiệu gps từ điện thoại di động.,” 2018 [34] S Tang and F.-Y Wang, “A PCI-based evaluation method for level of services for traffic operational systems,” IEEE Trans Intell Transp Syst., Vol 7, No 4, 2006, pp 494–499 [35] J M of Land Infrastructure and Transport, “The system outline of vics.” https://www.vics.or.jp/en/index.html, 2019, truy cập 05/2019 [36] D K Simonton, “Psychology, science, & history: an introduction to historiometry,” New Haven and London, pp xi–291, 1991 [37] Z He, D Zhang, J Cao, X Liu, X Fan, and C Xu, “Exploiting real-time traffic light scheduling with taxi traces,” in 2016 45th International Conference on Parallel Processing (ICPP), pp 314–323, Aug 2016 [38] D Zhang, J Huang, Y Li, F Zhang, C Xu, and T He, “Exploring human mobility with multi-source data at extremely large metropolitan scales,” in Proceedings of the 20th Annual International Conference on Mobile Computing and Networking, MobiCom ’14, (New York, NY, USA), pp 201–212, ACM, 2014 [39] J Yu and P Lu, “Learning traffic signal phase and timing information from lowsampling rate taxi gps trajectories,” Knowledge-Base d Systems, vol 110, pp 275– 292, October 2016 [40] J Yu, P Lu, J Han, and J Lu, “Detecting regularities of traffic signal timing using gps trajectories,” IEICE Transactions on Information and Systems, vol E101.D, no 4, pp 956–963, 2018 [41] D of Traffic and Transportation, “Road traffic portal, ho chi minh city.” http://giaothong.hochiminhcity.gov.vn/, 2019, truy cập 12/2019 67 [42] “Tổng quan khai phá liệu phương pháp khai phá luật kết hợp sở liệu” http://tapchicongthuong.vn/bai-viet/tong-quan-ve-khai-pha-du-lieu-va- phuong-phap-khai-pha-luat-ket-hop-trong-co-so-du-lieu-69634.htm, truy cập 04/2020 [43] “Khai phá liệu gì?” https://bigdatauni.com/vi/tin-tuc/tong-quan-ve-datamining-p1-data-mining-la-gi.html, truy cập 06/2020 [44] “Data-Flair”, https://data-flair.training/, truy cập 06/2020 [45] “SAS company”, https://www.sas.com/en_us/company-information.html, truy cập 06/2020 [46] “Dữ liệu lớn gì?”, https://ictnews.vietnamnet.vn/cntt/cach-mang-40/du-lieu-lonla-gi-162374.ict, truy cập 06/2020 [47] “Bài toán phân lớp Machine Learning”, http://eitguide.net/bai-toan-phanlop-trong-machine-learning-classification-machine-learning/, truy cập 05/2020 [48] “Support Vector Machine (SVM) ?”, https://1upnote.me/post/2018/10/ds-mlsvm/, truy cập 05/2020 [49] “Diễn giải blackbox model”, https://rpubs.com/lengockhanhi/343200, truy cập 05/2020 [50] “Cây định”, https://1upnote.me/post/2018/10/ds-ml-decision-tree-id3/, truy cập 05/2020 [51] “Nạve Bayes Classification ?”, https://1upnote.me/post/2018/11/ds-mlnaive-bayes/, truy cập 05/2020 [52] P T Vu, “Smart bk traffic.” http://traffic.hcmut.edu.vn/index.html, 2019, truy cập 02/2020 [53] “Free GPUs for Everyone! Get Started with Google Colab for Machine Learning and Deep Learning”, https://www.analyticsvidhya.com/blog/2020/03/google-colabmachine-learning-deep-learning/, truy cập 06/2020 [54] “Đặc trưng Big data”, http://camnanglaptrinh.com/index.php/2019/04/04/dactrung-co-ban-cua-big-data-5v/, truy cập 06/2020 [55] TomTom, “Tomtom navigation.” https://www.tomtom.com/enus/drive/car/,2020, truy cập 06/2020 [56] E Estell é s-Arolas and F Gonz á lez-Ladr ó n-de Guevara, “Towards an integrated crowdsourcing definition,” Journal of Information Science, vol 38(2), pp 189– 200,2012 68 [57] M Lease and E Yilmaz, “Crowdsourcing for information retrieval,” SIGIR Forum, vol 45, no 2, pp 66–75, 2012 [58] L See, P Mooney, G Foody, L Bastin, A Comber, J Estima, S Fritz, N Kerle, B Jiang, M Laakso, H.-Y Liu, G Milˇcinski, M Nikˇsiˇc, M Painho, A P ̋od ö r, A.-M Olteanu-Raimond, and M Rutzinger, “Crowdsourcing, citizen science or volunteered geographic information? the current state of crowdsourced geographicinformation,” ISPRS Int J Geo-Inf., vol 5, no 55, 2016 [59] B Deanne, H Katharine, L Megan, and O B James, “The use of crowd sourcing for gathering information about natural disasters,” Risk Fronter, vol 11, no 2, pp 1–4, 2011 [60] Ushahidi, “Ushahidi, read the crowd.” Available: http://www.ushahidi.com, 2018 2019, truy cập 06/2020 [61] D.-B Nguyen, C.-R Dow, and S.-F Hwang, “An efficient traffic congestion moni-toring system on internet of vehicles,” Wireless Communications and Mobile Com-puting, vol 2018, pp 1–17, 2018 [62] M Lewandowski, B P laczek, M Bernas, and P Szyma la, “Road traffic monitoring system based on mobile devices and bluetooth low energy beacons,” Wireless Communications and Mobile Computing, vol 2018, 2018 [63] M Elloumi, R Dhaou, B Escrig, H Idoudi, and L A Saidane, “Monitoring road traffic with a uav-based system,” in 2018 IEEE Wireless Communications andNetworking Conference (WCNC), pp 1–6, 2018 [64] T T de Almeida, J A M Nacif, F P Bhering, and J G R J ́unior, “Doctrams: A decentralized and offline community-based traffic monitoring system,” IEEE Transactions on Intelligent Transportation Systems, vol 20(3), pp 1160–1169, 2019 [65] Decision Trees Algorithms (CART, C4.5, ID3), “https://medium.com/@abedinia.aydin/survey-of-the-decision-trees-algorithms-cartc4-5-id3-97df842831cd”, truy cập 06/2020 69 PHỤ LỤC PHỤ LỤC 1: DANH MỤC HÌNH ẢNH Hình Kiến trúc tổng quan hệ thống cảnh báo giao thông thông minh dựa vào liệu từ cộng đồng phân tích liệu lớn Hình Xác định bi thêm vào thuộc lớp bi màu nào? Hình Ví dụ phân loại liệu thuật tốn SVM Hình Ví dụ phân loại liệu chiều thuật tốn SVM Hình Minh họa giải thuật Random Forest Hình Cây định tốn dự đốn khả chơi tennis dựa vào thời tiết Hình Mơ hình thu thập liệu từ ứng dụng di động Hình Mơ hình thu thập liệu từ TomTom Hình Mơ hình đề xuất dự đốn tình trạng giao thơng Hình 10 Bản đồ tuyến đường tiến hành thu thập liệu Hình 11 Hình 12 Hình 13 Hình 14 Hình 15 Tiền xử lý liệu ngôn ngữ python Khai phá liệu phần mềm Weka Kết sử dụng Random Forest để dự đốn TTGT chiều C1 Cộng Hịa Kết sử dụng Random Forest dự đoán TTGT chiều C2 Cộng Hịa Kết sử dụng Decision Tree để dự đốn TTGT chiều C1 Cộng Hịa Hình 16 Kết sử dụng Decision Tree dự đốn TTGT chiều C2 Cộng Hịa Hình 17 Khai phá liệu Google Colab Hình 18 Kết khai phá liệu điểm nóng Trường Chinh - Âu Cơ với thuật toán Random Forest Hình 19 Kết khai phá liệu điểm nóng Trường Chinh - Âu Cơ với thuật tốn Decision Tree Hình 20 Mơ hình thực dự đốn tình trạng giao thơng hệ thống ITS Hình 21 Sơ đồ mức độ ưu tiên sử dụng liệu hệ thống ITS Hình 22 Sơ đồ tái huấn luyện cập nhật mơ hình khai phá PHỤ LỤC 2: DANH MỤC BẢNG BIỂU Bảng 1: Bảng liệu sau chuyển từ kinh độ, vĩ độ sang segment ID Bảng 2: Mô tả mức độ phục vụ dịch vụ 70 Bảng 3: Lịch trình thu thập liệu ứng dụng di động Bảng 4: Mẫu liệu thu thập trực tiếp từ ứng dụng di động Bảng 5: Lịch trình thu thập liệu giao thơng từ TomTom Bảng 6: Định dạng liệu thu thập từ TomTom Bảng 7: Dữ liệu ứng dụng di động sau trình tiền xử lý liệu Bảng 8: Dữ liệu thu thập từ TomTom sau trình tiền xử lý liệu Bảng 9: Kết sử dụng phân loại liệu (classification) để dự đoán TTGT với liệu thu thập từ ứng dụng di động Bảng 10: Kết sử dụng phân loại liệu (classification) để dự đốn TTGT thơng qua sử dụng liệu thu thập từ TomTom PHỤ LỤC 3: DANH MỤC VIẾT TẮT TTGT: Tình Trạng Giao Thơng UTGT: Ùn Tắc Giao Thơng Tp HCM: Thành Phố Hồ Chí Minh GTVT: Giao Thông Vận Tải ITS: Intelligent Transportation System GPS: Global Positioning System ĐHBK: Đại Học Bách Khoa API: Application Programming Interface OSM: Open Street Map ANN: Artificial Neural Network SVM: Support Vector Machine 71 LÝ LỊCH TRÍCH NGANG Họ tên: Mai Tấn Hà Ngày, tháng, năm sinh: 21/07/1992 Nơi sinh: Phú Yên Địa liên lạc: Vinh Ba, Hịa Đồng, Tây Hịa, Phú n Q TRÌNH ĐÀO TẠO Bậc đào tạo Thạc sỹ Đại học Nơi đào tạo Trường đại học Bách Khoa – ĐHQG Tp HCM Trường đại học Công Nghiệp Tp HCM Chuyên môn Hệ thống thông tin quản lý Năm tốt nghiệp 2020 Điện tử viễn thơng 2014 Q TRÌNH CƠNG TÁC Thời gian (Từ năm … đến năm…) Từ 2018 đến Vị trí công tác Từ 2016 đến Chuyên viên cao cấp Từ 2014 đến 2016 Chuyên viên Học viên cao học Tổ chức công tác Địa công tác Trường Đại học Bách Khoa - ĐHQG TP.HCM (số 268 Lý Thường Kiệt, Quận 10, Tp HCM Bộ phận quản trị Công ty TNHH Amaris vận hành hệ Việt Nam (Tòa nhà thống Viettel, số 285 CMT8, phường 12, Quận10, TP.HCM) Quản trị hệ Cơng ty TNHH SoftFront thống tích Việt Nam (số 243 Nam Kỳ hợp hệ thống Khởi Nghĩa, Quận 3, TP.HCM) Bộ môn Hệ thống thông tin quản lý 72 CÁC CƠNG TRÌNH CƠNG BỐ TT Tên cơng trình (bài báo, cơng trình ) Traffic Congestion Estimation Based on Crowd-Sourced Data Là tác giả đồng tác giả cơng trình Mining Urban Traffic Condition from Crowd-Sourced Data Traffic Condition Estimation Based on Historical Data Analysis Tác giả Đồng tác giả Tác giả -/ - Đây trang cuối luận văn -/ 73 Nơi cơng bố (tên tạp chí đăng cơng trình) 2019 International Conference on Advanced Computing and Applications, (ACOMP 2019) SN Computer Science Năm công bố 2020 IEEE Eighth International Conference on Communications and Electronics, (IEEE-ICCE 2020) 2021 2019 2020 ... cứu xây dựng hệ thống cảnh báo ùn tắc giao thông dựa vào phân tích liệu lớn báo cáo nghiên cứu đề xuất phương pháp khai phá liệu dựa vào liệu TTGT khứ thu thập từ cộng đồng hệ thống giao thông. .. Ngành: Hệ thống thông tin quản lý Mã số: 83 40 405 I TÊN ĐỀ TÀI: NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CẢNH BÁO ÙN TẮC GIAO THƠNG DỰA VÀO PHÂN TÍCH DỮ LIỆU LỚN II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu đề xuất... giải pháp xây dựng hệ thống cảnh báo ùn tắc giao thông dựa vào phân tích liệu lớn Dữ liệu sử dụng nghiên cứu liệu thu thập từ cộng đồng, từ trình thu thập trực tiếp từ nhóm nghiên cứu thơng qua