Quản lý thông tin giao thông đô thị dựa vào dữ liệu từ cộng đồng và phân tích dữ liệu lớn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HỒNG VĂN CƠNG QUẢN LÝ THƠNG TIN GIAO THÔNG ĐÔ THỊ DỰA VÀO DỮ LIỆU TỪ CỘNG ĐỒNG VÀ PHÂN TÍCH DỮ LIỆU LỚN CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 60.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG VĂN CÔNG QUẢN LÝ THÔNG TIN GIAO THÔNG ĐÔ THỊ DỰA VÀO DỮ LIỆU TỪ CỘNG ĐỒNG VÀ PHÂN TÍCH DỮ LIỆU LỚN CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 60.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học: PGS.TS Trần Minh Quang Cán chấm nhận xét 1: TS Phan Trọng Nhân Cán chấm nhận xét 2: TS Đặng Trần Trí Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 29 tháng năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: PGS.TS Đặng Trần Khánh Thư ký: TS Lê Hồng Trang Phản biện 1: TS Phan Trọng Nhân Phản biện 2: TS Đặng Trần Trí Ủy viên: PGS.TS Vũ Thanh Nguyên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HỒNG VĂN CƠNG MSHV: 1670213 Ngày, tháng, năm sinh: 10/10/1988 Nơi sinh: Hà Tĩnh Chuyên ngành: Khoa học máy tính Mã số : I TÊN ĐỀ TÀI: QUẢN LÝ THÔNG TIN GIAO THÔNG ĐÔ THỊ DỰA VÀO DỮ LIỆU TỪ CỘNG ĐỒNG VÀ PHÂN TÍCH DỮ LIỆU LỚN ( URBAN TRAFFIC INFORMATION MANAGEMENT BASED ON CROWD-SENSING AND BIG DATA ANALYTICS) II NHIỆM VỤ VÀ NỘI DUNG: - Quản lý thông tin liệu giao thông từ cộng đồng, phân tích liệu lớn - Tìm hiểu kho liệu, phân tích thiết kế kho liệu quản lý thông tin giao thông đô thị (TPHCM) III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) 24/02/2020 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) 21/6/2020 V CÁN BỘ HƯỚNG DẪN: PGS.TS Trần Minh Quang Tp HCM, ngày tháng năm 2020 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH LỜI CẢM ƠN Trước tiên, em xin bày tỏ lời cảm ơn sâu sắc tới thầy giáo hướng dẫn PGS.TS Trần Minh Quang người tận tình hướng dẫn, bảo, giúp đỡ em nhiều trình tìm hiểu nghiên cứu để hoàn thành luận văn tốt nghiệp Em xin chân thành cảm ơn thầy cô khoa Khoa học Kỹ thuật máy tính, trường Đại học Bách khoa – DHQG TP.HCM dạy bảo, trang bị cho em kiến thức suốt thời gian nghiên cứu học tập trường em Cuối cùng, em xin gửi lời cảm ơn đến gia đình bạn bè, đồng nghiệp ln hỗ trợ em khuyến khích liên tục suốt năm học tập qua trình nghiên cứu viết luận văn Xin chân thành cảm ơn! TĨM TẮT LUẬN VĂN Ngồi phần mở đầu kết luận, cấu trúc nội dung luận văn bao gồm có chương tóm tắt sau: Chương 1: Tổng quan Nội dung chương trình bày tổng quan thực trạng giao thơng, cơng tác quản lý giao thơng thành phố Hồ Chí Minh nay; mục tiêu, phạm vi đối tượng nghiên cứu luận văn Chương 2: Tổng quan Data Warehouse Nội dung chương trình bày tổng quan kho liệu gồm định nghĩa, đặc tính, lợi ích, xu hướng tương lai, kiến trúc, tổ chức lơ gíc, tổ chức vật lý kho liệu Chương 3: Xây dựng kho liệu quản lý thông tin giao thơng thị Nội dung chương bao gồm: Tìm hiểu liệu giao thơng; xác định u cầu phân tích; thiết kế mơ hình liệu dựa yêu cầu phân tích; thiết kế mơ hình; thiết kế trích xuất chuyển đổi nạp số liệu từ hệ thống cung cấp liệu vào kho liệu; xây dựng công cụ báo cáo, thống kê Chương 4: Kết hướng phát triển Nội dung chương trình bày kết luận văn, đồng thời đưa vấn đề nghiên cứu cho tương lai SUMMARY OF THESIS In addition to the introduction and conclusion, the content structure of the thesis includes chapters summarized as follows: Chapter 1: Overview The main content of this chapter is to present an overview of the current traffic situation, traffic management in Ho Chi Minh City today; the dissertation's research objectives, scope and object Chapter 2: Overview of Data Warehouse The main content of this chapter is to present an overview of a data warehouse, including definition, characteristics, benefits, future trends, architecture, logical organization, and physical organization of the data warehouse Chapter 3: Building urban traffic information management data warehouse The main contents of this chapter include: Learn about traffic data; determine analysis requirements; design the data model based on analysis requirements; model design; design, extract, convert and load data from data provisioning system into data warehouse; build tools for reporting and statistics Chapter 4: Results and development direction The main content of this chapter is to present the results of the thesis, and at the same time give further research issues for the future LỜI CAM ĐOAN Với mục đích học tập, nghiên cứu để nâng cao kiến thức trình độ chun mơn nên tơi làm luận văn cách nghiêm túc hoàn tồn trung thực Trong luận văn, tơi có sử dụng số tài liệu tham khảo số tác giả Tôi nêu phần tài liệu tham khảo cuối luận văn Tôi xin cam đoan chịu trách nhiệm nội dung trung thực luận văn tốt nghiệp Thạc sĩ mình! Học viên, Hồng Văn Cơng MỤC LỤC DANH SÁCH HÌNH VẼ DANH SÁCH BẢNG BIỀU CÁC THUẬT NGỮ VÀ VIẾT TẮT MỞ ĐẦU 10 Chương 1: TỔNG QUAN 11 1.1 Thực trạng giao thông Thành phố Hồ Chí Minh 11 1.2 Công tác quản lý giao thông TP.HCM 13 1.3 Lý chọn đề tài 14 1.4 Mục tiêu nghiên cứu 14 1.5 Đối tượng phạm vi nghiên cứu 14 1.6 Ý nghĩa khoa học thực tiễn đề tài nghiên cứu 15 Chương 2: TỔNG QUAN VỀ DATA WAREHOUSE 16 2.1 Định nghĩa kho liệu 16 2.2 Đặc tính kho liệu 17 2.3 Kho liệu sở liệu 19 2.4 Lợi ích kho liệu 20 2.5 Kho liệu 21 2.6 Xu hướng tương lai kho liệu 23 2.7 Kiến trúc kho liệu 26 2.7.1 Nguồn liệu 27 2.7.2 Cơng cụ trích xuất chuyển đổi nạp liệu (ETL) 28 2.7.3 Siêu liệu 29 2.7.4 Kho liệu chủ đề 30 2.7.5 Các công cụ truy vấn, tạo báo cáo, phân tích liệu 31 2.8 Tổ chức liệu lơgíc 31 2.8.1 Lược đồ kho liệu 31 2.8.1.1 Lược đồ hình 31 2.8.1.2 Lược đồ tuyết rơi 32 2.8.1.3 Lược đồ kết hợp 33 2.8.2 Mô hình liệu đa chiều 33 2.8.3 Bảng kiện 35 2.8.4 Bảng chiều 35 2.8.5 Bảng kiện tổng hợp 36 2.9 Tổ chức liệu vật lý 37 2.9.1 Phân vùng 37 2.9.2 Chỉ mục 37 Chương 3: XÂY DỰNG KHO DỮ LIỆU QUẢN LÝ THÔNG TIN GIAO THÔNG ĐÔ THỊ 39 3.1 Cơng trình liên quan tổng quan hệ thống 39 3.1.1 Một số nghiên cứu liên quan 39 3.1.2 Tổng quan hệ thống 40 3.2 Mục tiêu kho liệu quản lý thông tin giao thông 41 3.3 Dữ liệu giao thông sử dụng nghiên cứu 42 3.4 Tiêu chí xác định ùn tắc giao thông 43 3.5 Xây dựng kho liệu quản lý thông tin giao thông đô thị 44 3.5.1 Xác định yêu cầu phân tích 44 3.5.2 Kiến trúc kho liệu 45 3.5.3 Thiết kế mơ hình liệu 46 3.5.4 Tạo cấu trúc database 49 3.5.5 Thiết kế trích xuất chuyển đổi nạp liệu 49 3.5.5.1 Mô tả chung 49 3.5.5.2 Kết nối liệu nguồn vào bảng chiều 50 3.5.6 Xử lý kĩ thuật OLAP sử dụng công cụ Schema-workbench 51 3.5.6.1 Tạo Cube publish lên server 51 3.5.6.2 Thiết kế biểu đồ thống kê, báo cáo 53 Chương 4: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 54 4.1 Các kết đạt 54 4.2 Hướng nghiên cứu 55 DANH MỤC TÀI LIỆU THAM KHẢO 56 giao thông TP HCM dùng MongoDB đồ Openstreet Map Đề tài nghiên cứu Nhóm sinh viên Dương Hoài Phong, Dương sinh viên trường Đại học Bách khoa Thành phố Hồ Chí Minh Đây liệu xây dựng dựa số liệu thống kê từ thực nghiệm, VOH từ trích xuất thơng tin tình trạng giao thơng thường xảy theo khung TP.HCM Việc thu thập liệu dựa vào ứng dụng điện thoại Khi người dùng mở ứng dụng tự thu thập liệu di chuyển dựa GPS Dữ liệu thu gồm thông tin thời gian bắt đầu thu thập liệu, vị trí thu thập, vận tốc di chuyển, độ dài quảng đường thu thập Khi liệu thu thập tiến hành lưu hệ quản trị CSDL MongoDB hệ quản trị CSDL mã nguồn mở liệu lưu dạng CSDL NoSql Nguồn liệu sử dụng đề tài liệu từ hệ thống VOH Khi tình trạng ùn tắc giao thông xảy ta hệ thống nhận gọi thơng báo tình trạng giao thơng Dữ liệu lưu dạng file csv 3.4 Tiêu chí xác định ùn tắc giao thơng Để xác định tình trạng ùn tắc giao thơng, ngày 25/4/2017, UBND TP.HCM thức đề xuất Ủy ban An tồn giao thơng quốc gia áp dụng tạm tiêu chí xác định tình trạng ùn tắc giao thơng địa bàn thành phố, chờ Chính phủ ban hành tiêu chí xác định ùn tắc giao thơng để áp dụng đồng phạm vi nước [9] Theo tiêu chí đánh giá ùn tắc giao thơng áp dụng từ trước đến việc xác định tình trạng ùn tắc giao thơng chủ yếu dựa sở tiêu chí ùn tắc kéo dài 30 phút Qua đánh giá, Ủy ban nhân dân TP.HCM nhận thấy phương pháp xác định chủ yếu mang tính chất định tính, chưa phù hợp với tình hình giao thơng thực tế đường khai thác Vì vậy, TP đề xuất tiêu chí xác định tình trạng ùn tắc giao thông dựa yếu tố: vận tốc trung bình dịng xe = km/giờ (thấp vận tốc người bộ), ùn tắc kéo dài thời gian 30 phút chiều dài dòng xe kéo dài từ 200 43 300 m Theo sở giao thông thành phố cho biết qua thống kê từ năm 2016, tốc độ lưu thơng trung bình khu vực trung tâm TP.HCM cao điểm sáng (20,7 km/giờ), cao điểm chiều (19,3 km/giờ), thấp điểm (20,9 km/giờ); khu vực sân bay Tân Sơn Nhất (Q.Tân Bình) cao điểm sáng (22,3 km/giờ), cao điểm chiều (20,3 km/giờ), thấp điểm (21,7 km/giờ); khu vực cảng Cát Lái (Q.2) cao điểm sáng (30 km/giờ), cao điểm chiều (29 km/giờ), thấp điểm (30,5 km/giờ) [9] 3.5 Xây dựng kho liệu quản lý thông tin giao thông đô thị Kho liệu quản lý thông tin giao thông TP.HCM xây dựng với mục đích thực phân tích thông tin giao thông TP.HCM Từ Dữ liệu lưu lượng tóm tắt qua nhiều chiều khác để truy vấn liệu theo cách cung cấp chế độ xem liệu khác Việc triển khai kho liệu quản lý thông tin giao thông cung cấp phương tiện để lưu trữ truy vấn liệu giao thông TP.HCM Từ yêu cầu cần phân tích kho liệu thông tin xây dựng sau: 3.5.1 Xác định yêu cầu phân tích Các yêu cầu phân tích tập trung vào nhóm chủ đề sau: số điểm ùn tắc giao thông, thời gian xảy ùn tắc giao thông, quảng đường xảy ùn tắc giao thơng Dựa vào tiêu chí đánh giá tình trạng ùn tắc giao thông nêu  Thống kê điểm ùn tắc: Dựa vào tốc độ di chuyển liệu báo cáo tôitiến hành phân chia vận tốc thành khung khác Theo tiêu chí đánh giá ùn tắc giao thông TP.HCM vận tốc di chuyển km/h vị trí xem ùn tắc giao thông Ở tôichia khung vận tốc từ 0-5km/h, khung thứ từ 5-15km/h khung liệt vào danh sách di chuyển chậm, khung vận tốc lớn 15km/h di chuyển bình thường Thơng tin điểm ùn tắc hiển thị qua thông tin đoạn đường, thời gian xảy ùn tắc Từ ta thống kê vị trí tuần, tháng, quý, năm xảy ùn tắc lần  Thời gian ùn tắc giao thông: Hệ thống thống kê theo thời gian xảy ùn 44 tắc nhiều ngày tập trung vào khung Thực tế cho thấy thời điểm xảy ùn tắc giao thông ngày tập trung vào buổi sáng khung từ 6h30 đến 8h00 buổi chiều từ 16h30 đến 19h00 Hệ thống thống kê theo tuần, tháng, quý năm xem tuần, tháng, quý, năm ngày xảy tình trạng ùn tắc giao thơng nhiều  Thời gian ùn tắc trung bình: Dựa vào liệu thu thập hệ thống xác định thời gian ùn tắc giao thơng trung bình điểm 3.5.2 Kiến trúc kho liệu Kiến trúc DWH thử nghiệm bao gồm thành phần chính: Dữ liệu nguồn, trích xuất chuyển đổi nạp liệu, siêu liệu, kho liệu chủ đề, báo cáo tra cứu hình vẽ Hình Kiến trúc DWH thử nghiệm  Dữ liệu nguồn: Đây liệu từ hệ thống cố định, từ trang web công khai liệu giao thông, liệu từ cộng đồng cung cấp  Trích xuất chuyển đổi nạp liệu (ELT): Trích xuất liệu nguồn, chuyển đổi liệu phù hợp khuôn dạng kho liệu, nạp liệu vào kho liệu  Siêu liệu: Lưu định nghĩa logic bảng, thuộc tính kho liệu, tên nguồn liệu  Báo cáo tra cứu: Sử dụng công cụ xây dựng báo cáo tra cứu động 45 để thiết kế số báo cáo, tra cứu phân tích 3.5.3 Thiết kế mơ hình liệu Từ yêu cầu cần phân tích dựa vào liệu giao thông thu thập sử dụng lược đồ hình để lập mơ hình liệu khơng có chiều q lớn Kho liệu luận văn sử dụng bảng chiều là: DIM_DATE, DIM_TIME_OF_DATE, DIM_LOCATION, Bảng FACT_URBAN_TRAFIC bảng kiện cho lược đồ Thông tin bảng chiều bảng kiện thể sau:  DIM_DATE: Bảng chiều ngày, chiều hệ thống gần tất bảng fact có giá trị dimension thời gian Các phép đo đạc thực điểm mốc xoay vịng sau khoảng chu kỳ định Chiều thời gian sử dụng nhiều lịch ngày, với đơn vị nhỏ mức ghi bảng dimension ngày, thành phần khác chiều thời gian gồm có tuần, tháng, quý, năm, ngày tuần, ngày tháng, ngày năm Từ yêu cầu ta xây dựng bảng chiều gồm thuộc tính sau: Các thuộc tính chiều ngày Tên cột Kiểu Miêu tả Ví dụ DATE_KEY nvarchar Khóa bảng ngày 57ed3504a9 WEEK int Tuần năm MONTH int Tháng QUARTER int Quý YEAR int Năm 2020 DAY_OF_WEEK int Thứ tuần DAY_OF_MONTH int Ngày tháng 10 DAY_OF_YEAR int Ngày năm 185 Bảng 1: Cấu trúc bảng mô tả chiều ngày  DIM_OF_DAY: Chiều thời gian ngày, chiều hiển thị 46 liệu 24h ngày Với chiều liệu hệ thống giúp ta có náo cáo tình trạng giao thơng 24h Khung tình trạng giao thơng thơng thống, khung giao thông ùn ắc Với việc tách riêng bảng chiều ngày ngày giúp tăng hiệu suất hệ thống Một ngày có 24 giờ, chiều thời gian ngày bảng cố định không thay đổi Sau tạo, tồn vĩnh viễn thường chứa 86.400 ghi (60 giây x 60 phút x 24 giờ) Nếu tơi tích hợp chiều ngày kết hợp điều với ngày chiều ngày, dẫn đến hàng triệu triệu ghi làm chậm phân tích báo cáo tình hình giao thơng ngày Ví dụ: số lượng ghi năm 31.536.000 ghi (60 giây x 60 phút x 24 x 365 ngày) thay 365 ghi tách riêng Các thuộc tính chiều thời gian ngày Tên cột Kiểu Miêu tả Ví dụ TOD_KEY nvarchar Khóa bảng thời gian ngày Ds454236 TOD_HOUR int Giờ ngày 13 TOD_MINUTE int Trả số phút 50 TOD_SECOND int Trả số giây 17 Bảng 2: Cấu trúc bảng mô tả chiều thời gian ngày  DIM_LOCATION: Chiều vị trí, thể vị trí, đoạn đường cụ thể Giúp xác định vị trí nào? Tình trạng giao thơng vị trí Các thuộc tính chiều vị trí Tên cột Kiểu Miêu tả Ví dụ STREET_ID int Khóa bảng đường 12 STREET_NAME Varchar Tên đường Trung Mỹ Tây Bảng 3: Cấu trúc bảng mô tả chiều vị trí 47  Bảng FACT_URBAN_TRAFIC: Bảng chứa tham chiếu đến bảng chiều thêm số thông tin sau số điểm kẹt xe, tổng thời gian kẹt xe, thời gian kẹt xe, số lần kẹt xe, điểm kẹt xe Các thuộc tính bảng kiện Tên cột Kiểu Miêu tả Ví dụ DATE_KEY nvarchar Khóa bảng ngày 57ed3504a9 TOD_KEY nvarchar Khóa bảng thời gian ngày Ds454236 int Khóa bảng vị trí 32 Số điểm kẹt xe thống kê khoảng thời gian 12 LOCATION_KEY int SO_DIEM_KET_XE int Tổng thời gian tắc nghẽn giao thông 2141 ngày, tuần, tháng, năm int Thời gian kẹt xe điểm khoảng thời gian 1145 Thống kê số lần kẹt xe điểm khoảng thời gian 22 So sánh với liệu cũ để xem phát sinh điểm tắc nghẽn giao thông không 12 TONG_TG_KET_X E THOI_GIAN_KET_ XE int SO_LAN_KET_XE int DIEM_KET_XE_M OI Bảng 4: Cấu trúc bảng mô tả bảng kiện 48 3.5.4 Tạo cấu trúc database Trong phần phân tích thiết kế ta xác định chiều bảng kiện Ta sử dụng My Sql để tạo CSDL sau liên kết vào kho liệu Mơ hình quan hệ hệ thống quản lý thơng tin giao thơng sau: Hình 8: Mơ hình quan hệ thơng tin giao thơng 3.5.5 Thiết kế trích xuất chuyển đổi nạp liệu 3.5.5.1 Mô tả chung Trong đề tài sử dụng công cụ Spoon Pentaho Kettle để thiết kế ánh xạ liệu từ hệ thống nguồn vào kho liệu Pentaho Kettle - công cụ Open Source, thành lập 2001 sử dụng công cụ GUI để xây dựng vận hành ETL liệu Pentaho có phiên Community phiên thương mại Đây công cụ tương đối đầy đủ cho việc ETL, tổ chức Warehouse, Pentaho gọi lại thành package BI suite có module Trong luận văn tơi sử dụng công cụ sau:  Pentaho Data Intergration: tool trích xuất, chuyển đổi liệu  Pentaho Schema Workbench: Là công cụ tạo cube theo kiểu OLAP Sau 49 Public lên server để user dễ dàng sử dụng để phân tích  Biserver-ce: Thiết kế biểu đồ, báo cáo Các bước thực hiện: Tạo kết nối vào cở sở liệu nguồn, xây dựng mapping liệu, triển khai mapping, chạy mapping, tạo data cube public lên server từ xây dựng báo cáo, thống kê 3.5.5.2 Kết nối liệu nguồn vào bảng chiều  Kết nối liệu nguồn vào chiều thời gian ngày thời gian ngày Với trường createdAt thời gian báo cáo segments có cụ thể thơng tin cụ thể giây, phút, giờ, ngày, tháng, năm Để kết nối đến liệu đích ta sử dụng số kỹ thuật pentaho để kết nối chuyển đổi liệu cho phù hợp Hình Các trường liệu SegmentsReport  Kết nối liệu nguồn vào chiều thời gian Hình 10 Kết nối liệu nguồn vào chiều Dim_Date 50  Kết nối liệu nguồn vào chiều thời gian ngày Hình 11 Kết nối liệu nguồn vào bảng Dim_time_of_day  Kết nối liệu nguồn vào chiều địa điểm Hình 12 Kết nối liệu nguồn vào bảng Dim_Location  Kết nối liệu vào bảng kiện Hình 13 Kết nối liệu vào bảng fact 3.5.6 Xử lý kĩ thuật OLAP sử dụng công cụ Schema-workbench 3.5.6.1 Tạo Cube publish lên server Data warehouse hệ thống OLAP xây dựng dựa vào mơ hình liệu đa chiều (multidimensional model) Mơ hình cho hiệu tốt phép truy vấn phức tạp giúp người dùng nhìn liệu theo nhiều khía cạnh khác Mơ hình hiển thị liệu dạng không gian n-chiều, gọi 51 data cube hypercube Để thực cơng việc tính tốn thống kê tốt sau thu thập liệu, tiến hàng chuẩn hoá chúng định dạng liệu đa chiều, nạp vào data warehouse (Extract-Transformation-Loading – ETL) Tôi tạo data cube công cụ Schema workbench sau public lên server để từ tơi xây dựng báo cáo thống kê cho hệ thống quản lý thơng tin giao thơng Hình 14 Tạo Cube 52 Hình 15 Public lên server 3.5.6.2 Thiết kế biểu đồ thống kê, báo cáo Sau khối Olap tạo, tạo báo cáo, để tạo báo cáo, tơi sử dụng trình thiết kế báo cáo pentaho, để thiết kế báo cáo thống kê cần thiết điểm ùn tắc giao thông, thời gian ùn tắc giao thông, thời gian ùn tắc trung bình Hình 16 Thiết kế thống kê, báo cáo 53 Chương 4: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN Phần kết luận, tơi trình bày đánh giá cơng việc thực đưa định hướng cho công việc xây dựng 4.1 Các kết đạt Theo đánh giá nhiều chuyên gia, thông tin thuộc ngành GTVT với hệ thống liệu đồ sộ chưa khai thác hiệu dù có phần mềm quản lý Các ngành, lĩnh vực quản lý vi phạm hành hoạt động GTVT, đăng ký, đăng kiểm, quản lý giấy phép lái xe Vì việc nghiên cứu theo chủ đề vấn đề cần thiết, yêu cầu mang tính cấp bách việc quản lý thơng tin giao thông TP.HCM Các nhà quản lý mong muốn khai thác nguồn tri thức từ liệu sẵn có từ nguồn liệu liệu lịch sử Một yêu cầu đòi hỏi cao nhà quản lý khai thác nguồn tri thức phải đưa thơng tin mang tính trợ giúp, hỗ trợ cho việc định dự đoán vấn đề mà tương lai xảy Với mục đích giải yêu cầu này, luận văn bàn luận, trình bày nét tổng quan, khái niệm, mơ hình thuật ngữ đặc trưng data warehouse, hệ thống hố, phân tích, đặc điểm, lợi ích tính cấp thiết việc xây dựng data warehouse việc quản lý thông tin giao thông Trong chương luận văn nêu thực trạng giao thông đô thị TP.HCM, mục tiêu, hướng nghiên Chương 2, luận văn đưa khái niệm, định nghĩa phân tích chi tiết theo cách có hệ thống vấn đề bản, mơ hình, thành phần liệu data warehouse, so sánh đưa ra, mơ hình, lược đồ lợi điểm loại thiết kế data warehouse Chương 3, luận văn xác định yêu cầu phân tích; thua thập, chuyển đổi nạp liệu từ nguồn liệu khác vào kho liệu, thiết kế mơ hình liệu dựa u cầu phân tích, xây dựng báo cáo thống kê Cuối cùng, kết hướng phát triển Tóm lại, việc ứng dụng công nghệ thông tin vào quản lý thông tin 54 giao thông đô thị vấn đề cần thiết Tuy nhiên, trình nghiên cứu, biên soạn chắn luận văn khơng tránh khỏi có vấn đề thiếu sót Tơi xin tiếp thu ý kiến đánh giá, bảo thầy giáo bạn bè đồng nghiệp Hướng nghiên cứu 4.2 Luận văn đề cập đến khái niệm, thành phần công cụ liên quan data warehouse Với nghiên cứu được, thời gian tới, tơi tiếp tục tìm hiểu hồn thiện xây dựng data warehouse cho việc quản lý thông tin giao thông thành phố Hồ Chí Minh nhằm đáp ứng yêu cầu đặt ra, đáp ứng toán thực tiễn Hướng nghiên cứu cụ thể sau:  Tìm hiểu, làm rõ yêu cầu, mong muốn nhà quản lý Giao thông vận tải thành phố Hồ Chí Minh  Nghiên cứu, hồn thiện xây dựng data warehouse theo hướng chủ đề đề cập luận văn nhằm giải đáp câu hỏi, hỗ trợ định vấn đề giao thơng thị  Tìm hiểu, xây dựng cơng cụ phân tích, khai phá nhằm đưa tranh tồn cảnh tình hình giao thơng thị Thành phố Hồ Chí Minh thời điểm dự báo vấn đề xảy 55 DANH MỤC TÀI LIỆU THAM KHẢO [1] Ralph Kimball, Margy Ross, The Data Warehouse Toolkit Second Edition New York: John Wiley & Sons, 2002 [2] Nguyễn Thị Thu Hiền “Xây dựng khai thác kho liệu Data warehouse,” Đồ án tốt nghiệp, Đại học kỹ thuật công nghệ thành phố Hồ Chí Minh, 2007 [3] Trần Minh Quang, Bài giảng Kho liệu hệ hỗ trợ định, Đại học Bách khoa thành phố Hồ Chí Minh, 2019 [4] Ha Mai-Tan, Hoang Nam Pham Nguyen, Nguyen Xuan Long, Quang Tran Minh, Mining Urban Traffic Condition from Crowd-Sourced Data, Springer Nature Singapore Pte Ltd 2020, SN Computer Science, pp.1-16, 2020 DOI: 10.1007/s42979-020-00244-6 [5] Dennis Luqman, Fransiska Humida Marpaung, Meri Chindyna Marpaung, Abba Suganda Girsang, Sani Muhamad Isa, “City Traffic Analysis Based on Facebook Data”, 2019 International Conference on ICT for Smart Society (ICISS), 19-20 Nov 2019 [6] B Pan, Y Zheng, D Wilkie, and C Shahabi, “Crowd sensing of traffic anomalies based on human mobility and social media,” in Proceedings of the 21st ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems - SIGSPATIAL'13, Orlando, Florida, pp 344-353, 2013 [7] Deodatta Bhoite “A Traffic Data warehousing and Visualization Scheme,” Master's thesis, The University of Minnesota, Minnesota, 2004 [8] Đình Lý, “Ứng dụng khoa học cơng nghệ để nâng cao hiệu công tác đảm bảo trật tự, an tồn giao thơng,” 2019 [Trực tuyến] Địa chỉ: https://thanhuytphcm.vn /tin-tuc/ung-dung-khoa-hoc-cong-nghe-de-nang-cao-hieu-qua-cong-tac-dam-baotrat-tu-an-toan-giao-thong-1491859071 [Truy cập 21/5/2020] [9] Đình Phú, “TPHCM đề xuất tiêu chí xác định ùn tắc giao thơng,” 2017 Địa chỉ: https://mt.gov.vn/atgt/tin-tuc/48230/tphcm-de-xuat-tieu-chi-xac-dinh- un-tac-giao-thong.aspx [Truy cập 26/3/2020] [10] Oracle, “Database Data Warehousing Guide” [Trực tuyến] Địa chỉ: https://docs.oracle.com/database/121/DWHSG/toc.htm [Truy cập 2020] 56 [11] W H Inmon, Building the Data Warehouse, Third Edition, New York: John Wiley & Sons, 2002 [12] Nguyễn Thanh Bình, Bài giảng Kho liệu Hệ hỗ trợ định, Đại học Huế, 2011 [13] Hitachi Vantara, “Pentaho Documentation,” 2005 [Trực tuyến] Địa chỉ: https://help.pentaho.com/Documentation/9.0 [Truy cập 2020] 57 ... kho liệu để lưu trữ quản lý thông tin giao thông cách hiệu Với việc quản lý thông tin giao thông đô thị dựa vào liệu từ cộng đồng phân tích liệu lớn hệ thống giúp ích việc quản lý: thông tin. .. tác quản lý, khai thác liệu thông tin giao thông thị cịn nhiều hạn chế Do đó, tơi chọn đề tài ? ?Quản lý thông tin giao thông đô thị dựa vào liệu từ cộng đồng phân tích liệu lớn? ?? để từ sử dụng liệu. .. NỘI DUNG: - Quản lý thông tin liệu giao thơng từ cộng đồng, phân tích liệu lớn - Tìm hiểu kho liệu, phân tích thiết kế kho liệu quản lý thông tin giao thông đô thị (TPHCM) III NGÀY GIAO NHIỆM