Ứng dụng một số kỹ thuật khai phá dữ liệu trong xây dựng mô hình dự báo lưu lượng giao thông theo loại hình phương tiện

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN HÙNG CƯỜNG ỨNG DỤNG MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO LƯU LƯỢNG GIAO THÔNG THEO LOẠI HÌNH PHƯƠNG TIỆN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên – 5/2016 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN HÙNG CƯỜNG ỨNG DỤNG MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO LƯU LƯỢNG GIAO THÔNG THEO LOẠI HÌNH PHƯƠNG TIỆN Chuyên ngành : Khoa học máy tính Mã số : 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học Tiến sĩ: Nguyễn Việt Anh Thái Nguyên – 5/2016 LỜI CAM ĐOAN Em xin cam đoan công trình nghiên cứu riêng em Các số liệu, luận văn sử dụng từ nguồn số liệu điều tra nghiên cứu khảo sát mẫu hộ gia đình thực năm 2014 Kết nghiên cứu chưa sử dụng nghiên cứu khác Thái Nguyên, tháng năm 2016 TÁC GIẢ Nguyễn Hùng Cường i MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT iii DANH MỤC CÁC BẢNG iv DANH MỤC CÁC HÌNH VẼ v LỜI NÓI ĐẦU vi CHƯƠNG TÌM HIỂU VỀ KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO GIAO THÔNG 1.1 Tìm hiểu khai phá liệu 1.1.1 Khái niệm khai phá liệu 1.1.2 Một số kỹ thuật khai phá liệu 1.1.3 Một số phương pháp khai phá liệu 1.1.4 Một số công cụ hỗ trợ khai liệu 1.2 Ứng dụng khai phá liệu dự báo giao thông 1.2.1 Khái niệm dự báo 1.2.2 Ứng dụng khai phá liệu dự báo giao thông 1.2.3 Mô hình dự báo giao thông phục vụ quy hoạch 1.2.4 Mô hình dự báo giao thông bước: CHƯƠNG XÂY DỰNG MÔ HÌNH DỰ BÁO LƯU LƯỢNG GIAO THÔNG THEO LOẠI HÌNH PHƯƠNG TIỆN ĐỐI VỚI HÀ NỘI 16 2.1 Xây dựng mô hình dự báo 16 2.1.1 Dữ liệu xây dựng mô hình 16 2.1.2 Lý thuyết mô hình hồi quy tuyến tính 16 2.2 Thông tin liệu cần thu thập xây dựng mô hình 17 2.2.1 Thông tin số liệu thống kê 17 2.2.2 Thông tin liệu từ điều tra hộ gia đình 19 2.3 Trích chọn thông tin xây dựng mô hình dự báo 23 2.3.1 Xây dựng mô hình phát sinh, thu hút chuyến 23 2.3.1.1 Xây dựng mô hình phát sinh chuyến 25 2.3.1.2 Xây dựng mô hình thu hút chuyến 28 2.3.2 Xây dựng mô hình phân bổ chuyến 30 2.3.3 Xây dựng mô hình phân chia phương tiện 34 ii CHƯƠNG KIỂM ĐỊNH TRÊN SỐ LIỆU HIỆN TRẠNG VÀ DỰ BÁO 40 3.1 Kiểm định số liệu trạng 40 3.1.1 Kiểm định mô hình phát sinh chuyến 40 3.1.2 Kiểm định mô hình thu hút chuyến 40 3.1.3 Kiểm định mô hình phân bổ chuyến 42 3.1.4 Kiểm định mô hình phân chia phương tiện 43 3.2 Sử dụng mô hình cho dự báo tương lai 45 3.2.1 Dự báo phát sinh, thu hút chuyến năm 2020 46 3.2.2 Dự báo phân bổ chuyến năm 2020 47 3.2.3 Dự báo lưu lượng phương tiện năm 2020 47 KẾT LUẬN 48 KIẾN NGHỊ 49 TÀI LIỆU THAM KHẢO 50 PHỤ LỤC 52 Phụ lục 1: Code chương trình ngôn ngữ R 52 Phụ lục 2: Mẫu điều tra hộ gia đình 60 Phụ lục 3: Kết dự báo phân bổ chuyến năm 2020 72 Phụ lục 4: Kết dự báo lưu lượng giao thông phân theo phương tiện năm 2020 73 iii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Từ viết tắt A Bike Bus CSDL Car G I Item J KPDL Moto PCU VOC VOT Tiếng Anh Attraction Bicycle Bus Database Car Generate Origin (i) Item Destination (j) Knowledge Discoversy and Data Mining Motobike Passenger Car Unit Value Of Cost Value Of Time Tiếng Việt Thu hút chuyến Xe đạp Xe bus công cộng Cơ sở liệu Xe Phát sinh chuyến Vùng (i) Khoản mục Vùng đến (j) Khai phá đữ liệu Xe máy Đơn vị quy đổi xe Chi phí cho sử dụng phương tiện Chi phí thời gian người sử dụng iv DANH MỤC CÁC BẢNG Bảng 1: Thống kế số lượng tiêu theo phường 18 Bảng 2: Chỉ tiêu số chuyến bình quân ngày 19 Bảng 3: tiêu số km bình quân phương tiện chi phí 19 Bảng 4: Chỉ tiêu thu nhập sở hữu phương tiện 19 Bảng 5: Số chuyến phân theo mục đích chuyến 20 Bảng 6: Số chuyến phân theo loại hình phương tiện 22 Bảng 1: Kết kiểm định mô hình phát sinh, thu hút 41 Bảng 2: Kết kiểm định mô hình phân bổ chuyến 42 Bảng 3: Kết kiểm định mô hình phân chia phương tiện 43 Bảng 4: Dân số, số lao động học sinh, sinh viên năm 2020 45 Bảng 5: Kết dự báo số chuyến phát sinh thu hút năm 2020 46 Bảng 6: Kết phân bổ chuyến năm 2020 47 Bảng Tổng hợp dự báo lưu lượng theo loại hình phương tiện năm 2020 47 v DANH MỤC CÁC HÌNH VẼ Hình 1: Tiến trình phát tri thức Hình 2: Phát sinh thu hút chuyến Hình 3: Phân bổ chuyến Hình 4: Phân chia phương tiện 10 Hình 5: Mô chi phí tăng lên khối lượng phân bổ 11 Hình 6: Vận tốc giảm dần khối lượng tăng dần 11 Hình 7: Mô hình dự báo bước 12 Hình Mô hình hồi quy tuyến tính 17 Hình 2: Đánh giá độ tương quan tiêu đầu vào 24 Hình 3: Thông số đánh kết phân tích mô hình phát sinh 26 Hình 4: Thông số đánh giá kết phân tích mô hình phát sinh thêm HSDC 27 Hình 5: So sánh mối tương quan mô hình phát sinh trước sau thêm HSDC 27 Hình 6: Thông số đánh giá kết phân tích mô hình thu hút 28 Hình 7: Thông số đánh giá kết phân tích mô hình thu hút thêm HSDC 29 Hình 8: So sánh mối tương quan mô hình thu hút trước sau thêm HSDC 30 Hình 9: Mối tương quan số chuyến cự ly vận chuyển 31 Hình 10: Thông số đánh giá, phân tích mô hình phân bổ chuyến 32 Hình 11: Thông số đánh giá, phân tích mô hình phân bổ chuyến có biến giả 33 Hình 12: Số liệu thực tế với số liệu lý thuyết có biến giả 34 Hình 13: Thông số đánh giá kết độ thỏa dụng xe đạp 36 Hình 14: Thông số đánh giá kết độ thỏa dụng xe máy 37 Hình 15: Thông số đánh giá kết độ thỏa dụng xe 37 Hình 16: Thông số đánh giá kết độ thỏa dụng xe bus 38 vi LỜI NÓI ĐẦU Quy hoạch mạng lưới giao thông có vai trò quan trọng quy hoạch thành phố Dự báo lưu lượng giao thông sở cho việc quy hoạch mạng lưới giao thông, nhằm đáp ứng tốt nhu cầu lại tương lai Hiện để dự báo giao thông người ta thường tiến hành điều tra, khảo sát biện pháp vấn, đếm xe để xây dựng ma trận nhu cầu lại dùng số kỹ thuật dự báo hệ số đàn hồi, tốc độ tăng trưởng để dự báo nhu cầu lại tương lai Việc sử dụng hệ số đàn hồi tốc độ tăng trưởng thường mang tính xu chung, không phản ánh xác nhu cầu lại cho vùng loại hình phương tiện lại vùng đặc biệt cấu chuyến thay đổi hành vi, thói quen sử dụng phương tiện thay đổi Nhằm hạn chế bớt sai số việc dự báo nhu cầu giao thông, luận văn đề xuất ứng dụng số kỹ thuật Khai phá liệu việc xây dựng mô hình dự báo lưu lượng giao thông theo loại hình phương tiện dựa liệu khảo sát thực tế Dữ liệu khảo sát bao gồm thông tin nơi đi, nơi đến; chi phí, thời gian, cự ly, mục đích chuyến đi; đặc điểm nghề nghiệp, tuổi, giới tính người có chuyến v.v Nghiên cứu nhằm xây dựng mô hình dự báo theo hướng tiếp cận đại mà nước phát triển nước phát triển sử dụng phương pháp dự báo bước Dự báo sở hỗ trợ cho việc hoạch định nhà quản lý sách đầu tư phát triển sở hạ tầng phù hợp nhu cầu người dân vii Với ý nghĩa tầm quan trọng đó, em lựa chọn đề tài “ Ứng dụng số kỹ thuật khai phá liệu xây dựng mô hình dự báo lưu lượng giao thông theo loại hình phương tiện” với mục đích tìm hiểu ứng dụng số kỹ thuật khai phá liệu vào toán từ nguồn số liệu điều tra hộ gia đình thực năm 2014 thành phố Hà Nội, Việt Nam Luận văn gồm chương với nội dung sau Chương 1: Trình bầy khái quát dự báo ứng dụng khai phá liệu xây dựng mô hình dự báo giao thông Chương 2: Trình bầy kỹ thuật khai phá liệu xây dựng mô hình dự báo lưu lượng giao thông từ bước đến bước toán dự báo bước để xác định loại hình phương tiện thủ đô Hà Nội Chương 3: Thử nghiệm liệu thực nghiệm năm 2014 đưa kết dự báo cho năm 2020 Qua luận văn này, em xin chân thành cảm ơn TS Nguyễn Việt Anh – Viện Công nghệ thông tin tận tình giúp đỡ, hướng dẫn em nghiên cứu hoàn thành luận văn Em xin cảm ơn thầy cô giảng dạy em hai năm học vừa qua Xin cảm ơn đồng nghiệp giúp đỡ cung cấp liệu, tài liệu trình nghiên cứu luận văn Mặc dù cố gắng, song thời gian kinh nghiệm nghiên cứu hạn chế nên tránh khỏi thiếu sót, em mong nhận góp ý thầy cô bạn bè đồng nghiệp để nghiên cứu hoàn thiện 62 63 64 65 66 67 68 69 70 71 72 Phụ lục 3: Kết dự báo phân bổ chuyến năm 2020 73 Phụ lục 4: Kết dự báo lưu lượng giao thông phân theo phương tiện năm 2020 Dự báo lưu lượng phương tiện xe đạp năm 2020 74 Dự báo lưu lượng phương tiện xe máy năm 2020 75 Dự báo lưu lượng phương tiện xe năm 2020 76 Dự báo lưu lượng phương tiện xe bus năm 2020 [...]... VỀ KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO GIAO THÔNG 1.1 Tìm hiểu về khai phá dữ liệu 1.1.1 Khái niệm về khai phá dữ liệu Khai phá dữ liệu là một bước trong quá trình phát hiện tri thức tiềm ẩn trong cơ sở dữ liệu bằng các thuật toán khai thác dữ liệu theo các phương pháp cụ thể để tìm ra các mẫu hoặc các mô hình trong dữ liệu nhằm trợ giúp nhanh cho người ra quyết định hoặc dự báo. .. suy xu hướng, Mô phỏng, mô hình hóa, Cây quyết định là kết quả của việc ứng dụng kỹ thuật khai phá dữ liệu 1.2.2 Ứng dụng khai phá dữ liệu trong dự báo giao thông Trong dự báo giao thông, người ta thường sử dụng phương pháp dự báo theo tốc độ tăng trưởng, hệ số đàn hồi Phương pháp này dựa vào chuỗi số liệu thống kê về số lượng phương tiện qua các năm hoặc chuỗi số liệu đếm xe trên một số tuyến đường... 2 XÂY DỰNG MÔ HÌNH DỰ BÁO LƯU LƯỢNG GIAO THÔNG THEO LOẠI HÌNH PHƯƠNG TIỆN ĐỐI VỚI HÀ NỘI 2.1 Xây dựng mô hình dự báo 2.1.1 Dữ liệu xây dựng mô hình Đầu vào: Dữ liệu điều tra về các chuyến đi của các vùng của các phường, xã trong thành phố Hà Nội (mẫu điều tra thông tin trong phụ lục 2) Dữ liệu thống kê về các chỉ tiêu kinh tế xã hội của thành phố Hà Nội Đầu ra: Xây dựng các mô hình tính toán để dự báo. .. vào việc ứng dụng một số kỹ thuật khai phá dữ liệu trong quá trình xây dựng mô hình dự báo giao thông từ bước 1 đến bước 3 bằng việc sử dụng một số kỹ thuật khai phá dữ liệu để tìm một số luật suy diễn, lựa chọn các thuộc tính bên ngoài và thuộc tính sẵn có trong dữ liệu kết hợp với kỹ thuật sử dụng biến giả nhằm xây dựng mô hình đạt được kết quả tốt nhất bằng ngôn ngữ R kết hợp với Excel trong quá... hiện có Kỹ thuật này bao gồm các phương pháp như Phân Cụm, phân tích luật kết hợp + Kỹ thuật khai phá dữ liệu dự đoán: Nhằm đưa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời Kỹ thuật này bao gồm các phương pháp như Phân lớp, phân nhóm, hồi quy 1.1.3 Một số phương pháp khai phá dữ liệu + Phương pháp phân lớp (classification & prediction): Là quá trình xây dựng một mô hình mô tả dữ liệu được... điều tra và sử dụng một số công cụ khai phá dữ liệu để tiến hành xây dựng mô hình dự báo giao thông gọi là dự báo giao thông 4 bước để phục vụ cho mục tiêu quy hoạch 1.2.3 Mô hình dự báo giao thông phục vụ quy hoạch Quy hoạch mạng lưới giao thông là quy hoạch mạng giao thông đường bộ trên phạm vi một vùng lãnh thổ địa lý của một quốc gia, một thành phố hoặc một vùng, đối với mạng lưới giao thông nhằm mục... và vĩ mô 6 + Dự báo dài hạn: là những dự báo có thời gian dự báo trên 5 năm, phục vụ cho những dự báo cho những mục tiêu, chiến lược trong thời gian dài ở tầm vĩ mô Dự báo nói chung thường tuân theo 5 quy trình sau: Xác định mục tiêu dự báo; Xác định loại dự báo; Lựa chọn mô hình dự báo; Thu thập số liệu, tiến hành dự báo; Ứng dụng kết quả dự báo; Theo dõi kết quả dự báo Để tiến hành dự báo nói chung,... sử dụng đến kỹ thuật, phương pháp và công cụ trong khai phá dữ liệu 1.1.2 Một số kỹ thuật khai phá dữ liệu Theo nguyên lý chúng, khi sử dụng phương thức KPDL để giải quyết một vấn đề cụ thể, cần phải hình dung ra loại vấn đề là gì Có thể tổng kết thành hai loại chính liên quan đến các đối tượng của KPDL: + Kỹ thuật khai phá dữ liệu mô tả: Nhằm mô tả các tính chất hoặc các đặc trưng của CSDL hiện có Kỹ. .. để làm căn cứ dự báo cho tương lai Hiện nay có rất nhiều nghiên cứu cũng như ứng dụng khai phá dữ liệu đối với dự báo giao thông trên hệ thống cơ sở dữ liệu giao thông thông minh (ITS) bằng kỹ thuật khai phá dữ liệu như mạng Nơ ron (Neural Network), logic mờ, sử dụng cây quyết định hoặc hồi quy phi tuyến Tuy nhiên phương pháp sử dụng được khai thức từ dữ liệu ITS mới chỉ đáp ứng được một phần yêu cầu... khác có thể dùng các phương pháp dự báo theo dãy số thời gian Nếu cần ảnh hưởng của các nhân tố khác đến nhu cầu có thể dùng các mô hình hồi quy tương quan Tuy nhiên trong thực tế trong một số trường hợp cụ thể người ta sẽ sử dụng kết hợp cả hai phương pháp nói trên bằng phương pháp tổng hợp Bảng 1 1: Một số phương pháp dự báo Phương pháp dự báo định tính Phương pháp dự báo định lượng  Tiên đoán (Genius ... “ Ứng dụng số kỹ thuật khai phá liệu xây dựng mô hình dự báo lưu lượng giao thông theo loại hình phương tiện với mục đích tìm hiểu ứng dụng số kỹ thuật khai phá liệu vào toán từ nguồn số liệu. .. khái quát dự báo ứng dụng khai phá liệu xây dựng mô hình dự báo giao thông Chương 2: Trình bầy kỹ thuật khai phá liệu xây dựng mô hình dự báo lưu lượng giao thông từ bước đến bước toán dự báo bước... dự báo 1.2.2 Ứng dụng khai phá liệu dự báo giao thông 1.2.3 Mô hình dự báo giao thông phục vụ quy hoạch 1.2.4 Mô hình dự báo giao thông bước: CHƯƠNG XÂY DỰNG MÔ HÌNH DỰ