Nghiên cứu giải pháp xử lý bigdata sử dụng apache spark và ứng dụng hỗ trợ xây dựng dữ liệu bản đồ giao thông thông minh

TRỊNH QUANG ĐĂNG BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU GIẢI PHÁP XỬ LÝ BIGDATA SỬ DỤNG APACHE SPARK VÀ ỨNG DỤNG HỖ TRỢ XÂY DỰNG DỮ LIỆU BẢN ĐỒ GIAO THÔNG THÔNG MINH TRỊNH QUANG ĐĂNG 2016-2018 HÀ NỘI - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SỸ NGHIÊN CỨU GIẢI PHÁP XỬ LÝ BIGDATA SỬ DỤNG APACHE SPARK VÀ ỨNG DỤNG HỖ TRỢ XÂY DỰNG DỮ LIỆU BẢN ĐỒ GIAO THÔNG THÔNG MINH TRỊNH QUANG ĐĂNG CHUYÊN NGÀNH : CÔNG NGHỆ THÔNG TIN MÃ SỐ: 8480201 NGƢỜI HƢỚNG DẪN KHOA HỌC: TS TRƢƠNG TIẾN TÙNG HÀ NỘI - 2018 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình TÁC GIẢ LUẬN VĂN Trịnh Quang Đăng LỜI CẢM ƠN Đầu tiên xin chân thành cảm ơn ngƣời thầy hƣớng dẫn trực tiếp TS.Trƣơng Tiến Tùng – Trƣờng Đại học Mở Hà Nội tận tình giúp đỡ, động viên, định hƣớng, hƣớng dẫn tơi nghiên cứu hồn thành luận văn Tôi xin cảm ơn giảng viên Trƣờng Đại học Mở Hà Nội giảng dạy giúp đỡ thời gian qua, cảm ơn giúp đỡ nhiệt tình bạn đồng nghiệp Trong trình nghiên cứu mình, mặc dự đƣợc hƣớng dẫn nhiệt tình, đầy trách nhiệm TS Trƣơng Tiến Tùng thầy cô giáo Trƣờng Đại học Mở Hà Nội với nỗ lực cá nhân nhƣng khơng thể tránh đƣợc thiếu sót Tác giả chân thành mong nhận đƣợc ý kiến đóng góp từ q Thầy, Cơ bạn bè đồng nghiệp Trân trọng cám ơn Trịnh Quang Đăng MỤC LỤC LỜI MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN CƠNG NGHỆ BIGDATA CHO BÀI TỐN GIAO THÔNG .4 1.1 Đặt vấn đề 1.2 Một số nghiên cứu liên quan .4 1.3 Giới thiệu lý thuyết liên quan .5 1.3.1 Khái niệm Bigdata 1.3.2 Giới thiệu Ngôn ngữ lập trình R, Cơng cụ lập trình RStudio framework Shiny 1.3.3 Công nghệ dùng Bigdata 12 1.3.4 Sự khác biệt Bigdata liệu truyền thống 14 1.4 Các đặc trƣng Bigdata 15 1.4.1 Khối lƣợng liệu 15 1.4.2 Tốc độ .15 1.4.3 Đa dạng 15 1.4.4 Độ tin cậy/chính xác .15 1.4.5 Giá trị .16 1.5 Kiến trúc Bigdata 16 1.5.1 Kiểu có cấu trúc: 16 1.5.2 Kiểu nửa cấu trúc .17 1.5.3 Kiểu không cấu trúc 17 1.6 Ứng dụng Bigdata sống 18 1.6.1 Các lĩnh vực ứng dụng Bigdata .18 1.6.2 Thực tế sử dụng Bigdata Việt Nam .20 1.7 Giới thiệu đồ giao thông thông minh 21 1.8 Ứng dụng cho đồ thông minh 29 1.9 Kết luận chƣơng 30 CHƢƠNG 2: GIẢI PHÁP APACHE SPARK VÀ ỨNG DỤNG BẢN ĐỒ THÔNG MINH 31 2.1 Giới thiệu Apache Spark 31 2.2 Các tính Apache Spark .31 2.3 Các thành phần lõi Apache Spark .32 2.4 Cơ chế phân cụm Apache Spark .33 2.5 Cơ chế xử lý liệu Apache spark 33 2.6 Xử lý liệu thời gian thực Apache spark 35 2.7 Phân tích liệu Apache spark 35 2.8 Hiệu ứng dụng Apache Spark 35 2.9 Xử lý liệu đầu vào liệu giao thông 36 2.10 Phân vùng đồ 37 2.11 Phân vùng thời gian .38 2.12 Kết luận chƣơng 65 CHƢƠNG 3: ỨNG DỤNG HỖ TRỢ XÂY DỰNG DỮ LIỆU BẢN ĐỒ GIAO THÔNG THÔNG MINH 66 3.1 Mơ tả q trình lấy liệu xử lý liệu 66 3.1.1 Mơ tả q trình lấy liệu .66 3.1.2 Xử lý liệu 67 3.2 Phân vùng chi tiết đồ 71 3.3 Cài đặt chi tiết toán .72 3.3.1 Bài tốn Phân tích thời gian di chuyển dựa vùng địa lý 79 3.3.2 Bài tốn mơ hình hóa đặc trƣng giao thơng vùng địa lý để phát vấn đề 83 3.4 Biểu diễn kết toán 96 3.4.1 Chi tiết framework Shiny cách sử dụng 96 3.4.2 Ứng dụng phân vùng giao thông 97 3.4.3 Chức dự đốn tình trạng giao thơng 98 3.5 Kết luận chƣơng 90 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 100 TÀI LIỆU THAM KHẢO .102 DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT STT Tên viết tắt ACC ANN CSS GPS HTML JS JSON Tên đầy đủ Accuracy Artifical neural network Cascading Style Sheets Global Positioning System HyperText Markup Language JavaScript JavaScript Object Notation 10 KNN NB PR K –nearest neighbors Naùve Bayes PageRank 11 RD Random forest Tiếng Việt Độ xác Mạng noron nhân tạo Tập tin định kiểu theo tầng Hệ thống định vị tồn cầu Ngơn ngữ đánh dấu siêu văn Ngôn ngữ javascrip kiểu định dạng liệu sử dụng văn tuý (cặp key - value để liệu ) K láng giềng gần Mạng bayes thuật toán xếp hạng trang web bảng kết xếp hạng tìm kiếm (SERP) Google Rừng ngẫu nhiên DANH MỤC CÁC BẢNG BIỂU Bảng 1.1: Cách khai báo kiểu liệu R 10 Bảng 2.1: Phân vùng thời gian cho ngày làm việc ngày nghỉ 39 Bảng 2.2: Giá trị PageRank qua lần lặp 44 Bảng 2.3: Giá trị E(V) θ số vùng 50 Bảng 2.4: Xử lý mẫu qua khoảng thời gian ngày 53 Bảng 2.5: Xử lý mẫu qua khoảng thời gian liên kết cặp vùng 54 Bảng 2.6: Lƣu lƣợng taxi vận tốc trung bình vùng địa lý 58 Bảng 2.7: Phân loại mƣa theo cấp độ 59 Bảng 2.8: Phân loại số nhiệt 60 Bảng 2.9: Phân loại điểm sƣơng 61 Bảng 2.10: Phân loại nhiệt độ theo mức 61 Bảng 2.11: Thời tiết khoảng thời gian qua ngày 62 Bảng 2.12: Bộ đặc trƣng Hình thỏi thời tiết vùng 63 Bảng 2.13: Bộ liệu đặc trƣng thời tiết sau biến đổi 64 Bảng 3.1: Giải thích thơng tin ghi 67 Bảng 3.2: Xếp hạng vùng theo lƣợt n, trả khách trung bình tuần 76 Bảng 3.3: Xếp hạng theo thuật tốn PageRank tồn liệu 77 Bảng 3.4: Thời gian di chuyển số vùng 82 Bảng 3.5: Các cặp vùng liền kề thƣờng xuyển xảy vấn đề 86 Bảng 3.6: Một số luật liên kết cặp vùng 87 Bảng 3.7: Độ xác mơ hình dự đốn lƣu lƣợng sử dụng KNN 93 Bảng 3.8: Độ xác mơ hình dự đốn lƣu lƣợng sử dụng RD, NB, ANN 93 Bảng 3.9: Độ xác mơ hình dự đốn vận tốc sử dụng KNN 94 Bảng 3.10: Độ xác mơ hình dự đốn vận tốc sử dụng RD, NB, ANN 94 Biểu đồ 2.1: Số lƣợng chuyến taxi hãng theo ngày thời gian 56 Biểu đồ 2.2: Vận tốc di chuyển taxi hãng theo ngày thời gian 57 DANH MỤC CÁC HÌNH VẼ Hình 1.1: Thống kê nguồn liệu Hình 1.2: Giao diện Cơng cụ lập trình RStudio Hình 1.3: Các cơng ty tham gia vào Bigdata 13 Hình 1.4: Mơ hình SV5 15 Hình 1.5: Xếp hạng trang theo thuật toán PageRank 26 Hình 1.6: Mơ tả thuật toán K láng giếng gần 23 Hình 1.7: Cây định cho toán chơi thể thao 26 Hình 1.8: Mạng noron nhân tạo 27 Hình 2.1: Các thành phần lõi apache spark 38 Hình 2.2: Phân cụm apache spark 33 Hình 2.3: Sơ đồ xử lý liệu 36 Hình 2.4: Sơ đồ nhập liệu Error! Bookmark not defined Hình 2.5: Phân vùng đồ theo kích thƣớc 10x10 bán kính km 37 Hình 2.6: Kiến trúc toán xếp hạng vùng 49 Hình 2.7: Biểu diễn số quỹ đạo đồ 41 Hình 2.8: Đồ thị có hƣớng G ma trận liền kề biểu diễn 43 Hình 2.9: Kiến trúc tốn phân tích thời gian di chuyển 45 Hình 2.10: Kiến trúc tốn mơ hình hóa đặc trƣng giao thơng để phát vấn đề 47 Hình 2.11: Ví dụ skyline 49 Hình 2.12: Kiến trúc toán dự đoán lƣu lƣợng vận tốc trung bình 50 Hình 2.13: Đồ thị có hƣớng G ma trận liền kề biểu diễn 51 Hình 3.1: Phân vùng đồ đánh số thứ tự 71 Hình 3.2: Biểu diễn vùng nhiều lƣợt trả khách 78 Hình 3.3: Một số vùng sử dụng tốn Phân tích thời gian di chuyển 81 Hình 3.4: Biểu diễn số vùng thƣờng xuyên xảy vấn đề 87 Hình 3.5: Một số vùng sử dụng đánh giá toán 92 LỜI MỞ ĐẦU Trên giới giao thông vấn đề cấp thiết với quốc gia Hiện giao thông Việt Nam phát triển nhanh dẫn đầu khu vực, tốc độ phát triển năm 2018 nhanh chóng, đứng thứ khu vực thứ giới sau Ấn Độ [14] Tuy nhiên phát triển nhanh kèm với thách thức lớn đặc biệt vấn đề sở hạ tầng thị lớn Q trình thị hóa thu hút ngƣời dân đô thị để có hội việc làm, học tập sinh hoạt Nhiều khu kinh tế, khu chức năng, khu đô thị đƣợc hình thành kéo theo nhu cầu lại ngƣời dân Phát triển đô thị luôn phải tiến hành song song với phát triển sở hạ tầng nhiên tốc độ phát triển nhanh dẫn tới sở hạ tầng đáp ứng đƣợc nhu cầu lại ngƣời dân Phát triển kinh tế mang lại cho ngƣời dân điều kiện sống ngày nâng cao, chất lƣợng sống ngày cải thiện dẫn đến nhu cầu sử dụng phƣơng tiện cá nhân tăng cao Cụ thể, tốc độ phát triển phƣơng tiện cá nhân Việt Nam diễn nhanh Riêng thủ đô Hà Nội, sở giao thông vận tải Hà Nội cho biết năm 2018 có triệu xe máy, gần 500 nghìn tô khoảng 1,2 triệu phƣơng tiện từ tỉnh ngoại thành tham gia giao thông Hà Nội dự kiến đến năm 2020 có 800 nghìn tô, triệu xe máy, số gần triệu ô tô 7,5 triệu xe máy vào năm 2030 Sự phát triển phƣơng tiện cá nhân mức báo động, Ủy ban nhân dân thành phố Hà Nội đề xuất thực nhiều giải pháp nhiên chƣa có giải pháp thực đem tới gió cho giao thơng Hà Nội Nhìn qua số giải pháp gần nhƣ: đổi học, làm việc, dự án xe bus nhanh BRT Dự án đổi học, làm chƣa mang lại hiệu giảm ùn tắc rõ dệt Dự án xe bus nhanh BRT không mang lại hiệu cao khơng muốn nói thất bại Trƣớc tình hình , quyền thành phố Hà Nội định thực đề án cấm xe máy Nhìn khứ, thành phố lớn Trung Quốc gặp tình trạng tƣơng tự nhƣ Hà Nội lựa chọn giải pháp cấm phƣơng tiện cá nhân phát triển vận tải công cộng, điển hình nhƣ Bắc Kinh cấm xe máy từ năm 1985, Quảng Châu 2007 Thƣợng Hải 2002  Đọc liệu từ file tính toán đặc trƣng  Lấy liệu thời tiết từ API kết hợp  Xây dựng mô hình học máy Đọc liệu tính tốn đặc trƣng Cách thực hiện: Ban đầu, Đọc toàn liệu để lấy tập ghi TD nằm vùng {north, east, south, west} Sau nhóm ghi theo khoảng thời gian theo theo ngày Kết tổng hợp lƣu lƣợng vận tốc vùng đặc trƣng vùng Lấy liệu thời tiết từ API kết hợp Tiếp theo, cần phải kết hợp thêm liệu thời tiết Trong Luận văn liệu thời tiết đƣợc lấy thông qua API World Weather Online [24] API miễn phí cá nhân sử dụng cho mục đích phi thƣơng mại, cho phép lấy kết dự báo thời tiết ngày lấy liệu thời tiết khứ từ năm 2008 trở với khoảng thời gia nhỏ Dữ liệu thời tiết có nhiều thơng tin nhƣng tốn sử dụng thông tin thời tiết lƣợng mƣa (precipMM), nhiệt độ nhiệt độ cảm nhận (tempC, FeelsLikeC), số nhiệt (HeatIndexF), điểm sƣơng ( DewpointF) nhắc tới trƣớc Những thơng tin mang đầy đủ đặc trƣng thời tiết mà có ảnh hƣởng trực tiếp gián tiếp tới giao thông Sau kết hợp với liệu thời tiết, phân nhóm đặc trƣng thời tiết đặc trƣng giao thông Nhƣ nói đến chƣơng Sau phân nhóm, liệu đầu vào hồn tất sẵn sàng để đƣa vào mơ hình học máy Xây dựng mơ hình học máy Trong phần này, thuật toán học máy giới thiệu chƣơng là: KNN với KNN, RD, NB, NN đƣợc áp dụng Ngoài đặc trƣng khoảng khác nên khoảng thời gian khác đƣợc xây dựng mơ hình khác Trong khoảng thời gian, mơ hình để dự đốn lƣu lƣợng vận tốc đƣợc xây dựng riêng Bộ liệu đầu vào dataset Bộ liệu huấn luyện chiếm 75% liệu kiểm tra chiếm 25% 90 Phần cài đặt thuật toán KNN sử dụng gói ―class‖ đƣợc cung cấp sẵn Các mơ hình đƣợc xây dựng với tham số k từ tới 10 Phần cài đặt mạng Bayes sử dụng gói ―naivebayes‖ Phần cài đặt RD đƣợc hỗ trợ từ gói ―randomForest‖, xây dựng mơ hình cho dự đốn với số 64, 96, 128 [12] Phần cài đặt NN đƣợc hỗ trợ từ gói ―neuralnet‖ ―nnet‖ Tƣơng tự, mơ hình dự đốn tốc độ đƣợc xây dựng với tham số tƣơng tự mơ hình dự đoán lƣu lƣợng Kết thực nghiệm đánh giá Độ xác ACC đƣợc sử dụng để đánh giá hiệu mơ hình, ACC đƣợc tính tổng số nhãn dự đoán tổng số nhãn dự đốn Để đánh giá mơ hình, mơ hình đƣợc áp dụng cho số vùng thƣờng xuyên xảy vấn đề vào cao điểm buổi sáng buổi chiều [25] số vùng có số lƣợt đón trả khách nhiều kết từ toán Hình 3.5 biểu diễn số vùng đƣợc sử dụng để đánh giá kết toán 91 Hình 3.5 : Một số vùng sử dụng đánh giá tốn 92 Hình 3.7: Độ xác mơ hình dự đốn lƣu lƣợng sử dụng KNN Vùng K=2 K=3 K=4 K=5 K=6 K=7 K=8 K=9 K=10 22 66 72 66 70 66 70 66 70 72 54 54.9 60 74 72 68 72 74 74 74 65 82 88 86 86 90 88 90 90 90 24 58 58 64 62 58 62 56 52 52 45 76 74 70 74 78 76 78 78 82 76 98 100 100 100 100 100 100 100 100 53 82 80 76 76 78 86 82 86 84 41 80 84 86 86 86 88 84 88 88 32 58 60 64 60 62 62 58 62 60 67 100 100 100 100 100 100 100 100 100 TB 75 78 79 79 79 80 79 80 80 Bảng 3.8: Độ xác mơ hình dự đốn lƣu lƣợng sử dụng RD, NB, ANN RF Vùng T=64 T=96 T=128 NB ANN 22 72 72 70 X 64 54 60 60 56 X 56 65 82 84 82 X 78 24 60 62 56 X 52 45 72 78 74 X 80 76 100 100 100 X 100 53 82 82 78 X 74 41 84 86 86 X 82 32 58 56 54 X 45 67 100 100 100 X 100 TB 77 78 76 X 73 93 Bảng 3.9: Độ xác mơ hình dự đoán vận tốc sử dụng KNN Vùng K=2 K=3 K=4 K=5 K=6 K=7 K=8 K=9 K=10 22 51 58.8 62.7 66.7 60.8 60.8 62.7 56.9 60.8 54 60.8 64.7 70.6 72.5 70.6 76.5 72.5 68.6 64.7 65 60.8 68.6 64.7 64.7 62.7 64.7 66.7 66.7 66.7 24 41.2 49 41.2 49 52.9 43.1 51 47.1 51 45 52.9 56.9 51 52.9 56.9 49 58.8 52.9 52.9 76 45.1 54.9 49 54.9 51 52.9 56.9 54.9 58.8 53 47.1 54.9 54.9 49 58.8 60.8 56.9 58.8 58.8 41 45.1 39.2 35.3 37.3 43.1 41.2 39.2 45.1 43.1 32 35.3 43.1 39.2 39.2 41.2 41.2 45.1 41.2 39.2 67 54.9 58.8 60.8 62.7 58.8 64.7 66.7 64.7 64.7 TB 49.42 54.89 52.94 54.89 55.68 55.49 57.65 55.69 56.07 Bảng 3.10: Độ xác mơ hình dự đốn vận tốc sử dụng RD, NB, ANN Vùng RF T=64 T=96 T=128 NB ANN 22 60.8 58.8 58.8 X 39.2 54 64.7 64.7 64.7 X 39.2 65 54.9 54.9 64.7 X 47.1 24 43.1 47.1 43.1 X 33.3 45 51 47.1 51 X 43.1 76 37.3 35.3 35.3 X 33.3 53 52.9 54.9 54.9 X 47.1 41 35.3 35.3 39.2 X 29.4 32 43.1 39.2 41.2 X 25.5 67 60.8 60.8 52.7 X 51 TB 50.39 49.81 50.56 X 38.82 94 Bảng 3.7 3.8 trình bày độ xác mơ hình áp dụng toán dự đoán lƣu lƣợng xe vùng qua thời gian Bảng 3.9 3.10 trình bày độ xác mơ hình áp dụng tốn dự đốn vận tốc trung bình xe taxi vùng qua thời gian Quan sát thấy kết với mơ hình dự đốn lƣu lƣợng Bảng 3,7 3,8, KNN với K=7 cho kết trung bình tốt Một số vùng có có kết dự đoán lƣu lƣợng với ACC =100% khoảng thời gian ngày, lƣu lƣợng khơng có nhiều thay đổi qua ngày thay đổi xác so với biến chuyển tốt lên hay xấu thời tiết Quan sát từ Bảng 3.9 3.10, mơ hình dự đốn vận tốc có ACC tốt KNN với K=8 Tuy nhiên, ACC dự đốn tốc độ với số vùng khơng cao vùng giao thông hỗn loạn, nhiều quy luật vận tốc bị thay đổi số tác nhân khác (nhƣ tai nạn giao thông số kiện) Với phƣơng pháp học máy trên, thấy thơng qua kết KNN phần lớn cho kết tốt đợt thời tiết có loại Hình thời tiết khác thƣờng kéo dài từ tuần tuần Trong thời gian này, ngày thời tiết tƣơng tự quy luật di chuyển tƣơng tự KNN sử dụng ngày giống nhƣ để dự đoán thấy KNN có cách triển khai giống với thực tế RD cho kết với ACC cao nhiên không cao KNN NB không cho kết NB sử dụng xác suất, với yếu tố mà liệu huấn luyện khơng có nhƣng lại xuất kiểm tra dẫn tới không xác định đƣợc Vấn đề xảy liệu tuần chƣa bao gồm đƣợc tất Hình thỏi thời tiết ANN đƣợc đánh giá phƣơng pháp tốt hầu hết tốn nhƣng khơng phù hợp với liệu toán này, kết khơng đƣợc tốt KNN RD Ngồi ra, cách phân nhóm thuộc tính đặc trƣng nhƣ tham số mơ hình nguyên nhân ảnh hƣớng tới độ xác mơ hình khác 95 Nhƣ nói phần đánh giá toán 3, liệu phần nhỏ không đầy đủ nên kết khơng phải xác hồn tồn Trong tốn 4, kết lƣu lƣợng có tính chất tham khảo mặt thay đổi lƣu lƣợng theo ngày, thời tiết Kết mặt vận tốc số vùng nhiều lƣợt xe qua lại mang tính xác tốc độ tƣơng đƣơng xe loại di chuyển vùng vào khoảng thời gian Dựa kết tốn 4, ngƣời dùng sử dụng để xác định xem ngày tiếp tình trạng giao thông vùng nhƣ để đƣa định khác Những ngƣời phụ trách giao thơng xem xét tình hình đƣa giải pháp giải vấn đề vùng Cuối cùng, phƣơng pháp đƣợc sử dụng cho toán KNN với K =7 cho lƣu lƣợng K =8 với vận tốc Kết hợp với API thời tiết, phƣơng pháp đƣợc sử dụng triển khai web app đƣợc giới thiệu phần sau 3.4 Biểu diễn kết toán 3.4.1 Chi tiết framework Shiny cách sử dụng Xây dựng giao diện ngƣời dùng Nhƣ giới thiệu qua chƣơng 1, ứng dụng web sử dụng Shiny bao gồm phần server UI Giao diện xây dựng dựa thành phần Shiny cung cấp sẵn từ file HTML Giao diện bao gồm thành phần từ file HTML thành phần Shiny, để thêm thành phần từ file index.html sử dụng cú pháp includeHTML(―index.html‖) Tuy nhiên muốn tích hợp file CSS JS phải viết riêng file đặt vào folder www (đƣờng dẫn mặc định) project viết vào phần tag file ui.R Shiny cung cấp số thành phần để hiển thị kết nhƣ: textOutput (hiển thị kết dạng văn bản), imageOutput (hiển thị kết ảnh), plotOutput (hiển thị kết dạng biểu đồ), dataTableOutput (hiển thị kết dạng bảng) 96 Tƣơng tác server client Khi ngƣời dùng thực hành động giao diện, request đƣợc gửi tới server XmlHttpRequest, bên server nhận thông tin request đối tƣợng input, xử lý yêu cầu trả kết thông qua đối tƣợng output Kết trả thành phần Shiny sử dụng trực tiếp lệnh render để hiển thị kết quả, Shiny cung cấp sẵn số lệnh nhƣ: renderText , renderTable, renderImage tƣơng ứng với dạng kết xác định thông qua id đối tƣợng Tuy nhiên, kết trả thành phần JS, khơng thể sử dụng render để trình bày kết quả, để giải vấn đề này, Shiny cung cấp số hàm để giao tiếp JS server Từ JS, để gửi thông báo thay đổi giá trị biến JS sang server sử dụng lệnh Shiny.onInputChange(―name‖, value), phía Server sử dụng hàm observe() để nhận Từ Server, muốn gửi thông báo cho JavaScript sử dụng session.sendCustomMessage(―name‖, value), bên JavaScript đăng ký nhận thông báo bằng: Shiny.addCustomessageHandler(―name‖) Tuy nhiên giao diện có nhiều thành phần xử lý thay đổi số thành phần click vào nút mà tất gửi request tới server để yêu cầu dẫn tới dƣ thừa hành động không cần thiết Để giải vấn đề này, hàm observe dùng để quan sát hành động client nhƣ: Thay đổi giá trị thẻ input, click vào nút cần có thêm tham số id thành phần cần quan sát câu lệnh observe(input$id) 3.4.2 Ứng dụng phân vùng giao thông Phần trình bày chi tiết ứng dụng web đƣợc xây dựng để biểu diễn kết tốn Ứng dụng có chức năng:  Xem giao thơng vùng  Tính tốn thời gian di chuyển dựa vùng địa lý  Dự đốn tình hình giao thơng vùng địa lý Giao diện ngƣời dùng googlemap đƣợc xây dựng từ phần Phần để hiển thị đồ cài đặt để thay đổi phân vùng đồ Hình 3.6 biểu diễn giao diện 97 ứng dụng web cho phép ngƣời dùng thay đổi Ứng dụng cho phép chọn xem kết cách chi tiết Phần bao gồm thành phần biểu diễn kết Hình 3.6: Giao diện ứng dụng web 3.4.3 Chức dự đốn tình trạng giao thông Chức cho phép ngƣời dùng xem kết dự đoán vận tốc vùng ngày Giao diện chức nhƣ Hình 3.7 Hình 3.7: Giao diện chức dự đốn tình trạng giao thơng ngày 98 3.5 Kết luận chƣơng Chƣơng tác giả đƣa mô tả ứng dụng hỗ trợ xây dựng giao thông thông minh dựa liệu số lƣợng xe taxi hang Taxi 12 Luận văn thời gian, phạm vi, thơng tin khiêm tốn nên đƣa vấn đề :  Thực trạng giao thơng vùng  Tính tốn thời gian di chuyển dựa vùng địa lý  Dự đốn tình hình giao thơng vùng địa lý Dựa thông tin đầu vào liệu Tác giả tiếp tục hoàn thiện nghiên cứu sau này, mong nhận đƣợc góp ý đánh giá từ thầy cô, bạn bè đồng nghiệp 99 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Trong Luận văn đƣa số tốn giao thơng thực tế bao gồm: Xếp hạng vùng dựa số lƣợt đón, trả khách; phân tích thời gian di chuyển dựa vùng địa lý; mơ hình hóa đặc trƣng giao thông vùng địa lý để phát vấn đề; dự đoán lƣu lƣợng tốc độ sử dụng liệu GPS thời tiết Từ toán đề xuất, đƣa giải pháp giải tốn Trong q trình thực hiện, Luận văn đạt đƣợc số kết nhƣ sau  Giới thiệu số tốn giao thơng, mục đích, ý nghĩa số nghiên cứu lĩnh vực  Giới thiệu số thuật toán áp dụng cho dạng toán cách áp dụng thuật tốn  Mơ tả luồng thực tốn với chi tiết bƣớc để thực toán  Thực nghiệm với liệu thực tế từ đƣa nhận xét, đánh giá về kết tốn ý nghĩa Trình bày kết tốn thơng qua ứng dụng web để giúp ngƣời dùng sử dụng kết toán cách đơn giản hiệu Bên cạnh kết đƣợc luận văn số điểm hạn chế nhƣ:  Kết tốn Phân tích thời gian di chuyển dựa vùng địa lý chƣa xét đến đƣợc cung đƣờng mà tài xế lựa chọn  Bài toán dự đoán lƣu lƣợng vận tốc dựa liệu GPS thời tiết thực mức với đặc trƣng thời tiết kết dự đoán vận tốc đạt 60%  Bộ liệu phần nhỏ lƣợng xe taxi hoạt động khu vực Hà Nội nên số kết khơng đƣợc xác tuyệt đối Qua kết đạt đƣợc hạn chế nói phần cho thấy rằng: Xử lý liệu lĩnh vực giao thông phƣơng pháp hiệu để góp phần để giải vấn đề giao thơng Bên cạnh đó, thời gian xuất nhiều nghiên cứu lĩnh vực phục vụ cho việc hƣớng dẫn 100 đƣờng thơng minh Vì vậy, tƣơng lai, hƣớng phát triển luận văn tiếp tục nghiên cứu để mở rộng Bài tốn từ kết hợp hai toán giúp dự đoán thời gian di chuyển vùng địa lý dựa tuyến đƣờng, giúp lái xe lựa chọn cách di chuyển hợp lý 101 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Anh [1] Eric M.Laflamme, Paul J.Ossenbruggen, Effect of time-of-day and day-of- the-week on congestion duration and breakdown, Science Direct, Volume 1, pp 3140 (2017) [2] Graham Williams, Data Mining with Rattle and R: The Art of Excavating Data for Knowledge Discovery, pp 15, Springer Science+Business Media, LLC 2011, New York, United State, 2011 [3] Jiawei Han, Jian Pei, Yiwen Yin, ―Mining frequent patterns without candidate generation‖, Proceedings of the 2000 ACM SIGMOD international conference on Management of data, Texas, United States on May 15-18, 2000 [4] Jiawei Han, Micheline Kamber, Data Mining: Concepts and Techniques, pp 5-7, Morgan Kaufmann Publishers, San Francisco, United State, Second Edition, 2006 [5] Jochen Hipp, Ulrich Gỹntzer, Gholamreza Nakhaeizadeh, Algorithms for association rule mining — a general survey and comparison, ACM SIGKDD Explorations Newsletter, Volume Issue 1, pp 58-64, 2000 [6] Ju Sam Oh, Yong Un Shim, Yoon Ho Cho, Effect of weather conditions to traffic flow on freeway, KSCE Journal of Civil Engineering, Volume 6, pp 413-420 (2002) [7] Luchao Cao, Latita Thakali, Liping Fu, Garrett Donaher, Effect of Weather and Road Surface Conditions on Traffic Speed of Rural Highways, Annual Meeting of the Transportation Research Board, Washington, United States on January 13-17, 2013 [8] Marco Veloso, Santi Phithakkitnukoon, Carlos Bento, Pedro d’Orey, Mining Taxi Data for Describing City in the Context of Mobility, Sociality, and Environment, IEEE Intelligent Transportation Systems Conference, Rio de Janeiro, Brazil on November, 2016 102 [9] Mostofa Kamal Nasir, M A Kalam, B M Masum, Rafidah Md Noor, Reduction of Fuel Consumption and Exhaust Pollutant Using Intelligent Transport System, The Scientific World Journal, Volume 2014 (2014) [10] Nordiana Mashros, Johnnie Ben- Edigbe, Sitti Asmah Hassan, Norhidayah Abdul Hassan, Nor Zurairahetty Mohd Yunus, Impact of Rainfall Condition on Traffic Flow and Speed: A Case Study in Johor and Terengganu, Jurnal Teknologi, Volume 70 (2014) [11] Stephan, Donal Kossmann, Konrad Stocker, The skyline operator, Proceedings of the 17th International Conference on Data Engineering, Washington, United States on April 02 – 06, 2001 [12] Thais Mayumi Oshiro, Pedro Santoro Perez, Jos´e Augusto Baranauskas, How Many Trees in a Random Forest?, 8th International Conference on Machine Learning and Data Mining MLDM'2012, Berlin, Germany on July 13-20, 2012 [13] Yu Zheng, Yanchi Liu, Jing Yuan, Xing Xie, Urban Computing with Taxicabs, 13th International Conference on Ubiquitous Computing, Beijing, China on September 17-21, 2011 Tài liệu Tiếng Việt [14] Nguyễn Thanh Phƣơng - Nghiên cứu công nghệ Bigdata ứng dụng giám sát, cảnh báo cƣớc viễn thông tổng công ty viễn thông Viettel , Tổng công ty Viettel, 2017 [15] Đỗ Duy Hiệp – Khai phá liệu GPS taxi cho tốn giao thơng, Học viện bƣu viễn thơng, 2017 [16] Hanel - Giải pháp giao thông thông minh đồ số, 2017 Các website tham khảo [17] http://baoquocte.vn/kinh-te-viet-nam phat-trien-nhanh-nhat-dong-nam-a- 44027.html [18] https://tuoitre.vn/khong-han-che-xe-ca-nhan-ha-noi-se-un-tac-ca-ngay- 1228012.htm 103 [19] https://vnexpress.net/tin-tuc/oto-xe-may/trung-quoc-xoa-so-xe-may-o-cac- thanh-pho-lon-nhu-the-nao-3471708.html [20] https://en.wikipedia.org [21] http://vietnamnet.vn/vn/kinh-doanh/dau-tu/mua-to-ha-noi-nhu-song-can-ban- do-canh-bao-diem-ngap-398507.html [22] http://tnmthanam.gov.vn/ [23] https://www.weather.gov/ama/heatindex [24] https://www.boston.com/weather/weather/2014/07/10/understanding_dew_p oint_and_re [25] https://www.accuweather.com/en/outdoor-articles/outdoor-living/the- accuweather-realfeel-tempe/55627 [26] http://dantri.com.vn/suc-khoe/nhiet-do-bao-nhieu-duoc-goi-la-nang-nong- 1438261329.htm [27] https://developer.worldweatheronline.com/api/ [28] https://baomoi.com/nhung-diem-den-un-tac-giao-thong-o-ha-noi-can-tranh- de-khong-bi-chon-chan-dip-2-9/c/23174068.epi [29] https://vnexpress.net/photo/giao-thong/cong-truong-vanh-dai-1-500-ty do- ng-mo-t-km-o ha-noi-3633785.html [30] https://viblo.asia/p/tong-quan-ve-apache-spark-cho-he-thong-big-data- RQqKLxR6K7z [31] https://cran.r-project.org/bin/ [32] https://www.rstudio.com/products/rstudio/download/ [33] http://cafef.vn/so-luong-xe-uber-va-grab-cham-muc-50000-chiec-gan-gap- doi-taxi-tai-ha-noi-va-tphcm-1013103624032.chn [34] https://vi.wikipedia.org 104 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SỸ NGHIÊN CỨU GIẢI PHÁP XỬ LÝ BIGDATA SỬ DỤNG APACHE SPARK VÀ ỨNG DỤNG HỖ TRỢ XÂY DỰNG DỮ LIỆU BẢN ĐỒ GIAO THÔNG THÔNG MINH TRỊNH... nghệ bigdata ứng dụng cho tốn giao thơng Chƣơng 2: Giải pháp APACHE SPARK ứng dụng đồ giao thông Chƣơng 3: Ứng dụng hỗ trợ xây dựng liêu đồ giao thông thông minh CHƢƠNG 1: TỔNG QUAN CƠNG NGHỆ BIGDATA. .. liệu Từ nhu cầu thực tế , học viên với giúp đỡ TS Trƣơng Tiến Tùng lựa chọn đề tài Nghiên cứu giải pháp xử lý Bigdata sử dụng Apache Spark ứng dụng hỗ trợ xây dựng liệu đồ giao thông thông minh