ĐỒ ÁN TÌM HIỂU TABLEAU DATA VISUALIZATION THỰC NGHIỆM MINH HỌA (Full đồ án)

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẦM TP.HCM KHOA CÔNG NGHỆ THƠNG TIN  BÁO CÁO ĐỒ ÁN TÌM HIỂU TABLEAU DATA VISUALIZATION THỰC NGHIỆM MINH HỌA Giáo viên hướng dẫn: Nguyễn Thị Bích Ngân Sinh viên thực hiện: 2033180166- Hồ Văn Trung 2033180161- Bùi Trung Hiếu TP.HỒ CHÍ MINH, Tháng 6/2021 LỜI CẢM ƠN Đồ án mơn học Trường ĐH CNTP TP.HCM Để đồ án đạt kết tốt em nhận nhiều hỗ trợ hướng dẫn Nguyễn Thị Bích Ngân Xuất phát từ chân thành, em xin bày tỏ biết sâu sắc đến Bên cạnh đó, em xin gửi lời cảm ơn thầy cô giáo nhà trường tạo điều kiện tốt để em có mơi trường học tập tốt Em xin kính chúc quý thầy, quý cô, quý nhà trường luôn mạnh khỏe Kính chúc cho chặng đường lái đị q thầy thuận buồm xi gió! Em xin chân thành cảm ơn! Ngày…Tháng….Năm…… Sinh viên thực Trang Đồ án môn học Trường ĐH CNTP TP.HCM MỤC LỤC Chương GIỚI THIỆU CÁC DẠNG DỮ LIỆU VÀ TRỰC QUAN HĨA DỮ LIỆU12 1.1 Tìm hiểu hệ sở liệu (database) .12 1.2 Các dạng database 13 1.3 Cấu trúc liệu 13 1.3.1 Khái niệm: .13 1.3.2 Vai trò cấu trúc liệu 13 1.4 Tìm hiều khái niệm data visualization 14 1.4.1 Khái niệm 14 1.4.2 Ưu điểm data visualization 14 1.4.3 Một số lĩnh vực yêu cầu data visualization .14 Chương GIỚI THIỆU CÔNG CỤ DATA VISUALIZATION TABLEU .15 2.1 Nền tảng Tableau phân tích liệu 15 2.2 Lịch sử hình thành Tableau 15 2.3 Lợi ích Tableau 15 2.4 Sản phẩm Tableau 16 2.5 Ứng dụng Tableau 17 2.6 Kiến trúc tableau 17 2.6.1 Nguồn liệu 18 2.6.2 Tableau Server and Desktop 18 2.6.3 Clients 18 2.7 Data layer .19 2.8 Data Connectors 19 2.9 Live Connections 19 2.10 In-memory 20 2.11 Install Tableau Desktop .20 2.11.1 Yêu cầu hệ thống cho Tableau 20 2.11.2 Dowload cài đặt Tableau Desktop 21 2.11.3 Đăng ký kích hoạt Tableau Desktop 21 2.12 Kết nối Tableau với sở liệu đa nguồn 21 2.12.1 Thiết lập kết nối liệu 21 2.12.2 Liên kết bảng liệu 25 Trang Đồ án môn học Trường ĐH CNTP TP.HCM 2.12.3 Kết nối liệu chế độ Live Extract 25 2.12.4 Chỉnh sửa liệu mô hình 26 2.12.5 Kiểu liệu 27 2.12.6 Workbooks and Sheets 28 2.13 Data scource pane .28 2.14 The Tableau Workspace 29 2.15 The Data Pane 31 2.15.1 Trực quan hóa với measure 32 2.15.2 Trực quan hóa với dimesion 32 2.15.3 Làm việc với khung Mark 33 2.15.4 Lưu workbook 34 2.16 Trực quan hóa với dạng biểu đồ 35 2.16.1 Các dạng biểu đồ 35 2.16.2 Show me menu 41 2.17 Filter Hierarchies 41 2.17.1 Lọc dimesions 42 2.17.2 Lọc theo measures 44 2.17.3 Quick filters 45 2.17.4 Data source filter 46 2.17.5 Hierarchies 47 2.18 Các hàm tổng hợp, calculated field parameter 47 2.18.1 Các hàm tổng hợp .47 2.18.2 Calculated Field 49 2.18.3 Trường liệu ngày tháng 51 2.18.4 Các hàm tính ngày tháng 52 2.18.5 Parameter 53 2.19 Bảng tính tốn mức độ chi tiết (LOD) 56 2.19.1 Các loại tính tốn 56 2.19.2 Mở bảng tính nhanh 57 2.19.3 Mức độ thể chi tiết 59 2.19.4 Mức trung bình khu vực .60 2.20 Tương tác Dashboard 61 2.20.1 Create Dashboard .61 Trang Đồ án môn học Trường ĐH CNTP TP.HCM 2.20.2 The Dashboard Pane 62 2.20.3 Xây dựng đồ Dashboard .63 2.20.4 Tiêu đề Dashboard 64 2.20.5 Dashboard Actions .64 2.21 TabPy-Python kết hợp Tableau 67 2.21.1 TabPy 67 2.21.2 Cài đặt TabPy .67 2.21.3 Kết nối Tableau vào TabPy 69 2.21.4 Sử dụng TabPy 70 Chương 3.1 ỨNG DỤNG TABLEAU TRỰC QUAN HÓA DỮ LIỆU .74 Thực nghiệm truy vấn liệu SQL Server 74 3.1.1 Mô tả liệu liên kết bảng MOVIES 74 3.1.2 Một số thống kê trực quan hóa liệu liêu Movies 76 3.2 Thực nghiệm dataset dạng big data .85 3.2.1 Mô tả liệu Olympic 85 3.2.2 Trực quan hóa liệu 86 Chương Kết luận 95 Trang Đồ án môn học Trường ĐH CNTP TP.HCM DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt DBMS Tiếng anh Database Management Tiếng việt Hệ quản trị sở liệu DDL System Data Ngôn ngữ định nghĩa DML Definition Language Data liệu Ngôn ngữ thao tác liệu SQL Manipulation Language Structured Ngôn ngữ truy vấn DCL Query Language Data Control liệu Ngôn ngữ quản lý liệu BI MS Language Business Intelligence Microsoft Kinh doanh thông minh Hệ điều hành Microsoft Trang Đồ án mơn học Trường ĐH CNTP TP.HCM DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1Hệ quản trị sở liệu 12 Hình 2.1Mối quan hệ Tableau Desktop Taleau Server 17 Hình 2.2 Cấu trúc Tableau (Sc.Https://Tableau.Com) 19 Hình 2.3 Giao diện sau bật Tableau .22 Hình 2.4 Kết nối Excel với Tabeau 22 Hình 2.5Mở file text Tableau 23 Hình 2.6 Nguồn máy chủ làm việc với Tableau 23 Hình 2.7Đăng nhập vào SQL Server 24 Hình 2.8 Đăng nhập vào MySQl 24 Hình 2.9 Nối bảng movie movie_cast 25 Hình 2.10 Chế độ Live Extract 26 Hình 2.11 Bảng chỉnh sửa nguồn liệu 26 Hình 2.12 Kiểu liệu Tableau 28 Hình 2.13 Data scoure pane .29 Hình 2.14 Tableau workspace 30 Hình 2.15Dữ liệu Measure Sales .32 Hình 2.16 Dữ liệu Dimesion Customer Name 33 Hình 2.17 Giao diện mark 33 Hình 2.18 Dữ liệu sau làm việc với Mark 34 Hình 2.19 Biểu đồ Bar Chart Doanh thu .36 Hình 2.20 Biểu đồ Line Chart 37 Hình 2.21 Biểu đồ heat map Doanh thu Dữ liệu SuperStore 40 Hình 2.22 Biểu đồ Bullet 41 Hình 2.23 Lọc giá trị cần lấy “City Name” 42 Hình 2.24 Lọc giá trị City Name bắt đầu chữ C 43 Hình 2.25 Lọc field (trái) lọc câu lệnh (phải) mục ID City 43 Hình 2.26 Giao diện lọc giới hạn .44 Hình 2.27Các tính tốn cho measure 44 Hình 2.28 Lọc Measures 45 Hình 2.29 Giao diện lọc nhanh 46 Hình 2.30 Giao diện add filter liệu nguồn .46 Hình 2.31 Tạo hệ thống phân cấp Category Sub-Category 47 Hình 2.32 Các lựa chọn kiểu tính tốn measure 48 Hình 2.33 Tạo Calculated Field 50 Hình 2.34 Giao diện nhập lệnh vào Calculated Field 50 Hình 2.35Sử dụng Calculated Field để tính tốn .51 Hình 2.36 Tạo Parameter 53 Hình 2.37 Điều chỉnh Parameter 54 Hình 2.38 Bật tắt Parameter .54 Hình 2.39 Kết hợp Parameter vào Calculated Field 55 Hình 2.40 Bảng điều khiển Parameter .55 Hình 2.41 Thiết lập bảng tính nhanh 57 Trang Đồ án môn học Trường ĐH CNTP TP.HCM Hình 2.42 Điều chỉnh bảng tính 58 Hình 2.43 Các lựa chọn điều chỉnh bảng tính 59 Hình 2.44 Fixed keyword 60 Hình 2.45 Sử dụng Fixed keyword 60 Hình 2.46 Include keyword 61 Hình 2.47 Sử dụng Include keyword 61 Hình 2.48 Giao diện Dashboard 62 Hình 2.49 Dashboard Pane 62 Hình 2.50 Khung Objects 63 Hình 2.51Add Sheet vào Dashboard 64 Hình 2.52 Đặt tiêu đề dashboard 64 Hình 2.53 Bộ lọc dashboard 65 Hình 2.54 Chọn Actions Menu 66 Hình 2.55 Giao diện Actions 66 Hình 2.56 Thêm Giao diện Wed vào dasboard 67 Hình 2.57 Cài đặt TabPy 68 Hình 2.58Cài đặt thành cơng .68 Hình 2.59 Thơng tin máy chủ TabPy 68 Hình 2.60 Kết nối Tableau Tabpy 69 Hình 2.61Kết nối Tabpy vào Tableau 69 Hình 2.62 Hồnh thành kiểm tra kết nối 69 Hình 2.63 Tham số Số cụm 70 Hình 2.64Tham số Thuật toán phân cụm 71 Hình 2.65 Calculated field clustering 72 Hình 2.66 Định dạng bảng tính tốn mặc định 73 Hình 2.67 Phân cụm khu nhà, phòng cho thuê AirBnb New york 73 Hình 3.1 Mơ hình liên kết liệu movies 75 Trang Đồ án môn học Trường ĐH CNTP TP.HCM NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ĐIỂM ĐÁNH GIÁ: …………………………………………………………………………… …………………………………………………………………………… Ngày……Tháng……Năm 2021 ( ký rõ họ tên) MỞ ĐẦU Trang Đồ án môn học Trường ĐH CNTP TP.HCM Giới thiệu Trong lĩnh vực kinh doanh ln địi hỏi phải làm việc với số, báo cáo, liệu, sử lý thơng tin phân tích chúng, để tìm thơng tin hữu ích doanh nghiệp Mỗi ngày, phải giải tất loại liệu, từ báo cáo đến bảng tính, email với biểu đồ chí tài liệu in phát tay Khi liệu tích lũy, bạn cần nhanh chóng tìm thấy bạn cần vào lúc bạn cần trở nên khó khăn Quá nhiều liệu làm bạn không sử dụng thông tin bỏ sót nhiều liệu quan trọng Chính khái niệm data visualization đời, cách chuyển đổi tất liệu thành biểu đồ đồ thị để giúp bạn hình dung liệu theo cách có ý nghĩa Các liệu không số bảng tính mà thơng tin “hấp dẫn” với nhiều màu sắc ý nghĩa, trực qua nhà vào biểu đồ/đồ thị Trong báo cáo tìm hiểu sâu data visualization, tìm hiểu cơng cụ để phân tích liệu truy vấn liệu Tableau Cách tạo biểu đồ, dashboard, phân tích liệu lớn dạng big data với công cụ Tableau Mục tiêu để tài – Tìm hiểu dạng database, cấu trúc data, khải niệm Data Visualization – Tìm hiểu Tableau Architecture & Server Components – Tableau Data Connections to Databases and Multiple Sources – Types of Filters in Tableau: Condition by Formula, Extract, Context – Tableau Create Group, Hierarchy, Sets & Sort Data Thực nghiệm dùng Tableau để truy vấn trực quan hóa liệu cụ thể Bố cục báo cáo Chương 1: Tìm hiểu dạng database, cấu trúc data, khái niệm data visualization Tìm hiểu chi tiết database, gồm có loại database nào, cấu trúc liệu khái niệm data visualization Chương 2: Tìm hiểu cơng cụ Tableau Tìm hiểu chi tiết công cụ Tableau, cách lọc, truy vấn liệu, tìm hiểu dạng biểu đồ, trường tính tốn, tạo dashboard Chương 3: Thực nghiệm dùng Tableau để truy vấn trực quan hóa liệu Trang 10 Đồ án môn học Trường ĐH CNTP TP.HCM 18 Thống kê top 10 đạo diễn có nhiều phim (kèm số lượng phim) Mỹ 19 Thống kê % số lượng phim quốc gia năm 2014, 2015, 2016  năm pie Trang 93 Đồ án môn học Trường ĐH CNTP TP.HCM 20 Thống kê số lượng phim theo thể loại năm 2010  2016 3.2 Thực nghiệm dataset dạng big data 3.2.1 Mô tả liệu Olympic Dữ liệu lấy từ trang https://www.kaggle.com/ , trang wed cung cấp liệu miễn từ khoa học, giáo dục, y tế đến xã hội lịch sử ,… Hỗ trợ cho sinh viên người tìm hiểu lĩnh vực kinh tế, Kaggle cung cấp 50.000 liệu 400.000 notebook khác Dữ liệu Olympic tập liệu lịch sử Thế vận hội Olympic đại, bao gồm tất Thế vận hội Athens 1896 đến Rio 2016 Lưu ý Thế vận hội Mùa đông Mùa hè tổ chức năm năm 1992 Sau đó, chúng thay đổi chúng cho Thế vận hội Mùa đông diễn theo chu kỳ năm năm 1994, sau Mùa hè năm 1996, mùa đông năm 1998 Nội dung Trang 94 Đồ án môn học Trường ĐH CNTP TP.HCM Tệp VĐV_events.csv chứa 271116 hàng 15 cột Mỗi hàng tương ứng với vận động viên cá nhân thi đấu kiện Olympic cá nhân (các kiện vận động viên) Các cột là: ID- Số cho vận động viên Name - Tên vận động viên Sex - M F Age - Số nguyên Heigh - Tính cm Weigh - Tính kilơgam Team - Tên đội NOC - Mã chữ Ủy ban Olympic Quốc gia Games - Năm mùa 10 Year- Số nguyên 11 Seasons- Mùa hè mùa đông 12 City - Thành phố đăng cai 13 Sport - Thể thao 14 Event - Sự kiện 15 Medal- Vàng, Bạc, Đồng NA Trang 95 Đồ án môn học Trường ĐH CNTP TP.HCM 3.2.2 Trực quan hóa liệu Top 10 vận động viên nhiều huy chương vàng nhiều (số huy chương) Cho biết top 10 quốc gia đạt nhiều huy chương nhất->cột bar số huy chương (vàng, bạc , đồng)->cột line Trang 96 Đồ án môn học Trường ĐH CNTP TP.HCM Cho biết môn thể thao đạt nhiều huy chương Mỹ vận hội từ năm 2000-2016.(kèm số lượng) Cho biết top 10 vận động viên đạt nhiều huy chương môn bơi lội qua kỳ olimic từ năm 2004-2016 (kèm số lượng huy chương) Trang 97 Đồ án môn học Trường ĐH CNTP TP.HCM Cho biết tỷ lệ giới tính thy Olympic từ trước tới Cho biết tên vận động viên đạt huy chương bơi tự 1500m nam Olympic 2016 Trang 98 Đồ án môn học Trường ĐH CNTP TP.HCM Tỷ lệ vận động viên nam nữ tham gia vận hội London năm 1908, 1948 2012 Cho biết số huy chương mà đội tuyển Mỹ dành từ năm 2010-2016 Trang 99 Đồ án môn học Trường ĐH CNTP TP.HCM Cho biết số huy chương đội tuyển Mỹ đạt Olympic mùa đông 2006 Trang 100 Đồ án môn học Trường ĐH CNTP TP.HCM 10 Cho biết thành phố tổ chức nhiều lần vận hội 11 Cho biết 10 đội tuyển dành nhiều huy chương vận hội 2016 Trang 101 Đồ án môn học Trường ĐH CNTP TP.HCM 12 Cho biết huy chương vàng đội tuyển Trung Quốc qua năm -> dạng line 13 Cho biết Việt Nam nhận huy chương từ 2007-2016 14 Cho biết môn bơi lội, top nước giành nhiều huy chương vàng 15 Cho biết đội tuyển quốc gia đạt huy chương mơn bóng đá từ năm 2000-2016 Trang 102 Đồ án môn học Trường ĐH CNTP TP.HCM 16 Cho biết top vận động viên Mỹ đạt nhiều huy chương vàng 17 Cho biết số huy chương đội tuyển Ấn Độ đạt từ năm 1900 đến năm 2016 trung bình số huy chương đạt Trang 103 Đồ án môn học Trường ĐH CNTP TP.HCM 18 Cho biết tỷ lệ đat huy chương vàng nước tham gia vận hội 2006 Trang 104 Đồ án môn học Trường ĐH CNTP TP.HCM 19 Cho biết số lượng huy chương mà nước tham gia Olympic 2010 20 Cho biết số huy chương mà quốc gia đạt từ năm 1980-2000 Chương Kết luận Nhu cầu phân tích liệu ngày trở nên vô cấp thiết, liệu không đơn tập hợp số Thay vào đó, việc trực quan liệu giúp so sánh, tổng kết, đánh giá đưa định xác Cịn doanh nghiệp có quy mơ dù lớn hay nhỏ, ngày tiếp nhận báo cáo ngày nhiều thời gian để đánh giá thông qua báo cáo truyền thống, sử dụng Tableu cơng việc trở nên dễ dàng nhanh gọn hẳn Qua thời gian nghiên cứu làm việc ứng dụng Tableau, nắm nhiều chức dạng liệu triển khai cho việc trực quan hoá liệu Trang 105 Đồ án môn học Trường ĐH CNTP TP.HCM Tuy nhiên Tableau cịn có số hạn chế định tốc độ xử lý liệu, vấn đề liên quan tới liệu Kết luận ta nói việc trực quan hóa liệu với Tableau có ích lĩnh vực phải làm nhiều với dạng liệu khác nhau, giúp truyền đạt đến người dùng cách nhanh chóng xác Trang 106 Đồ án môn học Trường ĐH CNTP TP.HCM Danh mục tài liệu tham khảo Tiếng anh [1] Visual Data Storytelling with Tableau, Lindy Ryan, 2018 [2] Visual Analytics with Tableau, Alexander Loth, 2019 [3] Prepare Your Data For Tableau: A Practical Guide To The Tableau Data Prep Tool, Tim Costello, Lori Blackshear, 2020 Website [4] https://tableau.bsdinsight.com/ [5] https://www.youtube.com/watch?v=fO7g0pnWaRA [6] https://www.tableau.com/ [7] https://www.guru99.com/what-is-tableau.html [8] https://towardsdatascience.com/tableau-python-tabpy-and-geographical-clustering219b0583ded3 Cơ sở liệu [9] Movies : https://www.databasestar.com/sample-database-movies/ [10] Olympic: https://www.kaggle.com/heesoo37/120-years-of-olympic-history-athletesand-results?select=athlete_events.csv [11] Airbnb: https://public.tableau.com/en-us/s/resources Trang 107 ... Tìm hiểu dạng database, cấu trúc data, khái niệm data visualization Tìm hiểu chi tiết database, gồm có loại database nào, cấu trúc liệu khái niệm data visualization Chương 2: Tìm hiểu cơng cụ Tableau. .. Tableau Mục tiêu để tài – Tìm hiểu dạng database, cấu trúc data, khải niệm Data Visualization – Tìm hiểu Tableau Architecture & Server Components – Tableau Data Connections to Databases and Multiple... biểu đồ/ đồ thị Trong báo cáo tìm hiểu sâu data visualization, tìm hiểu cơng cụ để phân tích liệu truy vấn liệu Tableau Cách tạo biểu đồ, dashboard, phân tích liệu lớn dạng big data với công cụ Tableau