Báo cáo cá nhân Kho dữ liệu và Kinh doanh thông minh

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC  BÁO CÁO CÁ NHÂN KHO DỮ LIỆU VÀ KINH DOANH THÔNG MINH Giáo viên hướng dẫn: Th.S Nguyễn Danh Tú Sinh viên Lớp MSSV : Hà Văn Học : Hệ thống thông tin K63 - 01 : 20180264 Hà Nội, 29/11/21 Mục Lục Tự đánh giá báo cáo cá nhân Phần I.Kết thực hành Thực hành 1: ETL liệu trong Excel 1.1 Sắp xếp lọc liệu Thực hành 2: Thực hành 2.1: PIVOT .9 Thực hành 2.2: Tùy chỉnh đồ thị (CHART) 10 Thực hành 13 Thực hành 3.1: Xây dựng Dashboard Excel 13 Thực hành 3.2: Xây dựng dashboard liệu 14 Thực hành 4: Power Query 15 Thực hành 17 Thực hành 5.1: Power Query & Dash 17 Thực hành 5.2: Xây dựng Dashboard Google Data Studio 19 Thực hành 21 Thực hành 6.1: Xây dựng Dashboard Power BI 21 Thực hành 6.2: Dashboard 3.0 22 Thực hành 7: Tìm hiểu tính Power BI 23 Phần II.Kết thu được, đánh giá góp ý cho mơn học 24 Tài liệu tham khảo 28 Hà Văn Học - 20180264 TỰ ĐÁNH GIÁ BÁO CÁO CÁ NHÂN Dưới hướng dẫn thầy Nguyễn Danh Tú giúp đỡ bạn, em hoàn thành nộp tập hàng tuần Qua buổi học tập thực hành báo cáo có đầy đủ tập giao Quá trình làm nhiều thiếu xót bất cập, mong thầy bạn thơng cảm cho em Trong q trình học thực hành câu hỏi thầy đưa bổ ích thay vào em lại khơng tâm vào câu hỏi vậy, dẫn đến việc thiếu kiến thức học Và mong thầy tạo điều kiện cho em hoàn thành môn học đồng thời kỳ tới em cố hoàn thành tập câu hỏi thầy đưa Cuối cùng, em cảm ơn thầy Nguyễn Danh Tú hướng dẫn em học hành môn học “Kho liệu kinh doanh thông minh” giúp em hiểu môn học hiệu mang tính thực tiễn qua thực hành tập lớn Trong trình học, em có cố gắng nghiêm túc với môn học đánh giá thân em môn học *Lý thuyết : - Hiểu Kho liệu – Thông minh kinh doanh đời sống ứng dụng ngành nghề lĩnh vực liên quan - Một số kiến thức học chưa thể nắm hết được, trình thực hành em cố gắng để cải thiện hoàn thành tập - Đã áp dụng số lý thuyết vào công việc làm thực hành - Khó khăn việc phân tích đâu chiều kiện (Dimansion) hay kiện (Fact) *Thực hành - Hoàn thành tập giao lớp ứng dụng làm thêm liệu mạng - Nắm quy trình tính Excel, Power BI hay Google Data Studio… Hà Văn Học - 20180264 Phần I.Kết thực hành Thực hành 1: ETL liệu trong Excel Thực hành 1.1 Sắp xếp lọc liệu Hình 1.1.1 a) Bỏ vùng trộn b) Đóng bang liệu c) Sắp xếp liệu theo họ tên Hình 1.1.2.Nhân viên phận kho có hộ Hà Nội để lên lịch trực tết Hà Văn Học - 20180264 Hình 1.1.3.Nhân viên phận kho Hình 1.1.4.Nhân viên cần xác minh lại hộ Hình 1.1.5.Nhân viên chưa có thơng tin CMND Hà Văn Học - 20180264 Hình 1.1.6.Nhân viên có thu nhập từ đến 10 triệu 1.2 Chọn liệu nâng cao Hình 1.2.1 Chọn liệu nâng cao Hình 1.2.2 Chọn liệu nâng cao Hà Văn Học - 20180264 1.3 Transpose Toán tử cộng liệu Hình 1.3 Tốn tử cộng liệu 1.4 Sao chép liệu nâng cao Hình 1.4.1 Coppy paste Hình 1.4.2 Coppy từ nguồn khác Hà Văn Học - 20180264 1.5.Tạo xác thực liệu nhập vào (Data Validation) Hình 1.5.1 Merge cell Hình 1.5.2 Data Validation 1.6.Phát liệu qua định dạng có điều kiện Hà Văn Học - 20180264 Hình 1.6.1 Định dạng có điều kiện Hình 1.6.2 Định dạng có điều kiện nâng cao Thực hành 2: Thực hành 2.1: PIVOT Hình 2.1.1 Thực hành PIVOT Table Excel Hà Văn Học - 20180264 Thực hành 2.2: Tùy chỉnh đồ thị (CHART) Hình 2.2.1 a) Xử lý liệu để vẽ đồ thị b) Làm việc với liệu (Data) c) Làm việc với mẫu đồ thị (Chart Layout) d) Làm việc với Layout Hình 2.2.2 a) Làm đồ thị 60s (với Pilot Table) b) Cập nhật liệu đồ thị Hình 2.2.3 Vẽ đồ thị Phương trình bậc 3: y = x3 10 Hà Văn Học - 20180264 Thực hành 3.2: Xây dựng dashboard liệu Hình 3.2.1 Dashboard liệu Hình 3.2.2 Xác định Dimension Fact Reqirement: Phân tích doanh thu doanh nghiệp từ nhiều yếu tố ảnh hưởng Dim: Dòng sản phẩm, thời gian, vận chuyển, loại giao dịch khu vực Fact: Doanh thu 14 Hà Văn Học - 20180264 Thông tin đọc Dashboard: Báo cáo cho ta thấy hầu hết giao dịch thiết lập thuộc vào phân loại Medium Từ cho ta thấy nhu cầu khách hàng để đưa hướng kinh doanh hiệu tương lai Ở bảng báo cáo ta thấy khách hàng USA có nhu cầu mua sắm chiếm tỉ trọng hẳn quốc gia cịn lại Có thể thu nhập bình qn đầu người nhỉnh nên nhu cầu sản phẩm lớn Từ đó, ta đưa ưu đãi chiến lược chất lượng phù hợp với tâm lý yêu cầu khách hàng để tăng doanh thu cho doanh nghiệp Với tình trạng vận chuyển, ta thấy hầu hết đơn hàng giao thành cơng Tuy nhiên phải tìm hiểu vấn đề đơn hàng bị huỷ hay vận chuyển muộn đâu ví dụ tình hình thời tiết, vị trí địa lý… để đưa biện pháp cải thiện nâng cao chất lượng đơn hàng có hài lòng khách hàng Báo cáo cho ta thấy hầu hết giao dịch thiết lập thuộc vào phân loại Medium Từ cho ta thấy nhu cầu khách hàng để đưa hướng kinh doanh hiệu tương lai Thực hành 4: Power Query Hình 4.1 Tranform data 15 Hà Văn Học - 20180264 Hình 4.2 Extract Data Hình 4.3 Xây dựng Data Model & Load liệu 16 Hà Văn Học - 20180264 Hình 4.4 Truy vấn liệu từ CSDL MySQL Thực hành Thực hành 5.1: Power Query & Dash Hình 5.1.1 Pivot Table 17 Hà Văn Học - 20180264 Hình 5.1.2 Dashboard Phân tích: *Biểu đồ đường xu hướng doanh thu theo loại sản phẩm: - Trong năm qua, xe đạp thu doanh thu lớn Phụ kiện có xu hướng tăng doanh thu ->tiếp tục mở rộng hay thu hẹp quy mô sản phẩm -Top khách hàng tiềm để có ưu đãi giảm giá cho khách hàng *Biểu đồ doanh thu theo thời gian: Đến năm 2020, nhân viên Lan Anh có tổng doanh thu bán hàng lớn nhất, thể dõ vào tháng cuối năm => có khen thưởng, khích lệ nhân viên *Biểu đồ phí ship trung bình thời gian giao hàng trung bình: - Hình thức vận chuyển xe tải đóng gói hộp ngoại cỡ có phí ship trung bình lớn nhất, hình thức vận chuyển máy bay đóng gói thùng lớn có phí ship trung bình nhỏ - Hình thức vận chuyển máy bay với mức độ ưu tiên thấp có số ngày giao cao *Biểu đồ doanh thu theo khu vực số ngày giao theo khu vực: - Nghệ An có doanh thu thu lớn nhất, thấp Yên Bái - Số ngày giao hàng trung bình Yên Bái cao nhất, thấp Hải Dương => tiếp tục mở rộng hay thu hẹp quy mô bán hàng 18 Hà Văn Học - 20180264 Thực hành 5.2: Xây dựng Dashboard Google Data Studio Start testing Google Data Studio Hình 5.2.1 Dashboard Candidates Hình 5.2.2 Dashboard Geography 19 Hà Văn Học - 20180264 Hình 5.2.3 Dashboard Charts and Score Cards Hình 5.2.4 Filters and Sorting in DataTable, Scorecard, GeoMap and Charts Hình 5.2.4 Data Blending & Calculated Fields 20 Hà Văn Học - 20180264 Thực hành Thực hành 6.1: Xây dựng Dashboard Power BI Hình 6.1.1 Dashboard Power BI Hình 6.1.2 Dashboard Power BI 21 Hà Văn Học - 20180264 Thực hành 6.2: Dashboard 3.0 Hình 6.2.1 Dashboard 3.0 liệu Phân tích: Chủ đề: Tình hình doanh thu sản phẩm quốc gia Mục đích: Sự khác biệt lượng mua dòng sản phẩm  Sự thay đổi dòng sản phẩm theo thời gian - Doanh thu bán hàng tăng mạnh vào năm 2004 tụt giảm vào năm 2005 - Hầu hết dòng sản phẩm mua vào tháng cuối năm 10,11  Lượng sale theo dealsize dịng sản phẩm - Medium ln chiếm doanh số cao hầu hết khu vực dòng sản phẩm - Motocycles size large chiếm cao CA, NY  Lượng sale tập trung khu vực phát triển giới  Tỷ trọng Classic Cars cao - Các dòng sản phẩm phân phối rộng tạo độ ưa chuộng 22 Hà Văn Học - 20180264 Thực hành 7: Tìm hiểu tính Power BI Hình 7.1 Stacked Column Chart Hình 7.2 Ribbon chart Hình 7.3 Pie Chart & Donut Chart 23 Hà Văn Học - 20180264 Hình 7.4 Funnel Chart & Column Chart Phần II.Kết thu được, đánh giá góp ý cho mơn học Kết thu được: Thực hành tuần 1: ETL liệu Các tổ chức cần ETL để kết nối liệu lại với nhau, đảm bảo độ xác cho liệu để làm báo cáo Cải thiện suất chun gia liệu mã hóa tái sử dụng quy trình di chuyển liệu mà không yêu cầu kỹ kỹ thuật để viết mã tập lệnh Giúp người dùng doanh nghiệp dễ dàng phân tích báo cáo liệu liên quan đến sáng kiến họ Kiến thức thu được:     Nắm cách ETL (tiền xử lý liệu) để liệu xác, không bị dư thừa, phù hợp với yêu cầu người sử dụng Biết cách định dạng liệu có điều kiện Sắp xếp: Sắp xếp liệu theo tiêu chí, nhiều tiêu chí, xếp theo giá trị, theo màu, xếp liệu theo yêu cầu đặc thù, v.v Lọc liệu: Lọc liệu theo tiêu chí, theo nhiều tiêu chí, theo yêu cầu đặc thù: control&check, v.v 24 Hà Văn Học - 20180264 Thực hành tuần 2: Pivot table Pivot table công cụ thống kê liệu mạnh mẽ Excel, đặc biệt hiệu cần thống kê nhanh để báo cáo với lợi ích vượt trội như: - Thống kê liệu siêu tốc Thao tác đơn giản, dễ sử dụng Kiểm soát liệu cách chi tiết Kiến thức thu được: Làm quen với Pivot Table:   Cách dùng Pivot Table Excel để thống kê liệu, Tạo báo cáo tổng hợp Pivot với thành phần, làm liêu, lấy liêu chi tiết từ báo cáo, định dạng liêu PivotTable, thêm cột/dòng tổng hợp, tùy chỉnh báo cáo dạng cổ điển, tùy chỉnh cơng thức tính (count, sum,), nhóm loại liêu (dạng ngày tháng, dạng, số), thu gọn liệu theo nhu cầu sử dụng từ làm báo cáo Các kiến thức nâng cao như: Tiền xử lý liệu, bổ sung cột liệu để làm báo tổng hợp Tùy chỉnh vẽ đồ thị: ∙ Cách xử lý liệu để vẽ đồ thị ∙ Làm việc với liệu(data) ∙ Làm việc với mẫu đồ thị (Chart Layout) ∙ Làm đồ thị với Pivot Table ∙ Cập nhật liệu đồ thị bảng thay đổi Làm báo cáo liệu bán hàng: Cách làm việc với mẫu biểu đồ excel Thực hành tuần 3: Xây dựng Dashboard Excel liệu - - Bảng điều khiển Excel bảng trực quan (hầu hết, lúc cần thiết) giúp người quản lý lãnh đạo doanh nghiệp theo dõi KPI số liệu đưa định dựa Nó chứa biểu đồ ,bảng ,khung nhìn hỗ trợ liệu Bảng điều khiển thường gọi báo cáo, nhiên, tất báo cáo bảng điều khiển Kiến thức thu được: - Xây dựng Dashboard excel: Biết cách làm báo cáo tổng hợp, phân tích kết thu từ Dashboard 25 Hà Văn Học - 20180264 Xác định chiều (DIM), các yếu tố phân tích (FACT) - Thực hành tuần 4: Power Query Power Query tích hợp sẵn Power BI Desktop, giúp cho việc chuẩn bị liệu, truy vấn liệu từ nhiều nguồn, mặt chức Power Query Excel Power Query Power BI Desktop giống tới 99% ETL liệu với Power Query: - Cách phân tích liệu Excel, xếp, lọc liệu,v.v Chuyển đổi Dữ liệu Excel sang Bảng Excel để đưa vào Power Query Định hình liệu (như loại bỏ cột, thay đổi kiểu liêu, ̣ tính tốn) Load liệu excel Lấy liệu từ Google Sheet ETL liệu Power Query, sau thống kê liệu cần Pivot Table: Thực hành tuần 5: Power Query & Dash Sử dụng Power Query: - Tùy chỉnh xem dashbroard theo tùy chọn Kết hợp với Power Pivot để xây dựng dasgboard Xây dựng dashboard google data studio: Google Data Studio dịch vụ tạo báo cáo trực quan, tương tác Data Studio cho phép nhập liệu từ nhiều hệ thống khác BigQuery, Google Analytics, Google Sheets, YouTube, … - Giải pháp để trình bày liệu tuyệt vời nhanh chóng Tạo dashboard giàu thơng tin, dễ đọc, dễ chia sẻ hồn tồn tùy chỉnh Dễ dàng truy cập chia sẻ liệu Thực hành tuần 6: Xây dựng Dashboard Power BI Power BI giải pháp phân tích kinh doanh cho phép bạn trực quan hóa liệu (visualization) chia sẻ hiểu biết sâu sắc (insights) tổ chức bạn nhúng báo cáo Dashboard vào ứng dụng trang web công ty bạn Các công cụ power BI: - Kết nối chuyển đổi liệu cách dễ dàng: Có thể truy cập liệu từ hàng trăm nguồn hỗ trợ chỗ tảng Power BI Excel, hệ CSDL, Api, Trực quan khám phá phân tích liệu nâng cao hình ảnh tiện ích: Power BI tạo ấn tượng mạnh việc dễ sử dụng Kiến thức thu sau thực hành: 26 Hà Văn Học - 20180264   Nắm kiến thức Power BI: cách kết nối, chuyển đổi liệu Power BI, phân tích liệu hình ảnh, làm báo cáo Dashboard, Biết cách tạo Dashborad Power BI từ tựu làm Dashboard 3.0 phân tích Thực hành tuần 7: Tìm hiểu tính Power BI Kiến thức thu sau thực hành: Cách làm báo cáo Google Data Studio: thêm biểu đồ vào báo cáo, thêm điều khiển tương tác ( lựa chọn thời gian hiển thị, lọc,v.v.), thêm chữ, vẽ đường hình khối vào báo cáo, thêm nguồn liệu vào báo cáo, mở bảng chủ đề bố cục, chỉnh sửa loại biểu đồ, v.v II Đánh giá góp ý cho môn học: Đánh giá cho môn học: - Mơn học có tính thực tế thời đại - Môn học cho tiếp cận liệu minh họa khơng phải lón đủ để hiểu khổng lồ liệu, bước làm quen ban đầu cho tương lai, đặc biệt bạn theo hướng Data Analysis - Môn học yêu cầu kiến thức ( Cơ sở liệu, cấu trúc liệu giải thuật, …) - Môn học yêu cầu nhanh nhạy việc tiếp thu sử dụng cơng cụ phân tích Exel, Power BI, Google Data Studio Góp ý cho mơn học: Mơn học “Kho liệu kinh doanh thông minh” mơn học hay, bổ ích thực quan trọng thời đại công nghệ Kinh doanh thông minh (Business Intelligence – BI) khoa học liệu (Data Warehouse )là hai tảng thúc đẩy phát triển ngành bán lẻ Trong BI phân tích liệu q khứ, khoa học liệu cho phép doanh nghiệp bán lẻ nhìn phía trước với xu hướng tương lai dự đốn xác Tận dụng hai tảng chìa khóa để nhà bán lẻ vượt qua đối thủ trụ vững thị trường nhiều thách thức Một số xu hướng BI khoa học liệu ngành bán lẻ Các quy trình quan trọng cần xem xét môi trường kinh doanh cạnh tranh ngày chúng mang lại thực tiễn quản lý liệu tốt mang lại kết tích cực Các công cụ thông minh kinh doanh (BI) thực công việc tuyệt vời việc truy cập sở liệu quan hệ Ngày xưa, phần lớn liệu cơng ty bị khóa ứng dụng độc quyền nhà vườn mà công cụ BI truy cập trực tiếp, điều yêu cầu trích xuất liệu vào sở liệu quan hệ thường kho liệu Hiện tại, hầu hết - hầu hết - hệ thống hoạt động công ty sử dụng sở liệu quan hệ, 27 Hà Văn Học - 20180264 cho phép BI truy cập trực tiếp vào liệu Ngày có nhiều lời bàn tán BI hoạt động, người truy cập trực tiếp vào hệ thống hoạt động cơng cụ BI họ Trong trường hợp đó, kho liệu không cần thiết Và yếu tố cần trọng đến có nên tích hợp kho liệu vào kinh doanh thơng minh khơng ? Thì cần thiết Vì thơng thường, liệu trải rộng nhiều ứng dụng với định nghĩa liệu tham chiếu khác nên liệu tham chiếu khơng có sẵn cho truy vấn thời gian thực mà khơng có kho liệu Ta thấy Kinh doanh thông minh Kho liệu gần đồng nghĩa với Chúng ta khơng thể làm điều mà khơng có cách khác: để phân tích kịp thời liệu lịch sử khổng lồ, phải tổ chức, tổng hợp tóm tắt định dạng cụ thể kho liệu Tài liệu tham khảo [1] https://www.youtube.com/channel/UCluw5rxM-bKFoZ-ZV1ZH3PQ [2].https://www.youtube.com/watch?v=1qGsjmmHiu8&list=PLlRtt3cDxl4Xsb69w4TrebEVQJ GerYVSB&index=8 [3].https://www.youtube.com/watch?v=BsXliHbOFDM&list=PLmd91OWgLVSLy87GfZCR74 BG1nhO7ER0s [4].https://www.youtube.com/watch?v=H84UJn1CiWo&list=PL6Omre3duOOGTAMuFuDOS8wMuuxmyaiX&index=3 [5].https://drive.google.com/file/d/1vknxSOOmLuq0NNzYY4gEhhSTONwZ3hUe/view?fbclid=I wAR2-Eiyv05X-oVNMDBmx2pINWYG0oGnNIHsS043DHHBcgHsPEi15I59Y32o [6] https://www.datapine.com/blog/data-warehousing-and-business-intelligence-architecture/ 28 ... Data Studio: thêm biểu đồ vào báo cáo, thêm điều khiển tương tác ( lựa chọn thời gian hiển thị, lọc,v.v.), thêm chữ, vẽ đường hình khối vào báo cáo, thêm nguồn liệu vào báo cáo, mở bảng chủ đề bố... cho mơn học: Mơn học ? ?Kho liệu kinh doanh thông minh? ?? môn học hay, bổ ích thực quan trọng thời đại công nghệ Kinh doanh thông minh (Business Intelligence – BI) khoa học liệu (Data Warehouse )là... thường, liệu trải rộng nhiều ứng dụng với định nghĩa liệu tham chiếu khác nên liệu tham chiếu khơng có sẵn cho truy vấn thời gian thực mà khơng có kho liệu Ta thấy Kinh doanh thông minh Kho liệu