Báo cáo cá nhân KHO dữ LIỆU và KINH DOANH THÔNG MINH

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC Báo cáo cá nhân: KHO DỮ LIỆU VÀ KINH DOANH THÔNG MINH Giảng viên hướng dẫn: Th.S Nguyễn Danh Tú Họ tên: MSSV: Lớp: Nguyễn Trung Hiếu 20173596 Toán Tin 01 K62 Hà Nội, 1/2021 MỤC LỤC Tự đánh giá cá nhân I Kết thực hành Thực hành 1: ETL liệu trong Excel .4 Thực hành 2.1:Hướng dẫn thực hành PIVOT Thực hành 2.2: Hướng dẫn tùy chỉnh đồ thị (CHART) .8 Thực hành 2.3:Làm báo cáo liệu bán hàng Thực hành 3.1: Xây dựng Dashboard Excel .9 Thực hành 3.2: Làm Dashboard 2.0 10 Thực hành 4.1: ETL liệu với PowerQuery 11 Thực hành 4.2: Lấy liệu từ Google Sheet vào Excel 11 Thực hành 5: PowerQuery & Dash 11 10 Thực hành 6: Xây dựng Dashboard Power BI 12 11 Thực hành 7: Tìm hiểu tính Power BI 13 12 Thực hành 8: Google Data Studio .19 II Kết thu được, đánh giá góp ý cho mơn học 20 Kết thu được: 20 Đánh giá góp ý cho môn học: .21 Tài liệu tham khảo .25 Tự đánh giá cá nhân Qua học tập làm việc hướng dẫn thầy Nguyễn Danh Tú giúp đỡ bạn, em hoàn thành tốt tập hàng tuần Bài báo cáo có đầy đủ tập giao Tuy nhiên thiếu xót tránh khỏi em mong nhận góp ý nhiều từ thầy bạn Một lần em xin gửi lời cảm ơn đến thầy Nguyễn Danh Tú, mơn Tốn- Tin, trường Đại học Bách Khoa Hà Nội, người nhiệt tình giảng dạy hướng dẫn em thực hành tập qua tuần Em xin chân thành cảm ơn! Đầu tiên, em xin gửi lời cảm ơn tới thầy Nguyễn Danh Tú hướng dẫn em môn học “Kho liệu kinh doanh thông minh” giúp em hiểu mơn học hiệu mang tính thực tiễn qua thực hành tập lớn Trong q trình học, em có cố gắng nghiêm túc với môn học đánh giá thân em môn học Công việc Đánh giá (thang điểm 10) Làm việc nhóm Làm tập đầy đủ 10 Tích cực phát biểu đóng góp cho buổi học lớp Sẵn sàng giúp đỡ bạn lớp 10 I Kết thực hành Thực hành 1: ETL liệu trong Excel ETL là gì? ETL viết tắt Extract - Transform - Load (tạm dịch: Trích xuất - biến đổi tải) Trong điện tốn, trích xuất - biến đổi - tải (ETL) quy trình chung chép liệu từ nhiều nguồn vào hệ thống đích đại diện cho liệu khác với nguồn Quá trình ETL trở thành khái niệm phổ biến năm 1970 thường sử dụng kho liệu Kiến thức nắm sau thực hành: nắm cách ETL (tiền xử lý liệu ) để liệu xác, không bị dư thừa, phù hợp với yêu cầu người sử dụng Cụ thể:    Biết cách định dạng liệu có điều kiện Sắp xếp: Sắp xếp liệu theo tiêu chí, nhiều tiêu chí, xếp theo giá trị, theo màu, xếp liệu theo yêu cầu đặc thù, v.v Lọc liệu: Lọc liệu theo tiêu chí, theo nhiều tiêu chí, theo yêu cầu đặc thù: control&check, v.v Bỏ vùng trộn: Đóng băng tiêu đề liệu: Nhân viên phận kho có hộ Hà Nội để lên lịch trực tết: Nhân viên phận kho: Nhân viên cần xác minh lại hộ khẩu: Nhân viên chưa có thơng tin CMND: Nhân viên có thu nhập từ đến 10 triệu: Thực hành 2.1:Hướng dẫn thực hành PIVOT Kiến thức nắm sau thực hành: Làm quen với Pivot Table :   Cách dùng Pivot Table Excel để thống kê liệu, Tạo báo cáo tổng hợp bằng Pivot với các thành phần, làm mới dữ liê ̣u, lấy dữ liê ̣u chi tiết từ báo cáo, định dạng dữ liê ̣u PivotTable, thêm các cô ̣t/dòng tổng hợp, tùy chỉnh báo cáo dạng cổ điển, tùy chỉnh công thức tính (count, sum,….), nhóm các loại dữ liê ̣u (dạng ngày tháng, dạng, số), thu gọn liệu theo nhu cầu sử dụng từ làm báo cáo Các kiến thức nâng cao như: Tiền xử lý liệu, bổ sung cột liệu để làm báo tổng hợp,.v.v Tùy chỉnh vẽ đồ thị:      Cách xử lý liệu để vẽ đồ thị Làm việc với liệu( data) Làm việc với mẫu đồ thị ( Chart Layout) Làm đồ thị với Pivot Table Cập nhật liệu đồ thị bảng thay đổi Làm báo cáo liệu bán hàng: Cách làm việc với mẫu biểu đồ excel Thực hành 2.2: Hướng dẫn tùy chỉnh đồ thị (CHART) Làm việc với mẫu biểu đồ: Thực hành 2.3:Làm báo cáo liệu bán hàng Thực hành 3.1: Xây dựng Dashboard Excel Bảng điều khiển Excel bảng trực quan (hầu hết, lúc cần thiết) giúp người quản lý lãnh đạo doanh nghiệp theo dõi KPI số liệu đưa định dựa Nó chứa biểu đồ / bảng / khung nhìn hỗ trợ liệu Bảng điều khiển thường gọi báo cáo, nhiên, tất báo cáo bảng điều khiển Kiến thức nắm sau thực hành: 10 -Xây dựng Dashboard excel: -Cách làm Dashboard 2.0 -Biết cách làm báo cáo tổng hợp từ tự xây dựng Dashboard 2.0, phân tích kết thu từ Dashboard Thực hành 3.2: Làm Dashboard 2.0 11 Chủ đề: Doanh thu, sản phẩm thị trường tiềm Mục đích: Phân tích thay đổi nhu cầu, sở thích khách hàng, qua thay đổi chiến thuật kinh doanh để mang tới lợi nhuận cao Thông tin đọc Dashboard: - Doanh thu có tiến triển mạnh từ năm 2003-2004, có sụt giảm nghiêm trọng giai đoạn 2005, nên cần phải đổi kinh doanh để tránh để doanh thu giảm sút nghiêm trọng - Quy mô giao dịch lớn tầng S-M-L Classic Car Đặc biệt tầng M(Medium), số lượng Classic Car gấp lần Vintage Cars (là dịng xe có số lượng đứng thứ 2) Ở tầng L(large), dịng Ships gần khơng có - Trong năm, dòng xe bán chạy Classic Car, dòng xe ế ẩm Trains - Tổng doanh thu năm từ 2003-2005, Classic Car đứng đầu, đứng chót bảng doanh thu năm lại tiếp tục Trains - Thị trường lớn Hoa Kỳ tây Canada Khu vực Tây Nam châu Âu thị trường tốt Các thị trường tiêu thụ Úc hay Canada cho doanh thu mức tạp chấp nhận Thực hành 4.1: ETL liệu với PowerQuery Power Query lần đầu xuất dạng Addin Excel cho phiên Excel 2010 Tới phiên Excel 2016 trở sau Excel 365, Power Query xuất tên “Get and Transform” Cái tên “Power Query” có ý nghĩa nói lên khả truy xuất liệu cách mạnh mẽ Cái tên “Get and Transform” thể rõ ràng chức Power Query làm việc với liệu Power Query tích hợp sẵn Power BI Desktop, giúp cho việc chuẩn bị liệu, truy vấn liệu từ nhiều nguồn, mặt chức Power Query Excel Power Query Power BI Desktop giống tới 99% Power Query công cụ ETL: chữ ETL viết tắt Extract, Transform, Load ETL quy trình Business Intelligence, trước tính tốn số cho business, lập báo cáo thật đẹp thời gian cơng sức dành cho ETL lên tới 80% ETL liệu với Power Query:     Cách phân tích liệu Excel, xếp, lọc liệu,v.v Chuyển đổi Dữ liệu Excel sang Bảng Excel để đưa vào Power Query Định hình dữ liê ̣u(chẳng hạn loại bỏ cột, thay đổi kiểu dữ liê ̣u hoă ̣c sáp nhập bảng, tính tốn, v.v) Load liệu excel 12 ETL liệu Power Query, sau thống kê liệu cần Pivot Table : Thực hành 4.2: Lấy liệu từ Google Sheet vào Excel Thực hành 5: PowerQuery & Dash 13 10 Thực hành 6: Xây dựng Dashboard Power BI Power BI giải pháp phân tích kinh doanh cho phép bạn trực quan hóa liệu (visualization) chia sẻ hiểu biết sâu sắc (insights) tổ chức bạn nhúng báo cáo Dashboard vào ứng dụng trang web cơng ty bạn  Từ giúp cho Ban điều hành nhà quản trị doanh nghiệp đưa định kinh doanh quản lý hiệu kịp thời Các công cụ power BI: - Kết nối chuyển đổi liệu cách dễ dàng: Bạn truy cập liệu từ hàng trăm nguồn hỗ trợ chỗ tảng Power BI nguồn Excel, hệ CSDL, Api, Thường việc chuẩn bị liệu phần lớn thời gian Vậy trải nghiệm Power BI với hai công cụ Power Query và Power Pivot quen thuộc Excel Hoàn toàn giống từ chức đến giao diện, Power BI giúp người dùng chuẩn hóa liệu xây dựng tảng mơ hình liệu cho báo cáo Dashboard hiệu - Trực quan khám phá phân tích liệu nâng cao hình ảnh tiện ích: Power BI tạo ấn tượng mạnh việc dễ sử dụng Người dùng tự tìm hiểu sâu liệu, tìm nhanh, nhóm, dự báo phân cụm liệu Người dùng nâng cao có tồn quyền kiểm sốt mơ hình liệu (Data model) Đồng thời, cung cấp tính nâng cao trực quan hóa đồ địa lý tương tác cung cấp Bing Maps khả phân tích dự đốn thơng qua tập lệnh hình ảnh R, Microsoft Azure Machine Learning Azure Stream Analytics, nơi doanh nghiệp sử dụng liệu họ để dự đoán kết Kiến thức thu sau thực hành: 14   Nắm kiến thức Power BI: cách kết nối, chuyển đổi liệu Power BI, phân tích liệu hình ảnh, làm báo cáo Dashboard, Biết cách tạo Dashborad Power BI từ tựu làm Dashboard 3.0 phân tích 11 Thực hành 7: Tìm hiểu tính Power BI Nghiên cứu chi tiết tính Power BI : 15 16 17 18 12 Thực hành 8: Google Data Studio 19 20 II Kết thu được, đánh giá góp ý cho mơn học Kết thu được: - - Lý thuyết: o Khái niệm Kho liệu o Kiến trúc Kho liệu o Mơ hình hóa liệu o Lập mục o Tối ưu hóa o Phép tốn truy vấn OLAP o Xây dựng Kho liệu Thực hành : Thực hành tuần 1: ETL liệu Kiến thức nắm sau thực hành: nắm cách ETL (tiền xử lý liệu ) để liệu xác, khơng bị dư thừa, phù hợp với u cầu người sử dụng Cụ thể: 21    Biết cách định dạng liệu có điều kiện Sắp xếp: Sắp xếp liệu theo tiêu chí, nhiều tiêu chí, xếp theo giá trị, theo màu, xếp liệu theo yêu cầu đặc thù, v.v Lọc liệu: Lọc liệu theo tiêu chí, theo nhiều tiêu chí, theo yêu cầu đặc thù: control&check, v.v Thực hành tuần 2: Pivot table Kiến thức nắm sau thực hành: Làm quen với Pivot Table :   Cách dùng Pivot Table Excel để thống kê liệu, Tạo báo cáo tổng hợp bằng Pivot với các thành phần, làm mới dữ liê ̣u, lấy dữ liê ̣u chi tiết từ báo cáo, định dạng dữ liê ̣u PivotTable, thêm các cô ̣t/dòng tổng hợp, tùy chỉnh báo cáo dạng cổ điển, tùy chỉnh công thức tính (count, sum,….), nhóm các loại dữ liê ̣u (dạng ngày tháng, dạng, số), thu gọn liệu theo nhu cầu sử dụng từ làm báo cáo Các kiến thức nâng cao như: Tiền xử lý liệu, bổ sung cột liệu để làm báo tổng hợp,.v.v Tùy chỉnh vẽ đồ thị:      Cách xử lý liệu để vẽ đồ thị Làm việc với liệu( data) Làm việc với mẫu đồ thị ( Chart Layout) Làm đồ thị với Pivot Table Cập nhật liệu đồ thị bảng thay đổi Làm báo cáo liệu bán hàng: Cách làm việc với mẫu biểu đồ excel Thực hành tuần 3: Dashboard Kiến thức nắm sau thực hành: Xây dựng Dashboard excel: Cách làm Dashboard 2.0 Biết cách làm báo cáo tổng hợp từ tự xây dựng Dashboard 2.0, phân tích kết thu từ Dashboard Thực hành tuần 4: Power Query ETL liệu với Power Query:     Cách phân tích liệu Excel, xếp, lọc liệu,v.v Chuyển đổi Dữ liệu Excel sang Bảng Excel để đưa vào Power Query Định hình dữ liê ̣u(chẳng hạn loại bỏ cột, thay đổi kiểu dữ liê ̣u hoă ̣c sáp nhập bảng, tính tốn, v.v) Load liệu excel 22 Lấy liệu từ Google Sheet Thực hành tuần 5: Power Query and Dash Sử dụng Power Query Thực hành tuần 6: Xây dựng Dashboard Power BI Kiến thức thu sau thực hành:   Nắm kiến thức Power BI: cách kết nối, chuyển đổi liệu Power BI, phân tích liệu hình ảnh, làm báo cáo Dashboard, Biết cách tạo Dashborad Power BI từ tựu làm Dashboard 3.0 phân tích Thực hành tuần 7: Tìm hiểu tính Power BI Thực hành tuần 8: Google Data Studio Kiến thức thu sau thực hành: Cách làm báo cáo Google Data Studio: thêm biểu đồ vào báo cáo, thêm điều khiển tương tác ( lựa chọn thời gian hiển thị, lọc,v.v.), thêm chữ, vẽ đường hình khối vào báo cáo, thêm nguồn liệu vào báo cáo, mở bảng chủ đề bố cục, chỉnh sửa loại biểu đồ, v.v Đánh giá góp ý cho mơn học: Đánh giá cho mơn học: - - Mơn học có tính thực tế thời đại Môn học cho tiếp cận liệu minh họa khơng phải lón đủ để hiểu khổng lồ liệu, bước làm quen ban đầu cho tương lai, đặc biệt bạn theo hướng Data Analysis Môn học yêu cầu kiến thức ( Cơ sở liệu, cấu trúc liệu giải thuật, …) Môn học yêu cầu nhanh nhạy việc tiếp thu sử dụng cơng cụ phân tích Exel, Power BI, Google Data Studio Góp ý cho mơn học: Môn học “ Kho liệu kinh doanh thông minh” mơn học hay, bổ ích thực quan trọng thời đại công nghệ Ngày nay, mà việc phân tích liệu trở nên quan trọng doanh nghiệp nhằm hỗ trợ định, gia tăng lợi cạnh tranh Tuy nhiên Database thông thường lại không thoả mãn u cầu phân tích liệu, Database thơng thường hỗ trợ tốt nghiệp vụ hàng ngày điểm mạnh bảo đảm tồn vẹn liệu, xử lý giao dịch, truy cập song song Database thơng thường gọi Database nghiệp vụ (Operational Database) hệ thống xử lý giao dịch thời gian thực (online transaction processing – OLTP) Thông thường Database nghiệp vụ lưu trữ liệu chi tiết cho thời điểm tại, không lưu 23 liệu lịch sử, liệu Database thiết kế chuẩn hố cao nên thường có hiệu truy vấn phức tạp (join nhiều bảng liệu với nhau) khối lượng liệu lớn Thêm nữa, việc truy vấn liệu từ nhiều nguồn khác gần dùng Database nghiệp vụ Vì vậy, Data Warehouse ( Kho liệu) phần quan trọng hệ thống báo cáo quản trị thông minh, là kho liệu tập trung chuyên dùng cho tạo báo cáo phân tích liệu Data Warehouse hỗ trợ truy vấn phức tạp, vừa điểm tập trung liệu từ nhiều nguồn khác để có thơng tin phân tích đầy đủ Theo Data Warehouse tập hợp liệu hướng chủ đề, tồn vẹn, khơng bị rị rỉ mát có giá trị lịch sử Data Warehouse yếu tố bản, đóng vai trị then chốt việc tập hợp, xử lý liệu thô doanh nghiệp Do lượng thông tin doanh nghiệp đến từ nhiều nguồn khác nhau, dẫn đến việc liệu khơng đồng nhất, bên cạnh khối lượng liệu tăng nhanh theo thời gian Điều dẫn đến tải giảm đáng kể khả truy xuất đơn vị dụng database nhất. Xây dựng Data Warehouse công đoạn q trình tích hợp hệ thống báo cáo quản trị thông minh cho doanh nghiệp Từ hệ thống báo cáo truy xuất, xử lý liệu cách nhanh chóng dễ dàng Vì vậy, nắm kiến thức mơn học Kho liệu kinh doanh thông minh giúp em có tảng vững q trình tích hợp hệ thống báo cáo quản trị thông minh cho dự án công việc sau Tuy nhiên, môn học lớp nên thời gian môn học không nhiều, với thời lượng tiết tuần nên kiến thức em môn học chưa thực sâu Vì có thể, em mong tăng thời lượng cho môn học nhiều Môn học có tính thực tiễn cao, nên cần nhiều thí dụ hay ví dụ trực tiếp từ lý thuyết học Các thực hành liên quan đến Excel quen thuộc ( thực hành 2) gộp chung, để thực hành sau có tính mẻ hơn, khó có thêm thời gian làm quen học Mong muốn cá nhân: Em mong muốn thầy Nguyễn Danh Tú viết sách môn “Kho liệu kinh doanh thông minh”, tổng hợp cho lớp sử dụng từ buổi học đầu tiên, để chúng em hiểu mơn học qua kiến thức từ nguồn thống, khơng phải đọc kiến thức Internet lo lắng có thực thống hay không 24 Tài liệu tham khảo [1] https://www.youtube.com/watch? v=jQn6oLQ4jac&fbclid=IwAR18xwEpa8kJNMZAzJeHCgAOot6tcaUeRMJKUmRka3nGkzhG9bHg Wrrv-rE [2] https://www.youtube.com/watch?v=0Lm2NFAie68&t=1698s&fbclid=IwAR14FtP-6aZmqx9YtO8Zv-dyJfXcfsC4H23wUMD8jOwhqL9AZSOEBIWd1k [3] https://www.youtube.com/watch? v=cl86Sqa4PZY&list=PLoI3zgRgTJKYfWCcfmlXLRY18WmYTmpFm&fbclid=IwAR3D3skxMJen ETDtJwI2ozB9TALWW0jBRm8bFUOwQT_Oa0L5ko3PKUYIkHY [4] https://www.youtube.com/watch? v=K74_FNnlIF8&fbclid=IwAR0CuBawVob12smZylvPXM7cjgi7EYYNCcB4L327YFI8EnJWwWtM TS_x0VU [5] https://www.youtube.com/watch?v=yguT5TaqeXc&list=PLm8I8moAHiH1_n4Y1wE0sebhtscpN9o6&fbclid=IwAR18A7RqVHV-hjnOHAV19CbjLdQaxGQlEk7oEgqX1LyantvNNIfAp8Gbgw [6] https://www.youtube.com/watch? v=JcADzYHF0AY&fbclid=IwAR3UWQ3_pYh2Pvbqxx1hSE0gXQ2xp553xDtvWGnICaac7cTSg7VJ gZl4I48 [7] https://www.youtube.com/watch?v=TK0CJBaqvnY&t=621s&fbclid=IwAR0kVcr6xi1Q3SVzC3C2oYIXqyPbw 8SLXuyj_G1NXmyktMPy0v5eJoos [8] https://www.youtube.com/watch? v=BsXliHbOFDM&list=PLmd91OWgLVSLy87GfZCR74BG1nhO7ER0s&index=5&t=2061s&fbclid =IwAR1W4vRjkCP_dJHVDuatxH0V2EgOpHOImkJ7kRV3ge5ZFqZy1-HxI4rxlCI [9] https://www.youtube.com/watch?v=H84UJn1CiWo&list=PL6Omre3duOOGTAMuFuDOS8wMuuxmyaiX&index=1&fbclid=IwAR1W4vRjkCP_dJHVDuatxH0V2EgOpHOI mkJ7kRV3ge5ZFqZy1-HxI4rxlCI 25 ... hợp hệ thống báo cáo quản trị thông minh cho doanh nghiệp Từ hệ thống báo cáo truy xuất, xử lý liệu cách nhanh chóng dễ dàng Vì vậy, nắm kiến thức mơn học Kho liệu kinh doanh thông minh giúp em... hành: Cách làm báo cáo Google Data Studio: thêm biểu đồ vào báo cáo, thêm điều khiển tương tác ( lựa chọn thời gian hiển thị, lọc,v.v.), thêm chữ, vẽ đường hình khối vào báo cáo, thêm nguồn liệu vào... hỗ trợ liệu Bảng điều khiển thường gọi báo cáo, nhiên, tất báo cáo bảng điều khiển Kiến thức nắm sau thực hành: 10 -Xây dựng Dashboard excel: -Cách làm Dashboard 2.0 -Biết cách làm báo cáo tổng