Việc trực quan hóa dữ liệu vô cùng quan trọng trong việc phân tích hoạch định chiến lược cho các công ty. Đây cũng là đề tài được lựa chọn của rất nhiều sinh viên. Hãy cũng khám phá điều kỳ diệu của trực quan hóa dữ liệu
TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN VÀ KINH TẾ SỐ BÁO CÁO CHUYÊN ĐỀ Tên đề tài: PHÁT TRIỂN HỆ THỐNG TRỰC QUAN HÓA DỮ LIỆU HỖ TRỢ QUẢN LÝ CÔNG NỢ TẠI CÔNG TY CÔNG NGHỆ TIN HỌC SUN VIỆT TECHNOLOGIES Sinh viên Mã sinh viên : Phạm Mạnh Hùng : 11192192 Hà Nội - 2022 TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN VÀ KINH TẾ SỐ BÁO CÁO CHUYÊN ĐỀ Tên đề tài: PHÁT TRIỂN HỆ THỐNG TRỰC QUAN HĨA DỮ LIỆU HỖ TRỢ QUẢN LÝ CƠNG NỢ TẠI CÔNG TY CÔNG NGHỆ TIN HỌC SUN VIỆT TECHNOLOGIES Sinh viên Mã sinh viên Lớp chuyên ngành Giảng viên hướng dẫn : Phạm Mạnh Hùng : 11192192 : Hệ thống thông tin quản lý 61A : TS.Trần Thị Song Minh Hà Nội - 2022 MỤC LỤC MỤC LỤC i DANH MỤC HÌNH iii LỜI MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ CÔNG TY SUN VIỆT TECHNOLOGIES 1.1 Tổng quan công ty Sun Việt Technologies JSC 1.2 Các toán nghiệp vụ quản lý công ty SVTech 1.3 Bài tốn cơng nợ phận Quản lý dự án (Project Manager) 1.3.1 Thực trạng ứng dụng công nghệ quản lý công nợ phận Quản lý dự án 1.3.2 Những vấn đề tồn với phương pháp nêu 1.3.3 Hướng giải cho trạng nêu CHƯƠNG : PHƯƠNG PHAP LUẬN PHAT TRIỂN HỆ THỐNG TRỰC QUAN HOA DỮ LIỆU 2.1 Tổng quan hệ thống trực quan hóa liệu 2.1.1 Khái niệm hệ thống trực quan hóa liệu 2.1.2 Phương pháp xây dựng hệ thống trực quan hóa liệu 2.2 Giải pháp cơng cụ phát triển hệ thống trực quan hóa liệu 10 2.2.1 Giải pháp phát triển hệ thống trực quan hóa liệu 10 2.2.2 Cơng cụ để phát triển hệ thống trực quan hóa liệu 11 CHƯƠNG : PHÁT TRIỂN HỆ THỐNG TRỰC QUAN HÓA DỮ LIỆU HỖ TRỢ QUẢN LÝ CÔNG NỢ TẠI CÔNG TY CÔNG NGHỆ TIN HỌC SUN VIET TECHNOLOGIES 15 3.1 Phân tích hệ thống trực quan hóa liệu quản lý cơng nợ cho phịng ban Quản lý dự án (PM) 15 3.1.1 Xác định yêu cầu hệ thống 16 3.1.2 Mơ hình hóa hệ thống trực quan hóa liệu 17 i 3.2 Xây dựng hệ thống trực quan hóa liệu hỗ trợ quản lý cơng nợ cho phòng ban Quản lý dự án (PM) 19 3.2.1 Thiết kế giao diện đầu vào (Các tập liệu nơi lưu trữ) 19 3.2.2 Thiết kế giao diện đầu (Các báo cáo đầu ra) 24 3.2.3 Thiết kế trình ETL 36 KẾT LUẬN 50 TÀI LIỆU THAM KHẢO 51 ii DANH MỤC HÌNH Hình 3.1: Sơ đồ luồng liệu 18 Hình 3.2: Cấu hình máy ảo Window Server 19 Hình 3.3: Thư mục lưu trữ tệp liệu 20 Hình 3.4: Tài khoản truy cập máy ảo 20 Hình 3.5: Tài khoản truy cập máy ảo 21 Hình 3.6: Các tập liệu máy ảo 21 Hình 3.7: Các trường liệu thơ 22 Hình 3.8: Bảng liệu Hist DB 23 Hình 3.9: Bảng liệu Temp DB 23 Hình 3.10: Kết nối sở dư liệu 25 Hình 3.11: Kết nối sở dư liệu 25 Hình 3.12: Các lược đồ DB 27 Hình 3.13: Các lược đồ DB 27 Hình 3.14: Dashboard cơng nợ theo Ngày 29 Hình 3.15: Dashboard cơng nợ theo Ngày 29 Hình 3.16: Bảng liệu gốc báo cáo 30 Hình 3.17: Câu lệnh phân chia phận 31 Hình 3.18: Dashboard Cơng nợ theo phận 31 Hình 3.19: Tính dashboard 32 Hình 3.20: Chọn Nơi lưu trữ cho báo cáo 32 Hình 3.21: Các dashboard sau xuất 33 Hình 3.22: Các dashboard sau xuất 33 Hình 3.23: Tạo kết nối cho tập liệu 34 Hình 3.24: Tạo kết nối cho tập liệu 35 Hình 3.25: Lên lịch làm cho dashboard 35 Hình 3.26: Lên lịch làm cho dashboard 36 Hình 3.27: Tạo kết nối với nguồn liệu 37 Hình 3.28: Tạo kết nối với nguồn liệu 37 iii Hình 3.29: Tạo kết nối với nguồn liệu 38 Hình 3.30: Tạo kết nối với nguồn liệu 38 Hình 3.31: Tạo kết nối với nguồn liệu 39 Hình 3.32: Tạo kết nối với nguồn liệu 39 Hình 3.33: Tạo kết nối với đích 40 Hình 3.34: Tạo Mapping nguồn đích 41 Hình 3.35: Tính thời gian chênh lệch 42 Hình 3.36: Tính thời gian chênh lệch 42 Hình 3.37: Tính thời gian chênh lệch 43 Hình 3.38: Tạo Mapping nguồn đích 44 Hình 3.39: Tạo thủ tục cho trình 45 Hình 3.40: Tạo thủ tục cho trình 45 Hình 3.41: Tạo thủ tục cho trình 46 Hình 3.42: Lập lịch cho trình ETL 46 Hình 3.43: Lập lịch cho trình ETL 47 Hình 3.45: Lập lịch cho trình ETL 47 Hình 3.46: Lập lịch cho trình ETL 48 iv LỜI MỞ ĐẦU Lý chọn đề tài Nếu thập niên đầu kỷ 20, người ta cho dầu mỏ nguồn tài nguyên giới Nhưng tại, cách mạng 4.0 ngày đến gần, đổi mặt sống, nhận định dường khơng cịn Dữ liệu nguồn tài nguyên thời kỳ chuyển đổi số, khơng phải có cơng ty, doanh nghiệp hay phủ nước mà tài nguyên giới Đi kèm với điều đó, trực quan hóa liệu vấn đề cần thiết cho muốn khai thác mỏ vàng Việc trực quan hóa liệu ngồi việc giúp làm liệu, đưa nhìn chun sâu, biến liệu khơ khan thành thơng tin có giá trị cịn tập hợp quy trình giúp tổ chức liệu cách có cấu trúc, dễ dàng khai thác phát triển Trực quan hóa liệu tự động giúp cho nhà quản lý dễ dàng việc điều hành nắm bắt thông tin vận hành Bên cạnh mẫu báo cáo cơng cụ hữu ích giúp cho việc định nhanh chóng xác Đối với người vận hành hệ thống trực quan hóa liệu khơng khó để vận hành Có thể dễ dàng đào tạo, phát triển mẫu báo cáo theo nhìn chuyên sâu, nhu cầu cá nhân Việc tự động hóa báo cáo cịn giúp cho người làm việc với liệu bớt nhiều thao tác sai sót q trình làm việc Thay phân tích dịng số liệu khơ khan, ta có biểu đồ với đầy đủ thơng tin cần thiết dễ thích nghi mặt thị giác Mục tiêu nghiên cứu đề tài Mục tiêu đề tài phát triển hệ thống trực quan hóa liệu dựa phần mềm bên thứ ba với tiêu chí sau: • Giải tốn doanh nghiệp • Tự động hóa quy trình • Dễ thao tác • Khơng tốn cơng sức vận hành • Tiết kiệm chi phí Hệ thống thiết kế để chạy cách tự động có quy luật, phải đảm bảo yếu tố đầu vào báo cáo đầu dễ tiếp cận dễ thao tác để kể người nhiều cơng nghệ sử dụng Phạm vi nghiên cứu Đề tài nghiên cứu giải tồn phịng ban như: Sale Service, Project Manager, BOD… tồn cơng ty với kiến trúc không đổi, thống từ trước Nhưng phạm vi có hạn, đề tài tập trung chủ yếu vào việc xây dựng hệ thống trực quan hóa liệu giải tốn cơng nợ phịng ban Quản lý dự án (Project Manager) Kế hoạch thực Giai đoạn 1: (15/08/2022 – 05/09/2022) Trao đổi, lấy thơng tin trạng phịng ban : • Cách thức lưu trữ liệu thời điểm • Các báo cáo thời điểm • Yêu cầu bảo mật liệu phòng ban Giai đoạn 2: (05/09/2022 - 05/10/2022) • Đưa kiến trúc phù hợp với tốn phịng ban • Thiết kế báo cáo mẫu dựa u cầu nghiệp vụ phịng ban • Xin tài nguyên phần cứng cần dùng gửi yêu cầu mua quyền phần mềm tương ứng Giai đoạn 3: (06/10/2022 – 06/11/2022) • Thiết kế nơi lưu trữ, sở liệu hệ thống • Xây dựng luồng xử lý liệu dựa tài ngun có sẵn • Liên kết phần mềm vào hệ thống • Viết tài liệu đào tạo, tài liệu nghiệp vụ liên quan Giai đoạn 4: (07/11/2022 – 16/11/2022) • Tiến hành chạy thử tồn hệ thống • Đào tạo sử dụng • Bàn giao hệ thống tài liệu liên quan Kết cấu Đề tài có kết cấu gồm chương: • Chương 1: Giới thiệu tổng quan công ty Sun Việt Technologies • Chương 2: Phương pháp luận phát triển hệ thống trực quan hóa liệu • Chương 3: Phát triển hệ thống trực quan hóa liệu hỗ trợ quản lý cơng nợ cơng ty SVTech • Chương 4: Kết luận CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ CƠNG TY SUN VIỆT TECHNOLOGIES 1.1 Tổng quan cơng ty Sun Việt Technologies JSC Công ty cổ phần phát triển công nghệ tin học Sun Việt Technologies JSC (SVTech) biết đến cơng ty tích hợp hệ thống sớm Việt Nam Với tầm nhìn sứ mệnh trở thành đơn vị tích hợp hệ thống hàng đầu Việt Nam khu vực, SVTech tập trung vào việc nâng cao giá trị, đặt lợi ích khách hàng lên đầu đào tạo người SVTech hoạt động lĩnh vực sau : + Giải pháp tích hợp + Giải pháp phần mềm + Dịch vụ quản trị Các giải pháp bao gồm tư vấn, cung cấp triển khai giải pháp tích hợp hệ thống nhằm nâng cao hiệu vận hành hệ thống Công nghệ thông tin tiết kiệm chi phí Tùy biến hệ thống Cơng nghệ thơng tin để phù hợp với ứng dụng thực tế tổ chức, doanh nghiệp Giải pháp chuyển đổi kỹ thuật số bao gồm tư vấn giải pháp phần mềm giúp tổ chức, doanh nghiệp hướng tới chuyển đổi số Nâng cao hiệu tác nghiệp nghiệp vụ chuyên môn tổ chức, doanh nghiệp, cải thiện trải nghiệm người dùng cách đáng kể Về dịch vụ, SVTech đối tác thân thết hãng công nghệ lớn giới : IBM, Oracl, Juniper… Kết hợp với sản phẩm hãng với đội ngũ kỹ sư đưa đến cho doanh nghiệp giải pháp phần cứng phần mêm phù hợp với chi phí tối ưu Hình 3.29: Tạo kết nối với nguồn liệu Tạo nơi lưu trữ (Datastore) tệp liệu cần dùng (dưới dạng csv), tệp liệu có tên PM_HN_Generate.csv Hình 3.30: Tạo kết nối với nguồn liệu Sau đó, cần thiết lập thơng số mặt định dạng tệp liệu để ODI đọc trường (Metadata) cần thiết, cụ thể dòng đầu tiên, phân cách dấu phẩy… 38 Hình 3.31: Tạo kết nối với nguồn liệu Cuối cùng, cần tải Metadata lên công cụ, chỉnh sửa độ dài cột liệu, ta bảng sau : Hình 3.32: Tạo kết nối với nguồn liệu Đối với cột giá trị số, chữ chuyển kiểu liệu String độ dài 2000, để tránh tình trạng giá trị liệu dài vượt độ dài cho phép gây thiếu sót lỗi q trình chạy 39 Tạo kết nối với đích Đích hệ thống sở liệu quan hệ Oracle Database, việc thiết lập kết nối với đích tương tự tạo kết nối với nguồn Điểm khác không cần tạo nơi lưu trữ, sau tạo xong Model kéo trực tiếp thơng tin trường, bảng (metadata) bảng liệu Hình 3.33: Tạo kết nối với đích Tương tự kiểu liệu với nguồn, trường liệu bảng đích đưa dạng Varchar2 với độ dài 2000, tránh tình trạng liệu nguồn lớn đưa vào đích không đủ không gian lưu trữ gây thiếu chạy không thành công Tạo Mapping Mapping sơ đồ luồng liệu sau kết nối nguồn đích, tạo để liên kết, thêm điều kiện, tính tốn nghiệp vụ 40 Hình 3.34: Tạo Mapping nguồn đích Trong trường hợp nghiệp vụ phòng Quản lý dự án (Project Manager), cần tính tốn thời gian chênh lệch hợp đồng theo thời gian thực dựa cột tệp liệu nguồn : • Planned_Receivable_Date Case When substr(FILE_PM_HN.Planned_Receivable_Date,3,1)='/' then round(sysdate to_date(substr(FILE_PM_HN.Planned_Receivable_Date,4,2)|| '-'|| substr(FILE_PM_HN.Planned_Receivable_Date,1,2)||'-'|| substr(FILE_PM_HN.Planned_Receivable_Date,7,4),'dd-mmyyyy'),0) When FILE_PM_HN.Planned_Receivable_Date is null then null Else round(sysdate to_date(FILE_PM_HN.Planned_Receivable_Date,'dd-mm-yyyy'),0) End 41 Hình 3.35: Tính thời gian chênh lệch • Updated_Receivable_Date Hình 3.36: Tính thời gian chênh lệch 42 Case When substr(FILE_PM_HN.Updated_Receivable_Date,3,1)='/' then round(sysdate to_date(substr(FILE_PM_HN.Updated_Receivable_Date,4,2)|| '-' || substr(FILE_PM_HN.Updated_Receivable_Date,1,2)||'-'|| substr(FILE_PM_HN.Updated_Receivable_Date,7,4),'dd-mm-yyyy'),0) When FILE_PM_HN.Updated_Receivable_Date is null then null Else round(sysdate to_date(FILE_PM_HN.Updated_Receivable_Date,'dd-mm-yyyy'),0) End Bên cạnh đó, cần có cột liệu số tự sinh để cơng cụ trực quan hóa dựa theo tham chiếu Hình 3.37: Tính thời gian chênh lệch Vì vậy, cần tạo thêm trường tính tốn trường số tự sinh với mục đích nêu 43 Bảng SRC_PM_HN_Generate sinh để lưu liệu nên cần xóa nạp liệu theo thời gian quy ước nên cần thiết lập sau : Hình 3.38: Tạo Mapping nguồn đích Tạo thủ tục để phục vụ q trình ETL Như trình bày trên, cơng cụ ODI phân biệt liệu hay cũ mà đưa liệu vào sở liệu theo khung thời gian quy ước Vì vậy, cần có trường Diff_Key để phân biệt mốc thời gian liệu với để trường phân biệt liệu cũ với liệu Cụ thể thủ tục sau : Khi bảng SRC_PM_HN_Generate có liệu mới, ODI so sánh liệu cột Diff_Key với liệu cột PM_HN_Table bảng PM_HN_Table Nếu Diff_Key 44 PM_HN_Table có SRC_PM_HN_Generate xóa tồn liệu đi, sau nạp (Insert tồn liệu từ SRC_PM_HN_Generate vào PM_HN_Table Xóa liệu bảng PM_HN_Table Hình 3.39: Tạo thủ tục cho trình Nạp liệu vào PM_HN_Table Hình 3.40: Tạo thủ tục cho trình 45 Commit liệu với mục đích xác nhận hoạt động Hình 3.41: Tạo thủ tục cho trình Tạo thời gian chạy (Load Plans) Theo nghiệp vụ nêu trêu, tác vụ xếp theo sau : Bước : Chạy Mapping liệu Bước : Chạy Procedure_Thủ tục Hình 3.42: Lập lịch cho trình ETL 46 Tạo lịch cho thủ tục Hình 3.43: Lập lịch cho trình ETL Cần chọn Agent : Tự động chạy Status : Tình trạng chạy Execution : Thời gian chạy Sau lưu, lịch chạy liệu lên sau : Hình 3.45: Lập lịch cho trình ETL 47 Khi lên lịch xong, job ETL chạy sau : Hình 3.46: Lập lịch cho trình ETL Ưu nhược điểm hệ thống trực quan hóa liêu phận Quản lý dự án công nợ (PM) công ty SVTech Ưu điểm : + Ưu điểm lớn hệ thống trực quan hóa liệu tự động hóa cơng việc với chi phí không cao + Các báo cáo thể bắt mắt, đầy đủ thông tin, phục vụ khoa học quản lý, đặc biệt phòng ban Quản lý dự án công nợ (Project Manager) + Dễ vận hành, dễ thao tác người ngành, có tính ứng dụng cao phận PM cần làm việc với số liệu liên tục ứng dụng tất phận công ty 48 + Việc lưu trữ xử lý liệu theo quy trình chun nghiệp giúp phận tích lũy lượng liệu lớn, có giá trị + Do đặc thù, báo cáo phân quyền bảo mật, liệu phận phân vùng đến cá nhân, có người định xem báo cáo Hạn chế + Hạn chế lớn hệ thống xây dựng cho phận PM nói riêng phận khác phát sinh trường liệu mới, người dùng cần báo lại cho người quản trị để tinh chỉnh sở liệu + Hạn chế thứ hai mặt thời gian, người dùng đưa liệu lên có sai sót phải đến lần chạy tiếp theo, hệ thống báo lỗi + Hạn chế nguồn liệu đầu vào tệp liệu định dạng csv, cần phải tuân theo chuẩn mực riêng, gây chút e ngại cho người dùng 49 KẾT LUẬN Tóm lại, sau trình phát triển hệ thống hỗ trợ quản lý cơng nợ cho phận Quản lý dự án (PM), đề tài giúp phận khắc phục điểm yếu công nghệ trước thêm mục tiêu sau : • Tạo nơi lưu trữ liệu lớn cho phận, phục vụ mục đích phân tích sau • Hệ thống hoạt động tự động, báo cáo tự chạy liệu có tệp liệu đưa vào theo ngày • Các báo cáo bảo mật lưu nhớ đám mây chia sẻ cụ thể đến cá nhân thay lưu máy client chia sẻ theo tệp trước đây, đảm bảo tính bảo mật Hơn nữa, sau hệ thống ứng dụng, mặt lâu dài phát triển thêm sau : • Thay đổi kiểu tích hợp kiểu tích hợp SCD2 (Slowly Changing Dimensions), giúp cho việc quản lý liệu dễ dàng, logic hơn, tiết kiệm tài nguyên sở liệu • Cung cấp thêm báo cáo mang tính chuyên sâu, dự đoán, tận dụng tối đa trường liệu • Thay đổi giao diện báo cáo cho khoa học hơn, nội dung bắt mắt dễ tiêu thụ • Nâng cao hiệu hệ thống cách tối ưu giai đoạn xử lý, câu truy vấn liệu 50 TÀI LIỆU THAM KHẢO Dr.B, 2022 PowerBI vs Excel : Đâu công cụ quản trị tốt [Online] Available at: https://drb.com.vn/power-bi-voi-excel-dau-la-cong-cu-lambao-cao-quan-tri-tot-nhat-nam-2020/ [Accessed 06 11 2022] IBM, 2021 OLAP vs OLTP : What is the differents? [Online] Available at: https://www.ibm.com/cloud/blog/olap-vs-oltp Lucidchart, 2020 Why visualizing systems is essential in the Next Normal [Online] Available at: https://www.lucidchart.com/blog/why-visualizing-systems-isessential-in-the-nextnormal#:~:text=System%20visualization%20is%20the%20process,build% 20or%20update%20a%20system [Accessed 06 11 2022] Microsoft, 2021 Connect to an Oracle database with Power BI Desktop [Online] Available at: https://learn.microsoft.com/en-us/power-bi/connect- data/desktop-connect-oracle-database [Accessed 06 11 2022] SQLHacks, 2018 Temporal Table applications in SQL Data Warehouse environments [Online] Available at: https://www.sqlshack.com/temporal-table-applications-in-sqldata-warehouse-environments/ [Accessed 06 11 2022] Upslover, 2020 Batch vs Streaming ETL [Online] Available at: https://www.upsolver.com/blog/etl-process-flow-batch-etl-vsstreaming-etl [Accessed 06 11 2022] 51 52