nghiên cứu và đề xuất giải pháp quản lý cơ sở dữ liệu về chi phí cho doanh nghiệp xây dựng vừa và nhỏ trong bối cảnh chuyển đổi số tại việt nam

TÊN ĐỀ TÀI: Nghiên cứu và đề xuất giải pháp quản lý cơ sở dữ liệu về chi phí cho doanh nghiệp xây dựng vừa và nhỏ trong bối cảnh chuyển đổi số tại Việt Nam Research and propose solutions

CƠ SỞ LÝ THUYẾT

Các khái niệm cơ bản

2.1.1 Doanh nghiệp xây dựng vừa và nhỏ

Theo Điều 5 tại Nghị định 80/2021 NĐ-CP về tiêu chí xác định doanh nghiệp xây dựng vừa và nhỏ (chi tiết xem Phụ lục 1):

Doanh nghiệp xây dựng vừa và nhỏ bao gồm: doanh nghiệp siêu nhỏ, doanh nghiệp nhỏ và doanh nghiệp vừa, trong lĩnh vực công nghiệp và xây dựng sử dụng lao động có tham gia bảo hiểm xã hội bình quân năm không quá 200 người và tổng doanh thu không quá 200 tỷ đồng hoặc tổng nguồn vốn không quá 100 tỷ đồng [23]

2.1.2 Trình tự đầu tư xây dựng

Theo điều 4 Nghị định 15/2021/NĐ-CP về Trình tự thực hiện dự án đầu tư xây dựng bao gồm: giai đoạn chuẩn bị dự án, giai đoạn thực hiện dự án và giai đoạn kết thúc dự án [24] (chi tiết xem Phụ lục 1)

2.1.3 Hồ sơ thanh toán hợp đồng xây dựng

Theo điều 20 Nghị định 37/2015/NĐ-CP về Quy định chi tiết về hợp đồng xây dựng, hồ sơ thanh toán hợp đồng xây dựng bao gồm: hợp đồng trọn gói, hợp đồng theo đơn giá cố định, hợp đồng theo đơn giá điều chỉnh, hợp đồng theo thời gian, hợp đồng cung cấp thiết bị, hợp đồng tư vấn [25] (chi tiết xem Phụ lục 1)

2.1.4 Chi phí của doanh nghiệp xây dựng trong giai đoạn thực hiện dự án

Chi phí của doanh nghiệp xây dựng trong giai đoạn thực hiện dự án bao gồm: chi phí xây dựng và chi phí thiết bị [26] (chi tiết xem Phụ lục 1)

Theo Điều 12 Nghị định 10/2021/NĐ-CP về cơ cấu chi phí xây dựng bao gồm: chi phí trực tiếp, chi phí gián tiếp, thu nhập chịu thuế tính trước và thuế giá trị gia tăng [26]

2.1.5 Quản lý chi phí dự án

Quản lý chi phí dự án là quá trình ước tính, lập kế hoạch và kiểm soát chi phí để đảm bảo dự án có thể hoàn thành trong phạm vi ngân sách cho phép Ước tính chi phí: là quá trình dự báo và ước tính nguồn lực tài chính để thực hiện dự án

Lập kế hoạch: là quá trình tổng hợp chi phí ước tính thực hiện dự án để xây dựng kế hoạch ngân sách dự án

Kiểm soát chi phí: là quá trình theo dõi tình hình thực hiện dự án về mặt chi phí để cập nhật kế hoạch ngân sách và quản lý những thay đổi trong ngân sách

2.1.6 Số hóa, Số hóa quy trình và Chuyển đổi số

Số hóa (Digitization) là cốt lõi của cuộc cách mạng lần thứ ba Đó là tất cả về việc chuyển đổi những thứ tương tự thành chuỗi các chữ số 0 và 1, làm cho yếu tố cơ bản trở nên phổ biến Số hóa đánh dấu con đường dẫn đến cuộc cách mạng lần thứ tư với các phương tiện xử lý các số 0 và 1 thành giá trị có ý nghĩa để thực hiện thuận tiện [27] Tóm lại, số hóa là quá trình chuyển đổi thông tin trên giấy tở thành định dạng kỹ thuật số Như việc chuyển đổi một báo cáo dạng giấy thành PDF, dữ liệu không bị thay đổi, nó chỉ được mã hóa theo định dạng kỹ thuật số

Số hóa quy trình (Digitalization) cải thiện các quy trình cụ thể [27] Đây được xem là một bước tiến hóa của số hóa, sử dụng các công nghệ và dữ liệu đã được số hóa để tối ưu các hoạt động của doanh nghiệp Số hóa quy trình có thể hiểu là việc sử dụng các dữ liệu được định kỹ thuật số từ số hóa để ứng dụng các công nghệ mới phân tích tạo ra doanh thu cho doanh nghiệp hoặc nâng cao hiệu quả của các quy trình

Chuyển đổi số (Digital Transformation) là quá trình thay đổi tổng thể và toàn diện của cá nhân và doanh nghiệp về cách hoạt động, làm việc và phương thức sản xuất Cải thiện các quy trình giữa các nhân viên bằng cách thiết lập các giao diện mở và tính minh bạch của dữ liệu

Tiêu chí Số hóa Số hóa quy trình Chuyển đổi số Định nghĩa

Chuyển thông tin từ dạng vật lý sang dạng kỹ thuật số để dễ dàng sử dụng

Xử lý, tự động hóa dữ liệu để đơn giản hóa quy trình làm việc

Tận dụng dữ liệu và quy trình để thay đổi hoặc tạo ra mô hình hoạt động mới

Ví dụ thực tế về

Khởi đầu với mô hình cho thuê

Chuyển đổi sang mô mình xem phim trực tuyến bằng cách tận dụng điện toán đám mây để xây dựng một ứng dụng phim với nguồn phim đa dạng và mọi người có thể xem ngay tại nhà bằng việc kết nối Internet

Thu thập dữ liệu từ người dùng và triển khai các mô hình phân tích dữ liệu như: thời gian thiết bị được sử dụng, thời gian người dụng xem hết một chương trình, Từ đó đề xuất các chiến lược về lịch trình công chiếu các tập của phim

Sử dụng công nghệ AI để tạo ra danh sách phim mới thông qua kết quả tìm kiếm lần trước

Thanh toán thông qua thư điện tử

Chuyển sang thanh toán qua ứng dụng di động

Tính đến tháng 7 năm 2021, Netflix có 209 triệu người dùng Định giá công ty hơn 164 tỷ USD và vượt qua Disney để trở thành công ty truyền thông có giá trị nhất thế giới

Tỷ lệ giữ chân khách hàng là 93%, so với Hulu là 64% và Amazon là 75%

Dữ liệu (Data): là thông tin được cấu trúc hóa để lưu trữ trong máy tính [28]

Cơ sở dữ liệu (Database): là tập hợp dữ liệu có liên quan đến nhau, có thể dễ dàng chia sẻ và được thiết kế nhằm đáp ứng nhu cầu sử dụng của một tổ chức, cá nhân nào đó [28]

Cơ sở dữ liệu quan hệ (Relational Database): là một cơ sở dữ liệu dựa trên mô hình quan hệ dữ liệu Được sử dụng để lưu trữ và tổ chức dữ liệu với các tham chiếu giữa hai hoặc nhiều nguồn [28]

2.1.8 Quản lý cơ sở dữ liệu về chi phí của doanh nghiệp xây dựng

Quản lý cơ sở dữ liệu (CSDL) là tất cả các công việc được thực hiện để xây dựng một Hệ thống quản lý cơ sở dữ liệu

Các nghiên cứu trước đây

STT Tên tác giả Năm Đề tài nghiên cứu

“Success Factors for Data Warehouse (DW) and Business Intelligence (BI) Systems”

Nội dung: Phân tích sự thất bại với dự án lớn và sự thành công với dự án nhỏ của DW/BI Nghiên cứu đã chỉ ra sự thất bại khi xây dựng DW/BI của công

STT Tên tác giả Năm Đề tài nghiên cứu ty dịch vụ tài chính khi ứng dụng vào lĩnh vực đầu tiên là báo cáo tài chính, lập ngân sách và dự báo Khoảng thời gian ước tính khi xây dựng DW/BI là

3 năm Tuy nhiên, sau 15 tháng dự án đã bị hủy bỏ và gần 1 triệu USD đã được chi cho chi phí phần cứng, phần mềm và các dịch vụ khác

Lĩnh vực ứng dụng: Bảo hiểm

“Kho dữ liệu và ứng dụng xây dựng hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia”

Nội dung: Nghiên cứu về lý thuyết Data Warehouse và thiết kế kho dữ liệu phục vụ cho việc báo cáo thống kê dựa trên hai nguồn dữ liệu chính là cơ sở dữ liệu tác nghiệp báo cáo thống kê và tài chính Lĩnh vực ứng dụng: Ngân hàng

Công cụ sử dụng: Oracle, Business Objects

“Xây dựng giải pháp kho dữ liệu tại ngân hàng thương mại cổ phần Á Châu”

Nội dung: Nghiên cứu phương pháp và đưa ra giải pháp xây dựng kho dữ liệu phục vụ quản lý tín dụng cho khối khách hàng cá nhân của ngân hàng ACB Lĩnh vực ứng dụng: Ngân hàng

STT Tên tác giả Năm Đề tài nghiên cứu

“Data Warehouse as a Backbone for Business Intelligence: Issues and Challenges”

Nội dung: Xác định và phân loại các vấn đề, thách thức mà các doanh nghiệp khác nhau phải đối mặt khi triển khai công nghệ Data Warehouse

“Nghiên cứu và triển khai ứng dụng của các mô hình lý thuyết trong Data Mining vào lĩnh vực nhà hàng”

Nội dung: Nghiên cứu mô hình lý thuyết trong khai phá dữ liệu (Data Mining) vào lĩnh vực nhà hàng Xây dựng kho dữ liệu từ dữ liệu gọi món của khách hàng để khai phá dữ liệu cho các bài toán như: tạo ra các combo món ăn, tìm ra món ăn được gọi nhiều nhất và ít nhất, tạo ra các set menu

Lĩnh vực ứng dụng: Nhà hàng

Công cụ sử dụng: Microsoft Visual Studio, Microsoft SQL Sever

6 Trần Lê và cộng sự 2014

“Ứng dụng công nghệ Webgis quản lý dữ liệu thủy lợi tại Thành phố Cần Thơ”

Nội dung: Ứng dũng công nghệ Webgis để quản lý dữ liệu thủy lợi của thành phố Cần Thơ bao gồm: số liệu thống kê, bản đồ trực tuyến, các công trình kênh rạch, đê bao và cống thủy lợi Thiết lập công

STT Tên tác giả Năm Đề tài nghiên cứu cụ tìm kiếm và cập nhật dữ liệu từ nguồn dữ liệu: bản đồ hành chính Thành phố Cần Thơ năm 2009, dữ liệu về kênh rạch, thông tin chi tiết về công trình Xây dựng hệ thống khai thác dữ liệu bao gồm: bản đồ hành chính, bản đồ hiện trạng hệ thống thủy lợi, bản đồ kênh cấp huyện/xã, xây dựng hệ thống tìm kiếm dữ liệu và danh mục các công trình thủy lợi Lĩnh vực ứng dụng: Thủy lợi Thành phố Cần Thơ Công cụ sử dụng: MapInfo, Shape2SQL, Excel

“Xây dựng kho dữ liệu với cơ sở dữ liệu đa chiều nhầm trực quan hóa dữ liệu nhân sự trong một dự án tại một công ty phần mềm”

Nội dung: Xây dựng kho dữ liệu với cơ sở dữ liệu đa chiều về nhân sự theo từng cấp dự án Dữ liệu thu thập được lấy từ dự án bao gồm: nhân viên đang làm việc tại công ty, nhân viên được khách hàng trả lương và không được trả lương, nhân viên nghỉ việc, nhân viên mới vào Khai thác kho dữ liệu và xây dựng hệ thống báo cáo cung cấp thông tin trực quan về nhân sự cho cấp quản lý

Lĩnh vực ứng dụng: Quản lý nhân sự

Tài 2019 “Xây dựng Data Warehouse và Business

Intelligence cho công ty ngành nhựa tại TP.HCM”

STT Tên tác giả Năm Đề tài nghiên cứu

Nội dung: Nghiên cứu về thực trạng hạ tầng công nghệ thông tin công ty ngành nhựa tại TP.HCM bao gồm: khảo sát hạ tầng phần cứng, phần mềm quản lý, website và nhân sự sử dụng hạ tầng công nghệ thông tin Xây dựng kho dữ liệu và báo cáo Business Intelligence về các vấn đề: báo cáo tình trạng bán hàng, báo cáo tình hình công nợ khách hàng, báo cáo tình hình theo dõi tiến độ đáp ứng đơn hàng, báo cáo tình hình khiếu nại của khách hàng

Lĩnh vực ứng dụng: Kinh doanh nhựa

Công cụ sử dụng: Microsoft SQL Server, Oracle, Microsoft Visual Studio

“Quản lý thông tin giao thông đô thị dựa vào dữ liệu từ cộng đồng và phân tích dữ liệu lớn”

Nội dung: Xây dựng và triển khai kho dữ liệu để lưu trữ và quản lý thông tin giao thông đô thị dựa vào dữ liệu từ hệ thống camera giao thông thành phố, các trang web công khai dữ liệu giao thông, dữ liệu từ cộng đồng Phân tích dữ liệu từ hệ thống đề giải quyết các vấn đề: quản lý thông tin hạ tầng giao thông, xác định tình trạng giao thông của từng con đường cụ thể, xác định lưu lượng tham gia giao thông ở các thời điểm khác nhau

STT Tên tác giả Năm Đề tài nghiên cứu

Lĩnh vực ứng dụng: Giao thông đô thị

Công cụ sử dụng: MySQL, Pentaho Data Intergration, Pentaho Schema Workbench, Biserver-ce

“Xây dựng kho dữ liệu và hỗ trợ ra quyết định đầu tư bất động sản ở Thành phố Hồ Chí Minh”

Nội dung: Xây dựng hệ thống thu thập dữ liệu bất động sản từ nhiều nguồn website, xây dựng quy trình ETL bằng cách áp dụng Ontology Thiết kế kho dữ liệu và truy vấn trên kho dữ liệu để hỗ trợ ra quyết định

Lĩnh vực ứng dụng: Đầu tư bất động sản

Công cụ sử dụng: PostgreSQL, SQL Server, SQL Server Analysis Services, SQL Server Reporting Services

“Xây dựng kho dữ liệu trên nền tảng đám mây đáp ứng các dịch vụ BI cho công ty xây dựng và kinh doanh bất động sản”

Nội dung: Xây dựng kho dữ liệu trên nền tảng đám mây và các báo cáo thông minh cho doanh nghiệp bất động sản về các vấn đề: báo cáo bán hàng, báo cáo tiến độ thu tiền và báo cáo kế hoạch thực hiện ngân sách

STT Tên tác giả Năm Đề tài nghiên cứu

Lĩnh vực ứng dụng: Kinh doanh bất động sản

Công cụ sử dụng: Amazon RDS, Pentaho Data Integration, Power BI, MySQL

“Nghiên cứu đề xuất giải pháp lưu trữ và truy vấn dữ liệu giao thông”

Nội dung: Nghiên cứu về Data Lakehouse và công nghệ lưu trữ dữ liệu lớn Đề xuất giải pháp cho hệ thống tích hợp lưu trữ dữ liệu giao thông về vấn đề xác định số lượng phương tiện tham gia giao thông

Từ đó, hỗ trợ việc phân tích đánh giá mật độ giao thông

Lĩnh vực ứng dụng: Giao thông đô thị

“Xây dựng Data Warehouse và Business Intelligence cho ngành Mỹ Phẩm”

Tổng quan về cơ sở dữ liệu

2.3.1 Sơ lược về cơ sở dữ liệu

CSDL của doanh nghiệp là tập hợp tất cả các dữ liệu có tổ chức, được lưu trữ và truy cập từ hệ thống máy tính [28] Hiện nay, hầu như mọi doanh nghiệp đều đối mặt với thách thức là làm thế nào để tận dụng khối dữ liệu ngày càng lớn mà không phải tăng quy mô và tốn quá nhiều chi phí Đầu tiên, doanh nghiệp cần phải có một cái nhìn toàn diện và sâu sắc về lượng dữ liệu mà doanh nghiệp đang có Nếu không phải là dữ liệu quá quan trọng thì chi phí cho hoạt động lưu trữ và phân tích dữ liệu sẽ rất cao Do đó, doanh nghiệp cần phải hiểu rõ dữ liệu đang có của doanh nghiệp để ưu tiên nguồn lực và chi phí để xử lý các vấn đề về quản lý dữ liệu Đối với các dữ liệu không được truy cập hoặc chỉnh sửa sau một thời gian dài được xác định là dữ liệu ưu tiên thấp, nên được chuyển sang các hạ tầng lưu trữ có hiệu năng và chi phí thấp

Thứ hai, tích hợp các giải pháp quản lý CSDL Quản lý CSDL là hệ thống các công cụ được sử dụng để lưu trữ, tích hợp, quản lý và khai thác dữ liệu Vận hành cùng một lúc nhiều hệ thống sẽ gây khó khăn trong việc di chuyển dữ liệu qua lại giữa các hệ thống dẫn đến tình trạng dữ liệu không đồng nhất hoặc thiếu xót trong quá trình di chuyển dữ liệu làm dữ liệu bị thay đổi Doanh nghiệp cần lựa chọn sử dụng các công cụ có khả năng tích hợp để dữ liệu được kiểm soát dễ dàng trong nhiều hệ thống khác nhau

Thứ ba, lưu trữ dữ liệu trên điện toán đám mây Lưu trữ đám mây được rất nhiều doanh nghiệp lựa chọn vì giải pháp này không chỉ tiết kiệm chi phí phần cứng mà còn có thể truy cập dữ liệu ở bất kỳ nơi nào Điện toán đám mây giúp doanh nghiệp không bị giới hạn bởi dung lượng lưu trữ và dễ dàng tích hợp với các hệ thông lưu trữ dữ liệu

Cuối cùng, tự động hóa dữ liệu Đây là bước cuối cùng trong quy trình quản lý CSDL Dữ liệu sau khi lưu trữ sẽ được tự động xử lý và khai thác Nếu doanh nghiệp có một lượng lớn dữ liệu cần cập nhật hoặc xử lý thường xuyên và những dữ liệu này đến từ nhiều nguồn khác nhau thì tự động hóa dữ liệu sẽ giúp doanh nghiệp tiết kiệm đáng kể chi phí và thời gian

Tùy theo từng quy mô và phương thức hoạt động của doanh nghiệp có thể lựa chọn các quy trình khác nhau Dưới đây sẽ trình bày quy trình cơ bản quản lý CSDL của DNXDVVN hiện nay

Bước 1: Lựa chọn phương thức để lưu trữ hồ sơ, tài liệu

Lưu trữ bằng phương thức truyền thống: Đối với hồ sơ, tài liệu được sử dụng thường xuyên sẽ được lưu trữ bằng kẹp hồ sơ, bìa còng để bảo vệ tài liệu và được lưu trữ trong tủ tại văn phòng Đối với hồ sơ, tài liệu ít được sử dụng sẽ được lưu trữ trong các thùng hồ sơ và để ở các vị trí trong cùng hoặc nhà kho Các hồ sơ, tài liệu sẽ sử dụng các loại giấy ghi chú để dễ dàng phân biệt và tìm kiếm

Lưu trữ bằng phương pháp sao lưu vào ổ cứng rời bên ngoài: Đây là phương pháp lưu trữ bảo vệ an toàn hồ sơ, tài liệu truyền thống bằng dữ liệu kỹ thuật số Có thể sao lưu mọi dữ liệu từ máy tính sang ổ cứng rời bên ngoài bằng cách sử dụng các tính năng được tích hợp sẵn trong máy tính

Lưu trữ bằng điện toán đám mây: Đây cũng là phương pháp lưu trữ bằng dữ liệu kỹ thuật số Tuy nhiên, thay vì mua ổ cứng rời bên ngoài Phương pháp này hiệu quả hơn vì dữ liệu sẽ được lưu trữ trên đám mây từ nhà cung cấp thứ 3 Nhân viên của doanh nghiệp có thể truy cập dữ liệu ở mọi nơi

Thông thường, các doanh nghiệp sẽ không lựa chọn 1 phương thức lưu trữ duy nhất Mà sẽ lựa chọn 2 hoặc cả 3 phương thức để lưu trữ dữ liệu cho doanh nghiệp

Bước 2: Phân loại dữ liệu

Một số tiêu chí để phân loại dữ liệu thường được áp dụng:

• Phân chia theo dự án: các dự án có liên quan đến nhau sẽ được sắp xếp và lưu trữ ở cùng một vị trí

• Phân chia theo chủ đề: các dữ liệu cùng loại sẽ được lưu trữ cùng nhau, thuận tiện cho việc quản lý và tìm kiếm (ví dụ: kiến trúc, kết cấu, điện nước, hợp đồng, biên bản hiện trường,… mỗi một bộ phận sẽ được lưu trữ ở một vị trí)

• Phân chia theo chu kỳ: phân chia theo tháng, quý, năm để thuận tiện cho việc tổng hợp và phân tích dữ liệu

Bước 3: Sắp xếp dữ liệu

Sau khi phân loại dữ liệu, dữ liệu sẽ được sắp xếp theo 3 phương thức cơ bản:

• Sắp xếp theo thời gian

• Sắp xếp theo thứ tự bảng chữ cái

• Sắp xếp theo tính chất của hồ sơ (hồ sơ chưa giải quyết xong, hồ sơ đang xử lý hoặc chờ phản hồi)

Bước 4: Lập danh mục dữ liệu

Tạo danh mục cụ thể cho từng loại hồ sơ, dữ liệu để lưu trữ hoặc đưa vào máy tính Việc tra cứu và sử dụng có thuận tiện, nhanh chóng hay không phụ thuộc lớn vào phần tạo danh mục Danh mục dữ liệu, hồ sơ cần được cập nhật thường xuyên theo số lượng dữ liệu phát sinh

Bước 5: Theo dõi, cập nhật và khai thác dữ liệu

Dữ liệu phải được liên tục cập nhật theo các số liệu phát sinh trong quá trình hoạt động của doanh nghiệp và dự án Đồng thời, có biện pháp kiểm tra định kỳ để bổ sung hoặc điều chỉnh dữ liệu phù hợp

2.3.3 Các giải pháp quản lý cơ sở dữ liệu phổ biến hiện nay

Kho lưu trữ dữ liệu (Data Repository) là một thuật ngữ dùng để chỉ một điểm đến được chỉ định cho việc lưu trữ dữ liệu Tuy nhiên, nhiều chuyên gia Công nghệ thông tin sử dụng thuật ngữ này một cách cụ thể hơn, là nơi mà một doanh nghiệp hay tổ chức đã chọn để quản lý các loại dữ liệu khác nhau Đây là nơi mà doanh nghiệp có thể tạo điều kiện khai thác dữ liệu và nghiên cứu có liên quan để quy hoạch tổng thể

Giải pháp quản lý CSDL Chi tiết

Cơ sở dữ liệu (Database) là nơi lưu trữ các dữ liệu liên quan được sử dụng để nắm bắt một tình huống cụ thể CSDL có nhiều loại như: Cloud Database, Relational Database, Network Database, Distributed Database,…

Nguồn: https://www.javatpoint.com/types-of-databases

Dữ liệu mới đi vào CSDL được xử lý, sắp xếp, quản lý, cập nhật và sau đó được lưu trữ trong các bảng Mục đích của cở sở dữ liệu là kho lưu trữ dành cho dữ liệu giao dịch thô

Giới thiệu chung về kho dữ liệu - Data Warehouse

2.4.1 Phân biệt Data Mart và Data Warehouse

Data Mart (DM) là phiên bản đơn giản của Data Warehouse (DWH), cung cấp cho doanh nghiệp dữ liệu cụ thể về một bộ phận, cụ thể là chi phí của dự án Chức năng chính của DM là cung cấp thông tin liên quan cần thiết về chi phí của dự án, hỗ trợ đưa ra quyết định cho doanh nghiệp So với DWH, DM có quy mô nhỏ hơn, phù hợp với doanh nghiệp vừa và nhỏ Mặc dù có thể nói DM là phiên bản thu nhỏ của DWH vì các đặc tính là như nhau Tuy nhiên, vẫn có một số khác biệt giữa DM và DWH như sau:

Bảng 2.8 Sự khác nhau giữa Data Warehouse và Data Mart

Dữ liệu được đặt trong một kho lưu trữ tập trung và được sử dụng cho toàn doanh nghiệp

Chỉ phụ thuộc vào một bộ phận và dữ liệu được sử dụng cho mục đích đưa ra quyết định cho bộ phân đó

Phương pháp thiết kế Được xây dựng bằng cách tiếp cận từ trên xuống, tập trung dữ liệu và sau đó quyết định cách sử dụng Được xây dựng bằng cách tiếp cận từ dưới lên, xác định vấn đề và tập trung dữ liệu cụ thể để giải quyết vấn đề đó

Dạng dữ liệu Chi tiết Tóm tắt

Dễ xây dựng Khó xây dựng Xây dựng đơn giản

Data Warehouse là khái niệm được giới thiệu lần đầu vào năm 1988 bởi 2 nhà nghiên cứu của IBM là Barry Devlin và Paul Murphy Đây là nơi lưu trữ dữ liệu của một thiết bị điện tử của một tổ chức, doanh nghiệp, nhằm hỗ trợ việc phân tích dữ liệu và lập báo cáo Và theo công ty chuyên lập trình hệ thống, phần mềm cho doanh nghiệp Mona Media thì đó là cách hiểu theo truyền thống tại thời điểm khái niệm kho dữ liệu này ra đời và Data Warehouse ngày nay đã khác Ngày nay, người ta hiểu

“kho dữ liệu” theo ngữ cảnh rộng hơn, bao gồm tập hợp các phương pháp, kỹ thuật và công nghệ có thể kết hợp, hỗ trợ nhau để thu thập và quản lý dữ liệu từ nhiều nguồn, môi trường khác nhau để cung cấp thông tin cho người sử dụng Do đó, kho dữ liệu còn có thể được gọi bằng những cái tên sau: hệ thống hỗ trợ quyết định, hệ thống điều hành thông tin, hệ thống thông tin quản lý, ứng dụng phân tích [29]

Business Intelligence đóng vai trò vô cùng quan trọng trong hầu hết các doanh nghiệp, hỗ trợ người dùng có được thông tin cần thiết để đưa ra quyết định Báo cáo, phân tích và thông kê là một phần không thể thiếu trong hầu hết các doanh nghiệp tại Việt nam hiện nay Excel là công cụ được sử dụng phổ biến ở các doanh nghiệp vì tính quản lý dữ liệu cao, hỗ trợ mạnh trong phân tích và tạo các biểu đồ báo cáo Tuy nhiên, cũng có nhiều điểm hạn chế đối với Excel như: giới hạn số lượng dòng cột, tốc độ sử lý chậm đối với dữ liệu lớn, chưa có mối liên hệ giữa các dữ liệu,… Do đó, để có thể có một báo cáo nhanh chóng, chính xác một cách tự động hoặc phân tích dữ liệu với khối lượng dữ liệu lớn, được lưu trữ trong thời gian dài thì cần phải có một hệ thống quản trị dữ liệu đáp ứng được vấn đề này Vì vậy, luận văn sẽ đề cập đến tầm quan trọng cũng như các ưu điểm của DWH và Business Intelligence

• Data Warehouse giúp người dùng dễ dàng xử lý và truy cập dữ liệu

• Dữ liệu trong DWH là dữ liệu đã được chuẩn hóa, xử lý và làm sạch vì trước khi vào DWH thì các dữ liệu từ nhiều nguồn, nhiều hệ thống khác nhau sẽ được đưa vào một nguồn cơ sở dữ liệu duy nhất Điều này giúp người dùng sử dụng dữ liệu hiệu quả hơn trích xuất dữ liệu cho báo cáo và phân tích

• Với nguồn dữ liệu đã được thống nhất và làm sạch giúp việc phát triển một hệ thống mới với dữ liệu cũ trở nên dễ dàng hơn, ít tốn thời gian và nhân lực hơn

• Dữ liệu lưu trữ dưới dạng cấu trúc giúp cho quá trình bàn giao hoặc hướng dẫn trở nên dễ dàng hơn

• DWH hỗ trợ cho việc báo cáo điều này giúp giải phóng tài nguyên cho các hệ thống khác vì các hệ thống khác thường phải có phần báo cáo riêng

• DWH giúp hạn chế việc mất dữ liệu và giúp dễ dàng cho việc bảo mật [32]

• Giúp doanh nghiệp có thể đưa ra quyết định mang tính chất then chốt với sự đa dạng của hệ thống giao diện đồ họa và báo cáo

• Với sự cạnh tranh của thị trường thì việc có một Business Intelligence chuẩn sẽ giúp doanh doanh nghiệp tăng được lợi thế cạnh tranh vì dữ liệu được thể hiện ra nhiều khía cạnh khác nhau như: xu hướng giá vật liệu, dòng tiền dự án, doanh nghiệp,…

• Giúp doanh nghiệp phân tích được nguyên nhân bên trong của dữ liệu, giúp tiết kiệm chi phí, giảm rủi ro và tăng lợi nhuận

• Business Intelligence còn giúp nhìn ra được những nhược điểm để cải thiện dựa trên dữ liệu như: dự án, doanh nghiệp, quy trình, con người,… [32]

2.4.3 Đặc tính của Data Warehouse

DWH là nơi lưu trữ dữ liệu chuyên dùng cho tạo báo cáo và phân tích dữ liệu, vừa là nơi truy vấn dữ liệu, vừa là nơi tổng hợp các dữ liệu từ nhiều nguồn khác nhau

Dữ liệu trong DWH là một tập hợp mang các đặc trưng sau:

• Được tổ chức xung quanh chủ đề chính như: vật liệu, dự án, đơn giá,…

• Tập trung vào mô hình hóa và phân tích dữ liệu mang tính chiến lược chứ không tập trung vào giao dịch hằng ngày

• Cung cấp một khung hình đơn giản xung quanh các sự kiện của chủ đề

• Được xây dựng bằng việc tích hợp các dữ liệu từ nhiều nguồn

• Các kỹ thuật làm sạch và tích hợp dữ liệu được áp dụng đảm bảo tính đồng bộ khi quy ước tên, đơn vị đo, thuộc tính,… giữa các nguồn dữ liệu khác nhau

• Là nơi lưu trữ khác của môi trường tác nghiệp

• Các cập nhật tác nghiệp của dữ liệu sẽ không xuất hiện trong kho dữ liệu

• Yêu cầu quan trọng trong kho dữ liệu là phạm vi về thời gian

• Các dữ liệu trong kho dữ liệu sẽ cung cấp thông tin về thời gian

Sự ra đời của kho dữ liệu nhằm đáp ứng khối dữ liệu cần được xử lý ngày càng nhiều, nhu cầu lưu trữ dữ liệu phát triển khi các hệ thống máy tính trở nên phức tạp hơn Kho dữ liệu sẽ mang lại những lợi ích sau đây cho doanh nghiệp:

• Tích hợp dữ liệu về chung một nguồn, cùng một định dạng, giải quyết các vấn đề về sự rời rạc của dữ liệu

• Tiết kiệm thời gian khi tìm kiếm dữ liệu

• Giúp việc sử dụng dữ liệu của doanh nghiệp trở nên hiệu quả hơn bằng các tính năng xử lý và phân tích dữ liệu

• Hỗ trợ người dùng đưa ra các quyết định nhanh, hợp lý và hiệu quả hơn

• Giúp tăng cường khối dữ liệu cần được xử lý lên đáng kể

Một kiến trúc kho dữ liệu bao gồm ba thành phần chính:

• Một công cụ dùng để thu thập, xử lý và làm sạch dữ liệu

• Một kho lưu trữ dữ liệu

Hình 2.1 Kiến trúc Data Warehouse

Hình 2.2 Mô hình quản lý tổng thể DBMS của luận văn

2.4.6 Các phương pháp thiết kế Data Warehouse

Thiết kế từ dưới lên (Bottom - Up): theo cách tiếp cận từ dưới lên, các dữ liệu sẽ được thiết kế để phục vụ mục đích cụ thể Những dữ liệu này sẽ được tích hợp để tạo ra một kho dữ liệu toàn diện

Thiết kế từ trên xuống (Top - Down): theo cách tiếp cận từ trên xuống, các dữ liệu sẽ được lưu trữ ở mức độ chi tiết nhất Sau đó, dữ liệu sẽ được sử dụng cho các quy trình kinh doanh cụ thể hoặc các bộ phận cụ thể

2.4.7 Các kiểu dữ liệu trong Data Warehouse

Additive: là chỉ số có thể cộng được qua mọi Dimensions Tức là việc cộng giá trị qua các chiều đều trả ra những kết quả có nghĩa Điển hình như cột Price trong hình biểu diễn giá trị thanh toán vật liệu của giao dịch đó Nếu ta cộng tất cả các dòng của Price theo mã dự án (ID Project) và mã vật liệu (ID Material), nó có nghĩa là tổng giá trị thanh toán của một loại vật liệu cụ thể của dự án đó Nếu ta cộng tất cả các dòng của Price theo tháng (Day Trading) và mã vật liệu (ID Material), nó có nghĩa là tổng giá trị thanh toán của loại vật liệu cụ thể trong tháng đó Dù chọn Dimensions nào thì phép cộng của Price đều có nghĩa, vì vậy Price là một Additive

Hình 2.3 Dữ liệu Additive trong Data Warehouse

Giới thiệu công cụ quản lý dữ liệu

2.5.1 Ưu và nhược điểm của các công cụ quản lý cơ sở dữ liệu SQL

Bảng 2.9 Ưu và nhược điểm của các công cụ quản lý cơ sở dữ liệu SQL phổ biến hiện nay

Công cụ Ưu và nhược điểm

• Có phiên bản miễn phí: Phiên bản miễn phí dành cho người dùng mới có tên gọi là SQL Express Phiên bản này của SQL Server có gần như đầy đủ các tính năng của phiên bản tiêu chuẩn Microsoft SQL Server, chỉ với một vài hạn chế nhỏ

• Thương hiệu: Microsoft từ lâu đã là một trong những công ty phần mềm đứng đầu thế giới Gần như đa số các máy tính đều chạy trên hệ điều hành Windows, cũng như các phần mềm đã quá phổ biến như Word, Excel, PowerPoint,…

• Khả năng tích hợp: Microsoft SQL đi kèm với một bộ công cụ như: SQL Server Profiler, SQL Server Management Studio,… Các công cụ này có khả năng tích hợp với nhau tạo nên một hệ sinh thái riêng của Microsoft

• Chi phí cao: Nếu nhu cầu hệ thống cơ sở dữ liệu vượt quá các tính năng được cung cấp sẵn trong phiên bản miễn phí SQL Express, thì việc đầu tư vào các phiên bản SQL Server cao cấp khác là nên cân nhắc vì giá của các phiên bản cao cấp

Công cụ Ưu và nhược điểm

Microsoft SQL Server không phải là rẻ, phụ thuộc vào quy mô của doanh nghiệp

• Hạn chế nhất định về cơ sở hạ tầng: Nếu doanh nghiệp có ít hoặc không có cơ sở hạ tầng Microsoft, doanh nghiệp cần phải đầu tư bổ sung hệ sinh thái của Microsoft vì không thể kết nối công cụ của nhà phát triển khác với SQL Server và ngược lại Điều này ảnh hưởng đến điều kiện tài chính của doanh nghiệp

• Sự phụ thuộc: Với các khoản đầu tư vào kho công nghệ của Microsoft, doanh nghiệp sẽ phải phụ thuộc vào Microsoft cho bất kỳ tính năng hoặc cải tiến mới nào mà cơ sở hạ tầng của doanh nghiệp cần Thông thường, cứ mỗi 2 năm Microsoft sẽ cập nhật phiên bản mới của SQL Server, cho nên sẽ có một ít khó khăn nếu doanh nghiệp cần tính năng cụ thể nào đó khác

• Bảo mật dữ liệu: MySQL là hệ thống quản lý cơ sở dữ liệu an toàn và tin cậy được sử dụng trong các ứng dụng web phổ biến như Facebook, Twitter, WordPress, Joomla Bảo mật dữ liệu và hỗ trợ xử lý giao dịch đi kèm với phiên bản MySQL gần đây mang lại nhiều lợi ích cho doanh nghiệp

• Mã nguồn mở: Là một phần mềm quản lý cơ sở dữ liệu nguồn mở, MySQL hoàn toàn miễn phí để sử dụng đối với người dùng cá nhân và doanh nghiệp nhỏ

• Hiệu suất cao: MySQL có một khung công cụ lưu trữ riêng biệt tạo điều kiện cho các nhà quản trị hệ thống cấu hình hóa cơ sở dữ liệu MySQL, cho hiệu suất tốt MySQL được thiết kế để đáp ứng ngay cả các ứng dụng đòi hỏi khắt khe nhất trong khi vẫn đảm bảo tốc độ tối ưu và hiệu suất cao

Công cụ Ưu và nhược điểm

• Chi phí không cao: Bằng cách di chuyển các ứng dụng cơ sở dữ liệu hiện tại sang MySQL, các doanh nghiệp có thể tiết kiệm được đáng kể chi phí cho các dự án mới Việc dễ quản lý của MySQL giúp tiết kiệm thời gian xử lý sự cố và các vấn đề về hiệu suất

• Bị hạn chế dung lượng: Khi bản ghi của người dùng lớn dần, sẽ gây khó khăn cho việc truy xuất dữ liệu, khiến người dùng cần áp dụng nhiều biện pháp để tăng tốc độ chia sẻ dữ liệu

• Độ bảo mật của MySQL chưa cao bằng Microsoft SQL Server hay Oracle Tuy nhiên, những nhược điểm này không đáng kể với những hệ quản trị nội dung cỡ trung, bởi các hệ thống lớn hoặc rất lớn mới phát sinh các yếu tố phức tạp

• Phụ thuộc vào các tiện ích bổ sung: Mặc dù MySQL tương đối dễ cài đặt, nhưng nó có xu hướng ít chức năng vượt trội hơn so với nhiều hệ thống cơ sở dữ liệu khác

• Cấu trúc và khả năng thiết kế giải pháp đa dạng: Oracle không những giúp SQL đa dạng mà còn tương trợ cả PL/SQL, sử dụng các công cụ dòng lệnh tốt giúp quản lý những thay đổi thuận lợi và đem lại hiệu quả cao

• Ổn định bảo mật: Một trong nhiều đặc tính lựa chọn cơ sở dữ liệu Oracle là chức năng bảo mật mà nó phân phối, bảo vệ danh tính của Oracle được ghi nhận hơn khi đối chiếu với các đối thủ

Công cụ Ưu và nhược điểm

• Chi phí phải trả đang là một vấn đề khi các đối thủ cạnh tranh trong lĩnh vực kinh doanh với mức giá rẻ hơn

• Có khá nhiều yêu cầu về tài nguyên sau khi tiến hành cài đặt

• Được sử dụng để chạy trên web và ứng dụng web động

• Cho phép lưu lại nhật ký và hình thành cơ sở dữ liệu hỗ trợ sửa lỗi

• Mã nguồn mở để người dùng chỉnh sửa và nâng cấp

• Cách sử dụng đơn giản

• Khó khăn trong việc tiếp cận đầy đủ tính năng

• Hiệu suất hoạt động thực tế chậm hơn

2.5.2 Lựa chọn công cụ quản lý cơ sở dữ liệu

Giới thiệu công cụ lưu trữ dữ liệu

2.6.1 Tổng quan về dịch vụ điện toán đám mây Điện toán đám mây là mô hình dịch vụ cho phép việc phân phối các tài nguyên công nghệ thông tin theo nhu cầu của doanh nghiệp thông qua mạng Interner với chính sách thanh toán theo mức sử dụng Thay vì mua, sở hữu và bảo trì các trung tâm dữ liệu và máy chủ vật lý, doanh nghiệp có thể tiếp cận các dịch vụ công nghệ lưu trữ dữ liệu khi cần thiết từ các nhà cung cấp lớn trên thế giới Điện toán đám mây thay đổi phương pháp kiểm soát các ứng dụng phần mềm truyền thống Trước khi có điện toán đám mây, các doanh nghiệp phải quản lý dữ liệu của mình thông qua mạng nội bộ được lưu trữ trên máy tính tại địa điểm kinh doanh Với nhu cầu ngày càng tăng về chia sẽ dữ liệu trên thiết bị di động, các dịch vụ điện toán đám mây đã cung cấp giải pháp lưu trữ dữ liệu có thể truy cập ở mọi nơi

Bảo mật được coi là thách thức lớn đối với người dùng trên nền tảng điểm toán đám mây vì việc sử dụng mạng Internet có thể dễ dàng bị tấn công Hơn nữa, các nhà cung cấp dịch vụ điện toán đám mây thường sẽ thiếu minh bạch về cách thức và địa điểm xử lý thông tin Do đó doanh nghiệp nên lựa chọn các nhà cung cấp lớn và uy tín Ngoài ra, việc lựa chọn nhà cung cấp dịch vụ điện toán đám mây còn phụ thuộc vào doanh nghiệp đang sử dụng dịch vụ của nhà cung cấp nào Trong “Hướng dẫn chuyển đổi số cho doanh nghiệp tại Việt Nam”, Bộ kế hoạch và đầu tư cũng đã đề xuất 3 nhà cung cấp dịch vụ điện toán đám mây bao gồm Amazon Web Services, Microsoft Azure và Google Cloud Do MySQL cho phép kết nối với hầu hết các kho dữ liệu của các nhà cung cấp, nên luận văn sẽ sử dụng kho dữ liệu RDS cùa nhà cung cấp Amazon Web Services

2.6.2 Tổng quan về Amazon Web Services

Amazon web service (AWS) là dịch vụ điện toán đám mây được cung cấp bởi amazon.com Là dịch vụ cung cấp cơ sở hạ tầng công nghệ thông tin cho các doanh nghiệp dưới dạng web với chi phí vận hành thấp, độ linh hoạt và tính an toàn cao

AWS là nền tảng đám mây toàn diện và được sử dụng rộng rãi, cung cấp trên

200 dịch vụ đầy đủ tính năng từ các trung tâm dữ liệu trên toàn thế giới ASW có các tính năng sau [33]:

• Có thể dễ dàng thao tác với các tài nguyên của AWS và tạo 1 server

• Không phải là một dịch vụ độc lập mà là tập hợp đa dạng các dịch vụ

• Tính an toàn và độ tin cậy cao với chi phí không quá đắt

2.6.3 Một số dịch vụ của Amazon Web Services

Virtual Private Cloud (VPC): cho phép tạo một đám mây riêng ảo độc lập, nơi có thể khởi chạy tất cả tài nguyên AWS trong một mạng ảo xác định Có toàn quyền kiểm soát môi trường mạng ảo của mình, bao gồm: lựa chọn dải địa chỉ IP, tạo các mạng con, cấu hình các bảng định tuyến và cổng kết nối mạng

Elastic Load Balancing (ELB): là dịch vụ tự động phân phối lưu lượng truy cập đến cúa ứng dụng cho nhiều mục tiêu ELB ba loại bộ cân bằng tải, tất cả đều có độ khả dụng cao, tự động điều chỉnh quy mô và khả năng bảo mật mạnh mẽ để giúp ứng dụng có dung sai cao

Elastic Compute Cloud (EC2): là dịch vụ cung cấp năng lực điện toán đám mây có khả năng thay đổi kích thước linh hoạt Với EC2, người dùng không cần dự trước khoản đầu tư chi phí cho phần cứng mà có thể ưu tiên tập trung vào phát triển và triển khai ứng dụng của mình trước Có thể khởi động trước một số lượng server ảo cần đổi yêu cầu, nhu cầu với hệ thống

Relational Database Service (RDS): giúp dễ dàng thiết lập, vận hành và thay đổi quy mô CSDL quan hệ trên đám mây Dịch vụ này có thể cung cấp dung lượng có thể thay đổi kích cỡ với mức chi phí hiệu quả [34]

Hình 2.10 Minh họa kiến trúc AWS [34]

RDS là dịch vụ lưu trữ các CSDL riêng biệt cho các ứng dụng yêu cầu lớn Với dịch vụ này có thể tùy ý lựa chọn các cấu hình, dễ dàng cài đặt và sử dụng với giao diện web, chi phí sử dụng thấp, đồng thời có thể liên kết trực tiếp với công cụ quản lý cơ sở dữ liệu MySQL.

Giới thiệu công cụ tích hợp dữ liệu Pentaho Data Integration

Pentaho Data Integration (PDI) cung cấp khả năng trích xuất, chuyển đổi và tải dữ liệu Tạo điều kiện thuận lợi cho quá trình thu thập, làm sạch và lưu trữ dữ liệu bằng cách sử dụng định dạng đồng nhất và nhất quán, phù hợp với người dùng cuối

Pentaho có 2 phiên bản Pentaho EE (Enterprise Edition) tính phí và Pentaho CE (Community Editor) miễn phí Các công dụng phổ biến của Pentaho bao gồm:

• Di chuyển dữ liệu giữa các cơ sở dữ liệu và các ứng dụng khác nhau

• Truyền tải dữ liệu vào cơ sở dữ liệu của đám mây, phân cụm và môi trường xử lý hàng loạt

• Tích hợp dữ liệu bao gồm khả năng trích xuất, biến đổi, truyền tải dữ liệu.

Giới thiệu công cụ khai thác dữ liệu Microsoft Power BI

Power BI là dịch vụ phân tích kinh doanh của Microsoft, nằm trong nhóm kinh doanh thông minh (Business Intelligence) Nhằm mục đích cung cấp hình ảnh tương tác và khả năng kinh doanh thông minh với giao diện đơn giản để người dùng cuối tạo báo cáo và trang tổng quan của riêng họ

Báo cáo thông minh (Business Intelligence Report) hay còn gọi là báo cáo BI là hệ thống hỗ trợ doanh nghiệp xử lý và phân tích dữ liệu, đưa ra phán đoán nhanh chóng và chính xác Báo cáo thông minh có thể thực hiện nhiều hoạt động khác nhau như:

• Hỗ trợ đưa ra quyết định (Decision Support)

• Truy vấn và báo cáo (Query and Reporting)

• Phân tích trực tuyến (Online Analytical Processing)

• Phân tích thống kê (Statistical Analysis)

• Khai thác dữ liệu (Data Mining) đổi sẽ giúp:

• Giao tiếp rõ ràng dữ liệu phức tạp, bao gồm cả dữ liệu lớn

• Đưa ra quyết định sáng suốt dựa trên sự kiện

• Kết hợp các tập dữ liệu và tự động quá các quy trình thủ công

• Cho phép khám phá dữ liệu và tự phục vụ

• Cải thiện chất lượng và độ chính xác của dữ liệu

• Cho phép ra quyết định nhanh hơn và thông mình hơn.

PHƯƠNG PHÁP NGHIÊN CỨU

Quy trình nghiên cứu

Hình 3.1 Quy trình nghiên cứu Chương 1 Bảng 3.1 Mục đích và kết luận Chương 1

Nghiên cứu về bối cảnh chuyển đổi số

Việt Nam đang ở giai đoạn “Xuất phát” và đứng cuối so với các quốc gia ở khu vực Châu Á Thái Bình Dương Mặc dù chuyển đổi số đang diễn ra ở hầu hết các doanh nghiệp tại Việt Nam Tuy nhiên, vẫn còn tồn động rất nhiều khó khăn để doanh nghiệp vừa và nhỏ có thể thực hiện chuyển đổi số

Tổng hợp và so sánh các giải pháp giúp doanh nghiệp chuyển đổi số

Các tác nhân chính ảnh hưởng đến quá trình chuyển đổi số là: con người, quy trình và công nghệ Trong giai đoạn đầu của quá trình chuyển đổi số, đa số các doanh nghiệp lựa chọn chiến lược “Digital Fisrt” - ưu tiên các nền tảng công nghệ kỹ thuật số Luận văn đã đưa ra ưu điểm và nhược điểm của 8 giải pháp công nghệ giúp doanh nghiệp thực hiện chuyển đổi số

Sự cần thiết của chuyển đổi số đối với doanh nghiệp xây dựng tại

Tính chất phức tạp của dự án là yếu tố then chốt làm cho doanh nghiệp xây dựng khó có thể thực hiện chuyển đổi số Ngoài ra, vẫn còn một số rào cản khác như: khó đào tạo nhân lực ứng dụng công nghệ, chi phí thực hiện cao và khó tìm được giải pháp phần mềm phù hợp

Tính cấp thiết của quản lý cơ sở dữ liệu trong bối cảnh chuyển đổi số

Quản lý CSDL hiệu quả sẽ đem lại 4 lợi ích cho doanh nghiệp: tạo được sự thống nhất trong dữ liệu của doanh nghiệp, giải quyết vấn đề nhanh chóng và chính xác, hỗ trợ đưa ra quyết định, là nền tảng cho việc phát triển các công nghệ tiếp theo Ngoài ra, lựa chọn phát triển DBMS đầu tiên vì 5 lý do sau: chi phí thấp, yêu cầu về trình độ chuyên môn trung bình, chất lượng giải pháp trung bình - tốt, xây dựng hạ tầng dữ liệu nhanh và quy mô mở rộng dữ liệu không bị giới hạn

Hình 3.2 Quy trình nghiên cứu Chương 2,3 và 4

Tổng hợp và so sánh các giải pháp xây dựng hệ thống quản lý cơ sở dữ liệu

Lựa chọn phương pháp xây dựng kho dữ liệu DWH từ việc tích hợp các kho DM để nghiên cứu vấn để quản lý cơ sở dữ liệu về chi phí cho doanh nghiệp xây dựng vì 5 lý do sau:

DM phù hợp với mục đích nghiên cứu của luận văn về việc báo cáo và phân tích dữ liệu; chi phí lưu trữ thấp vì dữ liệu đã được chọn lọc trước khi đưa vào kho dữ liệu; yêu cầu trình độ chuyên môn về công nghệ không quá cao nên có thể áp dụng cho tất cả các loại hình doanh nghiệp; đáp ứng được nhu cầu cần thiết trong việc khai thác dữ liệu của doanh nghiệp vì mỗi kho DM sẽ giải quyết một vấn đề cụ thể; độ mở rộng kho DM là lớn vì có thể mở rộng ra nhiều vấn đề khác sau khi tạo kho dữ liệu [Hình 2.2]

Tổng hợp và so sánh các công cụ quản lý dữ liệu

Lựa chọn công cụ MySQL để quản lý dữ liệu vì 4 lí do sau: chi phí thấp vì MySQL sử dụng mã nguồn mở nên miễn phí, ngoại trừ một vài tính năng mở rộng sẽ tính phí; MySQL cho phép kết nối với hầu hết các công cụ lưu trữ, điều này cho phép doanh nghiệp có thể sử dụng công cụ lưu trữ đám mây hiện có của doanh nghiệp; MySQL sử dụng mã nguồn mở nên dễ dàng tìm kiếm sự hỗ trợ từ cộng đồng; MySQL hỗ trợ tính năng thiết kế kho dữ liệu bằng cách thanh công cụ có sẵn, hạn chế việc sử dụng nhiều câu lệnh phức tạp

Giới thiệu các công cụ lưu trữ, tích hợp và

Giới thiệu về công cụ Amazon Relational Database Service, Pentaho Data Integration, Microsoft Power BI Ngoài các công cụ được giới thiệu trong luận văn, doanh nghiệp có thể

Mục đích Kết luận khai thác dữ liệu sử dụng bất kỳ công cụ nào hiện có của doanh nghiệp vì MySQL có thể kết nối với hầu hết các công cụ hiện có

RDS trên nền tảng Amazon

Quy trình đăng ký kho dữ liệu RDS và kết nối với MySQL được trình bày tại Mục 4.1

Xây dựng các bảng dữ liệu

Xây dựng bảng thông tin chi tiết cho 6 bảng danh mục và 5 bảng sự kiện bao gồm bảng: danh mục dự án, danh mục hợp đồng, danh mục thời gian, danh mục khu vực, danh mục loại vật liệu, danh mục loại hợp đồng, sự kiện thanh toán giữa doanh nghiệp xây dựng và nhà cung cấp vật tư, nguyên vật liệu, chủ đầu tư, nhà thầu phụ và các chi phí khác [Bảng 4.1~Bảng 4.11]

Xây dựng mô hình quan hệ dữ liệu

Xây dựng mô hình quan hệ dữ liệu bằng công cụ MySQL giải quyết 3 vấn đề về chi phí dự án bao gồm: tình trạng thanh toán hợp đồng dự án, đánh giá tình trạng dự án và dự đoán đơn giá nguyên vật liệu [Hình 4.3, 4.5, 4.7]

Xây dựng mô hình ETL dữ liệu

Xây dựng mô hình ETL bằng công cụ Pentaho Data Integration tự động hóa quá trình tổng hợp, sắp sếp và tải dữ liệu từ cơ sở dữ liệu của doanh nghiệp vào kho dữ liệu [Hình 4.9~Hình 4.11]

Hình 3.3 Quy trình nghiên cứu Chương 5 và 6 Bảng 3.3 Mục đích và kết luận Chương 5

Xây dựng các báo cáo, bao gồm: báo cáo tình trạng thanh toán dự án, báo cáo đánh giá tình trạng dự án và

Kết nối Power BI và MySQL nhằm tự động hóa quá trình tổng hợp và tính toán dữ liệu Xây dựng các báo cáo bằng công cụ Power BI bao gồm:

• Báo cáo tình trạng thanh toán: thông qua báo cáo này sẽ biết được tổng giá trị hợp đồng, giá trị đã thanh toán và phần còn lại cần phải thanh toán của từng hợp đồng

• Báo cáo đánh giá tình trạng dự án: thông qua báo cáo này sẽ biết được dòng tiền của dự án, đánh giá tình trạng dự án bằng

Mục đích Kết luận báo cáo dự đoán đơn giá nguyên vật liệu phương pháp EVM, đánh giá khả năng thanh toán của dự án thông qua hệ số khả năng thanh toán tổng quát

• Dự đoán đơn giá vật liệu: xác định biểu đồ đơn giá nguyên vật liệu thông qua lịch sử giao dịch của doanh nghiệp Thông qua báo cáo này sẽ biết được đơn giá nguyên vật liệu trong tương lai và khoảng dao động của đơn giá Ứng dụng kho dữ liệu

XÂY DỰNG KHO DỮ LIỆU TRÊN NỀN TẢNG ĐÁM MÂY DÙNG CHO QUẢN LÝ DỮ LIỆU VỀ CHI PHÍ CỦA DOANH NGHIỆP XÂY DỰNG

Xây dựng kho dữ liệu RDS trên Cloud Amazon Web Service

4.1.1 Tạo kho dữ liệu RDS trên Amazon Web Service

Bước 1: Đăng ký tài khoản Cloud AWS theo đường link https://portal.aws.amazon.com/billing/signup#/start/email

Bước 2: Đăng nhập vào tài khoản, sau đó chọn Services góc phía trên bên trái màn hình Chọn dịch vụ Database, chọn tiếp RDS (Relational Database Services)

Hình 4.1 Mô tả bảng lựa chọn dịch vụ trong AWS

Bước 3: Tạo kho dữ liệu trên Amazon RDS

Chọn mục Dashboard, chọn tiếp Create database Lưu ý: Chọn khu vực Singapore góc phía trên bên phải màn hình

Choose a database creation method: Lựa chọn một phương pháp tạo cơ sở dữ liệu

• Standard create: Phiên bản tiêu chuẩn

• Easy create: Phiên bản tạo nhanh, có thể thiết lập một số tùy chọn cấu hình sau khi cơ sở dữ liệu được tạo

Engine options: Lựa chọn công cụ quản lý cơ sở dữ liệu và phiên bản để kết nối với kho dữ liệu

Templates: Lựa chọn bậc sử dụng, phụ thuộc vào nhu cầu của người dùng

Settings: Cài đặt thông tin kho dữ liệu Được sử dụng để kết nối kho dữ liệu của Amazon RDS với các phần mềm Pentaho Data Integration, Microsoft Power BI và MySQL

• DB instance identifier: Tên kho dữ liệu

• Master username: Tên đăng nhập

• Master password: Mật khẩu đăng nhập

• Confirm password: Xác nhận lại mật khẩu

Instance configuration: Lựa chọn cấu hình Tủy theo bậc sử dụng mà dịch vụ AWS cung cấp các cấu hình khác nhau Trong bậc Free tier cung cấp 3 cấu hình bao gồm: db.t2.micro; db.t3.micro; db.t4g.micro

• Storage type: Loại kho Lựa chọn mặc định

• Allocated storage: Dung lượng kho dữ liệu Giới hạn từ 20 GiB đến 6144 GiB

Connectivity: Kết nối kho dữ liệu Kết nối của kho được để ở chế độ mặc định

Database authentication: Chọn phương thức xác thực cơ sở dữ liệu

Monitoring: Giám sát nâng cao Tính năng này cho phép xem các tiến trình sử dụng CPU của kho dữ liệu

Additional configuration: Cấu hình bổ sung trong kho dữ liệu

Database options: Lựa chọn kho dữ liệu

• Initial database name: Tên cơ sở dữ liệu

• DB parameter group: Chọn chế độ mặc định

• Option group: Chọn chế độ mặc định

Backup: Sao lưu tự động

• Backup retention period: Chọn thời gian

• Backup window: Chọn No preference

Log exports: Chọn loại nhật ký để tải lên Amazon

Maintenance window: Chọn No preference

Chọn Create database để tạo kho dữ liệu Các tính năng trong kho có thể điều chỉnh trong quá trình sử dụng

Bước 4: Các lưu ý sau khi tạo kho dữ liệu trên Amazon RDS

Endpoint: Đây là đường link được sử dụng để kết nối kho dữ liệu với các công cụ khác

Inbound rules: Kết nối đầu vào kho dữ liệu Cần phải tạo kết nối đầu vào của kho dữ liệu phù hợp với công cụ sử dụng

Type: Lựa chọn công cụ MySQL

Port range: 3306 Đây là chế độ mặc định khi tạo khó dữ liệu

4.1.2 Kết nối kho dữ liệu với MySQL Workbench

Bước 1: Tải phần mềm MySQL Workbench theo đường link https://dev.mysql.com/downloads/workbench/

Bước 2: Kết nối kho dữ liệu Amazon RDS với công cụ quản lý dữ liệu MySQL

Workbench Lựa chọn Setup New Connection

• Hostname: Sao chép đường link từ mục Endpoint trong Amazon RDS

• Username: Tên đăng nhập của kho dữ liệu

• Passwork: Mật khẩu của kho dữ liệu

Bước 3: Kết nối thành công kho dữ liệu Amazon RDS với phần mềm quản lý dữ liệu MySQL Workbench.

Xây dựng các Data Mart

Thao tác xây dựng thông tin chi tiết cho các bảng DM bằng công cụ MySQL được trình bày tại Phụ lục 2A

Mô hình dữ liệu trong luận văn là mô hình dữ liệu trong công tác quản lý dữ liệu về chi phí cho doanh nghiệp xây dựng Các Table của DM là các bảng chính để phục vụ cho việc tạo mô hình quan hệ dữ liệu Để có thể dễ dàng phân biệt cũng như tiện quản lý trong quá trình ETL, các Table này sẽ được lưu dưới dạng như: Table Date_Dim, Table Material_Fact, Table Project_Dim,…

Table Dim là các bảng danh mục hỗ trợ trong việc tham chiếu các Table Fact hoặc Table Dim khác

Table Fact là các bảng sự kiện, được dùng để kết nối các Table Dim Table Fact sẽ chứa khóa ngoại (FK - Foreign Key), các khóa ngoại này sẽ liên kết với các khóa chính (PK - Primary Key) của Table Dim để tham chiếu, truy vấn dữ liệu

Một số kiểu dữ liệu được sử dụng trong luận văn:

• Int: Kiểu dữ liệu số, chứa 255 ký tự

• Varchar (size): Kiểu dữ liệu bao gồm chữ, số, ký hiệu Với size là số lượng ký tự, có thể chứa từ 0 – 65535 ký tự

• Date: Kiểu dữ liệu ngày với định dạng yyyy-mm-dd

• Double: Kiểu dữ liệu tiền tệ

Table Project_Dim: Thể hiện thông tin dự án, được sử dụng để thể hiện mã dự án, tên dự án, ngày bắt đầu và ngày kết thúc dự án Table này kết nối 2 chiều với Table Contract_Dim theo cột ID_Project với mối quan hệ 1:n

Bảng 4.1 Thông tin chi tiết của bảng danh mục dự án

Tên cột Kiểu dữ liệu Mô tả

ID_Project Varchar(30) Mã dự án

Name_Project VarChar(300) Tên dự án

Start_Project Date Ngày bắt đầu

End_Project Date Ngày kết thúc

Table Contract_Dim: Thể hiện thông tin hợp đồng của doanh nghiệp với các đơn vị khác, được sử dụng để thể hiện mã hợp đồng, tên hợp đồng và tổng giá trị hợp đồng Table này sẽ kết nối 2 chiều với các Table Fact theo cột ID_Contract với mối quan hệ 1:n Ngoài ra, Table này cũng kết nối 2 chiều với Table Project_Dim và Table ID_Type_Contract theo cột ID tương ứng với mối quan hệ n:1

Bảng 4.2 Thông tin chi tiết của bảng danh mục hợp đồng

Tên cột Kiểu dữ liệu Mô tả

ID_Contract Varchar(30) Mã hợp đồng

ID_Project_Contract Varchar(30) Mã dự án

ID_Type_Contract Int Mã loại hợp đồng

Name_Contract VarChar(300) Tên hợp đồng

Total_Contract Double Tổng giá trị hợp đồng

Table Type_Contract_Dim: Thể hiện loại hợp đồng Table này kết nối 2 chiều với Table Contract_Dim theo cột ID_Type với mối quan hệ 1:n

Bảng 4.3 Thông tin chi tiết của bảng danh mục loại hợp đồng

Tên cột Kiểu dữ liệu Mô tả

ID_Type Int Mã loại hợp đồng

Name_Type_Contract Varchar(300) Tên loại hợp đồng địa điểm Table này kết nối 2 chiều với Table Fact theo cột ID_Area với mối quan hệ 1:n

Bảng 4.4 Thông tin chi tiết của bảng danh mục khu vực

Tên cột Kiểu dữ liệu Mô tả

ID_Area Int Mã tỉnh, thành phố

Name_Area Varchar(300) Tên tỉnh, thành phố

Table Type_Material_Dim: Thể hiện thông tin loại vật liệu Table này sẽ kết nối

2 chiều với Table Fact theo cột ID_Material với mối quan hệ 1:n

Bảng 4.5 Thông tin chi tiết bảng danh mục vật liệu

Tên cột Kiểu dữ liệu Mô tả

ID_Material Int Mã vật liệu

Name_Material Varchar(30) Tên vật liệu

Table Date_Dim: Thể hiện thông tin về mặt thời gian Table này sẽ kết nối 2 chiều với Table Fact theo cột Date với mối quan hệ 1:n

Bảng 4.6 Thông tin chi tiết của bảng danh mục thời gian

Tên cột Kiểu dữ liệu Mô tả

Date Date Ngày theo format: yyyy-mm-dd

Day Int Ngày theo số

Month Int Tháng theo số

Quarter Varchar(30) Quý theo số

Year Int Năm theo số

DayOfWeek Varchar(30) Tên của thứ

FullMonthName Varchar(30) Tháng theo tên

Tên cột Kiểu dữ liệu Mô tả

QuarterYear Varchar(30) Tên của quý kèm theo năm

Table Material_Fact: Thể hiện thông tin thanh toán nguyên vật liệu của doanh nghiệp Table này được sử dụng để dự đoán đơn giá nguyên vật liệu cho nên nguyên vật liệu được lưu trữ trong Table này bao gồm: cát, đá, xi măng, cốt thép Table này kết nối với Table Dim thông qua các cộng ID tương ứng

Bảng 4.7 Thông tin chi tiết của bảng sự kiện nguyên vật liệu

Tên cột Kiểu dữ liệu Mô tả

ID _Transaction_Material Varchar(30) Mã giao dịch

ID_Type_Material Int Mã vật liệu

Information_Material Varchar(300) Quy cách

ID_Area_Material Int Mã khu vực

ID_Contract_Material Varchar(30) Mã hợp đồng

Name_Transaction_Material Varchar(300) Nội dung thanh toán

Date_Material Date Ngày thanh toán

Price Double Giá trị thanh toán

Mass Int Khối lượng thanh toán

Table Supplier_Fact: Thể hiện thông tin thanh toán vật tư và nguyên vật liệu ngoại trừ cát, đá, xi măng, cốt thép có trong Table Material_Fact Table này được sử dụng để kiểm tra tình trạng thanh toán giữa doanh nghiệp với nhà cung cấp Table này kết nối với Table Dim thông qua các cột ID tương ứng

Bảng 4.8 Thông tin chi tiết của bảng sự kiện nhà cung cấp

Tên cột Kiểu dữ liệu Mô tả

ID_Transaction_Supplier Varchar(30) Mã giao dịch

ID_Contract_Supplier Varchar(30) Mã hợp đồng

Tên cột Kiểu dữ liệu Mô tả

Name_Transaction_Supplier Varchar(300) Nội dung thanh toán

Price_Supplier Double Giá trị thanh toán

Date_Supplier Date Ngày thanh toán

Table Subcontractor_Fact: Thể hiện thông tin thanh toán của nhà thầu phụ, được sử dụng để kiểm tra tình trạng thanh toán của doanh nghiệp với nhà thầu phụ Table này kết nối với Table Dim thông qua các cột ID tương ứng

Bảng 4.9 Thông tin chi tiết của bảng sự kiện nhà thầu phụ

Tên cột Kiểu dữ liệu Mô tả

ID_Transaction_Subcontractor Varchar(30) Mã giao dịch

ID_Contract_Subcontractor Varchar(30) Mã hợp đồng

Name_Transaction_Subcontractor Varchar(300) Nội dung thanh toán

Price_Subcontractor Double Giá trị thanh toán

Date_Subcontractor Date Ngày thanh toán

Table Investor_Fact: Thể hiện thông tin thanh toán của chủ đầu tư, được sử dụng để kiểm tra tình trạng thanh toán của doanh nghiệp với chủ đầu tư Table này kết nối với Table Dim thông qua các cột ID tương ứng

Bảng 4.10 Thông tin chi tiết của bảng sự kiện chủ đầu tư

Tên cột Kiểu dữ liệu Mô tả

ID_Transaction_Investor Varchar(30) Mã giao dịch

ID_Contract_Investor Varchar(30) Mã hợp đồng

Name_Transaction_Investor Varchar(300) Nội dung thanh toán

Price_Investor Double Giá trị thanh toán

Date_Investor Date Ngày thanh toán

Table Company_Fact: Thể hiện thông tin thanh toán các chi phí khác của dự án và không nằm trong các chi phí được nêu trong Table Material_Fact, Table Supplier_Fact, Table Subcontractor_Fact và Table Investor_Fact Được sử dụng để thể hiện các chi phí khác của doanh nghiệp mà không có hợp đồng Table này kết nối

2 chiều với các Table Dim theo các cột ID tương ứng

Bảng 4.11 Thông tin chi tiết của bảng sự kiện doanh nghiệp

Tên cột Kiểu dữ liệu Mô tả

ID_Transaction_Company Varchar(30) Mã giao dịch

ID_Contract_Company Varchar(30) Mã hợp đồng

Name_Transaction_Company Varchar(300) Nội dung thanh toán

Price_Company Double Giá trị thanh toán

Date_Company Date Ngày thanh toán

4.2.2 Xây dựng mô hình dữ liệu theo chủ đề Data Mart

Mô hình quan hệ dữ liệu sử dụng công cụ MySQL, sẽ được xây dựng bằng cách kết nối các Table Dim và Table Fact thông qua các khóa chính tương ứng được trình bày tại Phụ lục 2B Sơ đồ tổng thể kho dữ liệu Data Warehouse của luận văn:

Hình 4.2 Mô hình quan hệ dữ liệu tổng thể

4.2.2.1 Vấn đề 1: Tình trạng thanh toán hợp đồng dự án

Tình trạng thanh toán được xét đến là trạng thái thanh toán các hạng mục của doanh nghiệp xây dựng với nhà cung cấp vật tư, nhà cung cấp nguyên vật liệu, nhà thầu phụ và chủ đầu tư Các yêu cầu trong một báo cáo về tình trạng thanh toán dự án bao gồm: tổng giá trị hợp đồng các hạng mục giữa doanh nghiệp với các bên liên quan, giá trị đã thanh toán, giá trị còn lại cần phải thanh toán, bảng danh mục tình hình thanh toán của tất cả các hợp đồng, bảng danh mục thanh toán chi tiết của từng hợp đồng theo thời gian thanh toán và nội dung thanh toán

Từ các vấn đề trên, luận văn sẽ sử dụng lược đồ Galaxy cho sự kiện thanh toán của dự án

Hình 4.3 Lược đồ Galaxy sự kiện thanh toán

Hình 4.4 Chi tiết mô hình dữ liệu sự kiện thanh toán 4.2.2.2 Vấn đề 2: Đánh giá tình trạng thanh toán dự án

Mô hình dữ liệu đánh giá tình trạng thanh toán dự án hỗ trợ doanh nghiệp có cái nhìn tổng quan về dòng tiền của dự án Báo cáo đánh giá tình trạng thanh toán dự án bao gồm: bảng danh mục dòng tiền của dự án, biểu đồ dòng tiền dự án và đánh giả khả năng thanh toán của doanh nghiệp thông qua hệ số khả năng thanh toán tổng quát từ dữ liệu đang có của doanh nghiệp

Bảng danh mục dòng tiền dự án bao gồm: dòng thu và chi của dự án được sắp xếp theo thời gian thanh toán, lũy kế dòng thu và chi của dự án

• Dòng thu của dự án được xác định từ bảng sự kiện thanh toán chủ đầu tư

• Dòng chi của dự án được xác định từ tổng bảng sự kiện thanh toán doanh nghiệp, nhà thầu phụ, nhà cung cấp vật tư và nhà cung cấp nguyên vật liệu

• Biểu đồ dòng tiền của dự án xác định từ lũy kế dòng thu và lũy kế dòng chi của dự án

Khả năng thanh toán của doanh nghiệp được xác định thông qua hệ số khả năng thanh toán tổng quát của doanh nghiệp tại một thời điểm

• Hệ số khả năng thanh toán = Tổng số tiền hiện có / Tổng số tiền phải thanh toán

• Tổng số tiền hiện có: là số tiền hiện có của doanh nghiệp trong dự án được dùng để thanh toán các hạng mục, hợp đồng dự án Được xác định từ dòng thu của doanh nghiệp sau khi trừ các chi phí đã thanh toán của nhà thầu phụ, nhà cung cấp vật tư, nhà cung cấp nguyên vật liệu và các chi phí khác không nằm trong hợp đồng

Thiết kế mô hình ETL dữ liệu

Dữ liệu sẽ được phân chia làm 3 loại: dữ liệu không cập nhật, dữ liệu ít cập nhật và dữ liệu thường xuyên cập nhật

• Dữ liệu không cập nhật: Table Area_Dim, Table Type_Contract_Dim, Table Type_Material_Dim

• Dữ liệu ít cập nhật: Table Contract_Dim, Table Project_Dim, Table Date_Dim

• Dữ liệu thường xuyên cập nhật: Table Company_Fact, Table Investor_Fact, Table Material_Fact, Table Subcontractor_Fact, Table Supplier_Fact

4.3.2 Trình tự tải dữ liệu

Mô hình trong kho dữ liệu là mô hình quan hệ dữ liệu Do đó, khi tải dữ liệu cần phải tải theo mối quan hệ “cha : con” Ví dụ mối quan hệ giữa Table Type_Contract_Dim và Table Contract_Dim là mối quan hệ 1:n (cha : con) Để có thể tải dữ liệu vào Table Contract_Dim, cần phải có dữ liệu của Table Type_Contract_Dim trước Sau đó mới có thể tải dữ liệu vào Table Contract_Dim Trình tự tải dữ liệu của luận văn được chia làm 3 tầng, dữ liệu sẽ được tải theo thứ tự từ tầng 1 đến tầng 3:

• Tầng 1: Table Area_Dim, Table Type_Contract_Dim, Table Type_Material_Dim, Table Project_Dim, Table Date_Dim

• Tầng 3: Table Company_Fact, Table Investor_Fact, Table Material_Fact, Table Subcontractor_Fact, Table Supplier_Fact

4.3.3 Thiết kế mô hình ETL

Từ phân loại dữ liệu và trình tự tải dữ liệu Chia mô hình ETL dữ liệu làm 3 loại: bảng danh mục không cập nhật, bảng danh mục ít cập nhật và bảng sự kiện

Mô hình tổng quan tiến trình ETL của luận văn:

Hình 4.9 Mô hình tổng quan tiến trình ETL

Source: là những bảng gốc được lấy từ file Excel của doanh nghiệp Các bảng này sẽ được lưu trữ trong quá trình thực hiện dự án và được cập nhật định kỳ theo nhu cầu sử dụng dữ liệu của người dùng cuối

Select: được thiết kế để chuyển đổi dữ liệu từ nguồn (Source) sang đích (Dest)

Dest: đây là bước cuối cùng của tiến trình ETL Dest sẽ được kết nối trực tiếp với kho dữ liệu, dữ liệu sẽ được tải vào và sắp xếp theo cấu trúc của kho dữ liệu Thiết kế chi tiết ETL của bảng danh mục không cập nhật:

Hình 4.10 Chi tiết ETL của bảng danh mục không cập nhật

Hình 4.11 Chi tiết ETL của bảng danh mục ít cập nhật

Thiết kế chi tiết ETL của bảng sự kiện:

Hình 4.12 Chi tiết ETL của bảng sự kiện

XÂY DỰNG BỘ BÁO CÁO THÔNG MINH

Xây dựng bộ báo cáo thông minh từ kho dữ liệu

Các hàm tính toán các giá trị trong Microsoft Power BI được trình bày tại phụ lục 4

Sau khi thiết kế kho dữ liệu DM và mô hình ETL dữ liệu, Microsoft Power BI sẽ được kết nối trực tiếp với kho dữ liệu Tùy thuộc vào nhu cầu người dùng có thể thực hiện các báo cáo khác cho riêng mình, luận văn sẽ thực hiện các báo cáo dựa trên yêu cầu được nêu trong mục 4.2.2 Các báo cáo thực hiện trên Microsoft Power BI bao gồm:

• Báo cáo tình trạng thanh toán hợp đồng dự án

• Báo cáo đánh giá tình trạng dự án

• Báo cáo dự đoán đơn giá nguyên vật liệu

Sau khi kết nối với kho dữ liệu Data Mart, mô hình quan hệ dữ liệu của kho cũng sẽ cập nhật tương ứng trong Power BI

Hình 5.1 Mô hình quan hệ dữ liệu trên Microsoft Power BI

5.1.1 Báo cáo tình trạng thanh toán hợp đồng dự án

Báo cáo tình trạng thanh toán hợp đồng dự án sẽ bao gồm: tổng giá trị hợp đồng, giá trị đã thanh toán, số tiền còn lại cần phải thanh toán của từng hợp đồng và bảng danh mục các thanh toán theo hợp đồng Báo cáo sẽ được lọc dựa vào: loại hợp đồng, mã dự án và mã hợp đồng Trình tự thực hiện báo cáo thông minh như sau:

Tạo Slicer cho Loại hợp đồng, Mã dự án và Mã hợp đồng

Tạo Card cho Tổng hợp đồng, Đã thanh toán và Còn lại:

• Tổng hợp đồng được xác định từ Total_Contract từ bảng Contract_Dim

• Đã thanh toán được xác định từ tổng Price của các bảng Investor_Fact, Subcontractor_Fact, Supplier_Fact và Material_Fact Do đã đặt bộ lọc là Loại hợp đồng nên giá trị này sẽ lấy là tổng, khi áp dụng bộ lọc sẽ trả về giá trị đúng với bộ lọc

• Còn lại được xác định từ Tổng hợp đồng trừ cho giá trị Đã thanh toán

Tạo Donut chart cho biểu đồ Tình trạng thanh toán hợp đồng, được xác định từ Đã thanh toán và Còn lại

Tạo 100% Stacked bar chart cho biểu đồ Tổng hợp tình trạng thanh toán hợp đồng:

• Trục X: Mã hợp đồng lấy từ bảng Contract_Dim

• Trục Y: Đã thanh toán và Còn lại Để có thể tạo bảng danh mục các giao dịch trong hợp đồng cần tổng hợp các giao dịch có trong các bảng Fact Sử dụng tính năng Append Queries trong Power Query để tổng hợp các giao dịch vào một bảng mới được đặt tên là Sumary_Fact Sau đó tạo Table cho bảng danh mục các giao dịch trong hợp đồng, được xác định như sau:

• Ngày giao dịch từ bảng Date_Dim

• Mã hợp đồng lấy từ bảng Contract_Dim

• Mã giao dịch, Nội dung thanh toán và Giá trị thanh toán được lấy từ bảng Sumary_Fact

Hình 5.2 Báo cáo tình trạng thanh toán hợp đồng dự án 5.1.2 Báo cáo đánh giá tình trạng thanh toán dự án

Báo cáo đánh giá tình trạng thanh toán dự án sẽ bao gồm: biểu đồ dòng tiền dự án, danh mục chi tiết các chi phí trong quá trình thực hiện dự án, tổng số tiền hiện có của doanh nghiệp, số tiền còn lại cần phải thanh toán cho các hợp đồng dự án, hệ số khả năng thanh toán tổng quát Báo cáo sẽ được lọc theo mã dự án Trình tự thực hiện báo cáo thông minh như sau:

Tạo Slicer cho Mã dự án và Ngày

Hệ số khả năng thanh toán tổng quát = Tổng số tiền hiện có / Tổng số tiền cần phải thanh toán:

• Tổng số tiền hiện có là tổng số tiền doanh nghiệp đang có của dự án sau khi trừ đi tất cả các chi phí sử dụng cho dự án, được xác định từ tổng Price của bảng Investor_Fact trừ cho tổng các bảng Company_Fact, Subcontractor_Fact,

Supplier_Fact và Material_Fact

• Tổng số tiền cần phải thanh toán sẽ là tổng các giá trị hợp đồng còn lại cần phải thanh toán của nhà thầu phụ, nhà cung cấp vật tư và nhà cung cấp nguyên vật liệu Được xác định từ Total_Contract của bảng Contract_Dim sau khi trừ toàn bộ hợp đồng của chủ đầu tư, trừ cho tổng Price của bảng Material_Fact, Supplier_Fact và Subcontractor_Fact

Tạo Table cho bảng danh mục dòng tiền, được xác định từ:

• Ngày giao dịch lấy từ Date của bảng Date_Dim

• Dòng thu được xác định từ lũy kế Price của bảng Investor_Fact

• Dòng chi được xác định từ lũy kế tổng Price của bảng Company_Fact, Subcontractor_Fact, Supplier_Fact và Material_Fact

Tạo Line chart cho biểu đồ dòng tiền dự án, được xác định từ:

• Trục X: Date lấy từ bảng Date_Dim

• Trục Y: Dòng thu và dòng chi

Hình 5.3 Báo cáo đánh giá tình trạng thanh toán dự án 5.1.3 Báo cáo dự đoán đơn giá nguyên vật liệu

Báo cáo dự đoán đơn giá nguyên vật liệu sẽ bao gồm biểu đồ đơn giá nguyên vật liệu và phần dự báo đơn giá trong tương lai Báo cáo sẽ được lọc theo: khu vực mua nguyên vật liệu, chủng loại vật liệu và quy cách Trình tự thực hiện báo cáo thông minh như sau:

Tạo Line chart cho Biểu đồ dự đoán đơn giá nguyên vật liệu, sử dụng tính năng Forecast trong Power BI để dự đoán đơn giá, các giá trị trong biểu đồ được xác định như sau:

• Trục X: Date được lấy từ bảng Date_Dim

• Trục Y: Đơn giá được xác định từ Price / Mass trong bảng Material Fact

Tính năng Forecast trong Power BI sử dụng phương pháp Trung bình động tự hồi quy sử dụng mô hình chuỗi thời gian sử dụng các quan sát trước đó làm dữ liệu đầu vào Các giá trị đầu ra phụ thuộc tuyến tính các giá trị trước đó của chính nó và ngẫu nhiên

Hình 5.4 Báo cáo dự đoán đơn giá nguyên vật liệu

5.2 Ứng dụng vào dự án cụ thể

Thông tin chi tiết dữ liệu đầu vào trình bày tại Phụ lục 5

Dữ liệu đầu vào được lấy từ dự án Trường học tại Huyện Phú Quốc, Tỉnh Kiên Giang Số liệu đầu vào bao gồm 10 hạng mục của dự án, thông tin chi tiết như sau:

• Ngày bắt đầu dự án là 26/12/2019

• Ngày kết thúc dự án là 31/01/2022

• Tổng chi phí hợp đồng giữa doanh nghiệp xây dựng và chủ đầu tư là 44.949.317.661 đồng

• Chi phí thực hiện của doanh nghiệp xây dựng sau khi hoàn thành dự án là 35.822.228.179 đồng Chi phí trên chỉ bao gồm chi phí xây dựng và chi phí thiết bị

Thực hiện đánh giá tình trạng dự án Thời điểm thực hiện đánh giá là ngày 01/10/2021 Sau khi hoàn thành hạng mục thứ 5 Các hạng mục đã hoàn thanh bao gồm: Dãy 15 phòng học dãy A, Dãy 6 phòng học bộ môn, Dãy 15 phòng học dãy B, Khu hiệu bộ, Nhà đa năng Các hạng mục còn lại bao gồm: Cổng hàng rào nhà bảo vệ, Nhà xe giáo viên, Nhà xe học sinh, Căn tin, Sân đường nội bộ và hạ tầng kỹ thuật Khối lượng hoàn thành tại thời điểm này là 85%

5.2.2.1 Báo cáo đánh giá tình trạng hợp đồng dự án

Chi phí thanh toán giữa doanh nghiệp và chủ đầu tư sau khi kết thúc dự án là 42.747.317.661 đồng chiếm 95% tổng giá trị hợp đồng Phần còn lại sẽ được thanh toán sau khi doanh nghiệp hoàn thành nghĩa vụ bảo hành công trình theo quy định tại hợp đồng

Hình 5.5 Báo cáo thanh toán giữa doanh nghiệp và chủ đầu tư

Chi phí thanh toán các hợp đồng thầu phụ là 16.287.373.000 đồng

Hình 5.6 Báo cáo thanh toán giữa doanh nghiệp và nhà thầu phụ

Chi phí thanh toán giữa doanh nghiệp và nhà cung cấp nguyên vật liệu là 8.622.670.419 đồng

Hình 5.7 Báo cáo thanh toán giữa doanh nghiệp và nhà cung cấp nguyên vật liệu

Chi phí thanh toán giữa doanh nghiệp và nhà cung cấp vật tư là 2.702.835.000 đồng

Hình 5.8 Báo cáo thanh toán giữa doanh nghiệp và nhà cung cấp vật tư

Các chi phí khác không có trong hợp đồng là 8.209.349.760 đồng

Hình 5.9 Các chi phí khác không có trong hợp đồng

Tổng chi phí doanh nghiệp sử dụng để thực hiện dự án là 35.822.228.179 đồng

5.2.2.2 Báo cáo đánh giá tình trạng thanh toán dự án Đánh giá tình trạng thanh toán dự án tại thời điểm ngày 01/10/2021 Kết quả thu được như sau:

Hình 5.10 Kết quả báo cáo đánh giá tình trạng thanh toán dự án

5.2.2.3 Báo cáo dự đoán đơn giá nguyên vật liệu

Do dữ liệu thu thập của dự án không đủ để dự báo đơn giá theo ngày hoặc tháng Luận văn sử dụng dữ liệu đơn giá và chạy dự báo theo các quý trong năm