TỔNG QUAN VỀ BÀI TOÁN NGHIÊN CỨU
Giới thiệu về đơn vị thực tập
1.1.1 Quá trình hình thành và phát triển
Công ty tài chính cổ phần Điện lực (EVNFC) là một thành viên của Tập đoàn Điện lực Việt Nam, được thành lập vào ngày 01 tháng 9 năm 2008, với trụ sở chính tại Hà Nội và hai chi nhánh tại Đà Nẵng và Hồ Chí Minh Đến năm 2022, EVNFC đã trở thành một trong những định chế tài chính hàng đầu tại Việt Nam, cung cấp đa dạng sản phẩm dịch vụ cho nhiều thành phần kinh tế và đóng vai trò quan trọng trong việc thu xếp vốn và quản lý ủy thác vốn vay chính phủ Công ty cũng cung cấp các sản phẩm tài chính thiết thực cho Tập đoàn Điện lực Việt Nam Sau gần 14 năm phát triển, EVNFC không ngừng mở rộng quy mô và khẳng định vị thế cạnh tranh thông qua các sản phẩm, dịch vụ uy tín và chất lượng.
Dưới đây là cột mốc quan trọng từ lúc thành lập cho đến nay của công ty:
- Ngày 29/05/2008: lần đầu tiên đại hội cổ đông được tổ chức
- Ngày 07/07/2008: được NHNN cấp giấy phép số 187/GP – NHNN chính thức cho phép EVNFC đi vào hoạt động trong khuôn khổ
Vào ngày 01/09/2008, công ty chính thức hoạt động với sứ mệnh quản lý và thu xếp vốn cho Tập đoàn Điện lực Việt Nam Vốn điều lệ của công ty đạt 2.500 tỷ đồng, trong đó Tập đoàn Điện lực Việt Nam nắm giữ 40%, ABBank chiếm 8,4%, và Công ty Cổ phần Cơ điện Lạnh sở hữu 1,8%.
- Tháng 04/2010: khai trương và đi vào hoạt động hai chi nhánh của công ty tại thành phố Hồ Chí Minh và Đà Nẵng
Vào tháng 07/2010, công ty đã bắt đầu cung cấp dịch vụ quản lý ủy thác cho vay lại và kiểm soát chi, nhận được sự tin tưởng từ chính phủ khi được giao nhiệm vụ cho vay cho dự án Nhà máy Nhiệt điện Vĩnh Tân 2.
- Năm 2012: triển khai sử dụng hệ thống quản lý chất lượng phù hợp theo tiêu chuẩn IOS 9001:2008 do viện tiêu chuẩn Anh Quốc (British Standard Institution) chứng nhận
- Năm 2016 được Chủ tịch nước tặng huân chương lao động hạng 3
- Tháng 08/2018: chính thức lên sàn giao dịch UPCOM và ra mắt thương hiệu Easy Credit
- Năm 2020 tăng mức vốn điều lệ lên 2.649.812.650.000 đồng
- Năm 2021: tăng vốn điều lệ 3.047.076.280.000 đồng
- Ngày 12/01/2022 EVNFC chính thức được niêm yết trên sàn HOSE
1.1.2 Sơ đồ bộ máy và chức năng nhiệm vụ của các đơn vị
Công ty tài chính cổ phần Điện lực hoạt động theo mô hình công ty cổ phần với cơ cấu tổ chức đến 31/03/2021 như sau:
Hình 1 1: Sơ đồ bộ máy tổ chức công ty EVNFC
Hội đồng quản trị là cơ quan quản lý chủ chốt của công ty, đóng vai trò quan trọng trong việc điều hành và ra quyết định Trong cấu trúc của Hội đồng quản trị, có văn phòng riêng chịu trách nhiệm về công tác văn thư, quản lý quan hệ cổ đông và tổ chức đại hội cổ đông.
Ban kiểm soát đóng vai trò cầu nối giữa hội đồng quản trị và phòng kiểm toán nội bộ, có nhiệm vụ đối soát và báo cáo về tính hợp pháp trong hoạt động của công ty, đặc biệt là trong việc ghi chép sổ kế toán và báo cáo tài chính Ban kiểm toán nội bộ sẽ thực hiện rà soát và đánh giá độc lập, khách quan về mức độ đầy đủ, tính thích hợp, hiệu lực và hiệu quả của hệ thống kiểm toán nội bộ, từ đó đưa ra kiến nghị cho người quản trị nhằm điều chỉnh chiến lược phát triển nếu phát hiện sai sót.
Phòng quan hệ khách hàng đóng vai trò quan trọng trong việc tư vấn và đề xuất chính sách phát triển mối quan hệ với khách hàng Bộ phận này không chỉ giới thiệu và tư vấn về các sản phẩm, dịch vụ của công ty mà còn chịu trách nhiệm thiết lập, duy trì và theo dõi các mối quan hệ với khách hàng để đảm bảo sự hài lòng và phát triển bền vững.
- Phòng nguồn vốn: kết hợp với các đơn vị khác để xây dựng, quản lý và sử dụng vốn hiệu quả
- Phòng kế hoạch và thị trường: khảo sát, tìm hiểu thị trường từ đó xây dựng và triển khai thực hiện công tác tư vấn cho người quản trị
Phòng kế toán là bộ phận quan trọng trong công ty, chịu trách nhiệm thực hiện các công việc tài chính và kế toán theo quy định của nhà nước Ngoài ra, phòng kế toán còn đóng vai trò tư vấn cho ban giám đốc về việc chỉ đạo, kiểm tra và quản lý, giám sát việc tuân thủ các chế độ tài chính nội bộ của công ty cũng như các quy định của nhà nước.
- Ban kiến trúc và quản lý dự án: xây dựng kiến trúc công nghệ thông tin, tổ chức và quản lý các dự án công nghệ
Ban phát triển ứng dụng chịu trách nhiệm phân tích, thiết kế và phát triển các ứng dụng mới, đồng thời hiệu chỉnh các tính năng của ứng dụng hiện có để đáp ứng yêu cầu quản trị của công ty.
Để đảm bảo ứng dụng hoạt động hiệu quả, chúng tôi cung cấp đào tạo và hỗ trợ người dùng, tiếp nhận và phối hợp xử lý các sự cố phát sinh, cũng như thực hiện thử nghiệm trước khi đưa ứng dụng vào sử dụng.
Xây dựng và duy trì hệ thống báo cáo nội bộ cùng với kho dữ liệu khách hàng tập trung là rất quan trọng trong việc quản lý dữ liệu lớn Việc ứng dụng công nghệ dữ liệu lớn sẽ hỗ trợ hiệu quả cho các nhu cầu kinh doanh, giúp tối ưu hóa quy trình ra quyết định và nâng cao hiệu suất hoạt động.
Ban hạ tầng và an toàn thông tin đóng vai trò quan trọng trong việc thực hiện các công tác hạ tầng công nghệ thông tin Điều này bao gồm việc quản lý danh mục tài sản công nghệ thông tin và đảm bảo an toàn thông tin trong các dịch vụ công nghệ thông tin.
- Khối tín dụng tiêu dùng: thực hiện các dịch vụ tài chính – ngân hàng, cấp tín dụng và các hoạt động đầu tư, tư vấn khác
Phòng quản lý ủy thác và cho vay lại chịu trách nhiệm triển khai các nghiệp vụ ủy thác và cho vay lại, đồng thời nghiên cứu, xây dựng và phát triển các hoạt động liên quan đến quản lý ủy thác cho vay Hệ thống quy chế phê duyệt tiếp nhận và cấp phát được thiết lập từ phòng đến các hội đồng nhằm đảm bảo tính hiệu quả và minh bạch trong quá trình quản lý.
Phòng tín dụng chịu trách nhiệm xây dựng các chính sách và phát triển tín dụng cho công ty, thực hiện thẩm định và cấp tín dụng cho khách hàng, đồng thời quản lý hiệu quả sau khi cấp tín dụng.
Phòng đầu tư có nhiệm vụ xây dựng định hướng và kế hoạch đầu tư, đồng thời tìm kiếm và thẩm định các cơ hội đầu tư Một trong những trách nhiệm quan trọng của phòng là quản lý các danh mục đầu tư và cung cấp tư vấn cho tổng giám đốc trong công tác đầu tư.
Phòng xử lý nợ có nhiệm vụ giám sát, tiếp nhận và xử lý các khoản nợ, đồng thời thực hiện nghiên cứu và đánh giá tình hình nợ Đơn vị này sẽ đề xuất các phương án xử lý nợ và áp dụng các biện pháp cần thiết theo phương án đã được tổng giám đốc phê duyệt.
Giới thiệu về bài toán
Báo cáo là văn bản hành chính quan trọng, bao gồm cả dạng giấy và điện tử, được sử dụng bởi cơ quan, tổ chức và cá nhân để trình bày tình hình và kết quả công việc Mục đích của báo cáo là cung cấp thông tin cho các cơ quan và người có thẩm quyền, phục vụ cho việc phân tích, đánh giá, điều hành và đưa ra quyết định quản lý hiệu quả.
Khoản 1 Điều 3 Nghị định 09/2019/NĐ – CP)
Trong các công ty, đặc biệt là trong lĩnh vực tài chính, báo cáo giữ vai trò quan trọng trong việc cung cấp thông tin cho người quản trị Những báo cáo này không chỉ giúp nắm bắt tình hình thực tế mà còn hỗ trợ đưa ra quyết định và chiến lược kinh doanh hiệu quả Để đảm bảo chất lượng, báo cáo cần đáp ứng ba yếu tố: tính chính xác của dữ liệu, tính kịp thời trong việc truyền tải thông tin và tính minh bạch Thiếu một trong ba yếu tố này sẽ ảnh hưởng đến tiến độ xây dựng báo cáo và khả năng theo dõi tình hình công ty của người quản trị, từ đó gây khó khăn trong việc đưa ra các quyết định kinh tế kịp thời Do đó, các công ty cần thiết lập một hệ thống quản lý và truy xuất báo cáo để đáp ứng nhu cầu thiết yếu và mục đích kinh doanh.
Hiện nay, công ty cổ phần tài chính Điện lực đang sử dụng hai loại báo cáo chính: báo cáo thông tư 35 theo quy định của Ngân hàng Nhà Nước và báo cáo nội bộ Việc xây dựng các báo cáo chưa được tự động hóa hoàn toàn, các đơn vị kinh doanh (BU) thường phải khai thác dữ liệu từ hệ thống SBV Report, trong khi một số báo cáo đặc thù yêu cầu số liệu phải được nhập tay Điều này dẫn đến việc BU phải tổng hợp dữ liệu từ nhiều nguồn khác nhau như T24 và ELS, gây tốn thời gian và khó khăn do sự không đồng nhất của số liệu Những vấn đề như thiếu dữ liệu, xung đột dữ liệu trong quá trình ETL và các nguyên nhân khách quan khác đã gây cản trở cho việc xây dựng báo cáo Do đó, sự ra đời của hệ thống Auto Report được xem là giải pháp hiệu quả, giúp giải quyết các vấn đề hiện tại và là phiên bản nâng cấp hoàn toàn cho hệ thống SBV Report.
Mục tiêu nghiên cứu khóa luận là xây dựng báo cáo nội bộ cho hệ thống tự động hóa báo cáo dựa trên giải pháp kho dữ liệu trên GCP tại Công ty Tài chính Cổ phần Điện lực Nghiên cứu nhằm hiểu rõ vấn đề tồn tại của doanh nghiệp khi sử dụng hệ thống SBV Report, bao gồm nghiệp vụ của các báo cáo, dữ liệu đầu vào và đầu ra, ý nghĩa của báo cáo trong thực tế, cũng như quy trình xây dựng một báo cáo để tích hợp vào hệ thống tự động hóa báo cáo.
1.2.2 Lý do chọn bài toán
Trong thời gian thực tập tại công ty cổ phần tài chính Điện lực, tôi đã tham gia dự án “Xây dựng Hệ thống Auto Report” với vai trò phân tích nghiệp vụ và dữ liệu cho các báo cáo nội bộ Đây là cơ hội tuyệt vời giúp tôi phát triển và trau dồi kiến thức về tài chính - ngân hàng Với vị trí nhà phân tích dữ liệu, tôi đã hiểu rõ ý nghĩa và cách sử dụng dữ liệu để phục vụ cho báo cáo Bên cạnh đó, tôi cũng áp dụng kiến thức đã học từ trường vào thực tiễn, từ đó mở rộng cái nhìn về lĩnh vực này.
1.2.3 Ý nghĩa thực tế của bài toán
Hiện nay, công ty cổ phần tài chính Điện lực gặp khó khăn trong việc xây dựng báo cáo do quy trình không tự động hoàn toàn, dẫn đến thời gian truy xuất lâu, có khi lên đến một đến hai giờ Điều này ảnh hưởng lớn đến tiến độ làm việc của các BU và gây khó chịu cho người dùng Khi cần thêm thông tin, hệ thống SBV Report không đáp ứng kịp thời, buộc các BU phải thu thập dữ liệu từ nhiều nguồn khác nhau, tạo ra sự không thống nhất và khó khăn trong xác định dữ liệu chính xác Để giải quyết vấn đề này, hệ thống Auto Report được phát triển, giúp tự động hóa quy trình xây dựng báo cáo với thời gian truy xuất nhanh chóng chỉ từ 30 giây đến một phút cho các báo cáo có phát sinh số liệu, và chỉ 5 giây cho các báo cáo không phát sinh Hệ thống này đảm bảo tính chính xác và linh hoạt trong mẫu biểu, nội dung, đáp ứng nhu cầu quản trị, từ đó tăng hiệu suất làm việc cho cán bộ nhân viên và cải thiện tốc độ cung cấp báo cáo Với sự ra đời của Auto Report, công ty khẳng định vị thế trong việc ứng dụng công nghệ tiên tiến, nâng cao trải nghiệm khách hàng và tăng khả năng cạnh tranh với các ngân hàng và công ty tài chính khác.
Tổng quan về các hệ thống quản lý báo cáo tại EVNFC
1.3.1 Hệ thống Temenos SBV Report
Hình 1 2: Quy trình truyền báo cáo của hệ thống SBV sau khóa sổ live
Hiện nay, EVNFC đang sử dụng hệ thống Temenos SBV Report để xuất báo cáo thống kê phục vụ Ngân hàng Nhà nước và báo cáo nội bộ cho việc kiểm tra, giám sát hoạt động kinh doanh Bài viết này sẽ mô tả chi tiết luồng hoạt động của hệ thống Temenos SBV Report sau khi khóa sổ live.
Sau khi kết thúc ngày làm việc, hệ thống core T24 sẽ xử lý các nghiệp vụ phát sinh và khóa sổ, xuất dữ liệu cho báo cáo vào hai thư mục T24Live/bnk/bnk.run/SBVR.OP và T24Live/bnk/bnk.run/SBVR.FTP Nhân viên IT sẽ điều khiển từ xa để đăng nhập vào máy chủ lưu trữ dữ liệu, sử dụng phần mềm Total Commander để truy cập hai thư mục này Máy chủ tự động chạy tool data (c) để sao chép dữ liệu từ thư mục (b) vào thư mục \\10.31.0.93\sbvr\Import\InputFiles và sau đó từ thư mục này vào thư mục sao lưu \\10.31.0.93\sbvr\Import\InputFilesBK, đồng thời xóa dữ liệu tại thư mục (e) Tool (c) sẽ nhập dữ liệu từ file (f) vào cơ sở dữ liệu của hệ thống SBV Report, cụ thể là tại 10.31.0.25\SBVR, nơi lưu trữ dữ liệu cho báo cáo Các đơn vị sử dụng phần mềm SBV Report để tạo và truy xuất báo cáo, và nếu phát hiện sai sót, họ sẽ phản hồi với phòng công nghệ thông tin để kiểm tra nguyên nhân.
Hình 1 3: Tổng quan luồng hoạt động hệ thống Auto Report
Hệ thống local network lưu trữ dữ liệu thô của hệ thống core T24, bao gồm các thành phần như T24 file, lmx Dwh, lmx Sharing, T24 SQL Server, lmx Staging và Data Sources Server ETL đóng vai trò cầu nối giữa local network và GCP, với nhiệm vụ đẩy các file dữ liệu thô lên cloud Sau khi được tải lên, dữ liệu sẽ được lưu trữ tại storage dưới dạng block, file và phi cấu trúc Do dữ liệu thô chưa được chuẩn hóa, các jobs table sẽ tạo ra các bảng final với định nghĩa trường, giá trị và thuộc tính, đồng thời lập lịch cho các bảng chạy hàng ngày Qua quá trình ETL, dữ liệu được chuẩn hóa thành cấu trúc và trở thành nguồn dữ liệu cho hệ thống Auto Report.
Người dùng tương tác với hệ thống qua giao diện web, nơi giao diện này sẽ gọi đến server backend để truy cập vào cơ sở dữ liệu ứng dụng Cơ sở dữ liệu này lưu trữ tài khoản người dùng và ma trận phân quyền tương ứng Sau khi backend xác nhận quyền truy cập hợp lệ, nó sẽ truy vấn đến cơ sở dữ liệu nguồn báo cáo thông qua server ETL Server ETL kết nối trực tiếp với hệ thống GCP để lấy các data mart của báo cáo và trả về cho backend các đường link mã báo cáo Cuối cùng, backend gửi lại cho người dùng form và dữ liệu báo cáo qua giao diện web.
1.3.3 So sánh Hệ thống Auto Report với Hệ thống SBV Report
SBV Report là sản phẩm tặng kèm của Temenos, được phát triển từ năm 2012 Để đáp ứng xu hướng công nghệ và nhu cầu xuất báo cáo của nhân viên, công ty EVNFC đã ra mắt sản phẩm Auto Report vào tháng 6 năm 2021 Sản phẩm này sử dụng kho dữ liệu trên dịch vụ Bigquery của hệ thống GCP, giúp quản lý và truy xuất báo cáo một cách dễ dàng, nhanh chóng và linh hoạt hơn.
Hệ thống SBV Report là một hệ thống báo cáo không tự động, dẫn đến việc người dùng phải tự tổng hợp số liệu và xây dựng báo cáo khi có nhu cầu mới hoặc khi có thay đổi quy định từ NHNN Điều này không chỉ mất thời gian mà còn ảnh hưởng đến chất lượng báo cáo, vì dữ liệu tự tổng hợp không được đảm bảo, gây khó khăn cho người xây dựng báo cáo.
Giao diện của SBV, được phát triển từ năm 2012 và là sản phẩm tặng kèm của Temenos, đã trở nên lỗi thời và không còn phù hợp với tiêu chuẩn hiện nay Việc thay đổi cấu trúc, công thức và cách sử dụng theo quy định của NHNN yêu cầu phải sửa đổi mã nguồn, dẫn đến việc chắp vá hệ thống Điều này đã gây ra tình trạng hoạt động không ổn định cho hệ thống.
Thời gian xuất báo cáo trung bình là 15 phút, nhưng một số báo cáo có thể mất từ 1 đến 2 giờ, gây khó chịu cho người dùng và ảnh hưởng đến tiến độ công việc Nguyên nhân chính là do kho dữ liệu bị quá tải, dẫn đến tắc nghẽn trong việc truyền dữ liệu báo cáo Điều này không chỉ làm giảm hiệu suất nhân viên mà còn ảnh hưởng tiêu cực đến hiệu quả công việc.
Dữ liệu không chính xác và thiếu thông tin do lỗi trong quá trình nhập liệu của phòng hỗ trợ vận hành cũng như quá trình ETL từ dữ liệu nguồn về đích, dẫn đến sai sót trong số liệu đầu ra của báo cáo, ảnh hưởng tiêu cực đến chất lượng báo cáo.
Khi bản quyền của Temenos hết hạn, công ty buộc phải mua giấy phép sử dụng để hệ thống tiếp tục hoạt động, điều này dẫn đến việc doanh nghiệp phụ thuộc vào đối tác và không thể tự chủ trong việc vận hành hệ thống.
Khi dữ liệu ngày càng gia tăng, server lưu trữ có thể gặp hạn chế, dẫn đến tình trạng tràn bộ nhớ và tắc nghẽn hệ thống Khi dữ liệu không thể truyền đi, đội ngũ IT sẽ cần phải xử lý dữ liệu hoặc mở rộng kho lưu trữ để đảm bảo hoạt động hiệu quả.
Hệ thống thường xuyên quá tải và không thể truy cập vào giờ cao điểm do lượng người dùng lớn, khiến phần mềm và phần cứng không đáp ứng đủ nhu cầu Tình trạng này gây ra hiện tượng treo, lag, làm người dùng không thể xuất báo cáo, ảnh hưởng trực tiếp đến công việc của nhân viên và gián tiếp đến sự phát triển của công ty.
Độ bảo mật của SBV Report rất cao, vì hệ thống chỉ cho phép người dùng truy cập thông qua mạng nội bộ của công ty.
Hình 1 4: Giao diện hệ thống SBV Report
Giao diện xuất báo cáo của hệ thống SBV Report cho phép người dùng lọc thông tin qua các tiêu chí như chi nhánh, chi tiết sản phẩm, dao và mục đích vay Người dùng có thể nhập khoảng thời gian từ ngày đến ngày để lấy dữ liệu báo cáo, cũng như tìm kiếm theo khách hàng, mã hợp đồng và nhóm nợ Hệ thống còn hỗ trợ xuất báo cáo dưới định dạng file Excel và PDF, mang lại sự tiện lợi cho người sử dụng.
- Giao diện: thân thiện với người dùng, dễ nhìn, dễ sử dụng, thay đổi linh hoạt theo nhu cầu sử dụng
Thời gian xuất báo cáo trung bình hiện nay chỉ mất từ ba mươi giây đến một phút, trong khi báo cáo không có dữ liệu chỉ cần 5 giây Thời gian này đã được cải thiện đáng kể so với hệ thống SBV Report nhờ vào việc sử dụng dịch vụ Bigquery của GCP và lưu trữ dữ liệu trên cloud, thay vì tập trung dữ liệu tại server local.
XÂY DỰNG BÁO CÁO NỘI BỘ CHO CÔNG TY TÀI CHÍNH CỔ PHẦN ĐIỆN LỰC
Nền tảng công nghệ sử dụng
Google Cloud Platform (GCP) là một hệ sinh thái dịch vụ điện toán đám mây của Google, bao gồm các sản phẩm nổi bật như Google Maps, Google Chrome, Google Drive và Google Search GCP cung cấp nhiều công cụ hữu ích cho doanh nghiệp và tổ chức, giúp quản trị dữ liệu, lập kế hoạch và phát triển kinh doanh thông qua các dịch vụ như API & Services, Marketplace, Compute Engine, Big Data, Storage, VPC Network và Mobile.
GCP gồm 3 dịch vụ chính là: IaaS, PaaS, SaaS:
IaaS (Infrastructure as a Service) trên GCP cung cấp cơ sở hạ tầng linh hoạt cho các nhà phát triển doanh nghiệp trong việc phát triển phần mềm và phát hành web Lợi ích của IaaS bao gồm khả năng xây dựng và nâng cấp dễ dàng mà không cần kiến thức quản trị máy tính, đồng thời cho phép người dùng thay đổi linh hoạt, mở rộng dễ dàng và tối ưu hóa chi phí hiệu quả.
PaaS (Platform as a Service) của GCP cung cấp một nền tảng đám mây cho việc phát triển, chạy và quản lý ứng dụng, trong đó GCP đảm nhận việc quản lý phần cứng, phần mềm, hệ điều hành, mạng, phần mềm trung gian và công cụ phát triển Người dùng có thể truy cập SaaS thông qua giao diện đồ họa thân thiện Sử dụng PaaS mang lại lợi ích lớn cho khách hàng, cho phép họ xây dựng, thử nghiệm, triển khai, cập nhật và mở rộng quy mô ứng dụng một cách nhanh chóng và hiệu quả hơn so với việc tự xây dựng và quản lý nền tảng riêng.
SaaS (Software as a Service) là dịch vụ cung cấp phần mềm ứng dụng lưu trữ trên đám mây, cho phép người dùng truy cập và sử dụng ứng dụng qua trình duyệt web hoặc ứng dụng di động với mức phí hàng tháng hoặc hàng năm Tất cả cơ sở hạ tầng cần thiết như máy chủ, lưu trữ, mạng và phần mềm đều được quản lý bởi nhà cung cấp SaaS, giúp giảm tải công việc cho người dùng Người dùng chỉ cần tạo tài khoản và thanh toán để bắt đầu sử dụng, trong khi nhà cung cấp lo liệu mọi khía cạnh từ bảo trì, quản lý quyền truy cập, bảo mật, đến lưu trữ và triển khai nâng cấp.
Hình 2 1: Trách nhiệm quản lý của nhà cung cấp và khách hàng
Google BigQuery là kho dữ liệu đám mây của Google Cloud, nổi bật với khả năng mở rộng cao và công cụ truy vấn tích hợp sẵn Nó cho phép người dùng thực hiện các truy vấn SQL trên terabyte dữ liệu chỉ trong vài giây và petabyte trong vài phút mà không cần quản lý cơ sở hạ tầng hay tạo lại các chỉ mục.
BigQuery là một công cụ mạnh mẽ trong hệ sinh thái Google Cloud Platform (GCP), chuyên về phân tích dữ liệu lớn Nó được tích hợp chặt chẽ với cơ sở hạ tầng và các công nghệ xử lý dữ liệu cũng như học máy, giúp tối ưu hóa quy trình phân tích và khai thác dữ liệu hiệu quả.
Quá trình ETL, EL, ELT trên Bigquery:
Hình 2 2: Tổng quan luồng hoạt động của quá trình ETL, EL, ELT trên Bigquery
(Nguồn: Valliiappa Lakshmanan – Jordan Tigani, 2019)
Quy trình hoạt động Lý do sử dụng
EL Trích xuất dữ liệu từ các tệp trên Google
Cloud Storage Tải dữ liệu vào bộ nhớ gốc của BigQuery Người dùng có thể thao tác từ Cloud Composer, Cloud Functions hoặc các truy vấn đã lên lịch
Tải hàng loạt dữ liệu lịch sử Định kỳ tải các tệp nhật ký (Ví dụ: mỗi ngày một lần)
ETL Trích xuất dữ liệu từ Pub/Sub, Google
Cloud Storage, Cloud Spanner, Cloud
SQL… Chuyển đổi dữ liệu bằng Cloud
Dataflow Yêu cầu ghi đường dẫn
Khi dữ liệu thô cần được kiểm soát chất lượng, chuyển đổi hoặc làm giàu trước khi tải vào BigQuery
ELT Trích xuất dữ liệu từ các tệp trong Google
Cloud Storage Lưu trữ dữ liệu ở định dạng thô trong BigQuery Chuyển đổi dữ liệu nhanh chóng bằng cách sử dụng các chế độ xem BigQuery
Tập dữ liệu thử nghiệm trong đó người dùng chưa chắc chắn loại biến đổi nào cần thiết để làm cho dữ liệu có thể sử dụng được
Bảng 2 1: Mô tả quy trình hoạt động của ETL, EL, ELT
(Nguồn: Valliiappa Lakshmanan – Jordan Tigani, 2019)
Hiện nay, EVNFC đang triển khai kho dữ liệu trên cloud với dịch vụ BigQuery, giúp người quản trị tập trung vào thúc đẩy kinh doanh cốt lõi trong khi Google Cloud đảm nhận việc bảo trì cơ sở hạ tầng và phát triển nền tảng BigQuery cung cấp quyền truy cập vào lưu trữ, xử lý và phân tích dữ liệu có cấu trúc một cách linh hoạt, hiệu quả và có khả năng mở rộng, đáp ứng nhu cầu ngày càng tăng về khối lượng dữ liệu và tài nguyên lưu trữ, xử lý khi cần thiết.
Kho dữ liệu là hệ thống tích hợp và truy xuất dữ liệu định kỳ từ các nguồn khác nhau, tạo ra các chiều thông tin Nó lưu trữ dữ liệu lịch sử và cho phép truy vấn để phân tích thông tin kinh doanh và các hoạt động liên quan (Vincent Rainardi, 2008).
- Cách tiếp cận: khi xây dựng một Data Warehouse có hai cách tiếp cận chính là bottom-up và top-down
+ Bottom-up: Tiếp cận từ dưới lên trên, ta xây dựng các data mart trước rồi sau đó mới xây dựng data warehouse
Cách tiếp cận top-down trong xây dựng hệ thống dữ liệu bắt đầu từ việc phát triển kho dữ liệu (data warehouse) trước, sau đó mới triển khai các data mart liên quan đến các nghiệp vụ cụ thể Phương pháp này giúp đảm bảo tính đồng bộ và tích hợp của dữ liệu, tạo điều kiện thuận lợi cho việc phân tích và báo cáo.
- Kiến trúc: Để hiểu rõ hơn về kiến trúc của Data Warehouse dưới đây là mô tả chi tiết từng thành phần:
Hình 2 3: Kiến trúc Data Warehouse (Nguồn: Vincent Rainardi, 2008)
Mô tả chi tiết các thành phần trong kiến trúc data warehouse:
Hệ thống nguồn, hay còn gọi là Source Systems, là nơi lưu trữ dữ liệu phục vụ cho các mục đích kinh doanh Dữ liệu trong hệ thống này sẽ được kiểm tra và phân tích thông qua công cụ data profiler, giúp đảm bảo tính chính xác và chất lượng của thông tin.
Trình biên dịch dữ liệu Data Profiler là một công cụ hữu ích để phân tích dữ liệu, giúp xác định số lượng hàng trong mỗi bảng và phát hiện các hàng chứa giá trị null.
Hệ thống ETL là một giải pháp quan trọng cho phép kết nối với các nguồn dữ liệu, thực hiện việc đọc, chuyển đổi và tải dữ liệu vào hệ thống đích, không nhất thiết phải là kho dữ liệu.
Là một cơ sở dữ liệu gồm tập hợp các bảng dim và bảng fact để chứa các OLTP – Online Transaction Processing
Lý do nên lấy dữ liệu nguồn từ DDS vì dữ liệu được tổ chức dưới dạng nhiều chiều giúp cho dễ dàng trong việc truy vấn
DQ (Data Quantity) trong quá trình ETL lên DDS, hệ thống sẽ đánh giá chất lượng dữ liệu dựa trên các quy tắc đã được thiết lập Các dữ liệu không đạt chuẩn sẽ được lưu trữ trong cơ sở dữ liệu DQ để báo cáo và sửa chữa trong hệ thống nguồn Ngoài ra, dữ liệu không đạt chuẩn có thể được tự động sửa chữa hoặc chấp nhận trong một giới hạn nhất định.
Dùng để kiểm soát hệ thống ETL dựa trên trình tự, quy tắc và logic được lưu trữ trong metadata
Metadata là cơ sở dữ liệu cung cấp thông tin về cấu trúc, ý nghĩa và cách sử dụng dữ liệu, cũng như quy tắc chất lượng và các thông tin liên quan khác.
Spreadsheets + Pivot tables + Reporting tools + Ad Hoc
Là những công cụ dùng để truy xuất và phân tích dữ liệu trong DDS
Cơ sở dữ liệu đa chiều là loại cơ sở dữ liệu được tổ chức dưới dạng các ô, trong đó vị trí của mỗi ô được xác định bởi nhiều giá trị khác nhau.
Dùng để phân tích, khai phá và truy xuất dữ liệu phục vụ cho các mục đích kinh doanh
Bảng 2 2: Ý nghĩa các thành phần trong kiến trúc Data Warehouse
Một số báo cáo tại Công ty Tài chính EVNFC
Hiện tại, Công ty Cổ phần Tài chính Điện lực đang sử dụng hai loại báo cáo chính: báo cáo theo Thông tư 35 của Ngân hàng Nhà nước và báo cáo nội bộ Bài viết này sẽ cung cấp các mẫu báo cáo và mô tả chi tiết ý nghĩa của từng loại báo cáo.
2.2.1 Báo cáo thông tư 35 của Ngân hàng Nhà nước
Báo cáo theo Thông tư số 35/2015/TT – NHNN là yêu cầu bắt buộc đối với các tổ chức tín dụng nhằm giúp Ngân hàng Nhà nước theo dõi tình hình hoạt động và tài chính của các công ty Số liệu báo cáo cần phải phản ánh đầy đủ, kịp thời và chính xác Trong trường hợp có chỉnh sửa hoặc biến động bất thường trong số liệu đã báo cáo, đơn vị phải gửi lại báo cáo kèm theo thuyết minh Kỳ báo cáo được chia thành các khoảng thời gian cụ thể: kỳ 1 từ ngày 01 đến 10, kỳ 2 từ ngày 11 đến 20, và kỳ 3 từ ngày 21 đến cuối tháng Các kỳ báo cáo 15 ngày cũng được xác định tương tự, với các kỳ tháng, quý, 6 tháng và năm dựa trên lịch dương.
2.2.1.1 Báo cáo Doanh số cấp tín dụng, Doanh số thu nợ tín dụng
- Đối tượng áp dụng: các tổ chức tín dụng (trừ quỹ tín dụng nhân dân)
- Yêu cầu số liệu báo cáo: trụ sở chính tổ chức tín dụng tổng hợp số liệu toàn hệ thống gửi NHNN thông qua cục công nghệ thông tin
- Đơn vị nhận và duyệt báo cáo: vụ dự báo, thống kê
Hướng dẫn lập báo cáo doanh số cấp tín dụng và thu nợ tín dụng là việc thống kê tổng giá trị các khoản cấp tín dụng và thu nợ tín dụng đối với cá nhân, tổ chức cư trú tại Việt Nam (không bao gồm tổ chức tín dụng) Báo cáo này cần được thực hiện theo loại tiền thực tế phát sinh trong kỳ báo cáo và được trình bày dưới các hình thức quy định cụ thể.
+ Chiết khấu, tái chiết khấu các công cụ chuyển nhượng và các giấy tờ có giá khác
Trong trường hợp cá nhân hoặc tổ chức được bảo lãnh không thực hiện nghĩa vụ thanh toán đúng hạn, các khoản trả thay sẽ được thực hiện để đảm bảo quyền lợi của bên nhận bảo lãnh Những khoản này đóng vai trò quan trọng trong việc duy trì sự ổn định tài chính và bảo vệ lợi ích của các bên liên quan.
+ Các nghiệp vụ cấp tín dụng khác được NHNN chấp thuận
Hình 2 2: Báo cáo doanh số cấp tín dụng, doanh số thu nợ tín dụng
Mô tả chi tiết báo cáo:
1 STT Cột này thể hiện số thứ tự của từng chỉ tiêu
Cột này hiển thị tên của các chỉ tiêu trong báo cáo Đối với báo cáo doanh số cấp tín dụng, doanh số thu nợ tín dụng được phân thành hai loại chỉ tiêu: ngắn hạn và dài hạn.
3 Doanh số cấp tín dụng Cột này thể hiện doanh số cấp tín dụng bằng các loại tiền tệ tại các cột như sau: (1): Bằng VND
(2): Bằng USD (3): Bằng EUR (4): Bằng ngoại tệ khác
4 Doanh số thu nợ cấp tín dụng
Cột này thể hiện doanh số thu nợ cấp tín dụng bằng các loại tiền tệ tại các cột như sau:
(5): Bằng VND (6): Bằng USD (7): Bằng EUR (8): Bằng ngoại tệ khác
Bảng 2 1: Mô tả báo cáo “Doanh số cấp tín dụng, doanh số thu nợ tín dụng”
Tên cột Tên trường Tên bảng Điều kiện
Chỉ tiêu Term Vmb_crb Ngắn hạn: Term 36M Đơn vị tiền tệ Ccy Vmb_crb
Doanh số cấp tín dụng (VND)
Amount_lcy Vmb_crb When sum(amount_lcy) < 0 and ccy = VND
Doanh số cấp tín dụng (USD)
Amount_lcy Vmb_crb When sum(amount_lcy) < 0 and ccy = USD
Doanh số cấp tín dụng (EUR)
Amount_lcy Vmb_crb When sum(amount_lcy) < 0 and ccy = EUR
Doanh số cấp tín dụng (Ngoại tệ khác)
Amount_lcy Vmb_crb When sum(amount_lcy) < 0 and ccy not like (‘VND’,’USD’,’EUR’)
Doanh số thu nợ cấp tín dụng
Amount_lcy Vmb_crb + Sum(amount_lcy) > 0
Doanh số thu nợ cấp tín dụng
Amount_lcy Vmb_crb When sum(amount_lcy) > 0 and ccy = USD
Doanh số thu nợ cấp tín dụng
Amount_lcy Vmb_crb When sum(amount_lcy) > 0 and ccy = EUR
Doanh số thu nợ cấp tín dụng
Amount_lcy Vmb_crb When sum(amount_lcy) > 0 and ccy not like (‘VND’,
Bảng 2 2: Bảng dữ liệu nguồn “Doanh số cấp tín dụng, doanh số thu nợ tín dụng”
2.2.1.2 Báo cáo mua, đầu tư chứng khoán nợ của Tổ chức Tín dụng, chi nhánh Ngân hàng nước ngoài
Đối tượng áp dụng của quy định này bao gồm các tổ chức tín dụng và chi nhánh ngân hàng nước ngoài, ngoại trừ Ngân hàng Chính sách xã hội, Quỹ tín dụng nhân dân và các tổ chức tài chính vi mô.
- Yêu cầu số liệu báo cáo: Trụ sở chính tổ chức tín dụng tổng hợp số liệu toàn hệ thống gửi NHNN thông qua Cục Công nghệ thông tin
- Đơn vị nhận và duyệt báo cáo: Cơ quan Thanh tra, giám sát ngân hàng
Hướng dẫn lập báo cáo về việc mua và đầu tư chứng khoán nợ của các tổ chức tín dụng và chi nhánh ngân hàng nước ngoài nhằm theo dõi tình hình đầu tư chứng khoán Báo cáo này giúp các tổ chức tín dụng tuân thủ quy định và quản lý hiệu quả hoạt động đầu tư của mình.
Hình 2 3: Báo cáo mua, đầu tư chứng khoán của TCTD, chi nhánh NHNN (1)
Mô tả chi tiết báo cáo:
STT Mục Mô tả Ghi chú
1 STT Cột này thể hiện số thứ tự của các chỉ tiêu báo cáo
2 Tên TCTD phát hành Cột này thể hiện tên của tổ chức tín dụng phát hành chứng khoán
Cột này thống kê mã của tổ chức tín dụng theo hệ thống mã ngân hàng, được cấp bởi Ngân hàng Nhà nước (NHNN), nhằm phục vụ cho các hoạt động nghiệp vụ ngân hàng.
4 Mã chứng khoán nợ Cột này thống kê mã của từng chứng khoán nợ do tổ chức tín dụng khác phát hành
5 Ngày phát hành Ngày phát hành của từng chứng khoán nợ do tổ chức tín dụng phát hành
Trong 6 ngày đầu tư/mua cột này, chúng tôi thống kê ngày mà tổ chức tín dụng báo cáo việc thực hiện mua hoặc đầu tư vào từng chứng khoán nợ do tổ chức tín dụng khác phát hành.
7 Ngày đáo hạn Cột này thể hiện ngày đáo hạn của từng chứng khoán nợ do tổ chức tín dụng khác phát hành
Cột này thống kê thời hạn còn lại (tính theo ngày) của từng chứng khoán nợ do tổ chức tín dụng khác phát hành
Lãi suất phát hành thể hiện lãi suất thực tế tại thời điểm báo cáo của từng chứng khoán nợ do tổ chức tín dụng khác phát hành.
10 Tổng số dư mệnh giá phát hành
Thống kê số dư tổng mệnh giá tương ứng với từng chứng khoán nợ do TCTD khác phát hành
11 Tổng số dư giá trị chứng khoán nợ mua, đầu tư
Thống kê số dư mua/đầu tư của từng chứng khoán nợ do TCTD khác phát hành
+ Đối với chứng khoán kinh doanh: Ghi giá thực tế mua chứng khoán nợ (giá gốc), bao gồm: giá mua + chi phí mua (nếu có)
Đối với chứng khoán sẵn sàng để bán hoặc chứng khoán đầu tư giữ đến ngày đáo hạn, giá trị thuần của chứng khoán nợ được ghi nhận bằng công thức: mệnh giá trừ đi chiết khấu cộng với phụ trội.
12 Mã tình trạng chứng khoán nợ
Cột này thể hiện mã tình trạng chứng khoán nợ
13 Tên TCTD nhận cầm cố/ bảo lãnh/ thế chấp
Thống kê tên tổ chức tín dụng nhận chứng khoán nợ cầm cố, thế chấp, bảo lãnh, repo (nếu có)
14 Mã TCTD nhận cầm cố/ bảo lãnh/ thế chấp
Thống kê mã TCTD theo hệ thống mã ngân hàng dùng trong hoạt động nghiệp vụ ngân hàng do
15 Mục đích nhận cầm cố/ bảo lãnh/ thế chấp
Thống kê mục đích TCTD báo cáo thực hiện nợ cầm cố, thế chấp, bảo lãnh, repo chứng khoán nợ (nếu có)
16 Giá trị đầu tư mua lại trước hạn trong kỳ báo cáo
Thống kê giá trị của từng chứng khoán nợ TCTD mua lại trước hạn trong kỳ báo cáo
17 Giá trị đầu tư phát sinh trong kỳ báo cáo
Thống kê giá trị của từng chứng khoán nợ (theo giá tri ̣ thực tế) TCTD mua, đầu tư trong kỳ báo cáo (số phát sinh thêm)
18 Giá trị chứng khoán nợ đủ điều kiện tính
Thống kê giá trị chứng khoán nợ đủ điều kiện tính
Vốn cấp 1, hay còn gọi là vốn cốt lõi, là nguồn vốn chủ yếu của ngân hàng, bao gồm cổ phiếu phổ thông và lợi nhuận giữ lại, hỗ trợ cho các hoạt động cho vay Trong khi đó, vốn cấp 2 là nguồn vốn thứ cấp, cung cấp tài chính cho ngân hàng thông qua nợ phụ thuộc, chứng khoán có thể chuyển đổi, và một phần dự trữ lỗ cho khoản vay xấu.
Bảng 2 3: Chi tiết báo cáo “Mua, đầu tư chứng khoán của tổ chức tín dụng, chi nhánh NHNN (1)”
Tên cột Tên trường Tên bảng Điều kiện
Tên TCTD Name Customer Lấy tại ngày báo cáo
Mã TCTD Customer_id Customer Lấy tại ngày báo cáo
Ma_gtcg Ld_loans_and_deposits Lấy tại ngày báo cáo
Start_date Ld_loans_and_deposits Lấy tại ngày báo cáo
Value_date Ld_loans_and_deposits Lấy tại ngày báo cáo
Date_mat_real Ld_loans_and_deposits Lấy tại ngày báo cáo
Thời hạn còn lại (ngày)
Ld_loans_and_deposits Date_mat_real -
Interest_rate Ld_loans_and_deposits Lấy tại ngày báo cáo
Tổng số dư mệnh giá phát hành
Amount Ld_loans_and_deposits
Tổng số dư giá trị chứng khoán nợ mua, đầu tư
Ld_loans_and_deposits When prod_prefix ‘50’ then bond_price + chi_phi_mua
When prod_prefix ’51,52’ then amount + ckpttdm
Mã tình trạng chứng khoán nợ
Ma_hien_trang Ld_loans_and_deposits Lấy tại ngày báo cáo
Tên TCTD nhận cầm cố/bảo
Name Customer Lấy tại ngày báo cáo lãnh/thế chấp
Mã TCTD nhận cầm cố/bảo lãnh/thế chấp
Customer_id Customer Lấy tại ngày báo cáo
Mục đích nhận cầm cố/bảo lãnh/thế chấp
Gtcg_des Ld_loans_and_deposits Lấy tại ngày báo cáo
Giá trị mua lại trước hạn trong kỳ báo cáo
Amount_fcy Ld_loans_and_deposits When amount_fcy > 0 and (_event_date > last_period and event_date < report_date) and line_sbv like 15%
Giá trị đầu tư phát sinh trong kỳ báo cáo
Amount_fcy Ld_loans_and_deposits When amount_fcy < 0 and (_event_date > last_period and event_date < report_date) and line_sbv like 15%
Giá trị chứng khoán nợ đủ vào điều kiện tính vào vốn cấp 2
Ld_loans_and_deposits When 0 < ngay_con_lai < 1 then
When 1 < ngay_con_lai < =2 then amount * 0.2
When 2 < ngay_con_lai