KHÁI QUÁT VỀ NGÂN HÀNG QUÂN ĐỘI MB BANK
Giới thiệu Ngân hàng Quân đội
Ngân hàng Thương mại Cổ phần Quân đội, hay còn gọi là Ngân hàng Quân đội (MB), là một ngân hàng thương mại cổ phần tại Việt Nam, hoạt động dưới hình thức doanh nghiệp.
Ngân hàng Quân đội, được thành lập vào ngày 4 tháng 11 năm 1994, bắt đầu hoạt động với vốn gần 20 tỷ đồng và chỉ 25 nhân viên tại điểm giao dịch đầu tiên ở số 28A Điện Biên Phủ, Hà Nội Mặc dù quy mô ban đầu nhỏ, nhưng với đội ngũ nhân lực chuyên nghiệp và chiến lược kinh doanh hợp lý, MB Bank đã khẳng định vị thế vững chắc trong lĩnh vực tài chính – ngân hàng tại Việt Nam Hiện nay, Ngân hàng Thương mại Cổ phần Quân đội đã mở rộng mạng lưới với hơn 100 chi nhánh và 190 điểm giao dịch trên toàn quốc Đặc biệt, MB Bank đang hướng tới thị trường quốc tế với các văn phòng đại diện tại Nga, Lào và Campuchia.
Ngân hàng Thương mại Cổ phần Quân Đội (MB) đã phát huy bản chất và truyền thống tốt đẹp của người chiến sĩ trên mặt trận kinh tế, nhờ sự chỉ đạo của Quân ủy Trung ương - Bộ Quốc phòng và sự hỗ trợ từ các cơ quan hữu quan Đơn vị đã đoàn kết, chủ động, sáng tạo và tự lực vượt qua khó khăn, cải tiến chất lượng hoạt động để cung cấp các sản phẩm dịch vụ ngân hàng tốt nhất cho cá nhân và tổ chức kinh tế trên toàn quốc Qua đó, MB góp phần quan trọng vào sự phát triển kinh tế của Việt Nam và nâng cao hiệu quả kinh doanh của ngành ngân hàng.
Sau gần 30 năm hình thành và phát triển, MB đã khẳng định vị thế vững mạnh của mình, trở thành một tập đoàn tài chính đa năng hàng đầu với ngân hàng mẹ MB tại Việt Nam.
MB là một trong những định chế tài chính hàng đầu tại Việt Nam, hoạt động trong các lĩnh vực chứng khoán, bảo hiểm, tài chính tiêu dùng, quản lý quỹ và bảo hiểm nhân thọ Với chiến lược kinh doanh hiệu quả và nền tảng quản trị rủi ro vượt trội, MB đã khẳng định thương hiệu và uy tín trong ngành dịch vụ tài chính Công ty không ngừng mở rộng hoạt động sang các phân khúc thị trường mới, bên cạnh thị trường truyền thống của ngân hàng thương mại Sau hơn 25 năm phát triển, MB được đánh giá là một tổ chức tài chính vững mạnh, đáng tin cậy, phát triển bền vững và có uy tín cao trong ngành.
Thông tin tổng quan về MB Bank: (Nguyễn Bá Thành, 2022)
- Tên giao dịch đầy đủ bằng tiếng Việt: Ngân hàng Thương mại Cổ phần Quân đội
- Tên giao dịch đầy đủ bằng tiếng Anh: Military Commercial Joint Stock Bank
- Tên giao dịch: MB Bank
- Loại hình doanh nghiệp: Ngân hàng thương mại cổ phần
- Địa chỉ hội sở chính: Số 18 Lê Văn Lương, Phường Trung Hòa, quận Cầu Giấy, thành phố Hà Nội
- Tổng tài sản: 607.140 tỷ đồng (Cuối năm 2021)
- Website: www.mbbank.com.vn
Hiện tại, ngân hàng MB có 6 công ty thành viên trực thuộc Hoạt động trong các lĩnh vực tài chính, bảo hiểm, chứng khoán, … bao gồm:
Hình 1.Các công ty thành viên của MB Bank.(MBBank, 2018)
- Công ty cổ phần Chứng khoán MB – MSB
- Công ty cổ phần Quản lý Quỹ đầu tư MB – MBCapital
- Công ty Quản lý nợ và Khai thác tài sản Ngân hàng TMCP Quân Đội (AMC)
- Công ty Tài chính TNHH MB Shinsei
- Tổng công ty cổ phần Bảo hiểm Quân đội (MIC)
- Công ty TNHH Bảo hiểm Nhân thọ MB Ageas (MBAL)
Tầm nhìn, sứ mệnh và giá trị cốt lõi
Ngân hàng Quân đội, một trong những ngân hàng thương mại lớn tại Việt Nam, thường bị hiểu nhầm là có phong cách làm việc giống các cơ quan nhà nước với thủ tục rườm rà Tuy nhiên, ngân hàng này lại tiên phong trong việc áp dụng công nghệ mới nhằm mang lại sự thuận tiện cho khách hàng Tại Đại hội đồng cổ đông thường niên 2022, lãnh đạo MB Bank thông báo rằng ngân hàng đã hoàn thành Chiến lược phát triển giai đoạn 2017-2021 với tầm nhìn "Ngân hàng thuận tiện nhất" và phương châm "Tăng tốc số; Đột phá bán lẻ; An toàn - Hiệu quả" Đồng thời, MB Group sẽ triển khai chiến lược mới giai đoạn 2022-2026 với mục tiêu trở thành doanh nghiệp số và tập đoàn tài chính dẫn đầu.
"Top 3 thị trường về hiệu quả, hướng đến Top đầu châu Á." với phương châm "Tăng tốc số - Hấp dẫn khách hàng - Hiệp lực tập đoàn - An toàn bền vững
- Vì sự phát triển của đất nước
- Vì lợi ích của khách hàng
Đoàn kết là sức mạnh cốt lõi tại MB Bank, nơi toàn thể lãnh đạo và cán bộ nhân viên hợp tác chặt chẽ để vượt qua khó khăn và thử thách Sự đoàn kết này không chỉ giúp biến thách thức thành cơ hội phát triển mà còn thúc đẩy ngân hàng tiến lên phía trước.
Ngân hàng Quân đội (MB Bank) là một ngân hàng thương mại cổ phần trực thuộc Bộ Quốc phòng, nơi kỷ luật được đặt lên hàng đầu Kỷ luật không chỉ là sức mạnh của quân đội mà còn giúp hạn chế tối đa rủi ro và sai sót, đồng thời nâng cao trách nhiệm và đạo đức nghề nghiệp trong hoạt động ngân hàng.
MB đặt mục tiêu trở thành ngân hàng thuận tiện nhất cho khách hàng, và yếu tố quan trọng đầu tiên để đạt được điều này chính là sự tận tâm Sự tận tâm không chỉ giúp khách hàng cảm thấy thoải mái mà còn tạo niềm tin vững chắc vào ngân hàng.
Để đạt được các mục tiêu đề ra, thực thi là yếu tố thiết yếu trong một tổ chức MB luôn nỗ lực thực hiện công việc một cách nhanh chóng, hiệu quả và chính xác, đồng thời đáp ứng nhanh chóng các yêu cầu của khách hàng.
Niềm tin của khách hàng, đối tác, cổ đông và nhân viên là yếu tố quyết định cho sự phát triển và vị thế của MB Hiểu rõ giá trị của sự tin cậy, MB cam kết xây dựng mối quan hệ vững chắc với khách hàng và đối tác, giúp họ yên tâm đầu tư và hợp tác Đối với nhân viên, sự tin cậy khuyến khích họ cống hiến tận tâm cho sự phát triển của ngân hàng.
Hiệu quả là giá trị cốt lõi quan trọng nhất mà MB hướng đến, quyết định sự phát triển và thành công của ngân hàng Sự hiệu quả trong vận hành, tổ chức và kinh doanh không chỉ ghi nhận nỗ lực của MB mà còn khẳng định các giá trị mà ngân hàng theo đuổi Nếu hoạt động không hiệu quả, ngân hàng sẽ khó có thể xây dựng được niềm tin từ khách hàng.
Lịch sử hình thành và phát triển
Sau giai đoạn đầu tiên của thời kỳ đổi mới (1986 – 1990) với mức tăng trưởng GDP bình quân hằng năm chỉ đạt 4,4%, giai đoạn (1991 – 1995) đã chứng kiến sự tăng trưởng gấp đôi, đạt 8,2%/năm Sự phát triển kinh tế này đã dẫn đến việc thành lập nhiều ngân hàng thương mại nhằm phục vụ doanh nghiệp Đặc biệt, các doanh nghiệp quân đội cần một tổ chức tín dụng để hỗ trợ sản xuất và kinh doanh trong thời kỳ tiền hội nhập Chính vì vậy, Ngân hàng Quân đội đã chính thức ra đời để đáp ứng nhu cầu cấp thiết này.
Ngân hàng TMCP Quân đội, được thành lập vào ngày 4 tháng 11 năm 1994, khởi đầu với vốn gần 20 tỷ đồng, 25 nhân sự và một điểm giao dịch duy nhất tại số 28A Điện Biên Phủ, Hà Nội.
Giai đoạn 1994 – 2004 đánh dấu khởi đầu quan trọng cho MB, định hình phương châm hoạt động và xác định chiến lược kinh doanh phù hợp với mục tiêu dài hạn Ngân hàng đã thận trọng trong từng bước đi, áp dụng linh hoạt các giải pháp để tích lũy kinh nghiệm và năng lực tài chính, từ đó khẳng định vai trò trong nhiệm vụ kinh tế - quốc phòng của Quân đội và đóng góp vào sự phát triển chung của nền kinh tế Dù trải qua cuộc khủng hoảng tài chính Châu Á năm 1997, MB vẫn vững vàng vượt qua và trở thành ngân hàng cổ phần duy nhất có lãi Sau 10 năm thành lập, tổng số vốn huy động của MB đã tăng gấp nhiều lần.
500 lần, tổng tài sản đạt trên 7.000 tỷ đồng, lợi nhuận trên 500 tỷ và chính thức khai trương trụ sở mới tại số 3 Liễu Giai, Ba Đình, Hà Nội (MBBank, 2018)
Giai đoạn 2005 – 2009 được coi là thời kỳ quan trọng đánh dấu sự chuyển mình mạnh mẽ của MB, tạo nền tảng vững chắc cho sự phát triển sau này Trong giai đoạn này, MB đã thực hiện nhiều giải pháp như mở rộng quy mô hoạt động, đầu tư công nghệ, tăng cường nhân sự và phát triển mạng lưới Ngân hàng đã tách biệt chức năng quản lý và kinh doanh giữa Hội sở và Chi nhánh, đồng thời tổ chức lại đơn vị kinh doanh theo các nhóm khách hàng như doanh nghiệp vừa và nhỏ, khách hàng cá nhân, và kinh doanh tiền tệ Mặc dù chỉ kéo dài 5 năm, giai đoạn này đã góp phần quan trọng vào việc triển khai các sáng kiến chiến lược, giúp MB trở thành một trong những định chế tài chính hàng đầu tại Việt Nam Nhân dịp kỷ niệm 15 năm thành lập, MB đã vinh dự nhận Huân chương Lao động Hạng Ba từ Chủ tịch nước vào năm 2009.
Trong giai đoạn 2011 – 2015, Ngân hàng Quân đội (MB) đã xây dựng chiến lược mới nhằm đưa ngân hàng vào TOP 3 ngân hàng TMCP không do nhà nước chi phối Tuy nhiên, giai đoạn này gặp nhiều khó khăn do khủng hoảng kinh tế toàn cầu bắt đầu từ năm 2008 Ngành Ngân hàng phải tái cấu trúc mạnh mẽ, nhiều ngân hàng suy giảm lợi nhuận và buộc phải bán lại hoặc sáp nhập Trong bối cảnh đó, MB đã khẳng định bản lĩnh và kiên định với chiến lược phát triển bền vững, an toàn, vươn lên dẫn đầu về nhiều chỉ tiêu tài chính quan trọng và hoàn thành mục tiêu TOP 3 vào năm 2013, sớm hơn hai năm so với kế hoạch.
Sau 20 năm thành lập, MB đã đạt được nhiều thành tựu xuất sắc, vinh dự nhận Huân chương Lao động Hạng Nhất vào năm 2014 và danh hiệu Anh Hùng Lao động vào năm sau Những giải thưởng này ghi nhận những đóng góp quan trọng của MB đối với hệ thống tài chính – ngân hàng và nền kinh tế Việt Nam.
Năm 2016 đóng vai trò quan trọng trong sự phát triển của MB, khi ngân hàng hoàn thiện mô hình tập đoàn tài chính đa năng Trong năm này, MB đã thành lập hai công ty thành viên mới: MB Ageas Life trong lĩnh vực bảo hiểm và Mcredit trong lĩnh vực tài chính tiêu dùng Những bước đi này tạo nền tảng vững chắc, giúp MB chuẩn bị cho sự phát triển mạnh mẽ trong giai đoạn 2017 – 2021.
Năm 2017 được coi là năm mở đầu quan trọng trong giai đoạn chiến lược mới
Từ năm 2017 đến 2021, MB đã xác định tầm nhìn "Trở thành ngân hàng thuận tiện nhất", với mục tiêu đến năm 2021 lọt vào Top 5 ngân hàng có hiệu quả kinh doanh và an toàn nhất tại Việt Nam.
Năm 2018, Ngân hàng TMCP Quân đội (MB) đã thực hiện phương châm "Đổi mới, hiện đại, hợp tác, bền vững", hoàn thành xuất sắc các chỉ tiêu kinh doanh với lợi nhuận trước thuế đạt 7.767 tỷ đồng, tăng 68% so với năm 2017 Ngân hàng đã triển khai chiến lược 2017 - 2021, chuyển dịch sang ngân hàng số với 2,6 triệu người dùng hoạt động và thay đổi nhận diện hình ảnh cho 100% điểm giao dịch Đồng thời, MB cũng đã quyết liệt thực hiện các dự án nhằm đạt được tăng trưởng đột phá.
Ngân hàng Quân đội đã tạo ra một môi trường làm việc năng động và thân thiện, khuyến khích tinh thần sáng tạo và hạnh phúc cho nhân viên Đến cuối năm 2021, ngân hàng đã đạt được nhiều thành công vượt bậc, hoàn thành Chiến lược phát triển giai đoạn 2017-2021 với tầm nhìn "Ngân hàng thuận tiện nhất" và phương châm đã được xác định từ đầu năm.
Tăng tốc số và đột phá trong lĩnh vực bán lẻ là những yếu tố then chốt giúp doanh nghiệp phát triển mạnh mẽ, hướng tới mục tiêu trở thành doanh nghiệp số hàng đầu và tập đoàn tài chính dẫn đầu tại Việt Nam Trong giai đoạn 2022 – 2026, doanh nghiệp đặt mục tiêu nằm trong Top 3 thị trường về hiệu quả, đồng thời hướng đến vị trí Top đầu châu Á Với phương châm "Tăng tốc số - Hấp dẫn khách hàng - Hiệp lực tập đoàn", doanh nghiệp cam kết mang lại sự an toàn và hiệu quả tối ưu cho khách hàng.
An toàn bền vững là một yếu tố quan trọng trong chiến lược phát triển Theo báo cáo tài chính năm 2021, tổng nguồn vốn đạt 607.104 tỷ đồng, trong đó lợi nhuận trước thuế ghi nhận là 16.527 tỷ đồng, tăng 54,63% so với năm 2020 (Khánh An, 2022).
Lĩnh vực hoạt động và các sản phẩm nổi bật
Ngân hàng MB đã khẳng định thương hiệu và uy tín trong ngành dịch vụ tài chính tại Việt Nam nhờ vào các hoạt động kinh doanh hiệu quả Với sản phẩm và dịch vụ đa dạng, MB sử dụng nền tảng quản trị rủi ro vượt trội và hạ tầng công nghệ thông tin hiện đại để mở rộng hoạt động trên các phân khúc thị trường mới, bên cạnh thị trường truyền thống Ngoài ngân hàng, MB còn tham gia vào các lĩnh vực như môi giới chứng khoán, quản lý quỹ, kinh doanh bất động sản, bảo hiểm, quản lý nợ và khai thác tài sản thông qua việc nắm cổ phần chi phối tại nhiều doanh nghiệp trong các lĩnh vực này.
Các sản phẩm nổi bật của Ngân hàng quân đội bao gồm:
- Các sản phẩm tiết kiệm
- Các sản phẩm cho vay tiêu dùng, cho vay mua nhà – mua xe, cho vay sản xuất kinh doanh
- Các sản phẩm thẻ ghi nợ, sản phẩm thẻ tín dụng, sản phẩm thẻ trả trước 1.5 Các giải thưởng đạt được (MBBank, 2018)
Năm 2014, tại lễ kỷ niệm 20 năm thành lập, ngân hàng MB đã vinh dự nhận Huân chương Lao động Hạng Nhất từ Đại tướng Phùng Quang Thanh, Ủy viên.
Bộ Chính trị, Phó Bí thư Quân Ủy Trung ương, Bộ trưởng Bộ Quốc Phòng đến dự và thừa ủy quyền của Chủ tịch Nước trao tặng
MB được The Asian Banker trao giải "Ngân hàng mạnh nhất Việt Nam năm
Năm 2014, ngân hàng được công nhận là "Ngân hàng mạnh nhất tại Việt Nam" dựa trên bảng điểm chi tiết và minh bạch về hoạt động tài chính, kinh doanh hàng năm của các ngân hàng trong khu vực châu Á - Thái Bình Dương.
MB được The Asian Banker trao giải "Ngân hàng mạnh nhất Việt Nam năm
Ngân hàng mạnh nhất Việt Nam năm 2014 đã được xác nhận dựa trên bảng điểm chi tiết và minh bạch về hoạt động tài chính cùng kinh doanh hàng năm của các ngân hàng trong khu vực châu Á - Thái Bình Dương.
Ứng dụng MBBank của Ngân hàng TMCP Quân Đội (MB) là ứng dụng ngân hàng số độc quyền tại Việt Nam, nổi bật với danh hiệu sản phẩm tiêu biểu trong ngành phần mềm và dịch vụ CNTT, khẳng định vị thế hàng đầu của mình.
MB đã vinh dự nhận hai giải thưởng danh giá từ Tổ chức thẻ Quốc tế Visa, bao gồm "Ngân hàng có tốc độ tăng trưởng doanh số giao dịch cao nhất năm 2018" trong hạng mục thẻ Visa doanh nghiệp và thẻ Visa cá nhân.
Sơ đồ bộ máy tổ chức
Hình 2 Sơ đồ bộ máy tổ chức của MB Bank.(Thongtinnganhang.vn)
Sơ đồ cơ cấu tổ chức
Đại hội đồng cổ đông là cơ quan có quyền cao nhất, bao gồm tất cả các cổ đông có quyền biểu quyết, và có trách nhiệm thông qua các quyết định quan trọng của ngân hàng.
Hội đồng quản trị ngân hàng là cơ quan quản lý có quyền hạn toàn diện trong việc thực hiện các quyền và nghĩa vụ liên quan đến lợi ích của ngân hàng, ngoại trừ những vấn đề thuộc thẩm quyền của đại hội đồng cổ đông.
Ban tổng giám đốc tại MBBank được bổ nhiệm bởi hội đồng quản trị, có trách nhiệm tổ chức và điều hành các hoạt động của ngân hàng, đồng thời lập kế hoạch cho các hoạt động kinh doanh.
- Ban kiểm soát: Chịu trách nhiệm kiểm soát các hoạt động quản trị và điều hành của MB Bank
Ủy ban nhân sự và lương thưởng đóng vai trò quan trọng trong việc tư vấn cho hội đồng quản trị về cơ cấu nhân sự, quản lý điều hành và các vấn đề liên quan đến lương thưởng.
Ủy ban quản lý rủi ro có nhiệm vụ tư vấn về các vấn đề liên quan đến quản trị rủi ro, cung cấp cảnh báo kịp thời và đánh giá hiệu quả của các chính sách hiện hành.
Văn phòng hội đồng quản trị thực hiện các nhiệm vụ văn phòng và văn thư, đồng thời đảm nhận vai trò thư ký cho HĐQT Văn phòng cũng cung cấp tư vấn về các chính sách và quyết định nằm trong quyền hạn của hội đồng quản trị.
Phòng kiểm soát nội bộ đóng vai trò quan trọng trong việc đánh giá và kiểm tra hiệu lực của hệ thống kiểm toán nội bộ và kiểm soát nội bộ của công ty Bên cạnh đó, phòng này cũng đảm nhận việc quản trị rủi ro và cung cấp cảnh báo sớm về các vấn đề tiềm ẩn Hơn nữa, phòng kiểm soát nội bộ giám sát quá trình quản lý và điều hành của Hội đồng Quản trị, đảm bảo tính minh bạch và hiệu quả trong hoạt động của công ty.
- Các đơn vị kinh doanh: Có chức năng kinh doanh, tạo ra doanh thu, lợi nhuận trực tiếp cho ngân hàng
Các đơn vị quản trị và kiểm soát đóng vai trò quan trọng trong việc quản lý tài chính, kiểm soát rủi ro, và đảm bảo tuân thủ các quy định của ngân hàng cũng như pháp luật.
Các đơn vị hỗ trợ đóng vai trò quan trọng trong việc duy trì hoạt động hiệu quả của toàn bộ hệ thống ngân hàng, bao gồm chi nhánh, hội sở và nội bộ nhân sự Chúng đảm bảo quá trình vận hành diễn ra suôn sẻ và hỗ trợ các hoạt động cần thiết trong ngân hàng.
Các chi nhánh và sở giao dịch đóng vai trò quan trọng trong việc cung cấp dịch vụ trực tiếp cho khách hàng và đối tác Đây là những địa điểm chính để thực hiện các giao dịch, mang lại sự thuận tiện và hiệu quả cho người sử dụng dịch vụ.
Tổng quan về bài toán
Hệ thống ngân hàng Việt Nam đã trải qua hơn 70 năm phát triển, nhưng các ngân hàng thương mại chỉ thực sự hoạt động từ những năm 1990 do các yếu tố thị trường và chính sách kinh tế trước đổi mới Mặc dù ra đời muộn và đối mặt với nhiều thách thức, các ngân hàng thương mại đã có những bước phát triển vượt bậc, đóng góp quan trọng cho nền kinh tế Tuy nhiên, trong những năm gần đây, các ngân hàng đang phải đối mặt với nhiều khó khăn, bao gồm yêu cầu cao từ nền kinh tế - xã hội và áp lực cạnh tranh từ các tổ chức tài chính phi ngân hàng và công ty FinTech Sự phát triển nhanh chóng của công nghệ và ảnh hưởng của đại dịch COVID-19 cũng đã thúc đẩy các ngân hàng phải thay đổi mạnh mẽ trong hoạt động Để thích ứng, các ngân hàng cần không chỉ cải tiến quy trình truyền thống mà còn phát triển sản phẩm, dịch vụ mới và cập nhật công nghệ liên tục.
Ngành tài chính – ngân hàng đóng vai trò quan trọng trong việc cung cấp dịch vụ tài chính cho nền kinh tế, dẫn đến số lượng khách hàng và đối tác rất lớn Các ngân hàng được phép thu thập và lưu trữ thông tin về giao dịch và thông tin cá nhân của khách hàng, do đó, họ sở hữu một khối lượng dữ liệu khổng lồ Để quản lý hiệu quả lượng thông tin này, các ngân hàng cần xây dựng một hệ thống quản lý dữ liệu hoàn chỉnh và phát triển một cơ sở dữ liệu lớn để tổ chức và bảo vệ toàn bộ thông tin.
Dữ liệu là tài sản quý giá trong ngân hàng, nơi ngân hàng nào nắm giữ và khai thác hiệu quả dữ liệu sẽ có lợi thế cạnh tranh Do đó, quản lý dữ liệu ngày càng được chú trọng để cung cấp thông tin hữu ích và báo cáo trực quan, hỗ trợ giám đốc điều hành và cán bộ quản lý đưa ra quyết định nhanh chóng Để đạt được điều này, ngân hàng cần sử dụng hệ thống báo cáo hoạt động đáp ứng các yêu cầu và có hệ thống siêu dữ liệu (Metadata) để giải quyết sự không nhất quán của dữ liệu, từ đó cải thiện khả năng xử lý, duy trì, tích hợp, bảo mật và quản lý dữ liệu.
Do đó mục tiêu của khóa luận: “Xây dựng hệ thống siêu dữ liệu của”
1.7.2 Thực trạng hệ thống quản lý báo cáo Operational Reports System (ORS) của
Hệ thống ORS, được triển khai từ năm 2012, phục vụ cho việc báo cáo quản trị, vận hành và tuân thủ tại MB, nhưng hiện tại vẫn còn nhiều bất cập do kiến trúc chưa tối ưu Một số vấn đề lớn của hệ thống này cần được khắc phục để đáp ứng tốt hơn các yêu cầu quản trị hiện tại.
- Chưa có từ điển dữ liệu dữ liệu hay tài liệu quản lý mối liên hệ dữ liệu giữa các hệ thống khác nhau đang được vận hành
- Nhiều bảng dữ liệu bị trùng lặp
- Chỉ xử lý được các báo cáo quản trị và vận hành với độ trễ T+1
Việc đầu tư vào hệ thống ODS và Metadata là cần thiết để khắc phục những vấn đề hiện tại của ORS, đồng thời mang lại nhiều lợi ích lâu dài cho việc quản trị và quản lý dữ liệu tại MB.
1.7.3 Lý do chọn bài toán
Trong quá trình thực tập tại Phòng Bigdata của Ngân hàng Quân đội, tôi đã được đào tạo và hướng dẫn tận tình, đồng thời có cơ hội làm việc trực tiếp với hệ thống vận hành Công việc chính của tôi bao gồm phát triển và tích hợp dữ liệu từ hệ thống nguồn sang các hệ thống khác, cũng như phát triển báo cáo và xây dựng siêu dữ liệu Tham gia vào các dự án liên quan đến hệ thống ORS, ODS Metadata và các phân hệ như CRM, T24 đã giúp tôi có cái nhìn sâu sắc về hệ thống mà MB Bank đang phát triển Những kiến thức tích lũy từ học viện đã hỗ trợ tôi áp dụng vào thực tiễn, hoàn thiện bài toán trong công việc.
1.7.4 Ý nghĩa thực tế của bài toán
Hệ thống siêu dữ liệu (Metadata) mang lại cho Ngân hàng Quân đội nguồn thông tin đầy đủ, chính xác và kịp thời, góp phần quan trọng vào công tác quản trị Những lợi ích nổi bật của hệ thống Metadata bao gồm việc nâng cao hiệu quả quản lý và ra quyết định.
- Xây dựng từ điển dữ liệu (bao gồm định nghĩa, nguồn gốc, tên gọi nhất quán của các chỉ tiêu dữ liệu)
- Hỗ trợ hợp nhất các chỉ tiêu có tên gọi khác nhau nhưng cùng một ý nghĩa từ đó giải quyết sự không nhất quát của dữ liệu
Việc triển khai hệ thống Metadata theo mô hình kiến trúc do các chuyên gia IBM xây dựng và tư vấn cho MB là một phần quan trọng trong dự án tư vấn chiến lược Công nghệ thông tin.
Hình 3 Mô hình hệ thống ODS và Metadata của MB Bank.
Kết luận chương I
Chương I đã giới thiệu tổng quan về Ngân hàng Thương mại Cổ phần Quân đội (MB Bank) từ các thông tin chung về phương thức hoạt động, tầm nhìn, sứ mệnh, giá trị cốt lõi cho đến lịch sử hình thành và phát triển, lĩnh vực hoạt động và sơ đồ tổ chức và chức năng của các bộ phận trong bộ máy đang hoạt động của MB Ngoài ra, trong chương này cũng đã trình bày tổng quan về bài toán, mục tiêu cần nghiên cứu Chỉ ra đươc thực trạng bài toán, lý do và ý nghĩa thực tiễn của bài toán trong việc xây dựng và triển khai hệ thống siêu dữ liệu (Metadata) của MB Bank.
TỔNG QUAN LÝ THUYẾT VỀ SIÊU DỮ LIỆU
Lý thuyết chung về quản lý dữ liệu
2.1.1 Khái niệm quản lý dữ liệu
Quản lý dữ liệu bao gồm việc phát triển và thực hiện các kế hoạch, chính sách và chương trình nhằm cung cấp, kiểm soát, bảo vệ và gia tăng giá trị của dữ liệu và tài sản thông tin trong suốt vòng đời của chúng.
Quản lý dữ liệu bao gồm nhiều hoạt động quan trọng, từ việc đảm bảo tính nhất quán trong các giá trị chiến lược cho đến triển khai kỹ thuật và hiệu suất của cơ sở dữ liệu Để thực hiện hiệu quả, quản lý dữ liệu cần sự kết hợp giữa kỹ năng kỹ thuật và phi kỹ thuật Trách nhiệm quản lý dữ liệu cần được chia sẻ giữa bộ phận nghiệp vụ và công nghệ thông tin, với sự hợp tác chặt chẽ giữa các cá nhân trong hai bộ phận để đảm bảo dữ liệu đạt chất lượng cao, phục vụ tốt cho nhu cầu chiến lược của tổ chức.
2.1.2 Tầm quan trọng của quản lý dữ liệu
Dữ liệu và thông tin không chỉ là tài sản mà các tổ chức đầu tư để thu lợi nhuận từ giá trị tương lai, mà còn đóng vai trò quan trọng trong hoạt động hàng ngày của hầu hết các tổ chức Chúng được coi như 'tiền tệ' trong thế giới hiện đại.
‘nguồn sống’, và thậm chí là ‘tài nguyên mới’ của nền kinh tế thông tin
Trong một tổ chức, các mục tiêu quản lý dữ liệu bao gồm:
- Hiểu và hỗ trợ nhu cầu thông tin của doanh nghiệp và các bên liên quan, bao gồm khách hàng, nhân viên và đối tác kinh doanh
- Thu thập, lưu trữ, bảo vệ và đảm bảo tính toàn vẹn của tài sản dữ liệu
- Đảm bảo chất lượng của dữ liệu và thông tin
- Đảm bảo tính riêng tư và bí mật của dữ liệu của các bên liên quan
- Ngăn chặn việc truy cập, sử dụng dữ liệu và thông tin trái phép hoặc không thích hợp
- Đảm bảo dữ liệu có thể được sử dụng hiệu quả để gia tăng giá trị cho doanh nghiệp
2.1.3 Mối quan hệ giữa quản lý dữ liệu và siêu dữ liệu
Các tổ chức cần siêu dữ liệu chất lượng và tin cậy để quản lý dữ liệu như một tài sản quý giá Siêu dữ liệu không chỉ bao gồm thông tin nghiệp vụ, kỹ thuật và hoạt động, mà còn phải được hiểu một cách toàn diện trong các khía cạnh như kiến trúc dữ liệu, mô hình dữ liệu, yêu cầu bảo mật, tích hợp dữ liệu tiêu chuẩn và quy trình hoạt động liên quan đến dữ liệu.
Siêu dữ liệu là thông tin mô tả về dữ liệu mà tổ chức sở hữu, bao gồm các yếu tố như nguồn gốc, phân loại, và quá trình di chuyển cũng như phát triển của dữ liệu qua việc sử dụng Nó cũng xác định ai có quyền truy cập vào dữ liệu và đánh giá chất lượng của nó.
Quản lý siêu dữ liệu là một yếu tố quan trọng trong quản lý dữ liệu của các tổ chức Nếu không được quản lý tốt, dữ liệu sẽ dẫn đến việc siêu dữ liệu cũng bị bỏ qua Việc cải thiện quản lý siêu dữ liệu sẽ tạo ra nền tảng vững chắc cho việc nâng cao quản lý dữ liệu tổng thể.
Chất lượng siêu dữ liệu cần được quản lý xuyên suốt vòng đời dữ liệu, vì siêu dữ liệu là một loại dữ liệu quan trọng Các tổ chức phụ thuộc vào siêu dữ liệu để quản lý các loại dữ liệu khác, do đó, việc đảm bảo chất lượng siêu dữ liệu phải được thực hiện tương tự như cách quản lý chất lượng của các dữ liệu khác.
Khung quản lý dữ liệu DAMA
Khung quản lý dữ liệu DAMA, do tổ chức Data Management Association phát triển, được giới thiệu trong chương đầu tiên của quyển DAMA-DMBOOK phiên bản thứ 2 Bánh xe khung quản lý DAMA được chia thành 11 phần, với Data Governance nằm ở trung tâm.
Bánh xe DAMA xác định các vùng chức năng quan trọng trong quản lý dữ liệu, với quản trị dữ liệu đóng vai trò trung tâm trong các hoạt động này Quản trị dữ liệu là yếu tố thiết yếu để đảm bảo tính nhất quán nội bộ và tạo ra sự cân bằng giữa các chức năng khác nhau.
Các lĩnh vực khác như mô hình hóa dữ liệu, kiến trúc dữ liệu, bảo mật dữ liệu,
Tất cả các chức năng đều là những thành phần thiết yếu trong quy trình quản lý dữ liệu toàn diện Tuy nhiên, các thành phần này có thể được triển khai vào các thời điểm khác nhau, tùy thuộc vào nhu cầu cụ thể của tổ chức (DAMA International, 2017)
Hình 4 Khung quản lý dữ liệu DAMA (DAMA International, 2017)
Quản trị dữ liệu đóng vai trò quan trọng trong việc định hướng và giám sát quản lý dữ liệu, thiết lập hệ thống quyết định nhằm đáp ứng nhu cầu của doanh nghiệp.
Kiến trúc dữ liệu là kế hoạch chi tiết nhằm quản lý tài sản dữ liệu, phù hợp với chiến lược của tổ chức Nó thiết lập các yêu cầu và thiết kế dữ liệu chiến lược để đáp ứng những yêu cầu này, đảm bảo tính hiệu quả và bền vững trong việc sử dụng dữ liệu.
Mô hình hóa và thiết kế dữ liệu là quá trình phân tích và hiểu rõ yêu cầu dữ liệu, nhằm tạo ra mô hình dữ liệu chính xác để giao tiếp hiệu quả.
Hoạt động và lưu trữ dữ liệu bao gồm thiết kế, triển khai và hỗ trợ nhằm tối đa hóa giá trị dữ liệu Các hoạt động này cung cấp sự hỗ trợ trong toàn bộ vòng đời dữ liệu, từ giai đoạn lập kế hoạch cho đến khi loại bỏ dữ liệu.
Bảo mật dữ liệu là quá trình đảm bảo sự riêng tư và an toàn cho thông tin, ngăn chặn các vi phạm dữ liệu và đảm bảo rằng dữ liệu chỉ được truy cập một cách hợp lệ.
Tích hợp dữ liệu và khả năng tương tác là quá trình chuyển đổi và hợp nhất dữ liệu giữa các kho dữ liệu, ứng dụng và tổ chức, giúp tối ưu hóa việc sử dụng thông tin và nâng cao hiệu quả quản lý dữ liệu.
Quản lý tài liệu và nội dung bao gồm các hoạt động lập kế hoạch, thực hiện và kiểm soát nhằm quản lý vòng đời dữ liệu và thông tin trong các phương tiện phi cấu trúc Điều này đặc biệt quan trọng để đảm bảo tuân thủ các yêu cầu pháp luật và quy định liên quan.
Dữ liệu tham chiếu và dữ liệu tổng thể (Reference & Master Data) là quá trình liên tục trong việc đối chiếu và duy trì các dữ liệu quan trọng, nhằm đảm bảo tính nhất quán trên các hệ thống Điều này giúp cung cấp thông tin chính xác, kịp thời và phù hợp về các thực thể nghiệp vụ quan trọng.
Kho dữ liệu và kinh doanh thông minh là quá trình lập kế hoạch, thực hiện và kiểm soát quản lý dữ liệu nhằm hỗ trợ ra quyết định Điều này cho phép doanh nghiệp khai thác giá trị từ dữ liệu thông qua phân tích và báo cáo hiệu quả.
Siêu dữ liệu (Metadata) bao gồm các hoạt động lập kế hoạch, thực hiện và kiểm soát, giúp đảm bảo truy cập dữ liệu với chất lượng cao Nó tích hợp các định nghĩa, mô hình, luồng dữ liệu và thông tin quan trọng khác, cho phép người dùng hiểu rõ về dữ liệu cùng với các hệ thống mà dữ liệu được tạo ra, duy trì và truy cập.
Chất lượng dữ liệu (Data Quality) là quá trình lập kế hoạch và thực hiện quản lý chất lượng, bao gồm đo lường, đánh giá và cải thiện tính phù hợp của dữ liệu trong tổ chức.
Lý thuyết về siêu dữ liệu
2.3.1 Định nghĩa siêu dữ liệu Định nghĩa phổ biến nhất về Siêu dữ liệu, "dữ liệu về dữ liệu", đơn giản đến mức dễ gây hiểu nhầm Hay có thể hiểu là siêu dữ liệu là loại thông tin có phạm vi rộng Siêu dữ liệu bao gồm thông tin về các quy trình kỹ thuật và nghiệp vụ, các quy tắc và ràng buộc dữ liệu cũng như cấu trúc dữ liệu logic và vật lý Nó mô tả bản thân dữ liệu (ví dụ: cơ sở dữ liệu, phần tử dữ liệu, mô hình dữ liệu), các khái niệm mà dữ liệu đại diện (ví dụ: quy trình nghiệp vụ, hệ thống ứng dụng, mã phần mềm, cơ sở hạ tầng công nghệ) và các kết nối (mối quan hệ) giữa dữ liệu và khái niệm Siêu dữ liệu giúp tổ chức hiểu dữ liệu, hệ thống và quy trình làm việc Nó cho phép đánh giá chất lượng dữ liệu và không thể thiếu trong việc quản lý cơ sở dữ liệu và các ứng dụng khác Nó góp phần vào khả năng xử lý, duy trì, tích hợp, bảo mật, kiểm soát và quản lý các dữ liệu khác (DAMA International, 2017) Để hiểu vai trò quan trọng của siêu dữ liệu trong việc quản lý dữ liệu, hãy tưởng tượng một thư viện với hàng trăm nghìn cuốn sách và tạp chí nhưng không có danh mục thẻ Nếu không có danh mục thẻ, người đọc thậm chí có thể không biết bắt đầu tìm kiếm một cuốn sách cụ thể hoặc thậm chí một chủ đề cụ thể từ vị trí nào Danh mục thẻ không chỉ cung cấp thông tin cần thiết (thư viện sở hữu những cuốn sách và tài liệu nào và chúng được xếp ở đâu) mà còn cho phép khách hàng quen tìm tài liệu bằng cách sử dụng các danh mục khác nhau (chủ đề, tác giả hoặc tên sách) Nếu không có danh mục, việc tìm kiếm một cuốn sách cụ thể sẽ rất khó khăn nếu không muốn nói là không thể Một tổ chức không có Siêu dữ liệu giống như một thư viện không có danh mục thẻ
Siêu dữ liệu là yếu tố quan trọng trong quản lý và sử dụng dữ liệu của các tổ chức lớn, nơi mà mỗi cá nhân có mức độ hiểu biết khác nhau về dữ liệu Việc lập thành văn bản thông tin về dữ liệu là cần thiết để bảo tồn kiến thức quý giá của tổ chức Nó không chỉ giúp nắm bắt và quản lý kiến thức mà còn hỗ trợ trong việc quản lý rủi ro, đảm bảo tổ chức có thể xác định và quản lý dữ liệu nhạy cảm Siêu dữ liệu đáng tin cậy giúp tổ chức hiểu rõ về nguồn gốc, ý nghĩa và chất lượng của dữ liệu, từ đó quản lý dữ liệu hiệu quả và đáp ứng yêu cầu tuân thủ Nếu thiếu siêu dữ liệu, tổ chức sẽ gặp khó khăn trong việc quản lý dữ liệu như một nội dung có giá trị.
Do đó, nếu không có siêu dữ liệu, một tổ chức khó có thể quản lý được dữ liệu của mình (DAMA International, 2017)
Khi công nghệ phát triển, tốc độ tạo ra dữ liệu gia tăng, khiến siêu dữ liệu kỹ thuật trở thành yếu tố quan trọng trong việc chuyển đổi và tích hợp dữ liệu Siêu dữ liệu dưới định dạng XML và các định dạng khác cho phép sử dụng dữ liệu hiệu quả, đồng thời các kiểu gắn thẻ siêu dữ liệu giúp bảo vệ quyền sở hữu và yêu cầu bảo mật Giống như dữ liệu thông thường, siêu dữ liệu cũng cần được quản lý Khi khả năng thu thập và lưu trữ dữ liệu của tổ chức tăng lên, vai trò của siêu dữ liệu trong quản lý dữ liệu càng trở nên thiết yếu Để phát triển theo hướng dữ liệu, tổ chức cần chú trọng vào việc quản lý siêu dữ liệu.
2.3.2 Vai trò của quản lý siêu dữ liệu
Siêu dữ liệu là một trong 11 thành phần thiết yếu trong khung quản lý dữ liệu DAMA Quản lý siêu dữ liệu hiệu quả không chỉ tạo ra kết quả đáng tin cậy mà còn ảnh hưởng tích cực đến các chức năng khác trong quản lý dữ liệu của tổ chức, từ đó nâng cao hiệu quả tổng thể của quy trình quản lý dữ liệu.
Siêu dữ liệu đáng tin cậy, được quản lý tốt giúp:
- Tăng độ tin cậy vào dữ liệu bằng cách cung cấp ngữ cảnh và cho phép đo lường chính xác chất lượng dữ liệu
- Tăng giá trị của thông tin chiến lược bằng cách cho phép sử dụng nhiều lần
- Cải thiện hiệu quả hoạt động bằng cách xác định dữ liệu và quy trình dư thừa
- Ngăn chặn việc sử dụng dữ liệu lỗi thời hoặc không chính xác
- Giảm thời gian nghiên cứu theo định hướng dữ liệu
- Cải thiện giao tiếp giữa người sử dụng dữ liệu và các chuyên gia CNTT
- Tạo phân tích tác động chính xác, do đó giảm nguy cơ thất bại của dự án
- Cải thiện thời gian bằng cách giảm thời gian vòng đời phát triển hệ thống
Giảm chi phí đào tạo và giảm thiểu tác động của việc luân chuyển nhân viên bằng cách cung cấp tài liệu chi tiết về bối cảnh, lịch sử và nguồn gốc dữ liệu.
2.3.3 Mục tiêu của quản lý siêu dữ liệu Để xây dựng và quản lý một cách khoa học, có hiệu quả và thu được kết quả tốt nhất thì mục tiêu trong việc quản lý siêu dữ liệu phải được xây dựng một cách hoàn chỉnh, nhất quán, có thể liệt kê một số nội dung trong mục tiêu quản lý siêu dữ liệu: (DAMA International, 2017)
Quản lý kiến thức và tài liệu về các thuật ngữ nghiệp vụ liên quan đến dữ liệu trong tổ chức là rất quan trọng, nhằm đảm bảo tất cả mọi người đều hiểu rõ nội dung dữ liệu Điều này giúp sử dụng dữ liệu một cách nhất quán và hiệu quả, nâng cao khả năng ra quyết định dựa trên thông tin chính xác.
Thu thập và tích hợp siêu dữ liệu từ nhiều nguồn khác nhau giúp mọi người nhận thức rõ hơn về những điểm tương đồng và khác biệt trong dữ liệu từ các bộ phận khác nhau của tổ chức.
- Đảm bảo chất lượng, tính nhất quán, kịp thời và bảo mật của siêu dữ liệu
Để đảm bảo siêu dữ liệu có thể truy cập dễ dàng đối với người dùng, bao gồm cả con người, hệ thống và quy trình, cần cung cấp các tiêu thức rõ ràng và cụ thể Việc này không chỉ giúp cải thiện khả năng tìm kiếm và sử dụng siêu dữ liệu mà còn nâng cao hiệu quả trong việc quản lý thông tin.
- Thiết lập hoặc thực thi việc sử dụng các tiêu chuẩn Siêu dữ liệu để cho phép trao đổi dữ liệu
- Hỗ trợ tuân thủ quy định tuân thủ là bắt buộc
2.3.4 Nguyên tắc trong quản lý siêu dữ liệu Để triển khai giải pháp siêu dữ liệu thành công phải có bộ nguyên tắc cơ bản và phải tuân theo các quy chuẩn chung để đảm bảo yêu cầu trong một tổ chức:
Tổ chức cam kết đảm bảo sự hỗ trợ từ quản lý cấp cao và tài trợ cho việc quản lý siêu dữ liệu, coi đây là một phần quan trọng trong chiến lược tổng thể nhằm quản lý dữ liệu như một tài sản quý giá của doanh nghiệp.
Chiến lược siêu dữ liệu là kế hoạch phát triển nhằm xác định cách thức tạo, duy trì, tích hợp và truy cập siêu dữ liệu Để đạt hiệu quả tối ưu, chiến lược này cần phải phù hợp với các ưu tiên kinh doanh hiện tại.
Theo quan điểm doanh nghiệp, để đảm bảo khả năng mở rộng trong tương lai, cần thực hiện thông qua việc phân phối lặp đi lặp lại và gia tăng nhằm mang lại giá trị bền vững.
Xã hội hóa siêu dữ liệu là việc truyền đạt tầm quan trọng và mục đích của từng loại siêu dữ liệu, nhằm nâng cao nhận thức về giá trị của chúng Việc này không chỉ khuyến khích các bộ phận nghiệp vụ áp dụng siêu dữ liệu mà còn thúc đẩy sự tham gia của các chuyên gia trong việc quản lý và cải thiện chất lượng siêu dữ liệu.
- Truy cập: Đảm bảo nhân viên biết cách truy cập và sử dụng siêu dữ liệu
Chất lượng siêu dữ liệu thường được hình thành từ các quy trình hiện có như mô hình hóa dữ liệu, SDLC và định nghĩa quy trình nghiệp vụ Do đó, chủ sở hữu quy trình cần phải chịu trách nhiệm về chất lượng của siêu dữ liệu.
- Kiểm tra: Đặt, thực thi và kiểm tra các tiêu chuẩn cho siêu dữ liệu để đơn giản hóa việc tích hợp và cho phép sử dụng
Các công cụ sử dụng
IBM Infosphere Information Server là nền tảng tích hợp và quản trị dữ liệu mạnh mẽ, kết hợp các thành phần để tạo ra một kiến trúc thông tin doanh nghiệp thống nhất Nền tảng này có khả năng mở rộng quy mô, đáp ứng mọi yêu cầu về khối lượng thông tin Sử dụng phần mềm này giúp cải thiện kết quả kinh doanh, đồng thời duy trì chất lượng và tính toàn vẹn của dữ liệu trong toàn bộ hệ thống thông tin của bạn.
IBM Infosphere Information Server hỗ trợ doanh nghiệp và nhân viên CNTT hợp tác để nắm bắt ý nghĩa, cấu trúc và nội dung thông tin từ nhiều nguồn khác nhau Với phần mềm này, doanh nghiệp có thể khai thác thông tin một cách sáng tạo, nâng cao hiệu suất hoạt động và giảm thiểu rủi ro.
Hình 8 Các chức năng trong InfoSphere Information Server (IBM, 2021)
Infosphere Information Server cung cấp các khả năng quan trọng cho doanh nghiệp trong việc thực hiện chiến lược tích hợp dữ liệu hiệu quả Tại trung tâm là kho siêu dữ liệu chung, nơi lưu trữ thông tin siêu dữ liệu đã nhập, cấu hình dự án, báo cáo và kết quả cho tất cả các thành phần của hệ thống Khi chia sẻ dữ liệu đã nhập từ kho siêu dữ liệu, người dùng trong tổ chức có thể tương tác và khai thác nội dung này trong các thành phần của Infosphere Information Server.
Tableau là phần mềm mạnh mẽ cho phân tích và trực quan hóa dữ liệu, thường được sử dụng trong lĩnh vực Business Intelligence Nó tổng hợp dữ liệu tương tự như Excel nhưng với khả năng hiển thị hình ảnh và biểu đồ trực quan một cách nhanh chóng và hiệu quả hơn.
Tableau là một giải pháp quản lý dữ liệu hiệu quả cho doanh nghiệp, cho phép người dùng không cần kiến thức về xử lý dữ liệu đồ họa hay lập trình vẫn có thể truy cập và khai thác dữ liệu cần thiết Quá trình phân tích dữ liệu diễn ra nhanh chóng và liên tục, với khả năng cập nhật ngay lập tức khi có sự thay đổi từ nguồn dữ liệu gốc.
Hình 9 Giao diện BI Tableau.(Tableau, 2020) Tableau có các khả năng:
- Đọc được các dữ liệu từ nhiều nguồn và trực quan hoá chúng
- Quản lý siêu dữ liệu
- Hỗ trợ phân tích dữ liệu với Big Data
- Xây dựng các dữ liệu hoạt động
- Khả năng mô phỏng dữ liệu
- Khả năng phân tích theo thời gian
- Hỗ trợ xây dựng bản đồ
- Dễ dàng phân tích được các khảo sát
Pentaho Data Integration là một công cụ và bộ công cụ quan trọng cho các quy trình Extract, Transform và Load (ETL), giúp quản lý và xử lý dữ liệu hiệu quả.
Hình 10 Giao diện Pentaho Data Integration (Hitachi, 2021)
Pentaho Data Integration (PDI) cung cấp giải pháp ETL hiệu quả, giúp thu thập, làm sạch và lưu trữ dữ liệu một cách đồng nhất Với khả năng truy cập dễ dàng, PDI hỗ trợ người dùng cuối và tích hợp tốt với các công nghệ IoT.
Các ứng dụng phổ biến của Pentaho Data Integration bao gồm:
- Di chuyển dữ liệu giữa các cơ sở dữ liệu và ứng dụng khác nhau
- Tải các tập dữ liệu lớn vào cơ sở dữ liệu tận dụng tối đa môi trường xử lý đám mây, phân cụm và song song
- Làm sạch dữ liệu với các bước từ biến đổi rất đơn giản đến rất phức tạp
- Tích hợp dữ liệu bao gồm khả năng tận dụng ETL thời gian thực làm nguồn dữ liệu cho Báo cáo Pentaho
- Tập hợp kho dữ liệu với hỗ trợ tích hợp cho các kích thước thay đổi chậm và tạo khóa thay thế
PDI cung cấp các công cụ và tính năng hỗ trợ xây dựng quy trình chuyển đổi tích hợp dữ liệu, bao gồm 6 bước cơ bản để làm sạch, định dạng, chuẩn hóa và phân loại dữ liệu mẫu Những bước này giúp tối ưu hóa quy trình xử lý dữ liệu một cách hiệu quả.
- Bước 1: Giải nén và tải dữ liệu
- Bước 2: Lọc các mã bị thiếu
- Bước 3: Giải quyết dữ liệu bị thiếu
- Bước 4: Làm sạch dữ liệu
- Bước 6: Sắp xếp công việc
Kết luận chương II
Chương II cung cấp cái nhìn tổng quan về siêu dữ liệu, bao gồm lý thuyết quản lý dữ liệu, khung quản lý dữ liệu DAMA và mối quan hệ giữa quản lý dữ liệu và siêu dữ liệu Chương này cũng đi sâu vào định nghĩa, vai trò và mục tiêu của siêu dữ liệu, đồng thời giới thiệu một số loại siêu dữ liệu, kiến trúc và nguồn gốc của chúng Điều này giúp người đọc hình dung rõ hơn về các dạng siêu dữ liệu đang được áp dụng trong thực tế Cuối cùng, chương nêu rõ các công cụ thực tế được sử dụng để xây dựng và vận hành hệ thống siêu dữ liệu tại Ngân hàng Quân đội.
XÂY DỰNG HỆ THỐNG METADATA NGÂN HÀNG QUÂN ĐỘI
Thiết kế kiến trúc hệ thống
Xây dựng hệ thống quản lý Metadata tập trung bao gồm các cấu phần chính như sau:
- Quản lý thuật ngữ (Business metadata)
- Công cụ tra cứu, tìm kiếm
- Hệ thống quản lý user, phân quyền truy cập, phân quyền thực hiện nghiệp vụ quản lý metadata
- Bộ báo cáo quản trị Metadata
3.1.1.2 Sơ đồ ngữ cảnh hệ thống
Hình 11 Sơ đồ ngữ cảnh (System Context Diagram)
- Hệ thống Metadata lấy metata kỹ thuật từ các hệ thống nguồn
- Người dùng mapping và import dữ liệu thuật ngữ nghiệp vụ qua giao diện web của ứng dụng
- Người dùng cuối có thể truy cập thông qua giao diện Web của ứng dụng và xem báo cáo qua BITableau
3.1.1.3 Yêu cầu – Chức năng tổng quan
STT Chức năng Mô tả
1 Quản lý siêu dữ liệu nghiệp vụ
Quản lý Cây phân loại (Category), Thuật ngữ nghiệp vụ (Term)
Liên kết thuật ngữ (Term) với Technical MetaData)
Ban hành Business MetaData đưa vào khai thác sử dụng
Cán bộ quản lý MetaData
2 Quản lý siêu dữ liệu kỹ thuật (Technical
Kết nối hệ thống nguồn cần lấy dữ liệu Techical MetaData Đồng bộ dữ liệu từ Hệ thống nguồn cập nhật vào Hệ thống Metadata
Cập nhật thông tin mô tả cho các đối tượng Database
Nhập mới/ cập nhật thông tin Metadata cho đối tượng Report
Tạo lập liên kết (Mapping) giữa các đối tượng Technical Metadata
Cán bộ quản lý MetaData
Khai thác Technical MetaData gồm:
+ Các đối tượng Database (Hệ thống,
Cơ sở dữ liệu, Bảng, Trường, )
+ Báo cáo (Báo cáo, Truy vấn, Chỉ tiêu báo cáo)
+ Hiển thị dòng dữ liệu liên kết các đối tượng (Data Lineage)
Tạo lập báo cáo quản trị MetaData
Bảng 1 Yêu cầu – chức năng củ hệ thống Metadata
3.1.1.4 Yêu cầu chức năng chi tiết
Danh sách tác nhân hệ thống (Actor)
STT Tên tác nhân Ý nghĩa
Tạo mới, sửa đổi thông tin MetaData
2 CB xem xét Kiểm tra, xem xét tính hợp lệ của MetaData
3 CB duyệt Phê duyệt chấp thuận MetaData
Công bố, ban hành MetaData để đưa vào sử dụng
5 CB Kỹ thuật Kết nối hệ thống nguồn để tích hợp lấy thông tin Technical
Tra cứu, khai thác thông tin MetaData
7 CB báo cáo Lập, xem xét báo cáo quản trị MetaData
Danh sách chức năng (Use Case)
Tên chức năng Mô tả
Quản lý thuật ngữ (Business MetaData)
Nhập mới thông tin cây phân loại (Category), Thuật ngữ (Term)
2 BM02 Liên kết Business với Technical MetaData
Liên kết thuật ngữ với các đối tượng Technical Metadata gồm: Host, Database, Database Schema, Database Table, Database Column, Report,
Sửa đổi hoặc xóa thông tin cây phân loại (Category), Thuật ngữ (Term)
Kiểm tra tính đầy đủ, chính xác và hợp lệ của Business MetaData
Chuyển Phê duyệt/ Từ chối
Từ chối chuyển lại Business MetaData cho người nhập liệu nếu thông tin không hợp lệ
Duyệt Business MetaData để chuyển ban hành
Từ chối chuyển lại Business MetaData cho người nhập liệu nếu thông tin không hợp lệ
Ban hành Business MetaData để công khai đưa vào khai thác sử dụng
Quản lý Siêu dữ liệu kỹ thuật (Technical Metadata)
7 TM01 Kết nối Database hệ thống nguồn
Tạo lập kết nối mới tới Hệ thống nguồn cần lấy dữ liệu Techical MetaData
Technical MetaData từ hệ thống nguồn
Tự động đồng bộ thông tin định nghĩa dữ liệu từ Hệ thống nguồn cập nhật vào Hệ thống Metadata
Cập nhật thêm các thông tin mô tả cho các đối tượng Database
Nhập mới/ cập nhật thông tin Metadata cho đối tượng Report
Tạo lập mối liên kết (Mapping) giữa các đối tượng Technical Metadata
Hỗ trợ hiển thị dòng dữ liệu (Data Lineage) giữa các đối tượng Technical MetaData
Khai thác Business MetaData Khai thác Technical MetaData gồm:
+ Các đối tượng Database (Hệ thống, Cơ sở dữ liệu, Bảng, Trường, ) + Báo cáo (Báo cáo, Truy vấn, Chỉ tiêu báo cáo)
+ Hiển thị dòng dữ liệu liên kết các đối tượng (Data Lineage)
12 RM01 Báo cáo quản trị
Tạo lập báo cáo quản trị MetaData
Bảng 3 Danh sách các chức năng
3.1.2 Kiến trúc và giải pháp
Dự án do MB thực hiện tận dụng công nghệ và hạ tầng hiện có, bao gồm bản quyền công cụ IBM Infosphere Information Server để thu thập và làm giàu Metadata, cùng BI Tableau để xây dựng báo cáo Nghiệp vụ là đơn vị chủ chốt trong nghiên cứu và triển khai, giúp dự án có khả năng mở rộng linh hoạt.
Kiến trúc hệ thống Quản lý Metadata được thiết kế dựa trên các quyết định bao gồm:
Công cụ quản lý Metadata dựa trên nền tảng IBM Infosphere Information Server đã được mua bản quyền và cài đặt trong dự án DWH, nhưng tính năng quản lý Metadata vẫn chưa được triển khai.
BI Tableau là một công cụ báo cáo và dashboard mạnh mẽ, có khả năng tích hợp với nhiều loại cơ sở dữ liệu và đầu vào khác nhau Với giao diện thân thiện, người dùng nghiệp vụ chỉ cần đào tạo cơ bản cũng có thể dễ dàng tạo ra các báo cáo theo nhu cầu của mình.
Hình 13 Sơ đồ kiến trúc Logical
Bảng mô tả các thành phần của hệ thống:
Công cụ ETL được sử dụng để chuyển đổi dữ liệu từ hệ thống T24 sang ORS, trong đó Metadata không được kết nối trực tiếp với T24 mà thay vào đó lấy thông tin từ các bảng staging trong ORS.
2 Metadata Hệ thống quản lý Metadata
Hệ thống nguồn Metadata (gồm T24, W4, )
4 BI Tableau Hệ thống BI Tableau cung cấp báo cáo cho người dùng cuối
Bảng 4 Bảng mô tả thành phần hệ thống
Hình 14 Khả năng đáp ứng kiến trúc nghiệp vụ
Hình 15 Khả năng đáp ứng kiến trúc ứng dụng
3.1.2.6 Nền tảng và công nghệ
Nền tảng để phát triển hệ thống Metadata được sử dụng trong dự án này bao gồm các nền tảng sau:
- Công cụ quản lý MetaData gồm: IMAM, IGC trong bộ công cụ IBM Infosphere Infomation Server
- CSDL: Sử dụng hệ quản trị CSDL quan hệ Oracle RDBMS phiên bản 12c Sử dụng làm repostories
- Báo cáo: Sử dụng bộ công cụ phát triển và hiển thị báo cáo/dashboard BI Tableau
STT Thành phần công nghệ Phần mềm / Công nghệ
1 Operating System Oracle Enterprise Linux 7/Redhat Enterprise
2 Database Oracle Database Enterprise Edition 12C
3 Platform IBM Infosphere Infomation Server
Bảng 5 Nền tảng và công nghệ hệ thống
3.1.2.7 Kiến trúc dữ liệu và kiến trúc tích hợp
- Kiến trúc CSDL theo thiết kế có sẵn của nền tàng IBM Infosphere Infomation Server
Integrating metadata information into the database using the IMAM tool within the IBM Infosphere Information Server suite is essential The system employs a database connector to connect to databases in the disaster recovery (DR) environment, if available, to carry out this integration This approach ensures that the production environment of source systems remains unaffected.
- Tích hợp thông tin metadata báo cáo bằng import file theo template vào repo hệ thống
- Tích hợp metadata kinh doanh bằng cách import file thuật ngữ nghiệp vụ 3.1.2.8 Kiến trúc triển khai (Physical Architecture)
Report - BI Tableau Báo cáo
Người dùng cuối Thông tin Metadata
Hình 16 Mô hình triển khai
Hình 17 Kiến trúc hạ tầng
STT Hệ thống IP OS CPU
DB GG (sử dụng làm repository)
DB GG (sử dụng làm repository)
Bảng 6 Kiến trúc hạ tầng
3.1.3 Thiết kế phi chức năng
Công cụ IMAM sẽ lưu trữ đầy đủ thông tin của những lần import Metadata Người dùng có thể truy suất log này thông qua giao diện web
Xác thực dựa trên user/ password hoặc tích hợp LDAP để xác thực
Sẽ sử dụng cơ chế phân quyền theo user, mỗi user sẽ được phân vào các role tương ứng
Giám sát và cảnh báo
Các job thực hiện import để thực hiện giám sát qua web để giám sát và cảnh báo
- Hệ thống Metadata được thiết kế với khả năng mở rộng dễ dàng ở các lớp:
- Lớp cơ sở dữ liệu: Mở rộng bằng cách bổ sung dung lượng DB
Lớp ứng dụng có thể được nâng cấp bằng cách cải thiện cấu hình máy chủ ứng dụng trên nền tảng ảo hóa hoặc bổ sung thêm các máy chủ mới vào cụm máy chủ hiện có Điều này giúp tăng cường khả năng đáp ứng nhu cầu người dùng và mở rộng hệ thống một cách hiệu quả.
Tính sẵn sàng của hệ thống
Máy chủ được thiết kế với phần cứng mạnh mẽ, đảm bảo hệ thống Metadata ở tất cả các lớp có khả năng sẵn sàng cao (HA), đáp ứng yêu cầu chịu lỗi không chỉ trên từng máy chủ mà còn trong toàn bộ cụm máy chủ.
CSDL của Meatadata được đặt trên máy chủ GG và máy chủ này đã được đáp ứng HA
Sao lưu và phục hồi ứng dụng Metadata được thực hiện tại cụm máy chủ ETL dùng chung DataStage, vì vậy cần sử dụng cơ chế sao lưu của cụm máy chủ này để đảm bảo an toàn cho dữ liệu.
Lưu trữ và dọn dẹp
Dữ liệu metadata kỹ thuật sẽ lưu trữ 12 bản đồng bộ gần nhất từ hệ thống nguồn Để đảm bảo hiệu quả, hệ thống có job được lập lịch thực hiện dọn dẹp dữ liệu quá thời gian định kỳ hàng tháng.
- Dữ liệu metatadata kinh doanh sẽ không xóa
Khôi phục sau thảm họa
Hiện tại, hệ thống chưa được trang bị chức năng khôi phục thảm họa (DR), do đó, quá trình phục hồi sẽ được thực hiện bằng cách xây dựng lại hệ thống và khôi phục dữ liệu từ bản sao lưu gần nhất.
Thiết kế chi tiết hệ thống
Bảng dữ liệu: MTDT.MB_COLUMN_DESCRIPTION:
Tên cột Kiểu dữ liệu Mô tả
Bảng 7 Bảng MTDT.MB_COLUMN_DESCRIPTION
Bảng dữ liệu: MTDT.MB_TABLE_DESCRIPTION:
Tên cột Kiểu dữ liệu Mô tả
Bảng 8 Bảng MTDT.MB_TABLE_DESCRIPTION
Bảng dữ liệu: MTDT.MB_SCHEMA_DESCRIPTION:
Tên cột Kiểu dữ liệu Mô tả
Bảng 9 Bảng MTDT.MB_SCHEMA_DESCRIPTION
3.2.1.2 Thiết kế logic xử lý
Luồng ETL cập nhật description cho các trường trong bảng
Hình 19 Luồng ETL cập nhật description cho các trường trong bảng
Mục đích chính: Job cập nhật thông tin description của cột trong bảng
- Dữ liệu đầu vào: file xcel do bên tài chính kế toán cung cấp
- Dữ liệu đầu ra là: Cập nhật thành công thông tin
- Tham số đầu vào: PRD_ID - ngày trong tháng (Ví dụ: 20211010)
Ghi log khi job chạy thành công vào bảng apps.syn_log, bao gồm thông tin về thời gian chạy, tên job, tên bảng kết quả và số lượng bản ghi tổng hợp.
Hình 20 Code check syn_log và dữ liệu bảng asclmodel_datafield
Luồng ETL cập nhật description cho các bảng
Hình 21 Luồng ETL cập nhật description cho các bảng
Mục đích chính: Job cập nhật thông tin description cho các bảng
- Dữ liệu đầu vào: file xcel do bên tài chính kế toán cung cấp
- Dữ liệu đầu ra là: Cập nhật thành công thông tin
- Tham số đầu vào: PRD_ID - ngày trong tháng (Ví dụ: 20211010)
Ghi log khi job thành công vào bảng apps.syn_log bao gồm thông tin về thời gian chạy, tên job, tên bảng kết quả và số lượng bản ghi tổng hợp.
Hình 22 Code check syn_log và dữ liệu bảng asclmodedatacollectin
Luồng ETL cập nhật description cho các schema
Hình 23 Luồng ETL cập nhật description cho các schema
Mục đích chính: Job cập nhật thông tin description cho các schema
- Dữ liệu đầu vào: file xcel do bên tài chính kế toán cung cấp
- Dữ liệu đầu ra là: Cập nhật thành công thông tin
- Tham số đầu vào: PRD_ID - ngày trong tháng (Ví dụ: 20211010)
Ghi log là quá trình lưu trữ thông tin khi một job chạy thành công vào bảng apps.syn_log, bao gồm thời gian chạy, tên job, tên bảng kết quả và số lượng bản ghi tổng hợp.
Hình 24 Code check syn_log và dữ liệu bảng asclmodel_dataschema
Mục đích: Tra cứ thông tin dữ liệu liên quan MetaData
Hình 25 Định dạng của báo cáo Metadata
Báo cáo tổng hợp Metadata
Nguồn dữ liệu: IGVIEWS.IGBUSINESSCATEGORY,
XMETAUSER.ASCLBI_BISERVER, XMETAUSER.ASCLBI_BIFOLDER,
XMETAUSER.ASCLBI_BIFOLDER, XMETAUSER.ASCLBI_BIFOLDER, XMETAUSER.ASCLBI_BIFOLDER,
XMETAUSER.MWBEXTENSNSMPPNGDSGNTR Đầu vào: Chủ sở hữu, Category, hệ thống, hệ thống báo cáo Đầu ra: Thông tin business metadata, technical metadata, report metadata
STT Tên trường cột đầu ra
IGVIEWS.IGBUSI NESSTERM select RID from
2 Thuật ngữ có mô tả
Select case when XMDFLTVIEWS BUSINESSTERM.LONGDESCR IPTION is not null then
3 Thuật ngữ có thuật ngữ liên quan
RID tồn tại trong bảng
WHEN IGVIEWS.IGBUSINESSTERM.ri d IN (SELECT termrid FROM IGVIEWS.IGTERMHASRELAT EDTERM) THEN
4 Thuật ngữ chờ phê duyệt
IGVIEWS.IGDEVB USINESSTERMST ATUS select CURRENTSTATE from IGVIEWS.IGDEVBUSINESSTE RMSTATUS
5 Thuật ngữ ở trạng thái draft
IGVIEWS.IGDEVB USINESSTERMST ATUS select CURRENTSTATE from IGVIEWS.IGDEVBUSINESSTE RMSTATUS
7 Số lượng bảng CMVIEWS.PDRDA
8 Bảng có mô tả CMVIEWS.PDRDA
TABASETABLE case when CMVIEWS PDRDATABASETABLE.LONG DESCRIPTION is not null then 'Y' else null END
OBJECTRID_XMETA IS NOT NULL OR
MWBEXTENSNSMPPNGDSGN TR.LEVEL2OBJECTRID_XMET
CMVIEWS.PDRDA TABASECOLUMN case when CMVIEWS PDRDATABASECOLUMN.LON GDESCRIPTION is not null then 'Y' else null END
WHEN XMETAUSER MWBEXTENSNSMPPNGDSGN TR.OBJECTRID_XMETA IS NOT NULL THEN
13 Trường đã gán thuật ngữ
BUSINESSTERMRID IS NOT NULL THEN
Select XMETA_REPOS_OBJECT_ID_
15 Báo cáo có mô tả
WHEN XMETAUSER.ASCLBI_REPOR TDEF.SHORTDESCRIPTION_X META IS NOT NULL THEN 'Y'
XMETAUSER.ASC LBI_REPORTDAT AITEM
Select XMETA_REPOS_OBJECT_ID_
18 Chỉ tiêu có mô tả
XMETAUSER.ASC LBI_REPORTDAT AITEM
WHEN XMETAUSER.ASCLBI_REPOR TDATAITEM.LONGDESCRIPTI ON_XMETA is not null then 'Y'
WHEN XMETAUSER MWBEXTENSNSMPPNGDSGN TR.OBJECTRID_XMETA IS NOT NULL THEN
Bảng 10 Báo cáo tổng hợp Metadata.
Vận hành hệ thống
3.3.1 Tích hợp Metadata của hệ thống nguồn
Truy cập vào hệ thống IBM InfoSphere Information Server -> Metadata Asset Manager
Hình 26 IBM InfoSphere Information Server
Chọn Tab Import -> New Import Area
Choose the appropriate Bridge based on the type of source Database: for an Oracle source Database, select the Oracle Bridge; for Non-Oracle source Databases, opt for either the ODBC Connector or the IBM Netezza Connector.
Hình 29 Create New Import Area
Lựa chọn các thông tin cần import
Hình 30 Chọn thông tin trong Create New Import Area
Nhập các thông tin kết nối:
Lựa chọn kết nối có sẵn:
Hình 31 Chọn kết nối có sẵn
Hình 32 New Data Connection Điền thông tin host name:
Hình 35 Kết quả sau khi tích hợp
3.3.2 Tạo mối quan hệ giữa 2 đối tượng của Technical Metadata
3.3.2.1 Thông tin về Metadata của 02 hệ thống (T24 và ORS) Đăng nhập vào IBM InfoSphere Information Server -> Information Governance Catalog
Ví dụ thông tin meta của hệ thống ORS
3.3.2.2 Tạo liên kết giữa 2 đối tượng bằng việc nhập trực tiếp
Vào Tab Information Assets -> Manage -> Create Extension Mapping Document
Hình 40 Manage Tab Information Assets Điền thông tin file và chọn save, chọn save and edit:
Hình 41 Create Extension Mapping Document Điền dữ liệu mapping, chọn save
Hình 42 Edit Mappings of Test
Tạo liên kết giữa 2 đối tượng bằng việc import file
Vào Tab Information Assets -> Manage -> Import Extension Mapping Document
Hình 44 Select Files (Import Extension Mapping Documents)
Hình 45 Set Default Properties (Import Extension Mapping Documents)
3.3.2.3 View mối quan hệ giữa 2 đối tượng Metadata
Vào Tab Information Assets -> Browse Hierarchies ->Extension Mapping Documents
Thông tin về file mapping
Truy cập Administration Home -> Tools -> Import
Nhập các thông tin như hình dưới
Hình 55 Create Term Điền các thông tin về Thuật ngữ -> Save
3.3.4 Tạo mối quan hệ giữa Technical và Business Metadata
Tạo từng mối quan hệ
Vào Thuật ngữ -> Chọn Edit
Vào phần Assigned Assets, chọn đối tượng Technical Metadata muốn liên kết -> Save
View mối quan hệ giữa Technical và Business Metadata
3.3.5 Tích hợp metadata của báo cáo
Thiết kế file theo template
Vào hệ thống IBM InfoSphere Information Server -> Metadata Asset Manager
Chọn Tab Import -> New Import Area
Hình 63 Create New Import Area
Kết quả sau khi tích hợp xong: