Bài viết Xu hướng quản lý dữ liệu bàn về tầm quan trọng và sự quan tâm rất lớn đối với công tác Quản lý dữ liệu và là công việc cần phải làm của tất cả các cơ quan, tổ chức nào. Quản lý dữ liệu luôn là một việc làm quan trọng cần được tiến hành một cách cẩn thận để có thể đảm bảo tính hiệu quả và phù hợp với xu hướng phát triển của công nghệ ngày nay. Mời các bạn cùng tham khảo!
XU HƯỚNG QUẢN LÝ DỮ LIỆU Bùi Mạnh Trường Khoa Cơng nghệ Thơng tin Trường Đại học Tài – Marketing Email bmtruong@ufm.edu.vn Tóm tắt: Cuộc cách mạng liệu có tiềm kinh tế lớn, chí, liệu coi “dầu mỏ mới” Quản lý liệu cần thiết để bảo đảm tính bảo mật, tính tồn vẹn, khả truy cập, tính sẵn sàng chất lượng liệu Quản lý liệu nhiệm vụ quan trọng tổ chức Dữ liệu tài sản lớn tất tổ chức doanh nghiệp, giúp đưa định xác tất hoạt động tất cấp quản lý, cải thiện chiến dịch tiếp thị tối ưu hóa hiệu hoạt động kinh doanh Điều đặt tầm quan trọng quan tâm lớn công tác Quản lý liệu công việc cần phải làm tất quan, tổ chức Quản lý liệu việc làm quan trọng cần tiến hành cách cẩn thận để đảm bảo tính hiệu phù hợp với xu hướng phát triển cơng nghệ ngày Từ khóa: Dữ liệu, Quản lý liệu, Điện toán đám mây, Hệ quản trị sở liệu ĐẶT VẤN ĐỀ Quản lý liệu trình thu thập, tổ chức, lưu trữ trì liệu tổ chức Trong đó, liệu hiểu cách đơn giản tập thông tin Việc quản lý liệu hiệu vơ quan trọng để triển khai hệ thống công nghệ thông tin (CNTT) thông qua ứng dụng kinh doanh, thu thập thông tin khách hàng để phân tích nhằm thúc đẩy trình đưa định vận hành vạch chiến lược rõ ràng cho doanh nghiệp Quy trình quản lý liệu kết hợp nhiều chức khác Qua đó, đảm bảo liệu hệ thống doanh nghiệp có xác, ln có sẵn truy cập Quản lý liệu khơng phù hợp khiến cho silo liệu tổ chức không tương thích Nếu liệu khơng có quán làm hạn chế khả hoạt động ứng dụng phân tích thơng minh, chí tệ dẫn đến kết bị lỗi, sai lệch Thời đại làm chủ liệu nên tổ chức, doanh nghiệp chào hàng giải pháp thu thập, phân tích liệu, giải pháp Máy học (ML - Machine Learning), giải pháp xây dựng công tác quản lý liệu từ doanh nghiệp khởi nghiệp Một số giải pháp quản lý liệu phổ biến gồm : 156 Amazon Web Services (AWS) Bắt đầu với Dịch vụ lưu trữ đơn lẻ (Simple Storage Service - S3), quản lý liệu AWS bao gồm Elastic MapReduce, Athena, cơng cụ truy vấn có đồng hồ đo cho liệu cư trú S3 Để cung cấp môi trường đám mây, AWS CloudFormation cho phép người dùng sử dụng tệp văn đơn giản để mơ hình hóa cung cấp tất tài nguyên cần thiết cho ứng dụng Amazon CloudWatch theo dõi thu thập số liệu tất tài nguyên người dùng AWS Systems Manager cho phép người dùng giám sát tất tài nguyên tự động hóa tác vụ vận hành phổ biến Cuối cùng, có AWS OpsWorks để quản lý cấu hình IBM IBM cung cấp DBMS độc lập, bao gồm phiên khác DB2, Hệ thống PureData IBM cho trình phân tích, trình tăng tốc phân tích DB2, Hadoop thơng qua IBM BigInsights, Phương pháp liệu Nền tảng liệu IBM Watson Hệ thống quản trị máy chủ thông tin IBM, cung cấp quản trị thống liệu người dùng, giúp người dùng tìm tìm kiếm thông qua tài sản, khám phá mối quan hệ tài sản, tìm kiếm nguồn liệu phi cấu trúc sở liệu có cấu trúc cho phép tự động phát liệu Microsoft Quản trị liệu Microsoft bắt đầu với suất hàng đầu mình, Office 365, cho phép khách hàng quản lý vòng đời nội dung đầy đủ, từ tạo nhập liệu đến lưu trữ tạo sách để giữ xóa vĩnh viễn nội dung Office 365 hoạt động loạt sản phẩm Microsoft tái sử dụng cho đám mây, bắt đầu với SQL Server, chỗ Azure Nó cung cấp thiết bị kho liệu có tên Azure SQL Data Warehouse, phân phối Hadoop dựa Hortonworks có tên Azure HDInsight Azure Data Lake để thu thập liệu Kho liệu Azure SQL dành cho quan tâm ngày tăng lưu trữ liệu đám mây Oracle Oracle bắt đầu với sản phẩm chủ lực mình, Cơ sở liệu Oracle 12c với Hệ thống quản lý liệu lớn Oracle, SQL Big Data SQL Big Data Connector Đối với quản trị liệu cụ thể Trình quản lý siêu liệu doanh nghiệp Oracle (OEMM) chất 157 lượng liệu doanh nghiệp Oracle (EDQ) Hệ thống cung cấp hệ thống phần cứng chìa khóa trao tay cho ngăn xếp phần mềm thơng qua Máy sở liệu Oracle Exadata công cụ liệu lớn Oracle dịch vụ đám mây Cơ sở liệu Oracle dịch vụ, Dịch vụ đám mây siêu liệu Dịch vụ đám mây liệu lớn SAP Đối thủ cạnh tranh cuối Oracle lại, SAP cung cấp IQ DBMS Hana cho DBMS nhớ phân tích Hana cập nhật để bao gồm tính lưu phục hồi thảm họa, phân tích, tích hợp với Apache Spark đa nhiệm SAP Hana thành phần Nền tảng SAP Sau đó, có Quản trị liệu gốc SAP, hợp quản lý liệu từ vị trí để bảo đảm chất lượng tính quán liệu Teradata Teradata biết đến với tảng phân tích, bao gồm DBMS, thiết bị kho liệu kho liệu đám mây Teradata có kết nối thơng qua Hadoop Aster Analytics truyền liệu qua Teradata Listener, tất thiết kế để biểu diễn thông tin qua giao diện hợp nhất Chức Quản lý liệu gốc Teradata khung vịng đời hồn chỉnh để quản trị liệu Cloudera Cloudera ba công ty phân phối lớn Hadoop thành công Cloudera cung cấp Cloudera Enterprise, phân phối Hadoop với Hadoop cho phân tích hàng loạt Spark cho phân tích thời gian thực, cộng với Cloudera Navigator để quản trị, Cloudera Manager Cloudera Director cho quản trị cụm chỗ, đám mây; hỗ trợ AWS, Azure tảng đám mây Google Dell Boomi Boomi công ty thuộc Dell mua lại vào năm 2010, chuyên quản lý liệu gốc chỗ đám mây Boomi có khơng phát triển mã hóa thơng qua Thư viện quy trình Boomi, nơi cung cấp ví dụ để xây dựng ứng dụng quản trị Boomi hỗ trợ nhà cung cấp trình kết nối PaaS cho Azure, AWS Google, cung cấp trình kết nối EDI để kết nối với đối tác hỗ trợ Docker cho phương thức phát triển DevOps 158 SAS Toàn nghiệp vụ SAS xây dựng phân tích SAS cung cấp giải pháp quản lý liệu gốc gọi Quản trị liệu SAS để giúp tổ chức chuẩn bị quản lý nguồn liệu lớn liệu truyền thống SAS cho phép người dùng trì quản lý thuộc tính liệu thơng qua mơ hình liệu chung, gắn cờ thay đổi siêu liệu, tạo ảnh chụp nhanh, lưu trữ quản lý danh sách, phân cấp tạo báo cáo tình trạng liệu khắc phục cần thiết Phần mềm TIBCO TIBCO MDM chuyên cung cấp khung nhìn thống liệu tổ chức lưu trữ silo khác nhau, cho phép tổ chức có nhìn rõ ràng liệu nghiệp vụ họ hành động nhanh chóng TIBCO MDM cung cấp trực quan hóa quy trình cơng việc liệu toàn tổ chức, cho phép tổ chức quan sát quy trình cải thiện cần thiết TIBCO hoạt động chỗ đám mây thông qua TIBCO Clarity Cloud Edition Quản lý liệu mọt lĩnh vực rộng lớn bao gồm giải pháp cho khối lượng công việc khác nhau, kiểu liệu khác cho tình cụ thể khác Tuy nhiên, giải pháp mà doanh nghiệp khởi nghiệp đề xuất ý tưởng mà tính tối ưu cịn hạn chế, bao gồm : 1.1 Còn tập trung vào tảng chỗ (On-premise) Vẫn nhiều doanh nghiệp khởi nghiệp chào hàng giải pháp quản lý liệu giai đoạn đầu vốn tập trung vào phân khúc thị trường quản lý liệu chỗ nơi mà có đơng đảo nhà cung cấp phần mềm doanh nghiệp lâu đời nên khó khăn để cạnh tranh thành công Trong doanh nghiệp lâu đời nhanh chóng triển khai ứng dụng cơng nghệ điện tốn đám mây (cloud computing), điều địi hỏi doanh nghiệp khởi nghiệp cần phải tập trung vào giải pháp dành riêng cho cơng nghệ điện tốn đám mây nhằm tăng cường tỷ lệ học tập lợi nhuận cho khách hàng 1.2 Hệ thống dùng chung Từ lâu, nhà nghiên cứu chuyên gia có khác biệt lớn kết thực công việc hệ thống chuyên biệt hệ quản trị sở liệu tổng quát (DBMSs-DataBase Management Systems), doanh nghiệp khởi nghiệp giai 159 đoạn đầu thường tập trung vào việc xây dựng tảng thiết kế để thay hệ thống vận hành mạnh mẽ ứng dụng xử lý giao dịch ứng dụng phân tích liệu 1.3 Các tảng tích hợp Trong thời gian đầu kỷ nguyên liệu lớn (Big Data) Hadoop…, đội ngũ kỹ sư liệu tảng phải cài đặt thủ cơng phần mềm, cấu hình thủ cơng cụm mạng máy tính liên tục quản lý, điều chỉnh nhiều hệ thống phần mềm phức tạp khác Trong có sẵn nhiều cơng cụ giúp đơn giản hóa tự động hóa nhiều tác vụ chào mời mua hàng từ doanh nghiệp chuyên tập trung vào việc tích hợp hợp thành phần cấu thành phần mềm khác Những công cụ phát triển thời gian dài nên doanh nghiệp khởi nghiệp cần tận dụng để phát huy sức mạnh công cụ thay đơn giản tích hợp tảng phần mềm riêng lẻ Gạt qua bên hạn chế kể trên, ta nhận thấy công việc quản lý liệu thực lĩnh vực sôi động với minh chứng tồn doanh nghiệp khởi nghiệp kỳ lân ngày Bài viết liệt kê lý xu hướng chủ đạo nằm sau lạc quan chi tiết việc mà đội ngũ liệu kiến trúc tảng cần phải nhớ đánh giá, định lượng giải pháp quản lý liệu thời gian tới Sau số công ty quản lý liệu huy động 100 triệu USD, số số niêm yết thị trường chứng khoán Mỹ, điều chứng minh uy tín, lớn manh, xu hướng thị trường quan tâm xu hướng nhu cầu quản lý liệu tổ chức, doanh nghiệp giới Hình : Quản lý liệu lĩnh vực sôi động (Nguồn : Khảo sát thị trường Gradient Flow) 160 THỊ TRƯỜNG CƠ SỞ DỮ LIỆU NỀN TẢNG ĐÁM MÂY (Cloud DB) Thị trường sở liệu tảng đám mây phát triển nhanh tồn thị trường sở liệu nói chung Theo đánh giá công ty Expert Market Research [1], kết cho thấy thị trường Hệ quản trị sở liệu toàn cầu phát triển đặn hàng năm (chỉ số CAGR) khoảng 12,4% đạt 125,6 tỷ USD vào năm 2026 Theo báo cáo tạp chí Bloomberg [2], thị trường sở liệu đám mây đạt 68,7 tỷ USD vào năm 2026 với số CAGR khoảng 38,2% Các số liệu đánh giá hoàn toàn phù hợp với kết khảo sát kỹ sư liệu công ty Gradient Flow [3], hầu hết người vấn tiết lộ kế hoạch triển khai ứng dụng Cloud DB vòng 12 – 24 tháng 2.1 Sự phát triển giải pháp Dịch vụ sở liệu (DBaaS – DataBase as a Service) Cùng lên tảng Kho liệu đám mây kiến trúc quản lý liệu mở lakehouses, doanh nghiệp cần giải pháp DBaaS tác vụ ứng dụng kinh doanh thông minh (BI-Business Intelligent) hoạt động phân tích liệu DBaaS nhiều tảng đa dạng hỗ trợ Google BigQuery, Databricks, Amazon Redshift, Snowflake Azure Synapse Đã diễn dịch chuyển sở liệu hoạt động sản xuất kinh doanh hàng ngày lên đám mây với tảng lựa chọn MongoDB Atlas, Datastax AstraDB, Redis, CockroachDB … Theo nghiên cứu thị trường Stack Overflow [3] cho thấy lưu lượng trang web thảo luận dịch vụ sở liệu quan hệ Amazon (RDS – Relational Database Service) tăng 40% hàng năm Lưu lượng tới trang website Stack Overflow có nội dung trao đổi sở liệu chuyên biệt dành cho tảng đám mây Amazon Aurora có tương thích với MySQL PostgreSQL tăng 200% hàng năm Các hệ thống chuyên dụng sở liệu đồ họa, sở liệu chuỗi thời gian sở liệu vector doanh nghiệp mời chào sử dụng 2.2 Hệ thống mã nguồn mở Tạp chí DB-Engines xếp hạng DBMSs việc sử dụng yếu tố nguồn liệu dịch vụ chế tìm kiếm Google Trends, thơng báo tuyển dụng, hội nhóm cơng việc mang lưới trang web nghề nghiệp mạng xã hội Đầu năm 2021, hệ thống mã nguồn mở vượt qua DBMSs dựa số so sánh tạp chí DM-Engines Trong số 10 hệ thống hàng đầu DB-Engines xếp hạng, phần lớn hệ thống mã 161 nguồn mở PostgreSQL, Redis, Mongodb Elasticsearch thuộc nhóm hệ thống phát triển nhanh Điẻm số xếp Giấy phép Giấy phép mã Hình : Lịch sử xu hướng độ phổ biến hệ thống mã nguồn mở DBMSs thương mại (Nguồn : Bảng xếp hạng tạp chí DB-Engines) Một phép đo lường khác số lượng quan tâm chủ đề r/Database thu thập công bố gần cho thấy, lần hệ thống mã nguồn mở chiếm đa số danh sách 10 hệ thống quan tâm Hình : Số lượng quan tâm hệ thống sở liệu năm 2021 (Nguồn : Tổng kết số liệu Andy Pavlo tạp chí GradientFlow) Cuối cùng, dấu hiệu chắn độ phổ biến hệ thống quy mơ hệ sinh thấy độ phổ biến giao diện sử dụng theo thông tin thu thập được, Postgre trở thành phương thức trung gian kết nối (API-Application Programming Interface) cho sở liệu vận hành nhiều hệ thống khác chấp nhận giao diện sử dụng Postgre 162 2.3 Sự lên dịch vụ truy vấn phi máy chủ liệu object store Trong khảo sát tạp chí Data Engineering [4] gần cho thấy AWS Athena Google BigQuery dịch vụ sử dụng phổ biến Athena BigQuery cung cấp dịch vụ truy vấn tương tác sử dụng SQL tiêu chuẩn để phân tích liệu lưu trữ object store Số lượng sản phẩm phi máy chủ tương tự phát triển xuất ngày nhiều thị trường Các doanh nghiệp cung cấp dịch vụ truy vấn phi máy bao gồm Databrick với sản phẩm Serverless SQL, Rockset, MinIO với sản phẩm MC SQL Microsoft có sản phẩm Azure Data Lake Analytics 2.4 Việc thúc đẩy phát triển tảng liệu đại tiếp tục mạnh mẽ Trong báo cáo gần xu hướng lĩnh vực liệu Trí tuệ nhân tạo [5] (AI-Artificial Intelligence) có đề cập tới kiến trúc Nền tảng liệu đại (MDP – Modern Data Platforms), Kho liệu lakehouses tạo hệ sinh thái mạnh mẽ cho doanh nghiệp khởi nghiệp nhà cung cấp công cụ lưu trữ xử lý liệu Nhiều doanh nghiệp khởi nghiệp sản phẩm liệu tích hợp với tảng liệu đại số đặc biệt quan tâm tới cơng ty có sử dụng tảng liệu đại Hệ sinh thái cơng cụ tích hợp với tảng liệu đại bao gồm công cụ dùng để khám phá liệu, đánh giá nâng cao chất lượng liệu, tích hợp liệu … Hệ sinh thái gọi Ngăn xếp liệu đại (Modern Data Stack) Giống tảng sở liệu khác có động lực tồn phát triển, tảng liệu đại tự tìm động lực tồn phát triển vịng xốy tăng trưởng dựa yếu tố sau : MDPs có nhiều người sử dụng MDPs tạo mẻ, hiệu với thực tiễn nên hấp dẫn với phận người người, nhà nhà, công ty xây dựng công cụ phát triển ứng dụng Là hệ sinh thái có cơng cụ ứng dụng dành cho MDPs khiến cho MDPs mạnh mẽ hơn, điều khiến cho người dùng lựa chọn MDPs tất yếu phát triển Vịng xốy tăng trưởng ln lặp lại 2.5 Có nhiều phương pháp để đánh giá hệ sở liệu Cơ sở liệu từ ban đầu khối (monolith) bao gồm thành phần tích hợp chặt chẽ với chế lưu trữ, chế tính tốn ngơn ngữ đặc tả 163 chun biệt Mỗi chế lưu trữ liệu có phần mở rộng SQL riêng, Oracle có PL/SQL, Microsoft có T-SQL người sử dụng tự học cách sử dụng phần mở rộng cụ thể để nhanh chóng sử dụng chế tính tốn Gần đây, cơng cụ ETL (Extract – Transform - Load) ELT (Extract – Load Transform) chuyên biệt cho tảng đám mây Matillion, dbt, Rivery, Fivetran, Airbyte công cụ xây dựng ngôn ngữ trực quan Tableu, Looker tung thị trường API hoạt động trình phiên dịch cho sở liệu chế tính tốn Việc tách rời API khỏi máy tính nhằm giúp người dùng cần phải học hỏi API để vận hành dòng liệu liên tục chương trình chế tính tốn sở liệu Giai đoạn trình phát triển xuất lớp đại diện trung gian nhằm giúp nâng cao cấp độ mềm dẻo Các công cụ Modin, Substrait Weld giúp người dung truy cập sở liệu quen với Python, SQL truy cập liệu dễ hơn… ví dụ, người dùng quen thuộc với công cụ Pandas sử dụng nhiều hệ thống sở liệu khác cách nhịp nhàng Sau phân chia giai đoạn phát triển công việc quản lý liệu đến thời điểm xu hướng tương lai Hình : Độ mềm dẻo tăng sử dụng truy cập DBMSs (Nguồn : Tạp chí GradientFlow) 164 KẾT LUẬN Trên xu hướng công tác lưu trữ, quản lý xử lý liệu tương lai gần, định hướng phát triển cho doanh nghiệp khởi nghiệp lựa chọn cơng nghệ phù hơp có hướng riêng phù hợp với điều kiện mình, ví dụ như: 3.1 Xây dựng Hệ thống xử lý giao dịch trực tuyến (OLTP-OnLine Transaction Processing) DBaaS tự chủ Chắc chắn đủ nhân lực Quản trị hệ sở liệu chuyên gia sở liệu theo báo cáo gần đây, nguồn lực Cơng nghệ thông tin (CNTT) tằng 1% 02 năm gần Nếu tiêu chuẩn tổ chức cần hàng trăm, thâm chí hàng nghìn DBMSs cho tác vụ, số nhỏ nhân lực quản trị hệ sở liệu giám sát hỗ trợ Việc gia tăng ứng dụng DBaaS tảng đám mây khiến cho nguồn nhân lực ỏi ngày thêm thiếu hụt nghiêm trọng Một mặt, MDPs gồm Kho liệu đám mây lakehouses giúp cho doanh nghiệp dễ dàng triển khai quản lý Hệ quản trị sở liệu tác vụ phân tích liệu ứng dụng Máy học (ML Machine Learning) DBaaS OLTP đòi hỏi doanh nghiệp lưu tâm xây dựng nguồn nhân lực có chất lượng cao cấp chuyên gia Các nhà phát triển không muốn cung cấp bảo trì, Giám đốc Cơng nghệ (Chief Technology Officier) khơng muốn th ngồi công ty tư vấn để tối ưu quản lý hệ sở liệu OLTP Rất may thị trường xuất dự án hệ thống sử dụng ML để tối ưu quản lý hệ sở liệu giải pháp OtterTune, Oracle AD … nhắm tới việc xây dựng hệ sở liệu tự chủ tự đính hướng 3.2 Hệ sở liệu cho lĩnh vực Thị giác máy tính Sự trỗi dậy ngành Học sâu (Deep Learning) lĩnh vực Thị giác máy tính khiến cho việc sử dụng liệu thị giác (gồm hình ảnh, phim) phát triển bùng nổ Tuy nhiên, tiến sở hạ tầng liệu lại bị chậm trễ, phần lớn doanh nghiệp tham gia vào lĩnh vực thị giác máy tính tiếp tục tự xây dựng giải pháp quản lý liệu riêng lưu trữ hình ảnh dạng tập tin phẳng (flat file) Khi tầm quan trọng liệu thị giác tăng lên, doanh nghiệp cần hệ quản trị sở liệu có chế lưu trữ, hiển thị liệu, biên dịch truy vấn, chế tối ưu truy vấn giao tiếp ngôn ngữ đặc tả 165 chuyên biệt Đây lĩnh vực động đặt tảng ban đầu hệ thống TileDB, Scanner, ApertureData, ActiveLoop… Các doanh nghiệp có lực thu thập liệu giải phóng nguồn lực liệu có đủ lực cải tiến vận hành hiệu đối thủ ngành Nhìn xa BI hướng tới ứng dụng phức tạp hơn, quan tâm công cụ lĩnh vực AI với liệu làm trung tâm ngày tăng điểm sáng trọng tâm hệ quản trị sở liệu DataOps Việc kết hợp mơ hình DataOps vào tổ chức, doanh nghiệp tăng khả hoạt động cách tích hợp liệu vào phương pháp Agile DevOps DevSecOps Điều tạo mơ hình liền mạch qua phận tổ chức, doanh nghiệp, bao gồm việc quản lý liệu, sản xuất bảo mật DataOps cho phép người dùng có khả tương tác đầy đủ với nguồn liệu, hợp lý hóa hiệu việc quản lý phân tích liệu Cuối DataOps giúp cải thiện việc phân phối triển khai sản phẩm với giá trị liệu an tồn ln cập nhật TÀI LIỆU THAM KHẢO [1] Database Management System (DBMS) Market Size, Share, Trends 2022-2027 (expertmarketresearch.com) [2] Cloud Database Market to Reach USD 68720 Million by 2026 at a CAGR of 38.2% | Valuates Reports - Bloomberg [3] Gradient Flow, 2022 Data Engineering Survey Report, 2022 [4] StackOverflow, The incredible growth of Amazon RDS, 2022 [5] Gradient Flow, 2022 Trends report : Data, Machine Learning, and AI 2022 166 ... giải pháp quản lý liệu gốc gọi Quản trị liệu SAS để giúp tổ chức chuẩn bị quản lý nguồn liệu lớn liệu truyền thống SAS cho phép người dùng trì quản lý thuộc tính liệu thơng qua mơ hình liệu chung,... việc quản lý liệu đến thời điểm xu hướng tương lai Hình : Độ mềm dẻo tăng sử dụng truy cập DBMSs (Nguồn : Tạp chí GradientFlow) 164 KẾT LUẬN Trên xu hướng công tác lưu trữ, quản lý xử lý liệu. .. pháp quản lý liệu thời gian tới Sau số công ty quản lý liệu huy động 100 triệu USD, số số niêm yết thị trường chứng khoán Mỹ, điều chứng minh uy tín, lớn manh, xu hướng thị trường quan tâm xu hướng