1. Trang chủ
  2. » Luận Văn - Báo Cáo

814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp

103 42 1

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 103
Dung lượng 1,27 MB

Nội dung

HỌC VIỆN NGÂN HÀNG KHOA HỆ THĨNG THƠNG TIN QUẢN LÝ KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGHIÊN CỨU THỰC TRẠNG QUẢN LÝ DỮ LIỆU VÀ ĐỀ XUẤT GIẢI PHÁP QUẢN LÝ DỮ LIỆU HIỆU QUẢ TẠI DOANH NGHIỆP THỰC TẬP BÙI THỊ DOAN HẰNG HÀ NỘI, NĂM 2020 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC •••• NGHIÊN CỨU THỰC TRẠNG QUẢN LÝ DỮ LIỆU VÀ ĐỀ XUẤT GIẢI PHÁP QUẢN LÝ DỮ LIỆU HIỆU QUẢ TẠI DOANH NGHIỆP THỰC TẬP Giảng viên hướng dẫn : TS Phan Thanh Đức Sinh viên thực : Bùi Thị Doan Hằng Mã sinh viên : 19A4040049 Lớp : HTTTA Khóa : 19 Hệ : Đại học quy Hà Nội, tháng 6/2020 Khoá luận tốt nghiệp LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành sâu sắc tới TS Phan Thanh Đức giảng viên Khoa Hệ thống thông tin Quản lý - Học viện Ngân hàng Thầy ln tạo điều kiện tận tình hướng dẫn, giúp đỡ em hồn thành đề tài khóa luận tốt nghiệp đại học Em xin chân thành cảm ơn Ban lãnh đạo công ty em thực tập tạo điều kiện thuận lợi cho em có hội tìm hiểu thực tiễn trình thực tập công ty Đặc biệt, em xin cảm ơn anh chị Phịng Phân tích liệu nhiệt tình giúp đỡ, hướng dẫn, chia sẻ kiến thức mẻ thực tế, giúp em hoàn thành tốt đề tài khóa luận Cuối em xin gửi lời cảm ơn đến tồn thể thầy trường Học viện Ngân hàng, đặc biệt thầy cô Khoa Hệ thống thông tin quản lý giảng dạy truyền đạt cho em nhiều kiến thức bổ ích năm tháng học tập trường, giúp em trưởng thành tự tin tham gia thực tập làm việc thực tế doanh nghiệp Em xin chân thành cảm ơn! Bùi Thị Doan Hằng- Lớp K19HTTTA i Khoá luận tốt nghiệp LỜI CAM KẾT Em xin cam đoan kết đạt đề tài khóa luận sản phẩm nghiên cứu, tìm hiểu riêng cá nhân em Trong toàn nội dung đề tài khóa luận, điều trình bày cá nhân em, thông tin thu thập từ việc khảo sát vấn, tổng hợp từ nhiều nguồn tài liệu khác Những thông tin em cung cấp khóa luận có liên quan đến doanh nghiệp nghiên cứu cho phép doanh nghiệp cam kết khơng ảnh hưởng đến lợi ích, danh tiếng công ty Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Em xin hoàn toàn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan SINH VIÊN THỰC HIỆN BÙI THỊ DOAN HẰNG Bùi Thị Doan Hằng- Lớp K19HTTTA ii Khoá luận tốt nghiệp DANH MỤC MỤC CÁC CHỮ LỤC VIẾT TẮT LỜI MỞ ĐẦU CHƯƠNG 1: LÝ THUYẾT CƠ BẢN VỀ QUẢN LÝ DỮ LIỆU .3 1.1 Tổng quan quản lý liệu 1.2 Một số lý thuyết quản lýdữ liệu 1.2.1 Dữ liệu thông tin 1.2.2 Dữ liệu tài sản tổ chức 1.3 Nguyên tắc chung quản lý dữliệu 1.4 Thách thức quản lý liệu 1.5 Lý thuyết khung quản lý liệu 16 1.5.1 Khung quản lý liệu DAMA 19 1.5.2 Các chức quản lý liệu 20 CHƯƠNG 2: THỰC TRẠNG QUẢN LÝ DỮ LIỆU TẠI DOANH NGHIỆP THỰC TẬP 39 2.1 Cơ cấu tổ chức công ty 39 2.2 Tiến hành khảo sát lập ma trận câu hỏi vấn 40 2.3 Rút thực trạng, vấn đề tồn quản lý liệu tổ chức .49 2.3.1 Đặc điểm liệu tổ chức 50 2.3.2 Dữ liệu chia sẻ, lưu trữ sử dụng 51 2.3.3 Một số vấn đề tồn quản lý liệu tổ chức 57 CHƯƠNG 3: ĐỀ XUẤT MỘT SỐ GIẢI PHÁP QUẢN LÝ DỮ LIỆU HIỆU QUẢ TẠI DOANH NGHIỆP THỰC TẬP 63 3.1 Cải thiện chất lượng liệu 63 3.2 Đầu tư sở hạ tầng, trang thiết bị, công cụ quản lý liệu 66 3.3 Có sách đào tạo thu hút nguồn nhân lực chất lượng cao 68 KẾT LUẬN 76 Từ viết tắt Nguyên nghĩa CNTT DAMA Công nghệ thông tin The Data Management Association IT Information Technology HTTP Hypertext Transfer Protocol FTP File Transfer Protocol Bùi Thị Doan Hằng- Lớp K19HTTTA iii ETL Extract- Transform- Load ELT Extract- Load- Transform OLAP Online Analytical Processing ^DW Data Warehouse “Bĩ Bussiness Intelligence ũĩ User Interface HDFS Hadoop Distributed File System SQL Structured Query Languge Key Performance Indicator TPI CSDL IOT Cơ sở liệu Internet of thing Fintech Finance Technology 1NF First Normal Form 2NF Second Normal Form 3NF Third Normal Form TB Terabyte TGD Tông giám đốc TTCN TTSP Trung tâm cơng nghệ Trung tâm sản phâm ATTT An tồn thơng tin CSKH Chăm sóc khách hàng QLDA Quản lý dự án KHDN Khác hàng doanh nghiệp DANH MỤC CÁC BẢNG Khoá luận tốt nghiệp Bảng 1: So sánh lưu trữ tập trung lưu trữ phân tán 35 Bảng 2: Ma trận câu hỏi vấn .48 Bảng 3: Mô tả trường hợp liệu sai 59 DANH MỤC HÌNH VẼ Hình 1: Vịng đời liệu .13 Hình 2: Mơ hình liên kết chiến lược 17 Hình 3: Mơ hình thơng tin Amsterdam 18 Hình 4: Data Management Wheel 20 Hình 5: Tiêu chuẩn đo lường chất lượng liệu 26 Hình 6: Quản lý liệu chủ 30 Hình 7: Quản lý liệu tham chiếu .30 Hình 8: Kiến trúc liệu .31 Hình 9: Mơ hình ETL 33 Hình 10: Mơ hình ELT 34 Hình 11: Cơ cấu tổ chức 39 Hình 12: Sơ đồ khía cạnh quản lý liệu 41 Hình 13: Sơ đồ mô tả vấn đề tồn quản lý liệu 49 Hình 14: Khung quản lý liệu tổ chức .53 Hình 15: Luồng thu thập liệu 55 Hình 16: Nguồn thu thập liệu 69 Hình 17: Lộ trình phát triển nghề nghiệp .70 Hình 18: Quy mơ nhân dự kiến .74 Bùi Thị Doan Hằng- Lớp K19HTTTA iv Bùi Thị Doan Hằng- Lớp K19HTTTA v Khoá luận tốt nghiệp LỜI MỞ ĐẦU Lý chọn đề tài Trong năm gần đây, báo đài nhắc nhiều đến cụm từ “nền công nghiệp 4.0” công nghệ cốt lõi trí tuệ nhân tạo (AI), Vạn vật kết nối (IOT), Dữ liệu lớn (Bigdata) Dữ liệu lớn Trí tuệ nhân tạo xu hướng hai lĩnh vực nhiều doanh nghiệp Việt Nam quan tâm đầu tư Có thể kể đến số doanh nghiệp lớn như: Vingroup, Viettel, FPT, Cho dù liệu lớn hay trí tuệ nhân tạo cần nguyên liệu đầu vào liệu, xác liệu chất lượng cao Khơng sai nói liệu “mỏ vàng” thời đại ngày Nhưng để khai thác biến liệu tạo giá trị không dễ dàng đơn giản Dữ liệu chất lượng cao hay thấp phụ thuộc nhiều vào hoạt động quản lý liệu Với bùng nổ Internet, ứng dụng điện thoại thông minh, dù liệu tạo ngày nhiều đa dạng Từ tạo thách thức cho doanh nghiệp thu thập, quản lý xử lý liệu Quản lý liệu hiệu tốn khó cho doanh nghiệp Với kinh nghiệm thực tế may mắn làm việc trực tiếp liệu, tham gia vào buổi hội thảo, đào tạo Dữ liệu lớn Máy học- lĩnh vực trí tuệ nhân tạo cho em thấy tầm quan trọng quản lý liệu Các doanh nghiệp thực tế triển khai làm tốn Dữ liệu lớn, Học máy thường khơng đạt thành cơng mong muốn, chí thất bại chất lượng liệu kém, quy trình quản lý liệu không hiệu Một doanh nghiệp muốn có lợi cạnh tranh so với đối thủ thị trường họ khơng thể khơng khai thác liệu hỗ trợ cho toán kinh doanh Để làm điều cần phải quản lý liệu hiệu để có liệu thật chất lượng Chính lý thúc em tâm thực đề tài khóa luận tốt nghiệp 'Nghiên cứu thực trạng quản lý liệu đề xuất giải pháp quản lý liệu hiệu doanh nghiệp thực tập” nhằm mục đích đưa giải pháp thiết yếu để cải thiện quản lý liệu, trọng tâm nâng cao chất lượng liệu Từ đó, giúp doanh nghiệp nghiên cứu khai thác liệu, phục vụ cho tốn kinh doanh trí tuệ nhân tạo Bùi Thị Doan Hằng- Lớp K19HTTTA Khố luận tốt nghiệp cơng ty có sách thu hút Đề xuất số phương án thu hút nguồn nhân lực chất lượng cao cho công ty mà thân thực tập nay: - Cải tiến quy trình tuyển dụng, tăng lương, khen thưởng nhanh, linh hoạt - Tăng lương, thăng chức cho cán cơng nhân viên hồn thành xuất sắc nhiệm vụ giao - Tạo môi trường mở, cạnh tranh công bằng, chuyên nghiệp để nhân viên thỏa sức sáng tạo Điều vô quan trọng với nhân lực làm liệu - Trọng dụng nhân tài, tạo hội phát triển lực cá nhân - Cơng ty cần có sách quan tâm tới đời sống cán công nhân viên, không riêng nguồn nhân lực trực tiếp tham gia vào quản lý liệu Lộ trình tuyển dụng nguồn nhân lực quản lý liệu: 12/2019 dự kiến: 60 2020 r dự kiến: 80 6/2019 số lượng: 45 Hình 18: Quy mơ nhân dự kiến Nếu cơng ty có sách đắn, tạo động lực quan tâm đến nhân viên, đặc biệt người có lực doanh nghiệp họ phát huy hết khả chất xám để cống hiến, đặc biệt phạm vi quản lý liệu nói riêng tồn thể cơng ty nói chung c Cơ cấu vai trò tham gia vào quy trình quản lý liệu hiệu - Đủ nhân lực Bùi Thị Doan Hằng- Lớp K19HTTTA 74 Khoá luận tốt nghiệp Nhân lực thừa hay thiếu điều gây hậu định cho tổ chức, đặc biệt mảng liệu Hiện nay, công ty nghiên cứu, lương cho nhân viên làm liệu thường cao so với mặt chung Vì vậy, việc dư thừa nhân viên gây lãng phí nguồn nhân lực, hạn chế tiềm cán công nhân viên không tham gia vào công việc tổ chức Ngược lại, việc thiếu nhân lực làm liệu khiến cơng ty thiếu khả cạnh tranh khả nắm bắt hội Tại lại vậy? Có thể hiểu quản lý liệu công việc riêng người, mà công việc chung nhiều người, nhiều vị trí tham gia, với quy trình cơng đoạn khác Nếu tiến độ cơng việc mắt xích bị thiếu kéo theo tiến độ cơng việc mắt xích sau bị chậm Điều quản lý liệu, giai đoạn thu thập, tổng hợp liệu bị chậm, hay kỹ sư liệu tham gia vào cơng đoạn khơng có đủ lực, dẫn đến liệu thơ khơng đạt chất lượng cao, dẫn đến luồng công việc bị chậm, kỹ sư phân tích liệu nhà khoa học liệu vất vả việc làm hay khai phá nguồn liệu chất lượng thấp Điều dẫn đến việc đánh giá sai, dẫn đến ban lãnh đạo không đủ tin tưởng để dựa vào liệu đưa định đưa định sai lầm Vì vậy, cơng ty cần có sách đảm bảo đủ nhân lực chất lượng cao để quản lý liệu hiệu quả, tạo nguồn liệu chất lượng cao - Chức năng, vai trị khơng bị chồng chéo Phịng ban làm liệu thành lập không lâu, nhiên quy mô nhân ngày tăng, địi hỏi cần phải có quy hoạch chuẩn chức năng, nhiệm vụ vị trí công việc cụ thể Đây công việc dễ dàng, đặc biệt người đứng đầu hay cịn gọi Data Manager Quy hoạch cơng việc, nhiệm vụ cho vị trí cơng việc, người cho chức năng, nhiệm vụ không bị chồng chéo luồng công việc quản lý hiệu Từ đó, việc quản lý liệu phân bố đều, đủ cho nhân viên, tạo động lực cạnh tranh lành mạnh nhân viên, giúp họ phát huy hết tiềm Như thế, quản lý liệu đạt hiệu liệu thu đạt chất lượng cao Bùi Thị Doan Hằng- Lớp K19HTTTA 75 Khoá luận tốt nghiệp KẾT LUẬN Ket đạt đề tài Đề tài khóa luận trình bày cách tổng quan lý thuyết quản lý liệu, chức quản lý liệu vai trò quan trọng quản lý liệu phát triển doanh nghiệp Đồng thời, đề tài vấn đề tồn quản lý liệu doanhh nghiệp đề xuất giải pháp thiết yếu nhằm nâng cao chất lượng liệu Những hạn chế tồn Bên cạnh kết đạt được, thời gian thực đề tài khóa luận ngắn tổ chức nghiên cứu có hệ thống quản lý liệu phức tạp nên phần gây khó khăn q trình khảo sát tìm hiểu Ngồi ra, chưa đề giải pháp cụ thể, giải vấn đề quản lý liệu cách triệt để Hướng phát triển đề tài Trong tương lai, có thêm thời gian hội, đề tài khóa luận tiếp tục khai thác sâu vào khía cạnh quản lý liệu không tổ chức nghiên cứu mà phạm vi khảo sát mở rộng doanh nghiệp, tổ chức đặc thù ngân hàng, viễn thông, bán lẻ, trường học Để từ thấy quy trình, cơng nghệ quản lý liệu, đồng thời thấy rõ hạn chế bật quản lý liệu Đề xuất giải pháp cụ thể để giải triệt để vấn đề quản lý liệu tổ chức Bùi Thị Doan Hằng- Lớp K19HTTTA 76 Khoá Khoá luận luận tốt nghiệp Câu hỏi Câu trả lời Đối tượng tham gia TÀI LIỆU THAM PHỤ LỤC KHẢO Bảng câu hỏi vấn DAMA International (2017) DAMA- DMBOK: Data Management Body of Knowledge: 2nd Edition Thomas C Redman (2016), Bad Data Costs the U.S.$3 Trillion Per Year Harvard Business Review DAMA United Kingdom (October ,2013), The Six Primary Dimesions For Data Quality Assessment Bigdata Solution (2020) Tầm quan trọng quản lý liệu Xem tại: https://bigdatauni.com/vi/tin-tuc/tam-quan-trong-cua-quan-ly-du-lieu-datamanagement-p1.html (truy cập ngày 15/3/2020) https://vi.wikipedia.org/wiki/D%E1%BB%AF li%E1%BB%87u 2020 10+ Best Data Governance Tools To Fulfill Your Data Needs In 2020 Xem tại: https://www.softwaretestinghelp.com/data-governance-tools/ (truy cập ngày 1/5/2020) 2020 Best Data Integration Tools List for 2020 Xem tại: https://hevodata.com/blog/data-integration-tools/ (truy cập ngày 1/5/2020) 2020 Best Data Quality Software xem tại: https://www.g2.com/categories/data-quality (truy cập ngày 30/5/2020) Bùi Thị Doan Hằng- Lớp K19HTTTA 77 Dữ liệu tổ chức sử dụng phục vụ cho mục đích ? Dữ liệu sử dụng phục vụ đa dạng mục đích triệt để, cụ thể: phục vụ toán hoạt động sản xuất kinh doanh công ty, hỗ trợ định đưa chiến lược kinh doanh, nghiên cứu để đảm bảo tính dịch vụ sản phẩm mà cơng ty cung cấp bên ngồi, kết hợp với đối tác thực toán chung Ngồi ra, cơng ty sử dụng liệu nhiều việc phân tích kinh doanh thơng minh, dự đốn, phân tích trải nghiệm khách hàng để hiểu khách hàng mình, hiểu hành vi, thói quen họ, từ chăm sóc khách hàng tốt hơn, tăng trải nghiệm khách hàng TP Phân tích liệu Leader team Data analytics Phòng marketing, chiến lược Phịng ban có nhu cầu sử dụng liệu? Ban tổng giám đốc, phịng ban, TP Phân tích trung tâm cần điều hành việc liệu, leader thực sản xuất kinh doanh dựa team BI vào báo cáo, phân tích định dựa liệu Khung quản lý liệu tổ chức gì? Khung dựa Hệ sinh thái Bigdata Leader team HDP- Hortonwork Data Platform Đi Bigdata kèm với công nghệ xoay quanh Hadoop Spark, Hive, Hbase Bạn thường Quy trình review liệu tự động, TP.Phân tích Data Quality - cơng ty có xây liệu Khoá luận tốt nghiệp rule tự động, thực tự động kiểm review tra liệu bất thường cảnh báo database để tìm kiếm ghi bị lỗi có thiếu, mất, khơng đồng khơng hồn thiện sau bao liệu lâu? Ai/ Bộ phận phép truy cập vào liệu khách hàng? Làm để kiểm soát quyền truy cập đó? Tùy vai trị phân quyền Leader team để truy cập vào liệu khách hàng BI leader Những người đươc phép truy cập team Bigdata phải có xác nhận ban Tơng giám đốc người có thẩm quyền cao để kiểm sốt: quản lý log, quản lý truy cập users Kiểm sốt quyền truy cập cách phân quyền theo user đến database, table, column dựa công cụ Ranger, Kerberos Có database riêng biệt mà bạn sử dụng để xây dựng phân tích liệu? Số lượng databases riêng biệt linh TP.Phân tích động phụ thuộc vào đặc thù liệu toán mà CSDL xây dựng dựa khung databases tương ứng, như: MySQL, MariaDB, MongoDB, Redis, Hive, Hbase, Memcached, tơ chức có plaform Khung cho phép chia sẻ liệu TP Phân tích cho phép chia sẻ liệu tô chức Data Security liệu tồn tơ chức Confluence không? Các nguyên tắc, quy định Đảm bảo nguồn liệu; Đảm bảo Bùi Thị Doan Hằng- Lớp K19HTTTA Leader team 78 thu thập liệu? đầu cho liệu phải xuyên Bigdata suốt, không bị thiếu nhu Khoá luận tốt nghiệp cầu chỉnh sửa nghiên cứu hàng ngày; Đảm bảo liệu mã hóa hàng ngày; Đảm bảo liệu mã hóa hồn tồn khơng bị lọt lộ thơng tin khách hàng cung cấp cho đối tác; Đảm bảo bảo mật dựa roles sử dụng liệu Phải có cơng văn giấy tờ bảo mật, cam kết việc sử dụng liệu Các nguyên tắc lưu trữ xử dý liệu? Đảm bảo liệu không bị Leader team q trình lưu trữ; Xử lý phải an tồn, Bigdata không tự ý ETL liệu sử dụng với mục đích cá nhân Cơng ty thiết lập văn hóa sử dụng liệu an tồn chuẩn mực chưa? Văn hóa sử dụng khai thác liệu TP Phân tích thể qua việc tuân thủ quy liệu trình chặt chẽ sử dụng khai thác liệu, điều thể thông qua quy trình quy định cung cấp liệu quy trình xử lý yêu cầu lấy liệu, quy trình lưu trữ liệu an tồn quy trình tác động vào kho liệu Cơng cụ bảo mật liệu? Sử dụng công nghệ bảo mật Ranger, Leader team Kerberos cho Bigdata Platform Sử Bigdata dụng iptables ngăn chặn kết nối vào server Công ty có sách, quy định bảo mật liệu chưa? Chính sách Đã ban hành quy trình, quy định TP Phân tích bảo mật liệu Chính sách liệu q trình sử dụng cập nhật Bùi Thị Doan Hằng- Lớp K19HTTTA 79 tối ưu chưa? nâng cấp hoàn thiện Hiện cơng ty theo chuẩn ISO27000 Khố luận tốt nghiệp Bộ phân nào/ai người có Tất cán nhân viên, phòng ban Leader team trách nhiệm bảo mật có trách nhiệm bảo mật liệu BI liệu? Hiện công ty xây Đã xây dựng hệ thống TP.Phân tích dựng hệ thống Datawarehouse, công ty liệu Datawarehouse chưa? DW dùng Apache Hive xây dựng theo mơ hình nào? Những lợi ích mà tô chức đạt xây dựng hệ thống Datawarehouse gì? Các cấp kinh doanh, lãnh đạo nhìn TP Phân tích thơng tin nhiều chiều, từ tông liệu quát đến chi tiết Báo cáo trực quan, dễ hiểu Mô tả BI platform Hệ thống BI thu thập liệu từ Leader team công ty? nguồn, xử lý liệu, kết xuất báo BI cáo để phục vụ cho nhà quản trị, nhà hoạch định triển khai chiến lược kinh doanh Ba giai đoạn BI là: thu thập liệu, tông hợp xử lý liệu khai thác liệu Giai đoạn 1: Thu thập liệu ■ Dữ liệu tập hợp từ nguồn khác chuyển hệ thống BI qua công cụ khác (ftp, GG ) định dạng khác (cdr text, dump file, db) ■ Dữ liệu ETL thực tác vụ để import vào data warehouse BI Bùi Thị Doan Hằng- Lớp K19HTTTA 80 S Extract: chuyển đổi liệu từ Khoá luận tốt nghiệpnguồn thành định dạng liệu mẫu thiết kế DW BI bao gồm chuyển đổi loại liệu, tổ chức liệu cấu trúc liệu thống S Transform: bao gồm tất công đoạn chuyển đổi liệu, biến đổi liệu mã hóa, lựa chọn trường, cột, thêm liệu tổng hợp, để biến đổi liệu nguồn thành liệu mong muốn S Load: trình chuyển liệu sau biến đổi vào bảng đích, import tồn liệu nguồn vào bảng temp DW BI Data source ÷ ETL ÷ TMP table Giai đoạn 2: Tổng hợp xử lý liệu ■ Dữ liệu lưu trữ bảng tmp, hệ thống tiến hành tổng hợp liệu từ bảng tmp bảng dimension thành bảng fact lưu trữ liệu sau tổng hợp, bảng fact cung cấp thông tin đầy đủ chi tiết để dễ dàng tiến hành phân tích liệu ■ Phân tích liệu: liệu tổng hợp thành bảng fact, Bùi Thị Doan Hằng- Lớp K19HTTTA 81 tiến trình ETL tiếp tục kết hợp Khoá luận tốt nghiệpvới bảng dimension để phân tích liệu thành bảng analysis có mục đích phân tích cắt lớp liệu mức sâu hơn, nhằm phục vụ công tác xây dựng báo cáo tĩnh báo cáo động Temp table + Dimension table ÷ Transform ÷ Fact Table + Dimension Table ÷ Transform ÷ Analysis Table Giai đoạn 3: Khai thác liệu ■ Xây dựng báo cáo tĩnh S Dựa liệu từ bảng Analysis table, xây dựng câu lệnh truy vấn công cụ report designer để tạo thành template báo cáo, publish báo cáo hệ thống BI portal để cung cấp hệ thống giao diện báo cáo cho người dùng theo phân quyền cấu hình S Analysis Table + Query Language + Data Source + Report Configuration ½ Report Definition -½ BI Portal -½ Report UI ■ Xây dựng báo cáo động S Dựa liệu từ bảng Analysis, xây dựng câu lệnh Bùi Thị Doan Hằng- Lớp K19HTTTA 82 truy vấn cơng cụ OLAP Khố luận tốt nghiệpdesigner để tạo thành model S Design model phục vụ cho việc tạo cắt lớp OLAP bao gồm Measure Dimension S Xây dựng báo cáo động công cụ Analysis Studio để tạo báo cáo OLAP S Publish báo cáo OLAP hệ thống BI cung cấp giao diện cho người dùng theo phân quyền cấu hình Ngồi báo cáo khai thác liệu khai thác thể biểu đồ, dashboard nhằm mục đích có góc nhìn đa chiều, theo dõi xu hướng số, từ có góc nhìn, chiến lược q trình thực SXKD Các vấn đề chất lượng liệu mà tổ chức gặp phải? Dư thừa liệu Nhưng vấn đề lớn liệu khơng xác thu thập từ nguồn ÷ nhiều cơng sức chuẩn hóa sửa lỗi Các thức tổ chức liệu manh mún ÷ gây khó khăn q trình tổng hợp phân tích ÷ liệu thường bị sai lệch mang phân tích Hệ thống nghiệp vụ phát triển thời gian dài (gần 10 năm) chưa tối ưu, thiết kế không Bùi Thị Doan Hằng- Lớp K19HTTTA TP Phân tích liệu Leader team BI Leader team Bigdata 83 quán, liệu không chuẩn, bước nghiệp vụ qua nhiều hệ thống Khoá luận tốt nghiệp phức tạp dẫn đến việc thu thập liệu Datawarehouse có nhiều khó khăn thực ETL làm liệu Bùi Thị Doan Hằng- Lớp K19HTTTA 84 Dữ liệu lưu trữ theo Tất lưu trữ HDP Khoá luận tốt nghiệp mã nguồn mở cho việc tự động kiểu phân tán hay tập lưu trữ phân tán backup trung? Sau backup Hệ thống Hadoop thiết kế liệu lần? có lưu nên không cần phải thực backup liệu định kỳ Những khó khăn bạn Dữ Database liệu nhậntruyền thống khơng có TP Phân tích liệu Khi điều hành kinh doanh, Tùy loại báo cáo mà chúng có bạn có dựa vào thể có liệu real-time để xây liệu real-time không? dựng kinh doanh Đối với báo cáo ngày tổng hợp số liệu đơn giản, như: doanh thu, thuê bao đăng ký mới, thuê bao phát sinh giao dịch, số lượng th bao rời bỏ, ln có số liệu tự động cập nhật báo cáo động, export ngày, gửi qua mail tới phòng ban chức liên quan để điều hành công việc kinh doanh Đối với báo cáo phân tích hiệu chiến dịch chương trình campaign marketing đó, chuỗi thời gian chúng cần phần tích dài hơn+ cần nguồn lực phịng ban khác, chí trung tâm khác, đối tác thời gian nhận báo cáo lâu Phòng bán hàng số , phòng khách hàng marketing Tp Phân tích liệu Phịng sử dụng liệu để đưa xác khơng, nghi ngại tính marketing chiến dịch quảng xác số liệu tổng hợp cáo? Điều gây nguy hại cho việc đưa đề xuất sai chiến dịch quảng cáo đánh giá sai hành vi khách hàng Bùi Thị Doan Hằng- Lớp K19HTTTA 85 Bùi Thị Doan Hằng- Lớp K19HTTTA 86 NHẬN XÉT (Của giáo viên hướng dẫn) mặt: Mục đích đề tài; Tính thời ứng dụng đề tài; Bố cục hình thức trình bầy đề tài; Ket thực đề tài; Ý thức, thái độ sinh viên trình thực đề tài Kết luận : Hà Nội, ngày tháng năm 2020 Giáo viên hướng dẫn (Ký tên) ... KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC •••• NGHIÊN CỨU THỰC TRẠNG QUẢN LÝ DỮ LIỆU VÀ ĐỀ XUẤT GIẢI PHÁP QUẢN LÝ DỮ LIỆU HIỆU QUẢ TẠI DOANH NGHIỆP THỰC TẬP Giảng viên hướng... tâm thực đề tài khóa luận tốt nghiệp 'Nghiên cứu thực trạng quản lý liệu đề xuất giải pháp quản lý liệu hiệu doanh nghiệp thực tập” nhằm mục đích đưa giải pháp thiết yếu để cải thiện quản lý liệu, ... HÀNG KHOA HỆ THĨNG THƠNG TIN QUẢN LÝ KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGHIÊN CỨU THỰC TRẠNG QUẢN LÝ DỮ LIỆU VÀ ĐỀ XUẤT GIẢI PHÁP QUẢN LÝ DỮ LIỆU HIỆU QUẢ TẠI DOANH NGHIỆP THỰC TẬP BÙI THỊ DOAN HẰNG

Ngày đăng: 07/04/2022, 13:03

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
1. DAMA International (2017). DAMA- DMBOK: Data Management Body of Knowledge: 2 nd Edition Sách, tạp chí
Tiêu đề: DAMA- DMBOK: Data Management Body ofKnowledge: 2"nd
Tác giả: DAMA International
Năm: 2017
2. Thomas C. Redman (2016), Bad Data Costs the U.S.$3 Trillion Per Year.Harvard Business Review Sách, tạp chí
Tiêu đề: Bad Data Costs the U.S.$3 Trillion Per Year
Tác giả: Thomas C. Redman
Năm: 2016
5. Bigdata Solution (2020). Tầm quan trọng của quản lý dữ liệu. Xem tại:https://bigdatauni.com/vi/tin-tuc/tam-quan-trong-cua-quan-ly-du-lieu-data-management-p1.html (truy cập ngày 15/3/2020) Sách, tạp chí
Tiêu đề: Tầm quan trọng của quản lý dữ liệu
Tác giả: Bigdata Solution
Năm: 2020
8. 2020. Best Data Integration Tools List for 2020. Xem tại:https://hevodata.com/blog/data-integration-tools/ (truy cập ngày 1/5/2020) 9. 2020. Best Data Quality Software. xem tại:https://www.g2.com/categories/data-quality (truy cập ngày 30/5/2020) Sách, tạp chí
Tiêu đề: Best Data Integration Tools List for 2020". Xem tại:https://hevodata.com/blog/data-integration-tools/ (truy cập ngày 1/5/2020)9. 2020". Best Data Quality Software
4. DAMA United Kingdom (October ,2013), The Six Primary Dimesions For Data Quality Assessment Khác

HÌNH ẢNH LIÊN QUAN

Hình 1: Vòng đời dữliệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 1 Vòng đời dữliệu (Trang 23)
+Mô hình liên kết chiến lược (Strategic Alignment Model) - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
h ình liên kết chiến lược (Strategic Alignment Model) (Trang 28)
Mô hình liên kết chiến lược đầy đủ sẽ phức tạp hơn mô hình được nêu trên. Mỗi một góc của hình lục giác đều có những chiều, yếu tố của riêng nó - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
h ình liên kết chiến lược đầy đủ sẽ phức tạp hơn mô hình được nêu trên. Mỗi một góc của hình lục giác đều có những chiều, yếu tố của riêng nó (Trang 29)
Hình 4: DataManagement Wheel - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 4 DataManagement Wheel (Trang 31)
Hình 5: Tiêu chuẩn đo lường chất lượng dữliệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 5 Tiêu chuẩn đo lường chất lượng dữliệu (Trang 37)
Hình 6: Quản lýdữ liệu chủ -  Quản lý dữ liệu tham chiếu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 6 Quản lýdữ liệu chủ - Quản lý dữ liệu tham chiếu (Trang 40)
- Định nghĩa: Kiến trúc dữliệu bao gồm các mô hình, quy trình cùng với các quy tắc, tiêu chuẩn nhằm mô tả cách thức, công cụ mà dữ liệu được thu thập, dữ liệu, lưu trữ dữ liệu, và dữ liệu vào sử dụng, phân tích - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
nh nghĩa: Kiến trúc dữliệu bao gồm các mô hình, quy trình cùng với các quy tắc, tiêu chuẩn nhằm mô tả cách thức, công cụ mà dữ liệu được thu thập, dữ liệu, lưu trữ dữ liệu, và dữ liệu vào sử dụng, phân tích (Trang 42)
Hình 10: Mô hình ELT - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 10 Mô hình ELT (Trang 45)
Hình 11: Cơ cấu tổ chức - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 11 Cơ cấu tổ chức (Trang 50)
Hình 12: Sơ đồ các khía cạnh quản lýdữ liệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 12 Sơ đồ các khía cạnh quản lýdữ liệu (Trang 52)
Hình 13: Sơ đồ mô tả các vấn đề đang tồn tại trong quản lýdữ liệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 13 Sơ đồ mô tả các vấn đề đang tồn tại trong quản lýdữ liệu (Trang 61)
Hình 14: Khung quản lýdữ liệu của tổ chức - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 14 Khung quản lýdữ liệu của tổ chức (Trang 65)
Hình 15: Luồng thu thập dữliệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 15 Luồng thu thập dữliệu (Trang 68)
- Bảng khách hàng có một số trường sau: - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Bảng kh ách hàng có một số trường sau: (Trang 71)
Có thể thấy rằng, dữliệu đang bị dư thừa ở hai bảng khác hàng và giao dịch khi trùng rất nhiều trường chung như: Số điện thoại, ngày sinh, giới tính, họ tên, quê quán, .Ví dụ: bảng giao dịch trung bình sẽ có khoảng 5 đến 6 triệu giao dịch mỗi ngày thì việ - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
th ể thấy rằng, dữliệu đang bị dư thừa ở hai bảng khác hàng và giao dịch khi trùng rất nhiều trường chung như: Số điện thoại, ngày sinh, giới tính, họ tên, quê quán, .Ví dụ: bảng giao dịch trung bình sẽ có khoảng 5 đến 6 triệu giao dịch mỗi ngày thì việ (Trang 72)
Hình 16: Nguồn thu thập dữliệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
Hình 16 Nguồn thu thập dữliệu (Trang 84)
các bảng temp trên DW của BI Data source  ÷  ETL ÷  TMP table Giai đoạn 2: Tổng hợp xử lý dữ liệu - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
c ác bảng temp trên DW của BI Data source ÷ ETL ÷ TMP table Giai đoạn 2: Tổng hợp xử lý dữ liệu (Trang 97)
S Dựa trên dữliệu từ bảng Analysis table,   xây   dựng   câu   lệnh   truy vấn - 814 nghiên cứu thực trạng quản lý dữ liệu và đề xuất giải pháp quản lý dữ liệu hiệu quả tại doanh nghiệp thực tập,khoá luận tốt nghiệp
a trên dữliệu từ bảng Analysis table, xây dựng câu lệnh truy vấn (Trang 98)

TRÍCH ĐOẠN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w