Báo cáo thực tập tốt nghiệp đề tài quản trị dữ liệu kinh doanh bằng hệ quản trị cơ sở dữ liệu oracle

HỌC VIỆN CHÍNH SÁCH VÀ PHÁT TRIỂN KHOA KINH TẾ SỐ - - BÁO CÁO THỰC TẬP TỐT NGHIỆP Đề Tài: “ Quản Trị Dữ Liệu Kinh Doanh Hệ Quản Trị Cơ sở liệu Oracle” Đơn vị: Cơng ty TNHH Giải Pháp Phân Tích Dữ Liệu Insight Data Giảng viên hướng dẫn: Ths Đỗ Thế Dương Họ tên sinh viên: Lê Trí Thành Mã sinh viên: 7103101343 Lớp: KTDL10 LỜI CẢM ƠN Sau thời gian học tập trường, sinh viên hệ thống lại toàn lý thuyết chuyên ngành tham gia kiến tập số khâu nghiệp vụ kiến thức lý thuyết học Được cho phép Khoa Kinh Tế Số tiếp nhận Cơng ty TNHH Giải Pháp Phân Tích Dữ Liệu Insight Data; quan tâm, đạo quý thầy cô khoa Kinh Tế Số; em bắt đầu q trình thực tập Cơng ty TNHH Giải Pháp Phân Tích Dữ Liệu Insight Data Khoảng thời gian thực tập ngắn ngủi em học hỏi, trải nghiệm công việc thực tế Thời gian cho em học kinh nghiệm quý báu, kỹ cần thiết ngành Dữ Liệu Lớn mà thời gian học tập trường em chưa có, để em tự tin bước vào mơi trường làm việc sau Vì thực tập thực phạm vi thời gian hạn hẹp hạn chế mặt kiến thức chuyên mơn, báo cáo em khơng thể tránh khỏi sai sót định Đồng thời thân báo cáo kết trình tổng kết, thu thập kết từ việc khảo sát thực tế, học đúc rút từ trình thực tập làm việc em Em mong có ý kiến đóng góp thầy, để báo cáo thân em hồn thiện Qua báo cáo này, em xin cảm ơn thầy Đỗ Thế Dương- giảng viên khoa Kinh Tế Số, Học Viện Chính Sách Phát Triển Trong thời gian thực tập quan, em anh Nguyễn Văn Trưởng lãnh đạo công ty anh/chị quan giúp đỡ dẫn tận tình, tạo điều kiện để em hồn thành báo cáo Em xin chân thành cảm ơn Sinh viên Lê Trí Thành MỤC LỤC 1.1 Giới thiệu sở thực tập 1.2 Cơ cấu Tổ chức máy 1.2.1 Giới thiệu ban điều hành 1.2.2 Đội ngũ nhân chủ chốt 1.3.Chức phòng ban 1.4 Chính sách nhân 1.6 Tầm nhìn, sứ mệnh giá trị cốt lõi CHƯƠNG II TÌM HIỂU NGHIỆP VỤ TẠI ĐƠN VỊ THỰC TẬP 2.1 Quản trị liệu ngân hàng doanh nghiệp 2.1.1 Quản trị liệu doanh nghiệp 2.1.2 Quản trị liệu ngân hàng 2.2.1 Data Warehouse gì? 12 2.2.2 Các thành phần khối xây dựng Data warehouse 12 2.2.3 Ưu điểm nhược điểm Data Warehouse – Kho Dữ liệu 17 2.2.4 Công cụ xây dựng kho liệu 18 2.3 Ngôn ngữ PL/SQL 19 2.3.1 Giới thiệu ngôn ngữ PL/SQL 19 2.3.2 Cấu trúc PL/SQL 21 2.3 Thực hành truy xuất liệu ngôn ngữ PL/SQL 29 2.3.1 Cài đặt cấu hình SQL Developer 29 2.3.2 Mô tả liệu 30 2.3.3 Thiết kế Data Model 32 2.3.4 Xử lý yêu cầu truy xuất liệu PL/SQL 33 3.1 Kết tích cực đạt 36 3.1.1 Về Kiến thức 36 3.1.2 Về Kỹ Năng 36 3.2 Bài học kinh nghiệm 36 3.2.1 Bài học kinh nghiệm cách thực 36 3.2.2 Bài học kinh nghiệm kỹ 36 3.2.3 Bài học kinh nghiệm thái độ 36 CHƯƠNG I GIỚI THIỆU TỔNG QUAN VỀ CƠ SỞ THỰC TẬP 1.1 Giới thiệu sở thực tập Đơn vị: Công Ty TNHH Giải Pháp Phân Tích Dữ Liệu Insight Data Tên viết tắt: INDA Năm thành lập: 2019 Trụ sở chính: Tầng 5, Tòa nhà NO2 Gold Season, 47 phố Nguyễn Tuân, Thanh Xuân, Hà Nội Hotline: 0986.882.818 Mã số thuế: 0109131988 Thành lập năm 2019, Cơng ty TNHH Giải Pháp Phân Tích Dữ Liệu Insight Data có 100 nhân hoạt động Hà Nội TP.Hồ Chí Minh 1.2 Cơ cấu Tổ chức máy Hình 1.1 Sơ đồ tổ chức máy công ty 1.2.1 Giới thiệu ban điều hành Hà Vũ Phượng Giám đốc công ty 12 năm kinh nghiệm triển khai Dự án Data Warehouse / BI cho ngân hàng, tập đoàn nhiều lĩnh vực khác như: TechcomBank, VPBank, SeaBank, Chuyên gia cao cấp tư vấn chiến lược quản trị liệu (Data Governance) Đồng thời giảng viên đào tạo công nghệ hãng Oracle, Microsoft, Giám Đốc Công Ty Google Việt Nam 14 năm kinh nghiệm CNTT năm kinh nghiệm triển khai kho lĩnh vực tài ngân hàng Từng liệu nhiều lĩnh vực: đảm nhiệm nhiều vị trí quan trọng - Ngân hàng: Xây dựng Kho liệu như: Phó giám đốc liệu, Tư vấn cho Ngân hàng VPbank, chuyển đổi cao cấp giải pháp & quản trị báo cáo từ IBM Cognos cho liệu, Kiến trúc sư trưởng, giám đốc BIDV, dự án liệu, triển khai - Bán lẻ: Xây dựng báo cáo Quản dự án AI/ML cho ngân hàng Trị Doanh nghiệp với Power BI, tích indonesia Singapore hợp liệu kế toán Misa, Vin Commerce tảng Google Bigquery Microsoft Power Bi Nguyễn Văn Trưởng Giám đốc Học viện năm kinh nghiệm triển khai DWH/BI năm kinh nghiệm tư vấn chiến lược quản lý kinh doanh ngành Dữ liệu đồng thời chuyên gia mảng đào tạo, nhân 1.2.2 Đội ngũ nhân chủ chốt Phạm Việt Hưng - Business Intelligence Expert Nguyễn Việt Tân - Senior Data Analyst Leader Bùi Văn Lực - Data Engineer Expert Lương Đình Sơn - Data Analyst Expert Tạ Văn Hưng - Data Architect Leader 1.3.Chức phòng ban Giám đốc công ty: Xác định phương hướng phát triển đường lối kinh doanh, tổ chức điều hành hoạt động kinh doanh, mở rộng đối tác, mở rộng khách hàng định đầu tư Recommandé pour toi Suite du document ci-dessous MKT101 Marketing Report Marketing 100% (1) BIZ102 Emotional Intelligence Marketing 100% (1) Phòng Đào tạo: Có chức tham mưu cho Ban giám đốc công tác xây dựng phát triển nguồn nhân lực Phịng Data Analyst: quản lý, thu thập, phân tích xử lý liệu, chọn lọc thông tin để phân tích kinh doanh đưa báo cáo đánh giá vấn đề cho doanh nghiệp Phịng Google: Quản lý liệu để phân tích số liệu thống kê, xây dựng quản lý Website, xây dựng phát triển ứng dụng hệ thống mà Google sử dụng, Hỗ trợ doanh nghiệp từ trình lên kế hoạch, xây dựng, phát triển ứng dụng đến tối ưu hóa quản lý hệ thống Phịng Quản lý dự án: tham mưu, tư vấn cho Ban giám đốc công ty vấn đề liên quan đến việc quản lý q trình thực dự án Phịng Kinh doanh, Marketing: Xây dựng phát triển hình ảnh thương hiệu, Thiết lập mối quan hệ với truyền thông, tham mưu cho Ban Giám đốc chiến lược marketing, sản phẩm khách hàng Phịng Kế tốn, Hành chính, Nhân sự: lập sổ sách kế toán - hoạt động tài chính, quản trị hành - nhân sự, tham mưu hỗ trợ cho Ban giám đốc đề liên quan đến nhân sự, nghiệp vụ, … 1.4 Chính sách nhân Cơng ty ln coi nguồn nhân lực yếu tố cốt lõi tài sản quý giá Đặt mối quan hệ Công ty nhân viên trung tâm, với mục tiêu cao phát triển Công ty đồng hành với thỏa mãn công việc lợi ích nhân viên Tạo điều kiện giúp cá nhân phát triển nghề nghiệp đồng thời xây dựng lực lượng nhân viên chuyên nghiệp, chuyên môn cao thơng qua khóa đào tạo theo quy trình cơng ty Cơng ty khuyến khích nhân viên chủ động học tập phát triển nghề nghiệp thân Cơng ty ln đa dạng hóa phương thức đào tạo nhằm tạo cho nhân viên nhiều hội học tập phát triển 1.5 Lĩnh vực hoạt động Tư vấn triển khai giải pháp liệu: Khảo sát, đánh giá hệ thống liệu công ty; cung cấp giải pháp phân tích liệu lớn, vận hành, bảo trì hệ thống liệu cung cấp dịch vụ cho ngân hàng, doanh nghiệp: - Triển khai kho liệu & báo cáo BI (Data Warehouse/BI) - Triển khai hồ liệu (Data Lake) - Triển khai Data LakeHouse - Triển khai quản trị liệu (Data Governance) Cho thuê nhân - Data Outsourcing : Insight Data cung cấp dịch vụ thuê chuyên gia vị trí sau: - Chuyên gia thiết kế DWH/ Data Model (Data Architect) - Chuyên gia tổng hợp, xử lý, làm liệu (Data Engineer) - Chuyên gia Phân tích liệu (Data Analyst) - Chuyên gia kiểm thử liệu (Database Tester) - Chuyên gia báo cáo thông minh (Business Intelligence) - Đội ngũ tư vấn (Presale) để thực POC (proof of concept) cho dự án kho liệu (Data Warehouse), báo cáo quản trị thông minh (BI) - LENGTH (text) độ dài văn - SUBSTR(text,i,j): lấy chuỗi từ Text, cắt từ vị trí thứ I đến vị trí thứ j Date Functions – Xử lý Thời Gian - ADD_MONTHS (date, no.of months) thêm tháng - SYSDATE thời gian system c) Procedure – Thủ tục Procedure kiểu chương trình con, bao gồm nhóm lệnh PL/SQL Mỗi thủ tục Oracle có tên riêng mà gọi Là named block, gọi thực thi từ block khác Đơn vị chương trình lưu trữ đối tượng sở liệu Cú pháp: CREATE [OR REPLACE] PROCEDURE procedure_name [ (parameter [,parameter]) ] IS BEGIN executable_section [EXCEPTION exception_section] END [procedure_name]; Trong đó: 24 - procedure_name tên procedure - [OR REPLACE]: Khai báo tham số xóa procedure có tên trùng với tên procedure chạy - [(parameter [,parameter])] tham số truyền vào procedure (IN, OUT, IN OUT) d) Quy trình làm việc với Subprogram Có bước làm việc với Subprogram : - Bước 1: Tạo subprogram (Function, Procedure) Ví dụ: Tạo function có tên welcome_msgJune Hình 16.1 Tạo Function - Bước 2: Biên dịch Hình 17.1 Biên dịch chương trình - Bước 3: Chạy kiểm thử 25 Hình 18.1 Chạy kiểm thử chương trình Hình 19.1 Nơi lưu trữ Subprogram - Bước 4: Fix bug (sửa lỗi) biên dịch bị lỗi Hình 20.1 Sửa lỗi 26 2.3.4 Các kiểu liệu thông dụng khai báo Kiểu liệu số thường dùng Hình 21.1 kiểu liệu số Kiểu text Kiểu Date/time Hình 22.1 kiểu liệu Text Hình 23.1 kiểu Date/time Kiểu liệu cột (%Type) Khai báo biến dựa theo kiểu định nghĩa cột Database Tránh ngoại lệ xảy độ dài lưu trữ biến nhỏ độ dài giá trị truyền vào Hình 24.1 Kiểu liệu cột (%TYPE) 27 Ví dụ: Hình 25.1 Ví dụ khai báo kiểu liệu cột Kiểu liệu dòng (%Rowtype) Là kiểu khai báo dịng thơng tin liệu Database Ví dụ: Hình 26.1 Kiểu liệu dịng (%rowtype) Hình 27.1 Ví dụ khai báo kiểu liệu %ROWTYPE 28 2.3 Thực hành truy xuất liệu ngơn ngữ PL/SQL 2.3.1 Cài đặt cấu hình SQL Developer Oracle SQL Developer phần mềm giao diện hỗ trợ kết nối, công cụ trực quan, thao tác với sở liệu thơng qua SQL Query Hình 28.1 Giao diện Oracle SQL Developer Ngồi cơng cụ Oracle SQL Developer, sử dụng cơng cụ lập trình khác như: PL/SQL Developer, TOAD,… Khi đăng nhập vào Oracle SQL Deverloper chọn SQL Worksheet, ta chọn sử dụng trình soạn thảo lệnh Một ví dụ khối PL/SQL Cách để hiển thị kết Hình 29.1 Hiển thị kết 29 Sau nhập khối lệnh PL/SQL để hiển thị kết phải thêm câu lệnh “DBMS_OUTPUT.PUT_LINE()” tương tự Python để hiển thị kết ta phải in kết “Print ()” Câu lệnh “DBMS_OUTPUT.PUT_LINE()” cho phép hiển thị kết chạy, để kiểm tra xem khối lệnh có hoạt động xác khơng Nó cho phép hiển thị chuỗi ký tự lúc Hình 30.1 câu lệnh DBMS_OUTPUT.PUT_LINE()” 2.3.2 Mơ tả liệu Dữ liệu thiết kế, mô dựa liệu thực tế ngân hàng đối tác công ty Insight Data (MB bank, VP bank, Techcombank, Sacombank, SCB,…) Dữ liệu chứa bảng nguồn Khách hàng – ACCOUNT, Sản phẩmPRODUCT, Nhân viên – EMPLOYEE, Khách hàng – CUSTOMER,… Bảng 1.1 Ý nghĩa bảng liệu TÊN BẢNG Ý NGHĨA Bảng lưu trữ tài khoản ngân hàng Mỗi khách hàng đăng ký nhiều tài khoản, tài khoản tương ứng với ACCOUNT loại hình sản phẩm cung cấp ngân hàng (Xem thêm PRODUCT) 30 ACC_TRANSACTION Bảng lưu thông tin lần giao dịch với ngân hàng tài khoản BRANCH Chi nhánh ngân hàng BUSINESS Kinh doanh CUSTOMER Bảng khách hàng DEPARTMENT Bảng phòng ban, ngân hàng EMPLOYEE Bảng nhân viên ngân hàng OFFICER Nhân viên cấp cao Các sản phẩm dịch vụ ngân hàng, chẳng hạn: PRODUCT • Tiền gửi tiết kiệm • Ngành nghề kinh doanh tín dụng • Cho vay doanh nghiệp nhỏ • Loại sản phẩm dịch vụ, chẳng hạn: PRODUCT_TYPE • Tài khoản khách hàng • Cho vay cá nhân kinh doanh • Cung cấp bảo hiểm 31 2.3.3 Thiết kế Data Model Thiết kế mơ hình liệu cho ta hội nắm bắt liệu đưa lựa chọn công nghệ đắn để lưu trữ quản lý liệu Tương tự cách kiến trúc sư thiết kế kế hoạch chi tiết trước xây dựng nhà ở, bên kinh doanh liên quan thiết kế mơ hình liệu trước họ vạch giải pháp sở liệu cho tổ chức Lập mơ hình liệu mang lại lợi ích sau: - Giảm số lượng lỗi trình phát triển phần mềm sở liệu - Thúc đẩy tốc độ hiệu thiết kế tạo sở liệu - Tạo quán tài liệu liệu thiết kế hệ thống toàn tổ chức - Tạo điều kiện thuận lợi cho hoạt động giao tiếp kỹ sư liệu nhóm nghiệp vụ thơng minh Hình 31.1 Mối liên kết bảng – Data Modelling 32 2.3.4 Xử lý yêu cầu truy xuất liệu PL/SQL Viết chương trình PL/SQL cho phép truyền vào tham số: Id nhân viên Lấy first_name, last_name nhân viên Viết chương trình PL/SQL để hiển thị thông tin chi tiết tất nhân viên bao gồm: emp_id, first_name, last_name Lấy thông tin: Tổng số tài khoản mở nhân viên có ID = 10 Điều kiện: “Tổng số tài khoản mở Tổng số tài khoản mở Tổng số tài khoản mở 13: Tiền thưởng = 8000 + Nếu thời gian làm việc > 11: Tiền thưởng = 5000 + Nếu thời gian làm việc > 9: Tiền thưởng = 3000 + Nếu thời gian làm việc > 7: Tiền thưởng = 2000 + Nếu thời gian làm việc > 4: Tiền thưởng = 1000 Số tiền thưởng tính theo Cơng Thức : 33 Thời gian làm việc = Số tháng Ngày so với ngày bắt đầu vào làm /12 Viết procedure cho phép truyền vào ID nhân viên trả First_Name, Last_Name, Dept_ID nhân viên Code: Lấy thơng tin gồm Mã Khách hàng tên sản phẩm mà KH sử dụng) Và thị kết hình “Cust_ID,Product Name” lấy từ bảng Account Product Viết Package thực yêu cầu sau: - Con trỏ trả chi tiết tài khoản theo ID khách hàng truyền vào bao gồm thông tin sau: Mã khách hàng, Địa khách hàng, ID tài khoản, Số dư, Trạng thái - Hàm cho phép truyền vào: ID khách hàng Trả Tổng số dư theo khách hàng - Hàm cho phép truyền vào: ID nhân viên mở + Năm mở tài khoản Trả Tổng số dư theo nhân viên mở tài khoản Chuyển đổi nhiệt độ theo thang độ F sang độ C ngược lại (Truyền tham số bao gồm: Nhiệt độ, thang độ cần chuyển) Cơng thức tính : T (° F) = T (° C) × 9/5 + 32 T (° C) = T (° F) - 32 * 5/9 10 Viết Function cho phép truyền vào mã khách hàng, ngày Kiểm tra xem tính từ ngày tham số truyền vào ngày khách hàng chưa phát sinh giao dịch (TXN_date) Nếu >=50 ngày đưa cảnh báo 34 11 Viết Function cho phép truyền vào mã phòng ban, đếm tổng số lượng nhân viên phòng ban kiểm tra xem phịng ban có cần tuyển dụng thêm hay khơng Hình 32.1 phịng ban ngân hàng Dữ liệu Database mơ có phòng ban: tương ứng với mã phòng từ 1- 12 Viết Function cho phép truyền vào mã tài khoản (account_id) kiểm tra xem ngày mở tài khoản (open_date) có phải ngày cuối tuần hay khơng (T7,CN) 13 Viết chương trình PL/SQL để hiển thị họ tên nhân viên có mức lương > mức lương trung bình phịng ban nhân viên làm việc 14 Viết chương trình PL/SQL để hiển thị thông tin chi tiết tất nhân viên bao gồm: emp_id,first_name,last_name, salary (Kiểm tra salary > 500 trả salary tại,