Báo cáo nội dung môn học chương 5 hệ thống cơ sở dữ liệu và siêu dữ liệu

BỘ TÀI CHÍNH TRƯỜNG ĐẠI HỌC TÀI CHÍNH MARKETING KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO NỘI DUNG MÔN HỌC CHƯƠNG 5 HỆ THỐNG CƠ SỞ DỮ LIỆU VÀ SIÊU DỮ LIỆU Giảng viên hướng dẫn Th S Lâm Hoàng Trúc Mai Sinh viên[.]

BỘ TÀI CHÍNH TRƯỜNG ĐẠI HỌC TÀI CHÍNH - MARKETING KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO NỘI DUNG MÔN HỌC CHƯƠNG 5: HỆ THỐNG CƠ SỞ DỮ LIỆU VÀ SIÊU DỮ LIỆU Giảng viên hướng dẫn : Th.S Lâm Hoàng Trúc Mai Sinh viên thực : Phan Thị Ngọc Huyền – 2121010343 Nguyễn Dương Gia Hân – 2121001080 Lớp : Hệ thống thông tin quản lý sáng thứ Mã lớp học phần : 2231112002201 Thành phố Hồ Chí Minh, ngày 26 tháng năm 2022 Contents CÁC NGUYÊN TÁC CƠ BẢN CỦA DỮ LIỆU 1.1 Phân cấp liệu 1.2 Thực thể liệu, thuộc tính khóa 1.3 Phương pháp tiếp cận sở liệu MÔ HÌNH HĨA DỮ LIỆU VÀ ĐẶC ĐIỂM CƠ SỞ DỮ LIỆU 2.1 Mô hình hóa liệu .5 2.2 Mô hình sở liệu quan hệ 2.2.1 2.3 Thao tác liệu Dọn dẹp liệu HỆ THỐNG QUẢN LÝ CƠ SỞ DỮ LIỆU QUAN HỆ (DBMSS) 3.1 Cơ sở liệu SQL 3.2 Hoạt động sở liệu .6 3.2.1 Cung cấp Chế độ xem Người dùng 3.2.2 Tạo sửa đổi sở liệu 3.2.3 Lưu trữ truy xuất liệu 3.2.4 Thao tác liệu tạo báo cáo 3.4 Hệ thống quản lý sở liệu phổ biến .9 3.5 Sử dụng Cơ sở liệu với Phần mềm Khác SIÊU DỮ LIỆU 4.1 Đặc điểm siêu liệu 4.2 Nguồn liệu lớn 4.4 Những thách thức liệu lớn .10 QUẢN LÝ DỮ LIỆU 10 6.1 Data Lake 11 6.1.1 6.2 Khái niệm: 11 Cơ sở liệu NoSQL 11 6.2.1 Khái niệm: 11 6.2.2 Ưu điểm 11 6.2.3 Danh mục sở liệu NoSQL 11 6.2.4 Hadoop .12 6.3 Cơ sở liệu nhớ (IMDB): 12 Một sở liệu sưu tập thiết kế tốt, có tổ chức quản lý cẩn thận liệu Giống thành phần khác hệ thống thông tin, sở liệu giúp tổ chức đạt mục tiêu Cơ sở liệu góp phần vào tổ chức thành công cách cung cấp cho nhà quản lý người định kịp thời, xác, thông tin liên quan xây dựng liệu Cơ sở liệu giúp công ty tương tự lưu trữ thơng tin để giảm chi phí, tăng lợi nhuận, thêm khách hàng mới, theo dõi hoạt động kinh doanh khứ mở hội thị trường Một hệ thống quản lý sở liệu (DBMS) bao gồm nhóm ủng hộ sử dụng để truy cập quản lý sở liệu cung cấp giao diện sở liệu với người dùng chương trình ứng dụng khác Một DBMS cung cấp điểm quản lý kiểm soát tài nguyên liệu, quan trọng để trì tính tồn vẹn bảo mật liệu Một sở liệu, DBMS chương trình ứng dụng sử dụng liệu tạo nên môi trường sở liệu CÁC NGUYÊN TÁC CƠ BẢN CỦA DỮ LIỆU 1.1 Phân cấp liệu Dữ liệu thường tổ chức theo thứ bậc bắt đầu phần nhỏ liệu sử dụng máy tính (bit) tiến triển qua hệ thống phân cấp thành liệu- sở Bit chữ số nhị phân (tức 1) Các bit tổ chức thành đơn vị gọi byte Một byte thường bit Mỗi byte đại diện cho ký tự , tảng hầu hết thông tin Một ký tự chữ viết hoa (A, B, C, , Z)- chữ viết thường (a, b, c, , z), chữ số (0, 1, 2, , 9), ký hiệu đặc biệt (.,!, thứ tự , , /, vân vân.) Các ký tự ghép lại với để tạo thành trường Một trường thường tên, số kết hợp ký tự mơ tả khía cạnh doanh nghiệp đối tượng (chẳng hạn nhân viên, địa điểm nhà máy) hoạt động (chẳng hạn mua bán) 1.2 Thực thể liệu, thuộc tính khóa Thực thể, thuộc tính khóa khái niệm sở liệu quan trọng Một thực thể người, địa điểm vật (đối tượng) mà liệu thu thập, lưu trữ Ví dụ thực thể bao gồm nhân viên, sản phẩm khách hàng Hầu hết tổ chức xếp lưu trữ liệu dạng thực thể Một thuộc tính đặc tính thực thể Giá trị cụ thể thuộc tính, gọi mục liệu , tìm thấy trường ghi mô tả thực thể Khóa liệu trường ghi sử dụng để xác định ghi Nhiều tổ chức tạo sở liệu thuộc tính nhập mục liệu vào lưu trữ liệu cần thiết để chạy hoạt động hàng ngày họ Như thảo luận trước đó, tập hợp trường đối tượng cụ thể ghi Một khóa trường tập hợp trường xác định ghi Khơng ghi khác có khóa Đối với hồ sơ nhân viên, số nhân viên ví dụ khóa Khóa sử dụng để phân biệt ghi để chúng được truy cập, tổ chức thao tác Khóa đảm bảo ghi tệp Ví dụ: để phân biệt sinh viên, có nhiều sinh viên có họ tên trùng nên nhà trường dùng mã số sinh viên để phân biệt sinh viên Ở khóa Mã số sinh viên sinh viên 1.3 Phương pháp tiếp cận sở liệu Tại thời điểm, hệ thống thông tin tham chiếu đến tệp cụ thể có chứa liệu Ví dụ, hệ thống bảng lương sử dụng tệp bảng lương Mỗi khác biệt hệ thống vận hành sử dụng tệp liệu dành riêng cho hệ thống Ngày nay, hầu hết tổ chức sử dụng cách tiếp cận sở liệu để quản lý liệu, nơi nhiều hệ thống thông tin chia sẻ nhóm liệu liên quan Để sử dụng cách tiếp cận sở liệu để quản lý liệu, ta sử dụng phần mềm - hệ thống quản lý sở liệu (DBMS) DBMS bao gồm nhóm chương trình sử dụng làm giao diện sở liệu người sử dụng sở liệu Thông thường, phần mềm hoạt động đệm chương trình ứng dụng sở liệu MƠ HÌNH HĨA DỮ LIỆU VÀ ĐẶC ĐIỂM CƠ SỞ DỮ LIỆU 2.1 Mơ hình hóa liệu Khi tổ chức sở liệu, cân nhắc bao gồm xác định liệu cần thu thập, nguồn liệu gì, có truy cập vào nó, cách người ta muốn sử dụng cách giám sát sở liệu hiệu suất thời gian phản hồi, tính khả dụng yếu tố khác Một công cụ mà nhà thiết kế sở liệu sử dụng để hiển thị mối quan hệ logic liệu mơ hình liệu Một mơ hình liệu sơ đồ thực thể mối quan hệ Mơ hình hóa liệu thường liên quan đến việc phát triển hiểu biết vấn đề kinh doanh cụ thể sau phân tích liệu thơng tin cần thiết để cung cấp giải pháp 2.2 Mô hình sở liệu quan hệ Mơ hình sở liệu quan hệ cách tổ chức liệu đơn giản hữu ích vào sưu tập bảng hai chiều 2.2.1 Thao tác liệu Sau nhập liệu vào sở liệu quan hệ, người dùng thực yêu cầu phân tích liệu Các thao tác liệu bao gồm chọn, chiếu tham gia  Lựa chọn liên quan đến việc loại bỏ hàng theo tiêu chí định  Phép chiếu liên quan đến việc loại bỏ cột bảng  Tham gia liên quan đến việc kết hợp hay nhiều bảng Ngoài ra, bảng sở liệu quan hệ liên kết để cung cấp thơng tin hữu ích báo cáo  Liên kết khả kết hợp hai nhiều bảng thơng qua thuộc tính liệu để tạo bảng với thuộc tính liệu nhất, chìa khóa cho tính linh hoạt sức mạnh sở liệu quan hệ 2.3 Dọn dẹp liệu Dữ liệu sử dụng q trình định phải xác, đầy đủ, tiết kiệm, linh hoạt, đáng tin cậy, phù hợp, đơn giản, kịp thời, xác minh, truy cập an tồn Làm liệu (data cleansing data scrubbing) trình chuẩn bị liệu để phân tích cách loại bỏ thơng tin khơng liên quan, khơng xác, khơng đầy đủ sai lệch kết gây định sai lầm không thực tế Mục tiêu việc làm liệu cải thiện chất lượng liệu sử dụng trình định Các “ liệu xấu ” gây lỗi nhập liệu người dùng hỏng liệu trình liệu truyền tải lưu trữ Xóa liệu khác với xác thực liệu, liên quan đến việc xác định “dữ liệu xấu” từ chối vào thời điểm nhập dư liệu Một giải pháp làm liệu xác định sửa liệu cách kiểm tra với tập liệu xác thực HỆ THỐNG QUẢN LÝ CƠ SỞ DỮ LIỆU QUAN HỆ (DBMSS) 3.1 Cơ sở liệu SQL SQL loại ngôn ngữ máy tính, giúp cho thao tác lưu trữ truy xuất liệu lưu trữ sở liệu quan hệ, ( viết tắt Structured Query Language) ngơn ngữ truy vấn có cấu trúc Cơ sở liệu SQL tuân theo Thuộc tính ACID (tính ngun tử, tính qn, lập,độ bền) Các thuộc tính đảm bảo giao dịch sở liệu xử lý cách đáng tin cậy đảm bảo tính tồn vẹn liệu sở liệu Dữ liệu giá trị nguyên tử quán sở liệu - Tính ngun tử: nói ngắn gọn mệnh đề tất khơng Tính qn: đảm bảo giao dịch không rời khỏi sở liệu bạn trạng thái nửa hoàn thành Sự cô lập giữ cho giao dịch tách biệt với chúng kết thúc Độ bền đảm bảo sở liệu theo dõi thay đổi chờ xử lý theo cách mà máy chủ phục hồi sau kết thúc bất thường Các lập trình viên người dùng sở liệu thấy SQL có giá trị Các câu lệnh SQL nhúng vào nhiều ngơn ngữ lập trình, chẳng hạn C ++ Java sử dụng rộng rãi Bởi SQL sử dụng tiêu chuẩn hóa đơn giản hóa thủ tục truy xuất, lưu trữ thao tác liệu, nhiều lập trình viên thấy dễ hiểu dễ sử dụng Vậy nên phổ biến 3.2 Hoạt động sở liệu Cơ sở liệu sử dụng để cung cấp cho người dùng chế độ xem sở liệu, để thêm sửa đổi liệu, để lưu trữ truy xuất liệu, để thao tác liệu tạo báo cáo Mỗi hoạt động thảo luận chi tiết phần sau phần 3.2.1 Cung cấp Chế độ xem Người dùng Trong sở liệu quan hệ, lược đồ xác định bảng, trường bảng mố quan hệ trường bảng Hệ thống sở liệu lớn thường sử dụng lược đồ để xác định bảng tính sở liệu khác liên kết với người người dùng DSMS tham chiếu lược đồ để tìm nơi truy cập liệu yêu cầu liên quan đến phần liệu khác 3.2.2 Tạo sửa đổi sở liệu Các lược đồ nhập vào DBMS (thường nhân viên sở liệu) thông qua liệu ngôn ngữ định nghĩa Một ngôn ngữ định nghĩa liệu (DDL) tập hợp hướng dẫn lệnh sử dụng để xác định mô tả liệu mối quan hệ sở liệu cụ thể Một bước quan trọng khác việc tạo sở liệu thiết lập từ điển liệu, mô tả chi tiết tất liệu sử dụng sở liệu Trong số thứ khác, từ điển liệu chứa thông tin sau cho mục liệu:  Tên mục liệu  Bí danh tên khác sử dụng để mô tả mặt hàng  Phạm vi giá trị sử dụng  Loại liệu (chẳng hạn chữ số)  Số lượng lưu trữ cần thiết cho mặt hàng  Ký hiệu người chịu trách nhiệm cập nhật người dùng khác truy cập  Danh sách báo cáo sử dụng mục liệu 3.2.3 Lưu trữ truy xuất liệu Một chức DBMS trở thành giao diện chương trình ứng dụng sở liệu Khi chương trình ứng dụng cần liệu, u cầu liệu thơng qua DBMS Tiếp theo, DBMS, hoạt động với hệ thống khác nhau, truy cập thiết bị lưu trữ, chẳng hạn ổ đĩa trạng thái rắn thiết bị lưu trữ (SSD), nơi liệu lưu trữ Khi DBMS chuyển đến mục thiết bị lưu trữ để truy xuất liệu, theo đường dẫn đến vị trí thực - đường dẫn vật lý - nơi giá tùy chọn lưu trữ Sau đó, DBMS vào phần giá tùy chọn đĩa để lấy thông tin cho người dùng Đây đường dẫn truy cập vật lý Hai nhiều người chương trình cố gắng truy cập vào ghi đồng thời gây cố Một cách tiếp cận khóa tất chương trình ứng dụng khác truy cập vào ghi ghi cập nhật sử dụng chương trình khác 3.2.4 Thao tác liệu tạo báo cáo Sau DBMS cài đặt, nhân viên, người quản lý người ủy quyền khác người dùng sử dụng để xem xét báo cáo lấy thông tin quan trọng Sử dụng DBMS, cơng ty quản lý yêu cầu Một số sở liệu sử dụng Truy vấn Ví dụ (QBE), cách tiếp cận trực quan để phát triển truy vấn sở liệu yêu cầu 3.3 Quản lý sở liệu Quản trị viên sở liệu (DBA) chuyên gia IS có tay nghề cao đào tạo tổ chức thảo luận với người dùng doanh nghiệp để xác định nhu cầu liệu họ; - áp dụng sở liệu ngôn ngữ lập trình để tạo sở liệu đáp ứng nhu cầu đó; - kiểm tra đánh giá sở liệu; - thực thay đổi để cải thiện hiệu suất họ; đảm bảo liệu bảo mật khỏi truy cập trái phép Hệ thống sở liệu yêu cầu quản trị viên sở liệu có tay nghề cao (DBA), người phải hiểu rõ hoạt động kinh doanh tổ chức, thành thạo việc sử dụng hệ thống quản lý sở liệu lựa chọn bám sát công nghệ cách tiếp cận thiết kế Vai trò DBA lập kế hoạch, thiết kế, tạo, vận hành, bảo mật, giám sát trì sở liệu Thơng thường, DBA có mức độ khoa học máy tính hệ thống thông tin quản lý số công việc chỗ đào tạo với sản phẩm sở liệu cụ thể kinh nghiệm sâu rộng với nhiều sản phẩm sở liệu DBA làm việc với người dùng để định nội dung sở liệu - đến xác định xác thực thể quan tâm thuộc tính ghi lại thực thể Một số tổ chức tạo vị trí gọi người quản lý liệu , cá nhân chịu trách nhiệm xác định thực nguyên tắc quán cho nhiều vấn đề liệu khác nhau, bao gồm việc thiết lập liệu tiêu chuẩn định nghĩa liệu áp dụng tất sở liệu quan Ví dụ: quản trị viên liệu đảm bảo thuật ngữ chẳng hạn “ khách hàng ” xác định đối xử quán tất đánh giá sở liệu Quản trị viên liệu làm việc với người quản lý doanh nghiệp để xác định nên đọc cập nhật quyền truy cập vào sở liệu định thuộc tính chọn sở liệu Thơng tin sau thơng báo cho người quản trị sở liệu để thực Quản trị viên liệu cấp cao báo cáo vị trí cấp cao nhà quản lý 3.4 Hệ thống quản lý sở liệu phổ biến Cơ sở liệu dịch vụ (DaaS): Một xếp sở liệu lưu trữ máy chủ nhà cung cấp dịch vụ đưuọc truy cập thuê bao dịch vụ qua mạng, thường tương tác với quản trị sở liệu nhà cung cấp dịch vụ cung cấp 3.5 Sử dụng Cơ sở liệu với Phần mềm Khác Hệ quản trị lý sở liệu thường sử dụng với phần mềm khác tương tác với người dùng qua Internet DBMS hoạt động ứng dụng giao diện người dùng ứng dụng back-end Ứng dụng giao diện người dùng ứng dụng mà người tương tác với trực tiếp Các nhà nghiên cứu tiếp thị thường sử dụng sở liệu mặt trận kết thúc chương trình phân tích thống kê Các nhà nghiên cứu nhập kết bảng câu hỏi thị trường khảo sát vào sở liệu Dữ liệu sau chuyển đổisay mê chương trình phân tích thống kê để thực phân tích, chẳng hạn xác định tiềm cho sản phẩm hiệu quảng cáo chiến dịch Ứng dụng back-end tương tác với chương trình ứng dụng khác- hàng tấn; tương tác gián tiếp với người người dùng Khi người yêu cầu thông tin từ trang Web, trang web tương tác với sở liệu (mặt sau end) cung cấp thông tin mong muốn Ví dụ: bạn kết nối với trang web trường đại học để tìm hiểu xem thư viện trường đại học có sách bạn muốn đọc Sau đó, trang web tương tác với sở liệu có chứa nhiều sách báo thư viện để xác định xem sách bạn muốn có phải có sẵn SIÊU DỮ LIỆU Siêu liệu thuật ngữ sử dụng để mô tả sưu tập liệu lớn (terabyte trở lên) phức tạp (từ liệu cảm biến đến liệu truyền thông xã hội) mà phần mềm quản lý liệu truyền thống, phần cứng quy trình phân tích khơng thể xử lý chúng.  4.1 Đặc điểm siêu liệu   Âm lượng   Vận tốc: Tốc độ mà liệu đến với chúng tơi vượt q nghìn tỷ bit giây.   Đa dạng: Dữ liệu ngày có nhiều định dạng khác nhau.  4.2 Nguồn liệu lớn  Các tổ chức thu thập sử dụng liệu từ nhiều nguồn khác nhau.   Cục thống kê lao động (BLS)   Đồ thị facebook   Trung tâm Quốc gia thông tin môi trường   ….  4.3 Sử dụng liệu lớn  Dưới vài ví dụ cách tổ chức sử dụng liệu lớn để cải thiện hoạt động hàng ngày, lập kế hoạch định họ:   Các đại lý quảng cáo tiếp thị theo dõi nhận xét phương tiện truyền thông xã hội để hiểu mức độ phản hồi người tiêu dùng quảng cáo, chiến dịch khuyến mại.   Các tổ chức dịch vụ tài sử dụng liệu từ tương tác khách hàng để xác định khách hàng có khả bị thu hút lời chào hàng ngày có mục tiêu tinh vi.  4.4 Những thách thức liệu lớn   Nguy q tải thơng tin   Khó khăn việc tìm kiếm thơng tin để đưa định  Tăng nguy tổ chức hóa khơng tn thủ qui định Chính phủ kiểm sốt nội bộ.   Xác định liệu khõi truy cập trái phép   QUẢN LÝ DỮ LIỆU  Quản lý liệu tập hợp chức tích hợp xác định quy trình mà liệu lấy, chứng nhận phù hợp để sử dụng, lưu trữ, bảo mật xử lý theo cách để đảm bảo khả truy cập, độ tin cậy tính kịp thời liệu đáp ứng nhu cầu người dùng liệu tổ chức.  Quản trị liệu thành phần cốt lõi quản lý liệu; Nó định nghĩa vai trị, trách nhiệm quy trình để đảm bảo liệu tồn tổ chức tin tưởng sử dụng, với người xác định nơi chịu trách nhiệm sửa chữa ngăn chặn vấn đề với liệu.   Quản lý kiến trúc liệu   Phát triển liệu   Quản lý hoạt động sở liệu   Quản lý bảo mật liệu   Quản lý liệu tham khảo tổng thể   Kho liệu quản lý kinh doanh thông minh   Quản lý tài liệu nội dung   Quản lý siêu liệu   Quản lý chất lượng liệu  Người quản lý liệu: Một cá nhân chịu trách nhiệm quản lý phần tử liệu quan trọng, bao gồm việc xác định thu thập nguồn liệu mới; tạo trì liệu tham chiếu quán định nghĩa liệu tổng thể; phân tích liệu để có chất lượng điều chỉnh vấn đề liệu.  Quản lý vòng đời liệu (DLM) Một cách tiếp cận dựa sách để quản lý luồng liệu doanh nghiệp, từ việc thu thập tạo lưu trữ ban đầu trở nên lỗi thời bị xóa.  Vòng đời liệu lớn:   Xác định nhu cầu liệu   Đánh giá nguồn thay thế   Thu thập liệu   Lưu trữ liệu   Xuất mô tả liệu   Truy cập sử dụng   Thúc giục   Lưu trữ loại bỏ  CÁC CÔNG NGHỆ ĐƯỢC SỬ DỤNG ĐỂ XỬ LÝ DỮ LIỆU LỚN  6.1  Data Lake  6.1.1 Khái niệm: Hồ liệu (trung tâm liệu doanh nghiệp): Phương pháp tiếp cận lưu trữ thứ "đối với liệu lớn giúp lưu tất liệu dạng thô không thay đổi.    Một hồ liệu đóng vai trị nguồn liệu cuối dạng ban đầu, khơng thay đổi Nội dung bao gồm giao dịch kinh doanh, liệu dòng nhấp chuột, liệu cảm biến, nhật ký máy chủ, mạng xã hội, video, v.v.   6.2  Cơ sở liệu NoSQL  6.2.1 Khái niệm: Cơ sở liệu NoSQL cung cấp phương tiện để lưu trữ truy xuất liệu với phương tiện quan hệ dạng bảng hai chiều Những sở liệu sử dụng để xử lý nhiều loại liệu tìm thấy liệu lớn ứng dụng Web.  6.2.2 Ưu điểm   Khả lan truyền liệu qua nhiều máy chủ để máy chủ chứa tập hợp tổng liệu.   Không yêu cầu lược đồ xác định trước; thực thể liệu có thuộc tính chỉnh sửa gán cho chúng lúc nào.   6.2.3 Danh mục sở liệu NoSQL   Cơ sở liệu NoSQL khóa-giá trị tương tự sở liệu SQL, có hai cột ("khóa" "giá trị"), với thông tin phức tạp số lần lưu trữ cột "giá trị".    Cơ sở liệu NoSQL tài liệu sử dụng để lưu trữ, truy xuất quản lý thông tin hướng tài liệu, chẳng hạn đăng mạng xã hội multime dia, gọi liệu bán cấu trúc.    Cơ sở liệu Graph NoSQL sử dụng để hiểu mối quan hệ kiện, người, giao dịch, vị trí đọc cảm biến phù hợp để phân tích kết nối trích xuất liệu từ phương tiện truyền thông xã hội.    Cơ sở liệu NoSQL dạng cột lưu trữ liệu theo cột, thay theo hàng cung cấp thời gian phản hồi nhanh cho khối lượng lớn liệu.  6.2.4 Hadoop   Hadoop: khung phần mềm mã nguồn mở bao gồm số môđun phần mềm cung cấp phương tiện để lưu trữ xử lý tập liệu cực lớn.   Thành phần xử lý liệu (hệ thống dựa Java gọi MapReduce, đề cập phần tiếp theo)    Hệ thống tệp phân tán (Hadoop Distributed): Một hệ thống sử dụng để lưu trữ liệu, chia liệu thành tập hợp phân phối tập hợp máy chủ khác để xử lý.     Chương trình MapReduce: Một chương trình lặp tổng hợp bao gồm thủ tục Bản đồ thực chia nhỏ xếp phương thức Rút gọn thực thao tác tóm tắt.   6.3 Cơ sở liệu nhớ (IMDB): Hệ quản trị sở liệu lưu toàn sở liệu nhớ truy cập ngẫu nhiên (RAM).