ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC HẢI NGHIÊN CỨU ẢNH HƢỞNG CỦA STORAGE ENGINE ĐẾN HIỆU NĂNG CÁC ỨNG DỤNG KHO DỮ LIỆU LUẬN VĂN THẠC SĨ Hà Nội -2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC HẢI NGHIÊN CỨU ẢNH HƢỞNG CỦA STORAGE ENGINE ĐẾN HIỆU NĂNG CÁC ỨNG DỤNG KHO DỮ LIỆU Ngành: Công Nghệ Thông Tin Chuyên ngành: Hệ Thống Thông Tin Mã số: 60 48 50 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Nguyễn Hải Châu Hà Nội -2011 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN…… Chƣơng TỔNG QUAN KIẾN TRÚC HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU MYSQL CÁC KỸ THUẬT LƢU TRỮ TRONG MYSQL 1.1 Lịch sử MySQL 1.2 Những điểm khác MySQL hệ quản trị CSDL khác .4 1.3 Tổng quan kiến trúc MySQL 1.3.1 Giới thiệu 1.3.2 Quản lý kết nối an ninh 1.3.3 Tối ƣu hóa thực thi 1.3.4 Kiểm soát đồng thời 1.3.4.1 Khóa Read/Write .7 1.3.4.2 Điều khiển truy cập đồng thời 1.3.5 Kiểm soát giao dịch 1.3.5.1 Một ví dụ kinh điển giao dịch 1.3.5.2 Các mức tách biệt .11 1.3.5.3 Các giao dịch MySQL 12 1.3.6 Các Storage engine kiến trúc MySQL 13 1.3.6.1 Các Storage engine .13 1.3.6.2 Các điểm ƣu việc Storage engine 15 1.4 Các kỹ thuật lƣu trữ MySQL 16 1.4.1 Lƣu trữ theo hàng – MyISAM 16 1.4.1.1 Kiểm tra kỹ thuật lƣu trữ MyISAM 16 1.4.1.2 Kỹ thuật MyISAM 18 1.4.1.3 Lƣu trữ 18 1.4.1.4 Tính MyISAM 19 1.4.1.5 Ƣu nhƣợc điểm kỹ thuật lƣu trữ MyISAM 20 1.4.2 Lƣu trữ theo hàng – InnoDB 21 1.4.2.1 Giới thiệu 21 1.4.2.2 Kỹ thuật lƣu trữ InnoDB 21 1.4.2.3 Kiểm tra đánh giá kỹ thuật lƣu trữ InnoDB 22 1.4.2.4 Kiểm tra kỹ thuật lƣu trữ mặc định InnoDB 23 1.4.2.5 Ƣu nhƣợc điểm kỹ thuật lƣu trữ InnoDB 23 1.4.3 Lƣu trữ theo cột – InfoBright 24 1.4.3.1 Giới thiệu 24 1.4.3.2 Tổ chức liệu lƣới tri thức .24 1.4.3.3 Gói liệu nén liệu 25 1.4.3.4 Nút gói liệu (DPNs) 25 1.4.3.5 Nút tri thức (KNs) 25 1.4.3.6 Kỹ thuật tính toán mờ 26 1.4.3.7 Một ví dụ giải câu truy vấn sử dụng lƣới liệu 27 1.4.3.8 Tải liệu 28 Chƣơng GIẢI PHÁP KHO DỮ LIỆU PENTAHO TỔNG QUAN KIẾN TRÚC, CÀI ĐẶT VÀ VẬN HÀNH 30 2.1 Giới thiệu giải pháp Pentaho 30 2.1.1 Biểu báo – Pentaho Reporting 30 2.1.2 Phân tích – Pentaho Analysis 31 2.1.3 Biểu đồ – Pentaho Dashboards 32 2.1.4 Tích hợp liệu – Pentaho data integration 33 2.1.5 Khai phá liệu – Pentaho data mining 34 2.1.6 Bộ BI- Pentaho BI Platform 34 2.2 Tổng quan kiến trúc Pentaho 35 2.2.1 Tổng quan kiến trúc, chức 35 2.2.1.1 Kiến trúc 35 2.2.1.2 Chức 35 2.2.2 Server, Web Client, and Các chƣơng trình Desktop 36 2.2.3 Front-Ends Back-Ends 36 2.3 Pentaho BI Server 36 2.3.1 Nền tảng 37 2.3.2 Thành phần BI 39 2.3.3 Tầng hiển thị 41 2.3.4 Chƣơng trình chạy desktop 42 2.4 Hƣớng dẫn cài đặt hệ thống 44 2.4.1 Tải 44 2.4.2 Cài đặt 46 2.4.2.1 Yêu cầu phần cứng 46 2.4.2.2 Cài đặt BI 47 2.4.2.3 Cầu hình BI server Administration Console 47 2.4.2.4 Cấu hình để máy tính khác truy nhập vào BI Platform .47 2.5 Vận hành hệ thống Pentaho BI 48 2.5.1 Bắt đầu với Pentaho BI Server 48 2.5.2 Đăng nhập 49 2.5.3 Chạy ví dụ chƣơng chình 49 Chƣơng SO SÁNH HIỆU NĂNG KHO ỨNG DỤNG VỚI HAI KỸ THUẬT LƢU TRỮ HÀNG VÀ CỘT 52 3.1 Yêu cầu chung 52 3.2 So sánh không gian lƣu trữ MySQL .54 3.3 So sánh hiệu với hàm thƣờng dùng kho liệu 54 ĐÁNH GIÁ TỔNG KẾT 60 TÀI LIỆU THAM KHẢO 61 NGHIÊN CỨU ẢNH HƯỞNG CỦA STORAGE ENGINE ĐẾN HIỆU NĂNG CÁC ỨNG DỤNG KHO DỮ LIỆU Học viên: Nguyễn Đức Hải GVHD: TS Nguyễn Hải Châu Đơn vị công tác: Công ty THHH bảo hiểm nhân thọ Đơn vị công tác: Trường ĐH Công Nghệ, ĐHQG Hà Nội Prevoir Viet Nam Email: nhchau@gmail.com Email: haindvn@gmail.com Từ khóa: pentaho, infobright, myisam, innodb, mysql GIỚI THIỆU BÀI TOÁN Luôn đồng hành với phát triển doanh nghiệp hệ thống thông tin lưu trữ doanh nghiệp, chẳng hạn hệ thống toán ngân hàng, bưu chính, hay công ty kinh doanh khác tài chính, bảo hiểm, dịch vụ, du lịch …, ngày có tới hàng triệu ghi lưu trữ hệ thống Câu hỏi đặt làm với liệu ngày lớn Kho liệu khổng lồ có ích với doanh nghiệp, có ích với chiến lược kinh doanh Câu trả lời kho liệu ngày lớn “nguồn tài nguyên vô quý giá” kho liệu khổng lồ hữu ích cho việc phân tích kinh doanh, giúp cho người quản lý doanh nghiệp có định hướng kinh doanh tương lai Mặt khác kho liệu tiền đề hệ thống hỗ trợ định Đặc điểm hệ thống kinh doanh thông minh liệu phục vụ cho hoạt động kinh doanh lớn, nên yêu cầu hiệu vấn đề phải quan tâm Mặt khác để xây dựng hệ thống phải cần đến nhà thiết kế có kinh nghiệm giảm thiểu tối đa chi phí cho doanh nghiệp đáp ứng yêu cầu mà người quản lý đề Từ yêu cầu thức tế trên, đề tài luận văn “Nghiên cứu ảnh hưởng storage engine đến hiệu ứng dụng kho liệu” phần có câu trả lời cho vấn đề gặp phải nhà thiết kế ứng dụng kho liệu NỘI DUNG LUẬN VĂN Với kết hợp phần mềm mã nguồn mở MySQL Pentaho, kỹ thuật lưu trữ hàng cột MySQL giải pháp tốt để xây dựng ứng dụng kho liệu phục vụ cho việc kinh doanh định doanh nghiệp Mục tiêu phạm vi luận văn: Mục tiêu đề tài luận văn hướng đến - Nghiên cứu kiến trúc tổng quan hệ quản trị sở liệu MySQL Nghiên cứu kỹ thuật lưu trữ khác MySQL So sánh kỹ thuật lưu trữ MySQL Nghiên cứu kiến trúc tổng quan hệ Pentaho BI Cài đặt vận hành hệ Pentaho server So sánh hiệu kỹ thuật lưu trữ Pentaho KẾT LUẬN Trong trình thực nghiệm MySQL hệ thống Pentaho, kỹ thuật lưu trữ InfoBirgh có hiệu vượt trội so với kỹ thuật lưu trữ khác áp dụng hai môi trường MySQL Pentaho Đây hướng cho việc xây dựng ứng dụng kho liệu, giúp cho trình kinh doanh định doanh nghiệp Từ vấn đề nghiên cứu luận văn này, tương lai tiếp tục hướng nghiên cứu sâu rộng để có kết tốt hơn, đầy đủ cụ thể nhất, nhân rộng mô hình xây dựng kho ứng dụng liệu giúp cho trình kinh doanh định doanh nghiệp ... HỌC CÔNG NGHỆ NGUYỄN ĐỨC HẢI NGHIÊN CỨU ẢNH HƢỞNG CỦA STORAGE ENGINE ĐẾN HIỆU NĂNG CÁC ỨNG DỤNG KHO DỮ LIỆU Ngành: Công Nghệ Thông Tin Chuyên ngành: Hệ Thống Thông Tin Mã số: 60 48 50 LUẬN VĂN... So sánh hiệu với hàm thƣờng dùng kho liệu 54 ĐÁNH GIÁ TỔNG KẾT 60 TÀI LIỆU THAM KHẢO 61 NGHIÊN CỨU ẢNH HƯỞNG CỦA STORAGE ENGINE ĐẾN HIỆU NĂNG CÁC ỨNG DỤNG KHO DỮ LIỆU Học... dựng ứng dụng kho liệu phục vụ cho việc kinh doanh định doanh nghiệp Mục tiêu phạm vi luận văn: Mục tiêu đề tài luận văn hướng đến - Nghiên cứu kiến trúc tổng quan hệ quản trị sở liệu MySQL Nghiên