Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ

i ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN MINH PHÚC MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CƠ SỞ DỮ LIỆU TRÊN BỘ NHỚ Chuyên ngành: Khoa Học Máy Tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 ii LỜI CẢM ƠN Để hoàn thành luận văn này, bên cạnh nỗ lực thân, nhận nhiều giúp đỡ, động viên hướng dẫn thầy cô giáo, bạn bè, đồng nghiệp gia đình suốt khoá học thời gian nghiên cứu đề tài luận văn Tôi xin bày tỏ lòng biết ơn chân thành tới TS Lê Quang Minh, người tận tình hướng dẫn giúp đỡ trình nghiên cứu viết đề tài Tôi xin chân thành cảm ơn thầy cô Hội đồng cho lời nhận xét ý kiến đóng góp quý báu, giúp hoàn thiện luận văn Tôi xin cảm ơn tới thầy cô giáo giảng thú vị hữu ích; cảm ơn bạn bè đồng nghiệp cổ vũ tinh thần lớn lao; cảm ơn gia đình có trợ giúp mặt Đây đề tài liên quan đến lĩnh vực sở liệu nhớ, lĩnh vực mẻ Việt Nam Vì vậy, luận văn tránh khỏi thiếu sót hạn chế định Tôi mong nhận ý kiến đóng góp cá nhân, tổ chức quan tâm đến đề tài để đề tài hoàn thiện Xin chân thành cảm ơn! Thái Nguyên, 2015 iii MỤC LỤC LỜI CẢM ƠN .i MỤC LỤC iii DANH SÁCH HÌNH, ẢNH iv DANH SÁCH BẢNG v BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT v MỞ ĐẦU Chương KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU THỜI GIAN THỰC VÀ VẤN ĐỀ TRUY CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực 1.2 Vấn đề truy cập xử lý nhanh hệ thống sở liệu 1.3 Giải pháp sử dụng sở liệu nhớ 1.3.1 Giải pháp 1.3.2 Kiến trúc hệ thống sở liệu nhớ 12 1.3.3 Lợi sử dụng sở liệu nhớ 22 Chương MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ 26 2.1 Tổ chức cấu trúc mục sở liệu nhớ 26 2.2 Kỹ thuật truy cập T- Tree 30 2.3 Kỹ thuật khôi phục kiểm soát đồng thời sở liệu nhớ 38 2.3.1 Kỹ thuật khôi phục 38 2.3.2 Kiểm soát đồng thời 41 Chương 3: THỬ NGHIỆM CƠ SỞ DỮ LIỆU TRÊN BỘ NHỚ 53 3.1 Phát biểu toán 53 3.2 Lựa chọn giải pháp 53 3.2.1 Kết nối trực tiếp hay client/server? 54 3.2.2 Lựa chọn loại cache group sử dụng 55 3.2.3 Lựa chọn chế aging 57 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm 58 3.4 Kết thử nghiệm 62 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare 62 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating 64 iv KẾT LUẬN VÀ KIẾN NGHỊ 67 TÀI LIỆU THAM KHẢO 68 DANH SÁCH HÌNH, ẢNH Hình 1 Hội họp tương lai Hình Hệ thống thi trực tuyến Hình Cấu trúc phân đoạn 15 Hình Cấu trúc phân vùng quan hệ 16 Hình Quan hệ Thiết kế mục 19 Hình Ví dụ liên kết 21 Hình Các mục cấu trúc 27 Hình 2 Hàm băm dựa mục 29 Hình T- Tree 31 Hình Giá trị giới hạn Nút A 32 Hình Các phép tái cân T- Tree 36 Hình Các phép tái cân T Tree đặc biệt 37 Hình Cấu trúc khối kiểm soát khóa quan hệ 44 Hình Cấu trúc khối kiểm soát khóa giao dịch 49 Hình Mô hình CC trước sau áp dụng TimesTen 63 Hình Mô hình Rating trước sau áp dụng TimesTen 65 v DANH SÁCH BẢNG Bảng 1 Bảng thống kê thời gian xử lý ghi cước 59 Bảng Bảng lựa chọn TimesTen 60 Bảng Bảng lựa chọn tính TimesTen 61 Bảng Bảng so sánh response time TimesTen Oracle 63 Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen 65 BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Chi tiết Ý nghĩa ACID Atomicity, Consistency, Isolation, Tính nguyên tố, tính quán, tính tách biệt tính bền vững CSDL Durability Cơ sở liệu DBMS Database Management System Hệ quản trị sở liệu IMDB In-Memory Database Cơ sở liệu nhớ MMDB Main Memory Database Cơ sở liệu nhớ RDBMS Relational Database Management Hệ(thống) quản lý sở liệu quan hệ MỞ ĐẦU Đặt vấn đề Ngày nay, xu công nghệ thông tin toàn cầu phát triển mạng internet, giới kết nối không khoảng cách Như tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng Cơ sở liệu (CSDL) trực tuyến (online) phục vụ tức thời (real time) đáp ứng hàng triệu người dùng cuối khắp nơi Ðể đáp ứng xu này, điện toán đám mây (cloud mputing) mô hình công nghệ thông tin hứa hẹn Khác với mô hình tính toán lưới (Grid computing) yêu cầu thực thi có phép “đợi lúc CPU rảnh” Mô hình tính toán Clouds hoàn toàn khác, nhiều người dùng sử dụng tài nguyên để giao dịch đồng thời đảm bảo chất lượng dịch vụ tức thời lại phải thứ tự Hay nói cách khác, bắt buộc hệ thống phải xử lý đáp ứng thời gian thực cho hàng triệu giao dịch Vì vậy, vấn đề nỗi lo lắng cho hệ thống trực tuyến phát triển nhanh chóng, mà giải pháp xử lý song song không nhiều tác dụng Ví giao dịch ngân hàng trực tuyến, giao dịch chứng khoán, hệ thống chăm sóc khách hàng, hệ thống tính cước, mua hàng trực tuyến, kiểm soát phương tiện giao thông… Vì vậy, với hệ thống phải xử lý nhiều giao dịch với số lượng vô lớn mà đảm bảo thời gian thực có xu hướng cải tiến kỹ thuật cho CSDL xử lý song song, thay đổi kiến trúc CSDL, thay đổi chế hoạt động, sử dụng nhớ trong(In Memory) Trong luận văn tập trung nghiên cứu, tìm hiểu CSDL nhớ đảm giải toán cho hệ thống có số lượng giao dịch lớn đáp ứng truy vấn thời gian thực Thử nghiệm với hệ thống Oracle TimesTen để đưa đánh giá CSDL nhớ Vì vậy, “Một số kỹ thuật truy cập sở liệu nhớ” em chọn làm đề tài 2 Đối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: Một số kỹ thuật truy cập sở liệu nhớ - Phạm vi nghiên cứu:  Khái quát xử lý liệu thời gian thực, vấn đề truy cập xử lý nhanh hệ thống sở liệu, giải pháp xử dụng sở liệu nhớ  Các tổ chức mục sở liệu nhớ kỹ thuật khôi phục, kiểm soát đồng thời sở liệu nhớ  Mô hình áp dụng kết thực nghiệm Hướng nghiên cứu đề tài - Tìm hiểu xu hướng, tình hình nghiên cứu sở liệu nhớ, - Nghiên cứu kỹ thuật áp dụng Cơ sở liệu nhớ - Nghiên cứu ưu nhược điểm Cơ sở liệu nhớ - Tổng quát hóa lớp toán áp dụng, kiến trúc áp dụng Cơ sở liệu nhớ; Kết thử nghiệm - Đưa đề xuất, ý tưởng ứng dụng, cải tiến với CSDL nhớ Bố cục luận văn - Mở đầu - Chương Khái quát sở liệu thời gian thực vấn đề truy cập - Chương Một số kỹ thuật truy cập CSDL nhớ - Chương Thử nghiệm sở liệu nhớ - Kết luận Phương pháp nghiên cứu - Nghiên cứu lý thuyết: tìm hiểu lý thuyết Cơ sở liệu nhớ báo, diễn đàn tiếng, website thức công ty có sản phẩm giải pháp liên quan Cơ sở liệu nhớ - Thử nghiệm: tổng quát hóa loại toán áp dụng Cơ sở liệu nhớ, chọn lựa sản phẩm Cơ sở liệu nhớ hệ thống để áp dụng, rút kết Ý nghĩa khoa học đề tài - Ý nghĩa khoa học:  Khái quát Cơ sở liệu nhớ: khái niệm, mô hình kiến trúc, ưu nhược điểm  Phân tích kỹ thuật truy cập Cơ sở liệu nhớ - Ý nghĩa thực tiễn:  Tổng quát hóa lớp toán áp dụng Cơ sở liệu nhớ để tăng hiệu  Kết thử nghiệm Chương KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU THỜI GIAN THỰC VÀ VẤN ĐỀ TRUY CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực Cơ sở liệu (CSDL) truyền thống hình thành từ sớm có vai trò quan trọng ứng dựng thực tế Đặc điểm giao dịch CSDL truyền thống yêu cầu tính quán Điều thể việc lưu trữ liệu thống nhất, nghĩa tránh tình trạng trùng lặp thông tin có chế điều khiển truy xuất liệu hợp lý, tránh việc tranh chấp liệu bảo đảm liệu đắn thời điểm Thông thường thực giao dịch xử lý truy vấn CSDL cố gắng nhằm đạt số lượng lớn giao dịch thực thi thời gian đáp ứng nhanh Ngày nay, với phát triển công nghệ, việc đảm bảo tính chất giao dịch, giao dịch với số lượng lớn phải đảm bảo thời gian đáp ứng giao dịch, đảm bảo tính thời gian thực cho hệ thống Các lĩnh vực cần đáp ứng thời gian thực bao gồm sở hạ tầng mạng, viễn thông, thị trường tài chính, chứng khoán, hàng không, thương mại điện tử, doanh nghiệp với ứng dụng điển hệ thống điều khiển không lưu, giao dịch cổ phiếu chứng khoán, đặt chỗ máy bay, du lịch, hệ thống điều khiển robot, thi trực tuyến, hội họp trực tuyến Dưới số lĩnh vực có xu hướng giao dịch CSDL thời gian thực Trong lĩnh vực hoạt động doanh nghiệp, việc ứng dụng hệ quản trị CSDL (Database Management System - DBMS) quan trọng DBMS hệ thống phần mềm tạo điều kiện cho trình xác định, xây dựng, thao tác, chia sẻ CSDL người dùng khác ứng dụng Nó củng cố tất hoạt động ứng dụng doanh nghiệp hiệu suất ứng dụng doanh nghiệp phụ thuộc nhiều vào hiệu suất DBMS Khi hệ quản trị CSDL quan hệ đời hỗ trợ giao dịch hiệu tin cậy Nhưng khối lượng liệu lớn hơn, hệ quản trị CSDL quan hệ không hiệu phục vụ yêu cầu ứng dụng doanh nghiệp Đặc biệt thể xử lý giao dịch toàn CSDL cách kịp thời Lý mà hệ quản trị CSDL quan hệ thực truy vấn yêu cầu đủ nhanh liệu phải lấy từ đĩa cứng Hệ thống đại sử dụng rộng rãi nhớ đệm để lưu trữ liệu thường xuyên truy cập nhớ truy vấn xử lý lượng lớn liệu, đọc ổ đĩa yêu cầu Đơn giản cần truy cập đọc liệu từ đĩa cứng số lượng đáng kể thời gian Vì doanh nghiệp đòi hỏi phải có phương án thay để giảm chi phí thời gian xử lý hệ thống quản lý liệu đĩa cần thiết Hình 1.1 ví dụ đề xuất Bill Gates vào năm 1994, Information at the fingertips, ông hình dung tương lai mà thông tin có sẵn đâu Việc tham gia họp nhiều địa điểm khác nhau, tất trình duyệt, truy vấn, thao tác thông tin thời gian thực.( http://sapinsider.wispubs.com/Assets/Blogs/2010/June/Hasso- Plattner-on-In-Memory-Computing-OLAP-and-OLTP) Hình 1 Hội họp tương lai Trong lĩnh vực tài chính, cán kiểm soát tài người đặc biệt gặp khó khăn với khối lượng liệu ngày gia tăng Do thời gian trả lời liệu chậm, họ bị buộc phải giới hạn khung thời gian phân tích vài ngày thay vài thang hay vài quý Điều dẫn tới loạt chậm trễ, bao gồm việc đóng 55 - Đặc biệt phù hợp mô hình hệ thống tài nguyên server triển khai ứng dụng cho phép (vì mô hình TimesTen cài đặt máy vật lý với server triển khai ứng dụng) 3.2.2 Lựa chọn loại cache group sử dụng Khi sử dụng mô hình giữ lại CSDL Oracle truyền thống, ta sử dụng TimesTen IMDB Cache, phần liệu đưa lên TimesTen Khi đó, có tùy chọn để sử dụng đặc điểm IMDB Cache cho phù hợp Manual Automatic a/ Lựa chọn 1: Read-only cachegroup Trong read-only cache group, thay đổi với liệu thực Oracle , sau cập nhật xuống TimesTen Ứng dụng kết nối đến TimesTen để select liệu - Ưu điểm: Vẫn sử dụng CSDL Oracle làm chuẩn, đồng thời liệu cần tốc độ truy vấn nhanh đưa lên TimesTen - Nhược điểm: Có độ trễ định liệu thay đổi Oracle cập nhật lên TimesTen Chỉ cập nhật liệu Oracle Khi nên dùng: - Khi muốn dùng Oracle làm chuẩn, đưa số liệu cần truy vấn nhanh lên TimesTen - Không quan trọng độ trễ đồng liệu Oracle TimesTen 56 - Chỉ hệ thống cập nhật liệu, hệ thống khác select liệu b/ Lựa chọn 2: Asynchronous writethrough (AWT) cachegroup Những thay đổi với liệu cập nhật TimesTen, sau liệu tự động truyền(propagate) lên Oracle cached tables theo kiểu bất đồng (không kiểm soát liệu từ TT propagate lên Oracle) - Ưu điểm: Lấy TimesTen làm chuẩn, liệu cập nhật TimesTen (sau select) TimesTen lựa chọn thời điểm thích hợp để đồng liệu TimesTen xuống Oracle, không để việc đồng làm cao tải hệ thống - Nhược điểm: Không kiểm soát liệu từ TimesTen đồng xuống Oracle Khi nên dùng: - Muốn thao tác truy vấn liệu TimesTen - Không quan trọng liệu TimesTen cập nhật xuống Oracle - Không muốn việc đồng liệu ảnh hưởng đến hiệu hệ thống c/ Lựa chọn 3: Synchronous writethrough (SWT) cachegroup Những thay đổi lựa chọn TimesTen cache table tự động truyền tới Ocache cached tables theo kiểu đồng bộ, nghĩa là, có thay đổi với TT, câu lệnh thực Oracle trước, thành công thực TT - Ưu điểm: Lấy TimesTen làm chuẩn, liệu cập nhật TimesTen (sau select) Dữ liệu thay đổi TimesTen cập nhật xuống CSDL Oracle - Nhược điểm: Việc đồng tức thời liệu từ TimesTen xuống Oracle làm giảm hiệu hệ thống (vì có câu lệnh thay đổi liệu, TimesTen gửi thực câu lệnh Oracle trước, thành công thực thay đổi TimesTen) Khi nên dùng: - Muốn thao tác truy vấn liệu TimesTen 57 - Hệ thống yêu cầu liệu TimesTen hệ thống Oracle luôn phải giống d/ Lựa chọn 4: User managed cachegroup Cho phép người dùng tùy biến cho phù hợp với yêu cầu họ Nếu bảng muốn dùng kết hợp chế: kết hợp autorefresh SWT - Ưu điểm: Có thể đồng hai chiều TimesTen Oracle - Nhược điểm: Khó kiểm soát cập nhật Oracle, cập nhật TimesTen Đồng chiều từ TimesTen xuống Oracle làm ảnh hưởng đến hiệu giống chế SWT Khi nên dùng: - Cần thiết có tác động liệu với bảng TimesTen Oracle 3.2.3 Lựa chọn chế aging Cơ chế Data aging loại bỏ liệu bảng theo chế xác định Có thể định nghĩa aging policy cho nhiều bảng TimesTen Một aging policy gồm: loại aging, thuộc tính aging trạng thái aging (on off) TimesTen hỗ trợ hai loại aging policy: time-based usage-based Usagebased loại bỏ liệu sử dụng (LRU) Time-based loại bỏ liệu dựa tham số lifetime theo tần suất (cycle) cấu hình Một data store có chế này, bảng chọn chế a/ Lựa chọn 1: Usage-based data aging * Đặc điểm: - Cơ chế giúp tối ưu hóa nhớ lưu trữ liệu cách loại bỏ liệu sử dụng - Một dòng bảng coi không sử dụng không truy cập tham chiếu đến Một dòng truy cập tham chiếu tham số câu lệnh SELECT, UPDATE, DELETE - Ưu điểm: Loại bỏ liệu theo tài nguyên máy cài đặt TimesTen - Nhược điểm: Khó kiểm soát liệu bị xóa, có bất thường tài nguyên 58 Khi nên dùng: - Khi muốn loại bỏ liệu tham chiếu - Các ứng dụng không quan tâm đến thời gian liệu b/ Lựa chọn 2: Time-based data aging Cơ chế loại bỏ liệu cũ (theo định nghĩa) Khi muốn sử dụng loại aging này, bảng phải có cột có kiểu liệu date - Ưu điểm: Xác định rõ ràng liệu loại bỏ theo thời gian cấu hình - Nhược điểm: Không kiểm soát lượng tài nguyên sử dụng, liệu hay sử dụng bị xóa bị “cũ” theo cấu hình Khi nên dùng: - Các ứng dụng truy vấn liệu theo ngày, tháng * Các thông tin cách Cài đặt, cấu hình Oracle TimesTen xem thêm phần Phụ lục 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm Qua tham khảo em thấy hệ thống tính cước chăm sóc khác hàng nhà mạng triển khai ứng dụng phần mềm được, em chọn hệ thống Tính cước chăm sóc khách hàng viettel làm thử nghiệm Hiện nay, Tập đoàn Viettel có nhiều lĩnh vực hoạt động, cung cấp dịch vụ viễn thông lĩnh vực chủ chốt Để thực hoạt động kinh doanh này, phần mềm Tính cước Chăm sóc khách hàng (BCCS – Billing & CustomerCare System) tối quan trọng Hệ thống BCCS có nhiều phân hệ, đảm bảo tính cước khách hàng sử dụng dịch vụ, hệ thống hỗ trợ chăm sóc khách hàng Qua đánh giá phân hệ BCCS, nhận thấy hệ thống CustomerCare BCCSRating phù hợp cần thiết sử dụng TimesTen a/ Hệ thống CustomerCare * Mục tiêu hệ thống: Hệ thống CustomerCare giúp: - Điện thoại viên tra cứu giải đáp khách hàng 59 - Hỗ trợ tiếp nhận giải khiếu nại Do yêu cầu phần giải đáp khách hàng phải nhanh, giảm thời gian khách hàng chờ đợi Do vậy, hệ thống cần đảm bảo tính thuận tiện, truy vấn trả thông tin nhanh, thông tin đầy đủ cho việc tra cứu để trả lời khách hàng * Hiện trạng vấn đề: - Số lượt truy cập hàng ngày vào hệ thống (tương ứng vào CSDL) lên đến hàng triệu lượt, với chức hiển thị thông tin khách hàng lịch sử khiếu nại khách hàng nhiều - Nghiệp vụ mong muốn hiển thị nhiều lịch sử khiếu nại tốt, lượng liệu ngày lớn, số truy cập nhiều, nên đáp ứng hiển thị thông tin lịch sử khiếu nại ngày gần >> Nhu cầu phải tăng lượng liệu truy vấn, giảm thời gian truy vấn b/ Hệ thống BCCS_Rating: * Mục tiêu hệ thống: - Tính cước cho dịch vụ viễn thông mà Viettel Telecom cung cấp bao gồm Mobile, Homephone, ADSL, PSTN - Đáp ứng sách khai bao giá cước mềm dẻo, đáp ứng yêu cầu hiệu nghiệp vụ tính cước, số lượng ghi lớn, thời gian xử lý nhanh * Hiện trạng vấn đề: Hai module quan trọng yêu cầu hiệu cao hệ thống Rating Chuẩn hóa thông tin Tính cước Ứng với dòng file CDR đầu vào, hai module cần truy xuất liệu từ CSDL Dưới đo thời gian xử lý với ghi sử dụng CSDL Oracle: Bảng 1 Bảng thống kê thời gian xử lý ghi cước Chức Đầu vào Thời gian xử lý Thời gian mong muốn Chuẩn hóa file (20.000 ghi) 60.5 ms / ghi ms / ghi Tính cước file (20.000 ghi) 50.5 ms / ghi ms / ghi 60 >> Nhu cầu phải có giải pháp để đạt yêu cầu toán đặt Dưới đánh giá theo tiêu chí để lựa chọn sử dụng TimesTen tính tương ứng cho hai hệ thống trên: Bảng Bảng lựa chọn TimesTen Tiêu chí CustomerCare Đang sử dụng CSDL - Có BCCS_Rating - Có Oracle Có chức (có - Chức popup lịch sử - Tra cứu thông tin thuê truy cập CSDL) với khiếu nại tần xuất sử bao dụng - Chức tra cứu lịch sử - Tác động (cập nhật), truy nhiều, yêu cầu thời khiếu nại vấn tài khoản (khuyến mại, gian phản hồi (truy (chi tiết chương 4) tích lũy) vấn, thay đổi liệu) nhỏ Số lượng liệu lớn - Số lượng khiếu nại - Số lượng thuê bao trả sau làm cho việc thao tác tháng: khoảng triệu khiếu khoảng triệu (truy vấn, cập nhật) nại - Tương ứng số lượng tài liệu không đáp khoản (tối đa) triệu ứng yêu cầu thời gian phản hồi, yêu cầu hiệu Có chức có - Chức popup lịch sử - Tra cứu thông tin thuê khả gây cao tải khiếu nại CSDL Oracle bao - Chức tra cứu lịch sử - Tác động (cập nhật), truy khiếu nại vấn tài khoản (khuyến mại, tích lũy) Việc tốc độ chậm Đúng Đúng nguyên (đã ghi log theo dõi thời (đã ghi log theo dõi thời 61 nhân khác (ví dụ gian truy vấn liệu) gian truy vấn liệu) mã nguồn chưa tối ưu) mà nguyên nhân CSDL Có đủ tài nguyên để Server processor, GB Server 16GB, processor sử dụng TimesTen cho việc lưu trữ liệu (tương ứng hệ khiếu nại 15 ngày thống) Bảng Bảng lựa chọn tính TimesTen Tiêu chí Sử CustomerCare BCCS_Rating dụng - Sử dụng TimesTen - Sử dụng IMDB Cache: TimesTen CSDL riêng (gồm bảng đưa thông tin thuê bao CSDL riêng cho chức popup, tab thông tin tài khoản lên hay sử dụng LSKN áp dụng TimesTen) IMDB Cache? cache - Viết tiến trình đồng để đồng liệu từ Oracle TimesTen - Thay đổi liệu Oracle, truy vấn liệu từ TimesTen (Bản chất dùng IMDB Cache TimesTen không hỗ trợ charset vn8vn3) Kết nối trực tiếp - Kết nối trực tiếp - Kết nối trực tiếp hay client/server Lựa chọn loại - n/a - Read-only cache group cache group sử (bản chất read-only cache cho thông tin thuê bao dụng group) (đồng từ Oracle lên 62 TimesTen, thay đổi Oracle, select từ TimesTen) - AWT cachegroup cho thông tin tài khoản (sửa đổi truy vấn TimesTen, đồng xuống Oracle để lưu trữ) Lựa chọn thuộc - n/a - Explicitly loaded tính cachegroup - passthrough = Lựa chọn chế - Time-based data aging - n/a aging (2 chức popup tab LSKN cần liệu số ngày gần nhất) 3.4 Kết thử nghiệm 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare * Đề xuất giải pháp Dưới mô hình tổng quan CC sau áp dụng TimesTen: Hệ thống CC sử dụng TimesTen để lưu trữ thông tin Lịch sử khiếu nại KH Hệ thống truy vấn thông tin TimesTen Việc insert, update, delete thông tin thực Oracle DB thông thường 63 Trước Sau Physical machine Hình Mô hình CC trước sau áp dụng TimesTen * Kết đạt được: Dưới kết so sánh response time chức popup ứng dụng CC sử dụng Oracle TimesTen Kết response time trung bình thuê bao kiểm tra, kết dựa log ngày Bảng Bảng so sánh response time TimesTen Oracle Chức Popup LSKN Response time Response time TimesTen Oracle - TB: 20.775ms Tab Lịch sử - TB: 35.3 ms khiếu nại Chi phí - TB: 42.09ms - server: CPU, GB - TB: 60.6 ms RAM (30% cpu, 4-5 - Cao: 0.7 s (tra - Cao: 5.6s (7 ngày) GB ram cho TimesTen) cứu 30 ngày) - Lập trình: sửa code 1.9s (2 ngày) CC (3 MD), viết tool đồng (3 MD) - Cài đặt, cấu hình TimesTen: MD 64 * Nhận xét: Tốc độ chức popup sau sử dụng TimesTen tăng khoảng 35% Hiện ngày có khoảng 700.000 kết nối lên tổng đài thành công (gặp ĐTV), tương ứng 700.000 lượt sử dụng chức popup LSKN, chiếm khoảng 20-30% việc sử dụng chức khác hệ thống CC (tìm kiếm khiếu nại, tra cứu thông tin, xử lý khiếu nại,…) Với chức Tap LSKN: hệ thống CC gặp tượng chậm, đáp ứng giới hạn ngày tìm kiếm khiếu nại mặc định 7, phải để ngày Khi triển khai thử nghiệm link CC chạy với thời gian tra cứu mặc định 15 ngày Đang thực theo dõi hệ thống đảm bảo ổn định trước triển khai mở rộng cho toàn hệ thống CC Giảm tải cho CSDL Oracle, lượng lớn kết nối chức popup LSKN chuyển sang CSDL TimesTen Bản thân CSDL TimesTen giảm tải thời gian response time với truy vấn tới nhỏ 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating Đề xuất giải pháp: Hệ thống Rating sử dụng TimesTen theo hai mô hình: - Thông tin thuê bao: đồng từ OracleDB, ứng dụng cần thông tin truy vấn từ TimesTen - Thông tin tài khoản: việc cập nhật lưu lượng miễn phí tài khoản khuyến mại thực TimesTen, sau đồng xuống CSDL Oracle 65 Trước Sau Physical machine Hình Mô hình Rating trước sau áp dụng TimesTen * Kết đạt được: Dưới kết so sánh thời gian xử lý ghi cước hệ thống Rating trước sau sử dụng TimesTen Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen Chức Thời gian xử lý Thời gian xử lý TimesTen Oracle Chi phí Chuẩn hóa 6.25 ms / ghi 60.5 ms / ghi - server: CPU, 4GB Tính cước 5.75 ms / ghi 50.5 ms / ghi RAM - Lập trình: xây dựng hệ thống - Cài đặt, cấu hình TimesTen: MD 66 Kết cho thấy sử dụng TimesTen đáp ứng yêu cầu hiệu hệ thống Như vậy, Chương đưa thông tin để áp dụng thử nghiệm sản phẩm IMDB vào hệ thống phần mềm Xuất phát từ việc khái quát hóa lĩnh vực, toán sử dụng IMDB, lựa chọn sản phẩm IMDB Oracle TimesTen thử nghiệm vào hai hệ thống phần mềm nơi làm việc Kết thử nghiệm thực khả quan IMDB giúp cải thiện rõ rệt hiệu ứng dụng, đồng thời giảm tải cho CSDL tại, mà chi phí đầu tư không cao Từ cho thấy, giải pháp Cơ sở liệu nhớ thực hiệu 67 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận CSDL nhớ lĩnh vực khó Tại Việt Nam việc áp dụng công nghệ chưa nhiều, việc tìm hiểu, phát triển ứng dụng điều cần thiết Ðặc biệt bối cảnh điện toán đám mây đời, ứng dụng có sẵn đâu cho người dùng cuối Yêu cầu người dùng thời gian đáp ứng giao dịch phải nhanh, thời gian thực Ðể giải vấn dề giải pháp CSDL nhớ tối ưu Luận văn trình bày hệ thống phải xử lý lượng giao dịch lớn mà thời gian đáp ứng đòi hỏi nhanh(thời gian thực); đưa giải pháp áp dụng CSDL nhớ; đưa ưu nhược điểm CSDL nhớ lợi sử dụng Trọng tâm luận văn tìm hiểu kiến trúc, cấu trúc mục, xử lý truy vấn, khôi phục kiểm soát đồng thời IMDB; cấu trúc điển hình gắn với IMDB T-Tree Phần cuối luận văn đưa lớp toán áp dụng IMDB, mô hình hệ thống sau áp dụng, lựa chọn hệ thống để áp dụng thử nghiệm đưa kết thử nghiệm Những kiến thức kết thử nghiệm IMDB cho thấy hiệu giải pháp IMDB áp dụng cho hệ thống cần hiệu cao sở liệu, với số lượng truy cập lớn yêu cầu thời gian phản hồi nhỏ Kiến nghị Qua đây, đề xuất việc hệ thống tổ chức nhiều buổi hội thảo liên quan, với thành phần tham dự công ty làm phần mềm có nhu cầu cải tiến hiệu hệ thống liên quan Cơ sở liệu Đồng thời, có diễn đàn thảo luận sâu IMDB, giúp cho cộng đồng phần mềm nhìn nhận đánh giá IMDB nhằm áp dụng có nhu cầu, tăng hiệu cho phần mềm, tăng thêm uy tín lợi nhuận cho công ty doanh nghiệp, cao cho đất nước 68 TÀI LIỆU THAM KHẢO Tiếng Việt Đỗ Trung Tuấn (2004), Cơ sở liệu, NXB Đại học quốc gia Hà Nội Nguyễn Văn Huân (2009), Giáo trình hệ sở liệu phân tán suy diễn, NXB Khoa học kỹ thuật Trần Quốc Chiến (2007), Giáo trình sở liệu nâng cao, ĐHSP- Đại học Đà Nẵng Khánh Hà (2012), Giải pháp Công nghệ nhớ trong, xuất nhanh, http://www.sbv.gov.vn, ngày 05/8/2012 Mai Phương (2011), IMDS cho đòi hỏi truy http://www.pcworld.com.vn, ngày 13/2/2012 Hoàng Xa (4.2009), “Các loại trình ứng dụng Cơ sở liệu”, Tạp chí CNTT & TT, Kỳ 2, tr 16 - 17 Tiếng Anh Adina costea, Main Memory Database Systems, e-paper Hector Garcia, Kenneth Salem, Main Memory Database System, e-paper Oracle (2010), TimesTen Introduction, e-book 10 Oracle (2010), TimesTen Installation guide, e-book 11 Oracle (2010), TimesTen Operation guide, e-book 12 Oracle (2010), TimesTen Cache Guide, e-book 13 Oracle (2010), TimesTen to TimesTen Replication, e-book 14 Oracle (2010), Java Developer guide, e-book 15 I BM software, IBM solidDB, e-book 16 IBM software, IBM solidDB Universal Cache, ebook 17 A.Ammann, M.Harahan and R.Krishnamurthy (February 1985), Memory Resident DBMS, Proc IEEE COMPCON, San Franci 18 C Ammann, M B Hanrahan, R.Krishnamurthy ( 1985) , Desigresident DBMS, in Proc IEEE COMPCOM Conj 69 19 Aho, J Hopcroft and J D Ullman (1974), The Design and Computer Algorithm, Addison-Wesley Pulishing Company 20 B R Badrinath and K Ramamritham (March 1992.), “SeConcurrency Control: Beyond Commutativity”, ACM TransaDatabase Systems, 17(1) 21 C.J Date (1985), An Introduction to Database Systems, AddisioD.Comer (June 1979), The Ubiquitous B Tree, Computing SurveD J De Witt, R Katz, F Olken, L Shapiro, M Stonebraker 22 (June 1984), Implemententation Techniques for Main MemSystems, Proc ACM SIGMOD Conf, 1-8 23 D Knut (1973), The Art of Computer Programming, AddisoReading, Mass 24 IBM (1979), IMS Version Release 1.5 Fast Path Feature DescripDesign Guide, IBM World Trade System Centers (G320-5775) 25 IBM (1984), Guide to IMS/VS V1 R3 Data Entry Database (DEDIBM International Systems Centers (GG24-1633-0) [...]... CSDL trong bộ nhớ 26 Chương 2 MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ 2.1 Tổ chức cấu trúc chỉ mục trong cơ sở dữ liệu trên bộ nhớ Các cấu trúc chỉ mục thiết kế cho bộ nhớ chính là khác so với những thiết kế cho các hệ thống dựa trên ổ đĩa Mục tiêu chính cho một cấu trúc chỉ mục hướng ổ đĩa là tối thiểu hóa số truy cập ổ đĩa và tối thiểu hóa không gian ổ đĩa Một cấu trúc chỉ mục hướng bộ nhớ. .. thống cơ sở dữ liệu trong bộ nhớ Hệ thống CSDL thường trú bộ nhớ chính không yêu cầu quản lý bộ nhớ đệm, do đó các quan hệ trong hệ thống CSDL thường trú bộ nhớ chính có thể được neo đậu tại các vị trí cố định ở bộ nhớ trong suốt thời gian tồn tại của chúng Ngoại trừ trong các trường hợp mà các quan hệ trải qua sự phát triển liên tục và sự giảm sút trong một số lượng lớn, các bản ghi dữ liệu sẽ ở lại trong. .. mô tả như là một mô hình DBMS mới giúp tăng tốc độ lưu trữ, truy xuất và phân loại thông tin bằng cách lưu giữ tất cả dữ liệu trong bộ nhớ chính Khi IMDB chưa xuất hiện, DBMS đã dùng bộ nhớ đệm để giữ các bản ghi được cập nhật thường xuyên trong RAM giúp truy xuất nhanh Ngoài ra, một số DBMS truy n thống khác có bảng bộ nhớ để giữ các tập dữ liệu trong bộ nhớ Đôi khi, DBMS được triển khai trên đĩa RAM... thể truy cập dữ liệu đồng thời với thời gian phản hồi xác định và các giao dịch diễn ra nhanh theo thời gian thực 9 Tổ chức hợp lý hóa việc quản lý dữ liệu, gỡ bỏ các lớp dữ thừa đặc thù trong các hệ quản trị dữ liệu DBMS trên ổ đĩa Các giải thuật tìm kiếm trong truy cập vào bộ nhớ được tối ưu hóa Trong biên dịch tìm kiếm, IMDB trỏ trực tiếp vào vùng bộ nhớ của các yếu tố dữ liệu Đảm bảo việc truy. .. được chứa trong bộ nhớ chính, do đó không có các truy cập ổ đĩa để tối thiểu hóa Vì thế mục tiêu chính của một cấu trúc chỉ mục bộ nhớ chính là giảm tổng thể thời gian tính toán trong khi sử dụng bộ nhớ ít nhất có thể Có nhiều cấu trúc dữ liệu có sẵn để xem xét như các cấu trúc chỉ mục bộ nhớ chính Có hai loại chính: Những cấu trúc mà bảo toàn sắp xếp dữ liệu và những cấu trúc mà ngẫu nhiên dữ liệu Những... trên đĩa RAM (RAM disk - bộ nhớ RAM giả lập thành ổ đĩa cứng, khi mất nguồn điện, toàn bộ dữ liệu trên RAM disk sẽ mất) và gần đây là ổ đĩa SSD IMDB là hệ quản trị CSDL lưu trữ toàn bộ dữ liệu trong bộ nhớ chính nên giúp cho việc ghi/đọc trong hệ thống tập tin nhanh hơn nhiều Quan điểm trong thiết kế của IMDB là bộ nhớ ngang bằng với không gian lưu trữ vì hiệu quả sử dụng bộ nhớ là tối quan trọng Ưu... các bản ghi dữ liệu sắp xếp trong một tổ chức phi cụm sẽ làm cho thủ tục checkpoint quá phức tạp Mọi đối tượng CSDL (quan hệ, chỉ mục, hoặc cấu trúc dữ liệu hệ thống) được lưu trữ trong phân đoạn logic của chúng Các phân đoạn bao gồm các phân 15 vùng có kích thước cố định, đó là cấp phát đơn vị bộ nhớ cho bộ nhớ cơ sở ánh xạ phần cứng Các phân vùng đại diện cho một đơn vị đầy đủ của bộ nhớ; các thực... mảnh quá nhiều bộ nhớ trong hoặc có thể gây ra quá nhiều dữ liệu sạch phải ghi trong một hoạt động checkpoint Mặt khác, một kích thước phân vùng nhỏ có thể gây nên một số lượng lớn của phân vùng cần cho một đối tượng, do đó tạo ra nhiều không gian không cần thiết cho các mục mà giữ thông tin phân vùng và cho bộ nhớ cơ sở ánh xạ phần cứng a) Phân đoạn mới được chèn b) Phân đoạn sau hoạt động cập nhật Hình... con trỏ trỏ tới dữ liệu là nhỏ, vì các nút lá giữ duy nhất các phần tử dữ liệu và chúng bao gồm một tỉ lệ phần trăm lớn của cây); tìm kiếm là khá nhanh (một số ít các nút được tìm với một tìm kiếm nhị phân); và cập nhật là nhanh (sự dịch chuyển dữ liệu liên quan đến chỉ một nút) Hình 2 1 Các chỉ mục được cấu trúc cây 28 Chained Buket Hashing là một cấu trúc tĩnh sử dụng trong cả bộ nhớ và ổ đĩa Nó... khả năng di chuyển dữ liệu trong nút nội bộ 31 Hình 2 3 T- Tree Có ba kiểu T Node khác nhau Một T- Node mà có hai cây con được gọi là một nút nội bộ Một T -Node mà có một con trỏ con rỗng và một con trỏ con không rỗng được gọi là nút nửa lá Một T- Node mà có hai con trỏ con rỗng được gọi là một nút lá Đối với mỗi nút nội bộ A có một lá tướng ứng (hoặc nửa lá) mà chứa giá trị dữ liệu đó là phần tử