Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)

Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)Một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ (LV thạc sĩ)

i ĐẠI HỌC THÁI NGUYÊN N T N T N V TRU ỀN T ỌC C N N U NM N P N C MỘT SỐ KỸ T UẬT TRU CẬP TRON CƠ SỞ DỮ L U TRÊN BỘ N Ớ Chuyên ngành: Khoa Học Máy Tính Mã số: 60 48 01 01 LUẬN VĂN T C SĨ K OA ỌC MÁ TÍN Thái Nguyên - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii LỜ CẢM ƠN Để hoàn thành luận văn này, bên cạnh nỗ lực thân, nhận đƣợc nhiều giúp đỡ, động viên hƣớng dẫn thầy cô giáo, bạn bè, đồng nghiệp gia đình suốt khoá học nhƣ thời gian nghiên cứu đề tài luận văn Tôi xin bày tỏ lòng biết ơn chân thành tới TS Lê Quang Minh, ngƣời tận tình hƣớng dẫn giúp đỡ trình nghiên cứu viết đề tài Tôi xin chân thành cảm ơn thầy cô Hội đồng cho lời nhận xét nhƣ ý kiến đóng góp quý báu, giúp hoàn thiện luận văn Tôi xin cảm ơn tới thầy cô giáo giảng thú vị hữu ích; cảm ơn bạn bè đồng nghiệp cổ vũ tinh thần lớn lao; cảm ơn gia đình có trợ giúp mặt Đây đề tài liên quan đến lĩnh vực sở liệu nhớ, lĩnh vực mẻ Việt Nam Vì vậy, luận văn tránh khỏi thiếu sót hạn chế định Tôi mong nhận đƣợc ý kiến đóng góp cá nhân, tổ chức quan tâm đến đề tài để đề tài đƣợc hoàn thiện Xin chân thành cảm ơn! Thái Nguyên, 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI CẢM ƠN i MỤC LỤC iii DANH SÁCH HÌNH, ẢNH iv DANH SÁCH BẢNG v BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT v MỞ ĐẦU Chƣơng KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU THỜI GIAN THỰC VÀ VẤN ĐỀ TRUY CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực 1.2 Vấn đề truy cập xử lý nhanh hệ thống sở liệu 1.3 Giải pháp sử dụng sở liệu nhớ 1.3.1 Giải pháp 1.3.2 Kiến trúc hệ thống sở liệu nhớ 12 1.3.3 Lợi sử dụng sở liệu nhớ 22 Chƣơng MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ 26 2.1 Tổ chức cấu trúc mục sở liệu nhớ 26 2.2 Kỹ thuật truy cập T- Tree 30 2.3 Kỹ thuật khôi phục kiểm soát đồng thời sở liệu nhớ 38 2.3.1 Kỹ thuật khôi phục 38 2.3.2 Kiểm soát đồng thời 41 Chƣơng 3: THỬ NGHIỆM CƠ SỞ DỮ LIỆU TRÊN BỘ NHỚ 53 3.1 Phát biểu toán 53 3.2 Lựa chọn giải pháp 53 3.2.1 Kết nối trực tiếp hay client/server? 54 3.2.2 Lựa chọn loại cache group sử dụng 55 3.2.3 Lựa chọn chế aging 57 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm 58 3.4 Kết thử nghiệm 62 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare 62 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating 64 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv KẾT LUẬN VÀ KIẾN NGHỊ 67 TÀI LIỆU THAM KHẢO 68 DANH SÁCH HÌNH, ẢN Hình 1 Hội họp tƣơng lai Hình Hệ thống thi trực tuyến Hình Cấu trúc phân đoạn 15 Hình Cấu trúc phân vùng quan hệ 16 Hình Quan hệ Thiết kế mục 19 Hình Ví dụ liên kết 21 Hình Các mục đƣợc cấu trúc 27 Hình 2 Hàm băm dựa mục 29 Hình T- Tree 31 Hình Giá trị giới hạn Nút A 32 Hình Các phép tái cân T- Tree 36 Hình Các phép tái cân T Tree đặc biệt 37 Hình Cấu trúc khối kiểm soát khóa quan hệ 44 Hình Cấu trúc khối kiểm soát khóa giao dịch 49 Hình Mô hình CC trƣớc sau áp dụng TimesTen 63 Hình Mô hình Rating trƣớc sau áp dụng TimesTen 65 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v DAN SÁC BẢN Bảng 1 Bảng thống kê thời gian xử lý ghi cƣớc 59 Bảng Bảng lựa chọn TimesTen 60 Bảng Bảng lựa chọn tính TimesTen 61 Bảng Bảng so sánh response time TimesTen Oracle 63 Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen 65 BẢN DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Chi tiết Ý nghĩa ACID Atomicity, Consistency, Isolation, Tính nguyên tố, tính quán, tính tách biệt tính bền vững CSDL Durability Cơ sở liệu DBMS Database Management System Isolation, Durability Hệtính quản cơtính sở liệu côtrị lập, bền IMDB In-Memory Database Cơ sở liệu nhớ MMDB Main Memory Database Cơ sở liệu nhớ RDBMS Relational Database Management Hệ(thống) quản lý sở liệu quan hệ Management System Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỞ ẦU ặt vấn đề Ngày nay, xu công nghệ thông tin toàn cầu nhƣ phát triển mạng internet, giới đƣợc kết nối không khoảng cách Nhƣ tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng Cơ sở liệu (CSDL) trực tuyến (online) phục vụ tức thời (real time) đáp ứng hàng triệu ngƣời dùng cuối khắp nơi Ðể đáp ứng xu này, điện toán đám mây (cloud mputing) mô hình công nghệ thông tin hứa hẹn Khác với mô hình tính toán lƣới (Grid computing) yêu cầu thực thi có đƣợc phép “đợi lúc CPU rảnh” Mô hình tính toán Clouds hoàn toàn khác, nhiều ngƣời dùng đƣợc sử dụng tài nguyên để giao dịch đồng thời đảm bảo chất lƣợng dịch vụ tức thời nhƣng lại phải thứ tự Hay nói cách khác, bắt buộc hệ thống phải xử lý đáp ứng thời gian thực cho hàng triệu giao dịch Vì vậy, vấn đề nỗi lo lắng cho hệ thống trực tuyến phát triển nhanh chóng, mà giải pháp xử lý song song không nhiều tác dụng Ví nhƣ giao dịch ngân hàng trực tuyến, giao dịch chứng khoán, hệ thống chăm sóc khách hàng, hệ thống tính cƣớc, mua hàng trực tuyến, kiểm soát phƣơng tiện giao thông… Vì vậy, với hệ thống phải xử lý nhiều giao dịch với số lƣợng vô lớn mà đảm bảo thời gian thực có xu hƣớng cải tiến kỹ thuật cho CSDL xử lý song song, thay đổi kiến trúc CSDL, thay đổi chế hoạt động, sử dụng nhớ trong(In Memory) Trong luận văn tập trung nghiên cứu, tìm hiểu CSDL nhớ đảm giải toán cho hệ thống có số lƣợng giao dịch lớn đáp ứng truy vấn thời gian thực Thử nghiệm với hệ thống Oracle TimesTen để đƣa đánh giá CSDL nhớ Vì vậy, “Một số kỹ thuật truy cập sở liệu nhớ” đƣợc em chọn làm đề tài Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 2 ối tƣợng phạm vi nghiên cứu - Đối tƣợng nghiên cứu: Một số kỹ thuật truy cập sở liệu nhớ - Phạm vi nghiên cứu:  Khái quát xử lý liệu thời gian thực, vấn đề truy cập xử lý nhanh hệ thống sở liệu, giải pháp xử dụng sở liệu nhớ  Các tổ chức mục sở liệu nhớ kỹ thuật khôi phục, kiểm soát đồng thời sở liệu nhớ  Mô hình áp dụng kết thực nghiệm ƣớng nghiên cứu đề tài - Tìm hiểu xu hƣớng, tình hình nghiên cứu sở liệu nhớ, - Nghiên cứu kỹ thuật đƣợc áp dụng Cơ sở liệu nhớ - Nghiên cứu ƣu nhƣợc điểm Cơ sở liệu nhớ - Tổng quát hóa lớp toán áp dụng, kiến trúc áp dụng Cơ sở liệu nhớ; Kết thử nghiệm - Đƣa đề xuất, ý tƣởng ứng dụng, cải tiến với CSDL nhớ Bố cục luận văn - Mở đầu - Chƣơng Khái quát sở liệu thời gian thực vấn đề truy cập - Chƣơng Một số kỹ thuật truy cập CSDL nhớ - Chƣơng Thử nghiệm sở liệu nhớ - Kết luận Phƣơng pháp nghiên cứu - Nghiên cứu lý thuyết: tìm hiểu lý thuyết Cơ sở liệu nhớ báo, diễn đàn tiếng, website thức công ty có sản phẩm giải pháp liên quan Cơ sở liệu nhớ - Thử nghiệm: tổng quát hóa loại toán áp dụng Cơ sở liệu nhớ, chọn lựa sản phẩm Cơ sở liệu nhớ hệ thống để áp dụng, rút kết Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Ý nghĩa khoa học đề tài - Ý nghĩa khoa học:  Khái quát Cơ sở liệu nhớ: khái niệm, mô hình kiến trúc, ƣu nhƣợc điểm  Phân tích kỹ thuật truy cập Cơ sở liệu nhớ - Ý nghĩa thực tiễn:  Tổng quát hóa lớp toán áp dụng Cơ sở liệu nhớ để tăng hiệu  Kết thử nghiệm Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Chƣơng K Á QUÁT VỀ CƠ SỞ DỮ L UT Ờ AN T ỰC V VẤN Ề TRU CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực Cơ sở liệu (CSDL) truyền thống hình thành từ sớm có vai trò quan trọng ứng dựng thực tế Đặc điểm giao dịch CSDL truyền thống yêu cầu tính quán Điều thể việc lƣu trữ liệu thống nhất, nghĩa tránh đƣợc tình trạng trùng lặp thông tin có chế điều khiển truy xuất liệu hợp lý, tránh đƣợc việc tranh chấp liệu bảo đảm liệu đắn thời điểm Thông thƣờng thực giao dịch xử lý truy vấn CSDL cố gắng nhằm đạt đƣợc số lƣợng lớn giao dịch đƣợc thực thi thời gian đáp ứng nhanh Ngày nay, với phát triển công nghệ, việc đảm bảo tính chất giao dịch, giao dịch với số lƣợng lớn phải đảm bảo đƣợc thời gian đáp ứng giao dịch, đảm bảo tính thời gian thực cho hệ thống Các lĩnh vực cần đáp ứng thời gian thực bao gồm sở hạ tầng mạng, viễn thông, thị trƣờng tài chính, chứng khoán, hàng không, thƣơng mại điện tử, doanh nghiệp với ứng dụng điển hình nhƣ hệ thống điều khiển không lƣu, giao dịch cổ phiếu chứng khoán, đặt chỗ máy bay, du lịch, hệ thống điều khiển robot, thi trực tuyến, hội họp trực tuyến Dƣới số lĩnh vực có xu hƣớng giao dịch CSDL thời gian thực Trong lĩnh vực hoạt động doanh nghiệp, việc ứng dụng hệ quản trị CSDL (Database Management System - DBMS) quan trọng DBMS hệ thống phần mềm tạo điều kiện cho trình xác định, xây dựng, thao tác, chia sẻ CSDL ngƣời dùng khác ứng dụng Nó củng cố tất hoạt động ứng dụng doanh nghiệp hiệu suất ứng dụng doanh nghiệp phụ thuộc nhiều vào hiệu suất DBMS Khi hệ quản trị CSDL quan hệ đời hỗ trợ giao dịch hiệu tin cậy Nhƣng khối lƣợng liệu lớn hơn, hệ quản trị CSDL quan hệ không hiệu phục vụ yêu cầu ứng dụng doanh nghiệp Đặc biệt thể xử lý Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn giao dịch toàn CSDL cách kịp thời Lý mà hệ quản trị CSDL quan hệ thực truy vấn yêu cầu đủ nhanh liệu phải đƣợc lấy từ đĩa cứng Hệ thống đại sử dụng rộng rãi nhớ đệm để lƣu trữ liệu thƣờng xuyên truy cập nhớ nhƣng truy vấn xử lý lƣợng lớn liệu, đọc ổ đĩa đƣợc yêu cầu Đơn giản cần truy cập đọc liệu từ đĩa cứng số lƣợng đáng kể thời gian Vì doanh nghiệp đòi hỏi phải có phƣơng án thay để giảm chi phí thời gian xử lý hệ thống quản lý liệu đĩa cần thiết Hình 1.1 ví dụ đề xuất Bill Gates vào năm 1994, Information at the fingertips, ông hình dung tƣơng lai mà thông tin có sẵn đâu Việc tham gia họp nhiều địa điểm khác nhau, tất trình duyệt, truy vấn, thao tác thông tin thời gian thực.( http://sapinsider.wispubs.com/Assets/Blogs/2010/June/Hasso- Plattner-on-In-Memory-Computing-OLAP-and-OLTP) Hình 1 ội họp tƣơng lai Trong lĩnh vực tài chính, cán kiểm soát tài ngƣời đặc biệt gặp khó khăn với khối lƣợng liệu ngày gia tăng Do thời gian trả lời liệu chậm, họ bị buộc phải giới hạn khung thời gian phân tích vài ngày thay vài thang hay vài quý Điều dẫn tới loạt chậm trễ, bao gồm việc đóng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 - Đặc biệt phù hợp mô hình hệ thống tài nguyên server triển khai ứng dụng cho phép (vì mô hình TimesTen cài đặt máy vật lý với server triển khai ứng dụng) 3.2.2 Lựa chọn loại cache group sử dụng Khi sử dụng mô hình giữ lại CSDL Oracle truyền thống, ta sử dụng TimesTen IMDB Cache, phần liệu đƣợc đƣa lên TimesTen Khi đó, có tùy chọn để sử dụng đặc điểm IMDB Cache cho phù hợp Manual Automatic a/ Lựa chọn 1: Read-only cachegroup Trong read-only cache group, thay đổi với liệu đƣợc thực Oracle , sau đƣợc cập nhật xuống TimesTen Ứng dụng kết nối đến TimesTen để select liệu - Ƣu điểm: Vẫn sử dụng CSDL Oracle làm chuẩn, đồng thời liệu cần tốc độ truy vấn nhanh đƣợc đƣa lên TimesTen - Nhƣợc điểm: Có độ trễ định liệu thay đổi Oracle đƣợc cập nhật lên TimesTen Chỉ đƣợc cập nhật liệu Oracle Khi nên dùng: - Khi muốn dùng Oracle làm chuẩn, đƣa số liệu cần truy vấn nhanh lên TimesTen - Không quan trọng độ trễ đồng liệu Oracle TimesTen Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 - Chỉ hệ thống đƣợc cập nhật liệu, hệ thống khác select liệu b/ Lựa chọn 2: Asynchronous writethrough (AWT) cachegroup Những thay đổi với liệu đƣợc cập nhật TimesTen, sau liệu đƣợc tự động truyền(propagate) lên Oracle cached tables theo kiểu bất đồng (không kiểm soát đƣợc liệu từ TT đƣợc propagate lên Oracle) - Ƣu điểm: Lấy TimesTen làm chuẩn, liệu đƣợc cập nhật TimesTen (sau đƣợc select) TimesTen lựa chọn thời điểm thích hợp để đồng liệu TimesTen xuống Oracle, không để việc đồng làm cao tải hệ thống - Nhƣợc điểm: Không kiểm soát đƣợc liệu từ TimesTen đƣợc đồng xuống Oracle Khi nên dùng: - Muốn thao tác truy vấn liệu TimesTen - Không quan trọng liệu TimesTen đƣợc cập nhật xuống Oracle - Không muốn việc đồng liệu ảnh hƣởng đến hiệu hệ thống c/ Lựa chọn 3: Synchronous writethrough (SWT) cachegroup Những thay đổi đƣợc lựa chọn TimesTen cache table đƣợc tự động truyền tới Ocache cached tables theo kiểu đồng bộ, nghĩa là, có thay đổi với TT, câu lệnh thực Oracle trƣớc, thành công đƣợc thực TT - Ƣu điểm: Lấy TimesTen làm chuẩn, liệu đƣợc cập nhật TimesTen (sau đƣợc select) Dữ liệu thay đổi TimesTen đƣợc cập nhật xuống CSDL Oracle - Nhƣợc điểm: Việc đồng tức thời liệu từ TimesTen xuống Oracle làm giảm hiệu hệ thống (vì có câu lệnh thay đổi liệu, TimesTen gửi thực câu lệnh Oracle trƣớc, thành công thực thay đổi TimesTen) Khi nên dùng: - Muốn thao tác truy vấn liệu TimesTen Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 57 - Hệ thống yêu cầu liệu TimesTen hệ thống Oracle luôn phải giống d/ Lựa chọn 4: User managed cachegroup Cho phép ngƣời dùng tùy biến cho phù hợp với yêu cầu họ Nếu bảng muốn dùng kết hợp chế: kết hợp đƣợc autorefresh SWT - Ƣu điểm: Có thể đồng hai chiều TimesTen Oracle - Nhƣợc điểm: Khó kiểm soát cập nhật Oracle, cập nhật TimesTen Đồng chiều từ TimesTen xuống Oracle làm ảnh hƣởng đến hiệu giống chế SWT Khi nên dùng: - Cần thiết có tác động liệu với bảng TimesTen Oracle 3.2.3 Lựa chọn chế aging Cơ chế Data aging loại bỏ liệu bảng theo chế xác định Có thể định nghĩa aging policy cho nhiều bảng TimesTen Một aging policy gồm: loại aging, thuộc tính aging trạng thái aging (on off) TimesTen hỗ trợ hai loại aging policy: time-based usage-based Usagebased loại bỏ liệu đƣợc sử dụng (LRU) Time-based loại bỏ liệu dựa tham số lifetime theo tần suất (cycle) cấu hình Một data store có chế này, nhƣng bảng chọn chế a/ Lựa chọn 1: Usage-based data aging * Đặc điểm: - Cơ chế giúp tối ƣu hóa nhớ lƣu trữ liệu cách loại bỏ liệu đƣợc sử dụng - Một dòng bảng đƣợc coi không đƣợc sử dụng không đƣợc truy cập tham chiếu đến Một dòng đƣợc truy cập tham chiếu tham số câu lệnh SELECT, UPDATE, DELETE - Ƣu điểm: Loại bỏ liệu theo tài nguyên máy cài đặt TimesTen - Nhƣợc điểm: Khó kiểm soát đƣợc liệu bị xóa, có bất thƣờng tài nguyên Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 Khi nên dùng: - Khi muốn loại bỏ liệu đƣợc tham chiếu - Các ứng dụng không quan tâm đến thời gian liệu b/ Lựa chọn 2: Time-based data aging Cơ chế loại bỏ liệu cũ (theo định nghĩa) Khi muốn sử dụng loại aging này, bảng phải có cột có kiểu liệu date - Ƣu điểm: Xác định đƣợc rõ ràng liệu đƣợc loại bỏ theo thời gian cấu hình - Nhƣợc điểm: Không kiểm soát đƣợc lƣợng tài nguyên sử dụng, liệu hay đƣợc sử dụng bị xóa bị “cũ” theo cấu hình Khi nên dùng: - Các ứng dụng truy vấn liệu theo ngày, tháng * Các thông tin cách Cài đặt, cấu hình Oracle TimesTen xem thêm phần Phụ lục 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm Qua tham khảo em thấy hệ thống tính cƣớc chăm sóc khác hàng nhà mạng triển khai ứng dụng phần mềm đƣợc, em chọn hệ thống Tính cƣớc chăm sóc khách hàng viettel làm thử nghiệm Hiện nay, Tập đoàn Viettel có nhiều lĩnh vực hoạt động, nhƣng cung cấp dịch vụ viễn thông lĩnh vực chủ chốt Để thực hoạt động kinh doanh này, phần mềm Tính cƣớc Chăm sóc khách hàng (BCCS – Billing & CustomerCare System) tối quan trọng Hệ thống BCCS có nhiều phân hệ, đảm bảo tính cƣớc khách hàng sử dụng dịch vụ, hệ thống hỗ trợ chăm sóc khách hàng Qua đánh giá phân hệ BCCS, nhận thấy hệ thống CustomerCare BCCSRating phù hợp cần thiết sử dụng TimesTen a/ Hệ thống CustomerCare * Mục tiêu hệ thống: Hệ thống CustomerCare giúp: - Điện thoại viên tra cứu giải đáp khách hàng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 59 - Hỗ trợ tiếp nhận giải khiếu nại Do yêu cầu phần giải đáp khách hàng phải nhanh, giảm thời gian khách hàng chờ đợi Do vậy, hệ thống cần đảm bảo tính thuận tiện, truy vấn trả thông tin nhanh, thông tin đầy đủ cho việc tra cứu để trả lời khách hàng * Hiện trạng vấn đề: - Số lƣợt truy cập hàng ngày vào hệ thống (tƣơng ứng vào CSDL) lên đến hàng triệu lƣợt, với chức hiển thị thông tin khách hàng lịch sử khiếu nại khách hàng nhiều - Nghiệp vụ mong muốn hiển thị nhiều lịch sử khiếu nại tốt, nhƣng lƣợng liệu ngày lớn, số truy cập nhiều, nên đáp ứng hiển thị thông tin lịch sử khiếu nại ngày gần >> Nhu cầu phải tăng lƣợng liệu truy vấn, giảm thời gian truy vấn b/ Hệ thống BCCS_Rating: * Mục tiêu hệ thống: - Tính cƣớc đƣợc cho dịch vụ viễn thông mà Viettel Telecom cung cấp bao gồm Mobile, Homephone, ADSL, PSTN - Đáp ứng đƣợc sách khai bao giá cƣớc mềm dẻo, đáp ứng yêu cầu hiệu nghiệp vụ tính cƣớc, số lƣợng ghi lớn, thời gian xử lý nhanh * Hiện trạng vấn đề: Hai module quan trọng yêu cầu hiệu cao hệ thống Rating Chuẩn hóa thông tin Tính cƣớc Ứng với dòng file CDR đầu vào, hai module cần truy xuất liệu từ CSDL Dƣới đo thời gian xử lý với ghi sử dụng CSDL Oracle: Bảng 1 Bảng thống kê thời gian xử lý ghi cước Chức ầu vào Thời gian xử lý Thời gian mong muốn Chuẩn hóa file (20.000 ghi) 60.5 ms / ghi ms / ghi Tính cƣớc file (20.000 ghi) 50.5 ms / ghi ms / ghi Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 60 >> Nhu cầu phải có giải pháp để đạt yêu cầu toán đặt Dƣới đánh giá theo tiêu chí để lựa chọn sử dụng TimesTen nhƣ tính tƣơng ứng cho hai hệ thống trên: Bảng Bảng lựa chọn TimesTen Tiêu chí CustomerCare Đang sử dụng CSDL - Có BCCS_Rating - Có Oracle Có chức (có - Chức popup lịch sử - Tra cứu thông tin thuê truy cập CSDL) với khiếu nại tần xuất sử bao dụng - Chức tra cứu lịch sử - Tác động (cập nhật), truy nhiều, yêu cầu thời khiếu nại vấn tài khoản (khuyến mại, gian phản hồi (truy (chi tiết chƣơng 4) tích lũy) vấn, thay đổi liệu) nhỏ Số lƣợng liệu lớn - Số lƣợng khiếu nại - Số lƣợng thuê bao trả sau làm cho việc thao tác tháng: khoảng triệu khiếu khoảng triệu (truy vấn, cập nhật) nại - Tƣơng ứng số lƣợng tài liệu không đáp khoản (tối đa) triệu ứng yêu cầu thời gian phản hồi, yêu cầu hiệu Có chức có - Chức popup lịch sử - Tra cứu thông tin thuê khả gây cao tải khiếu nại CSDL Oracle bao - Chức tra cứu lịch sử - Tác động (cập nhật), truy khiếu nại vấn tài khoản (khuyến mại, tích lũy) Việc tốc độ chậm Đúng Đúng nguyên (đã ghi log theo dõi thời (đã ghi log theo dõi thời Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 61 nhân khác (ví dụ gian truy vấn liệu) gian truy vấn liệu) mã nguồn chƣa tối ƣu) mà nguyên nhân CSDL Có đủ tài nguyên để Server processor, GB Server 16GB, processor sử dụng TimesTen cho việc lƣu trữ liệu (tƣơng ứng hệ khiếu nại 15 ngày thống) Bảng Bảng lựa chọn tính TimesTen Tiêu chí Sử CustomerCare BCCS_Rating dụng - Sử dụng TimesTen - Sử dụng IMDB Cache: TimesTen nhƣ CSDL riêng (gồm bảng đƣa thông tin thuê bao CSDL riêng cho chức popup, tab thông tin tài khoản lên hay sử dụng LSKN áp dụng TimesTen) cache - Viết tiến trình đồng để IMDB Cache? đồng liệu từ Oracle TimesTen - Thay đổi liệu Oracle, truy vấn liệu từ TimesTen (Bản chất dùng IMDB Cache nhƣng TimesTen không hỗ trợ charset vn8vn3) Kết nối trực tiếp - Kết nối trực tiếp - Kết nối trực tiếp hay client/server Lựa cache dụng chọn loại - n/a - Read-only cache group group sử (bản chất read-only cache cho thông tin thuê bao group) Số hóa Trung tâm Học liệu – ĐHTN (đồng từ Oracle lên http://www.lrc.tnu.edu.vn 62 TimesTen, thay đổi Oracle, select từ TimesTen) - AWT cachegroup cho thông tin tài khoản (sửa đổi truy vấn TimesTen, đồng xuống Oracle để lƣu trữ) Lựa chọn thuộc - n/a - Explicitly loaded tính cachegroup - passthrough = Lựa chọn chế - Time-based data aging - n/a aging (2 chức popup tab LSKN cần liệu số ngày gần nhất) 3.4 Kết thử nghiệm 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare * Đề xuất giải pháp Dƣới mô hình tổng quan CC sau áp dụng TimesTen: Hệ thống CC sử dụng TimesTen để lƣu trữ thông tin Lịch sử khiếu nại KH Hệ thống truy vấn thông tin TimesTen Việc insert, update, delete thông tin thực Oracle DB thông thƣờng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63 Trƣớc Sau CC OracleDB CC OracleDB Đồng Insert, update delete CC TimestenDB select Physical machine Customer Care Customer Care Hình Mô hình CC trước sau áp dụng TimesTen * Kết đạt đƣợc: Dƣới kết so sánh response time chức popup ứng dụng CC sử dụng Oracle TimesTen Kết response time trung bình thuê bao đƣợc kiểm tra, kết dựa log ngày Bảng Bảng so sánh response time TimesTen Oracle Chức Popup LSKN Response time Response time TimesTen Oracle - TB: 20.775ms Tab Lịch sử - TB: 35.3 ms khiếu nại Chi phí - TB: 42.09ms - server: CPU, GB - TB: 60.6 ms RAM (30% cpu, 4-5 - Cao: 0.7 s (tra - Cao: 5.6s (7 ngày) GB ram cho TimesTen) cứu 30 ngày) - Lập trình: sửa code 1.9s (2 ngày) CC (3 MD), viết tool đồng (3 MD) - Cài đặt, cấu hình TimesTen: MD Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 64 * Nhận xét: Tốc độ chức popup sau sử dụng TimesTen tăng khoảng 35% Hiện ngày có khoảng 700.000 kết nối lên tổng đài thành công (gặp ĐTV), tƣơng ứng 700.000 lƣợt sử dụng chức popup LSKN, chiếm khoảng 20-30% việc sử dụng chức khác hệ thống CC (tìm kiếm khiếu nại, tra cứu thông tin, xử lý khiếu nại,…) Với chức Tap LSKN: hệ thống CC gặp tƣợng chậm, đáp ứng đƣợc giới hạn ngày tìm kiếm khiếu nại mặc định 7, phải để ngày Khi triển khai thử nghiệm link CC chạy với thời gian tra cứu mặc định 15 ngày Đang thực theo dõi hệ thống đảm bảo ổn định trƣớc triển khai mở rộng cho toàn hệ thống CC Giảm tải cho CSDL Oracle, lƣợng lớn kết nối chức popup LSKN chuyển sang CSDL TimesTen Bản thân CSDL TimesTen giảm tải thời gian response time với truy vấn tới nhỏ 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating Đề xuất giải pháp: Hệ thống Rating sử dụng TimesTen theo hai mô hình: - Thông tin thuê bao: đồng từ OracleDB, ứng dụng cần thông tin truy vấn từ TimesTen - Thông tin tài khoản: việc cập nhật lƣu lƣợng miễn phí tài khoản khuyến mại thực TimesTen, sau đồng xuống CSDL Oracle Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 65 Trƣớc Sau Rating OracleDB Rating OracleDB Đồng Insert, update delete Rating TimestenDB select update tài khoản Physical machine RatingApp RatingApp Hình Mô hình Rating trước sau áp dụng TimesTen * Kết đạt đƣợc: Dƣới kết so sánh thời gian xử lý ghi cƣớc hệ thống Rating trƣớc sau sử dụng TimesTen Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen Chức Thời gian xử lý Thời gian xử lý TimesTen Oracle Chi phí Chuẩn hóa 6.25 ms / ghi 60.5 ms / ghi - server: CPU, 4GB Tính cƣớc 5.75 ms / ghi 50.5 ms / ghi RAM - Lập trình: xây dựng hệ thống - Cài đặt, cấu hình TimesTen: MD Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 Kết cho thấy sử dụng TimesTen đáp ứng yêu cầu hiệu hệ thống Nhƣ vậy, Chƣơng đƣa thông tin để áp dụng thử nghiệm sản phẩm IMDB vào hệ thống phần mềm Xuất phát từ việc khái quát hóa lĩnh vực, toán sử dụng IMDB, lựa chọn sản phẩm IMDB Oracle TimesTen thử nghiệm vào hai hệ thống phần mềm nơi làm việc Kết thử nghiệm thực khả quan IMDB giúp cải thiện rõ rệt hiệu ứng dụng, đồng thời giảm tải cho CSDL tại, mà chi phí đầu tƣ không cao Từ cho thấy, giải pháp Cơ sở liệu nhớ thực hiệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 KẾT LUẬN V K ẾN N Ị Kết luận CSDL nhớ lĩnh vực khó Tại Việt Nam việc áp dụng công nghệ chƣa nhiều, việc tìm hiểu, phát triển ứng dụng điều cần thiết Ðặc biệt bối cảnh điện toán đám mây đời, ứng dụng có sẵn đâu cho ngƣời dùng cuối Yêu cầu ngƣời dùng thời gian đáp ứng giao dịch phải nhanh, thời gian thực Ðể giải vấn dề giải pháp CSDL nhớ tối ƣu Luận văn trình bày đƣợc hệ thống phải xử lý lƣợng giao dịch lớn mà thời gian đáp ứng đòi hỏi nhanh(thời gian thực); đƣa đƣợc giải pháp áp dụng CSDL nhớ; đƣa đƣợc ƣu nhƣợc điểm CSDL nhớ lợi sử dụng Trọng tâm luận văn tìm hiểu kiến trúc, cấu trúc mục, xử lý truy vấn, khôi phục kiểm soát đồng thời IMDB; cấu trúc điển hình gắn với IMDB T-Tree Phần cuối luận văn đƣa lớp toán áp dụng IMDB, mô hình hệ thống sau áp dụng, lựa chọn hệ thống để áp dụng thử nghiệm đƣa kết thử nghiệm Những kiến thức kết thử nghiệm IMDB cho thấy hiệu giải pháp IMDB áp dụng cho hệ thống cần hiệu cao sở liệu, với số lƣợng truy cập lớn yêu cầu thời gian phản hồi nhỏ Kiến nghị Qua đây, đề xuất việc hệ thống tổ chức nhiều buổi hội thảo liên quan, với thành phần tham dự công ty làm phần mềm có nhu cầu cải tiến hiệu hệ thống liên quan Cơ sở liệu Đồng thời, có diễn đàn thảo luận sâu IMDB, giúp cho cộng đồng phần mềm nhìn nhận đánh giá IMDB nhằm áp dụng có nhu cầu, tăng hiệu cho phần mềm, tăng thêm uy tín lợi nhuận cho công ty doanh nghiệp, cao cho đất nƣớc Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 68 T L U T AM K ẢO Tiếng Việt Đỗ Trung Tuấn (2004), Cơ sở liệu, NXB Đại học quốc gia Hà Nội Nguyễn Văn Huân (2009), Giáo trình hệ sở liệu phân tán suy diễn, NXB Khoa học kỹ thuật Trần Quốc Chiến (2007), Giáo trình sở liệu nâng cao, ĐHSP- Đại học Đà Nẵng Khánh Hà (2012), Giải pháp Công nghệ nhớ trong, xuất nhanh, http://www.sbv.gov.vn, ngày 05/8/2012 Mai Phƣơng (2011), IMDS cho đòi hỏi truy http://www.pcworld.com.vn, ngày 13/2/2012 Hoàng Xa (4.2009), “Các loại trình ứng dụng Cơ sở liệu”, Tạp chí CNTT & TT, Kỳ 2, tr 16 - 17 Tiếng Anh Adina costea, Main Memory Database Systems, e-paper Hector Garcia, Kenneth Salem, Main Memory Database System, e-paper Oracle (2010), TimesTen Introduction, e-book 10 Oracle (2010), TimesTen Installation guide, e-book 11 Oracle (2010), TimesTen Operation guide, e-book 12 Oracle (2010), TimesTen Cache Guide, e-book 13 Oracle (2010), TimesTen to TimesTen Replication, e-book 14 Oracle (2010), Java Developer guide, e-book 15 I BM software, IBM solidDB, e-book 16 IBM software, IBM solidDB Universal Cache, ebook 17 A.Ammann, M.Harahan and R.Krishnamurthy (February 1985), Memory Resident DBMS, Proc IEEE COMPCON, San Franci 18 C Ammann, M B Hanrahan, R.Krishnamurthy ( 1985) , Desigresident DBMS, in Proc IEEE COMPCOM Conj Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 69 19 Aho, J Hopcroft and J D Ullman (1974), The Design and Computer Algorithm, Addison-Wesley Pulishing Company 20 B R Badrinath and K Ramamritham (March 1992.), “SeConcurrency Control: Beyond Commutativity”, ACM TransaDatabase Systems, 17(1) 21 C.J Date (1985), An Introduction to Database Systems, AddisioD.Comer (June 1979), The Ubiquitous B Tree, Computing SurveD J De Witt, R Katz, F Olken, L Shapiro, M Stonebraker 22 (June 1984), Implemententation Techniques for Main MemSystems, Proc ACM SIGMOD Conf, 1-8 23 D Knut (1973), The Art of Computer Programming, AddisoReading, Mass 24 IBM (1979), IMS Version Release 1.5 Fast Path Feature DescripDesign Guide, IBM World Trade System Centers (G320-5775) 25 IBM (1984), Guide to IMS/VS V1 R3 Data Entry Database (DEDIBM International Systems Centers (GG24-1633-0) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... dụng sở liệu nhớ 1.3.1 Giải pháp 1.3.2 Kiến trúc hệ thống sở liệu nhớ 12 1.3.3 Lợi sử dụng sở liệu nhớ 22 Chƣơng MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ 26... nghiên cứu sở liệu nhớ, - Nghiên cứu kỹ thuật đƣợc áp dụng Cơ sở liệu nhớ - Nghiên cứu ƣu nhƣợc điểm Cơ sở liệu nhớ - Tổng quát hóa lớp toán áp dụng, kiến trúc áp dụng Cơ sở liệu nhớ; Kết thử... quát xử lý liệu thời gian thực, vấn đề truy cập xử lý nhanh hệ thống sở liệu, giải pháp xử dụng sở liệu nhớ  Các tổ chức mục sở liệu nhớ kỹ thuật khôi phục, kiểm soát đồng thời sở liệu nhớ  Mô