Luận văn thạc sĩ một số kỹ thuật truy cập trong cơ sở dữ liệu trên bộ nhớ

ii LỜI CẢM ƠN Để hoàn thành luận văn này, bên cạnh nỗ lực thân, nhận nhiều giúp đỡ, động viên hướng dẫn thầy cô giáo, bạn bè, đồng nghiệp gia đình suốt khố học thời gian nghiên cứu đề tài luận văn Tôi xin bày tỏ lòng biết ơn chân thành tới TS Lê Quang Minh, người tận tình hướng dẫn giúp đỡ tơi q trình nghiên cứu viết đề tài Tôi xin chân thành cảm ơn thầy cô Hội đồng cho lời nhận xét ý kiến đóng góp quý báu, giúp tơi hồn thiện luận văn Tơi xin cảm ơn tới thầy cô giáo giảng thú vị hữu ích; cảm ơn bạn bè đồng nghiệp cổ vũ tinh thần lớn lao; cảm ơn gia đình có trợ giúp mặt Đây đề tài liên quan đến lĩnh vực sở liệu nhớ, lĩnh vực mẻ Việt Nam Vì vậy, luận văn khơng thể tránh khỏi thiếu sót hạn chế định Tơi mong nhận ý kiến đóng góp cá nhân, tổ chức quan tâm đến đề tài để đề tài hoàn thiện Xin chân thành cảm ơn! Thái Nguyên, 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI CẢM ƠN .i MỤC LỤC iii DANH SÁCH HÌNH, ẢNH iv DANH SÁCH BẢNG v BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT .v MỞ ĐẦU .1 Chương KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU THỜI GIAN THỰC VÀ VẤN ĐỀ TRUY CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực .4 1.2 Vấn đề truy cập xử lý nhanh hệ thống sở liệu 1.3 Giải pháp sử dụng sở liệu nhớ .8 1.3.1 Giải pháp 1.3.2 Kiến trúc hệ thống sở liệu nhớ 12 1.3.3 Lợi sử dụng sở liệu nhớ 22 Chương MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ 26 2.1 Tổ chức cấu trúc mục sở liệu nhớ 26 2.2 Kỹ thuật truy cập T- Tree 30 2.3 Kỹ thuật khơi phục kiểm sốt đồng thời sở liệu nhớ 38 2.3.1 Kỹ thuật khôi phục 38 2.3.2 Kiểm soát đồng thời 41 Chương 3: THỬ NGHIỆM CƠ SỞ DỮ LIỆU TRÊN BỘ NHỚ 53 3.1 Phát biểu toán 53 3.2 Lựa chọn giải pháp 53 3.2.1 Kết nối trực tiếp hay client/server? 54 3.2.2 Lựa chọn loại cache group sử dụng 55 3.2.3 Lựa chọn chế aging 57 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm 58 3.4 Kết thử nghiệm 62 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare 62 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating .64 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv KẾT LUẬN VÀ KIẾN NGHỊ 67 TÀI LIỆU THAM KHẢO 68 DANH SÁCH HÌNH, ẢN Hình 1 Hội họp tương lai Hình Hệ thống thi trực tuyến Hình Cấu trúc phân đoạn 15 Hình Cấu trúc phân vùng quan hệ 16 Hình Quan hệ Thiết kế mục 19 Hình Ví dụ liên kết 21 Hình Các mục cấu trúc 27 Hình 2 Hàm băm dựa mục 29 Hình T- Tree 31 Hình Giá trị giới hạn Nút A 32 Hình Các phép tái cân T- Tree 36 Hình Các phép tái cân T Tree đặc biệt 37 Hình Cấu trúc khối kiểm sốt khóa quan hệ 44 Hình Cấu trúc khối kiểm sốt khóa giao dịch 49 Hình Mơ hình CC trước sau áp dụng TimesTen 63 Hình Mơ hình Rating trước sau áp dụng TimesTen 65 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v DAN SÁC BẢN Bảng 1 Bảng thống kê thời gian xử lý ghi cước 59 Bảng Bảng lựa chọn TimesTen 60 Bảng Bảng lựa chọn tính TimesTen 61 Bảng Bảng so sánh response time TimesTen Oracle 63 Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen 65 BẢN DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Chi tiết Ý nghĩa ACID Atomicity, Consistency, Isolation, Tính nguyên tố, tính quán, tính tách biệt tính bền vững CSDL Durability Cơ sở liệu DBMS Database Management System Hệ quản trị sở liệu IMDB In-Memory Database Cơ sở liệu nhớ MMDB Main Memory Database Cơ sở liệu nhớ RDBMS Relational Database Management Hệ(thống) quản lý sở liệu quan hệ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỞ ẦU ặt vấn đề Ngày nay, xu công nghệ thơng tin tồn cầu phát triển mạng internet, giới kết nối không khoảng cách Như tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng Cơ sở liệu (CSDL) trực tuyến (online) phục vụ tức thời (real time) đáp ứng hàng triệu người dùng cuối khắp nơi Ðể đáp ứng xu này, điện toán đám mây (cloud mputing) mơ hình cơng nghệ thơng tin hứa hẹn Khác với mơ hình tính tốn lưới (Grid computing) yêu cầu thực thi có phép “đợi lúc CPU rảnh” Mơ hình tính tốn Clouds hồn tồn khác, nhiều người dùng sử dụng tài nguyên để giao dịch đồng thời đảm bảo chất lượng dịch vụ tức thời lại phải thứ tự Hay nói cách khác, bắt buộc hệ thống phải xử lý đáp ứng thời gian thực cho hàng triệu giao dịch Vì vậy, vấn đề nỗi lo lắng cho hệ thống trực tuyến phát triển nhanh chóng, mà giải pháp xử lý song song khơng cịn nhiều tác dụng Ví giao dịch ngân hàng trực tuyến, giao dịch chứng khốn, hệ thống chăm sóc khách hàng, hệ thống tính cước, mua hàng trực tuyến, kiểm soát phương tiện giao thơng… Vì vậy, với hệ thống phải xử lý nhiều giao dịch với số lượng vô lớn mà đảm bảo thời gian thực có xu hướng cải tiến kỹ thuật cho CSDL xử lý song song, thay đổi kiến trúc CSDL, thay đổi chế hoạt động, sử dụng nhớ trong(In Memory) Trong luận văn tơi tập trung nghiên cứu, tìm hiểu CSDL nhớ đảm giải toán cho hệ thống có số lượng giao dịch lớn đáp ứng truy vấn thời gian thực Thử nghiệm với hệ thống Oracle TimesTen để đưa đánh giá CSDL nhớ Vì vậy, “Một số kỹ thuật truy cập sở liệu nhớ” em chọn làm đề tài Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 2 ối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: Một số kỹ thuật truy cập sở liệu nhớ - Phạm vi nghiên cứu:  Khái quát xử lý liệu thời gian thực, vấn đề truy cập xử lý nhanh hệ thống sở liệu, giải pháp xử dụng sở liệu nhớ  Các tổ chức mục sở liệu nhớ kỹ thuật khơi phục, kiểm sốt đồng thời sở liệu nhớ  Mơ hình áp dụng kết thực nghiệm ướng nghiên cứu đề tài - Tìm hiểu xu hướng, tình hình nghiên cứu sở liệu nhớ, - Nghiên cứu kỹ thuật áp dụng Cơ sở liệu nhớ - Nghiên cứu ưu nhược điểm Cơ sở liệu nhớ - Tổng qt hóa lớp tốn áp dụng, kiến trúc áp dụng Cơ sở liệu nhớ; Kết thử nghiệm - Đưa đề xuất, ý tưởng ứng dụng, cải tiến với CSDL nhớ Bố cục luận văn - Mở đầu - Chương Khái quát sở liệu thời gian thực vấn đề truy cập - Chương Một số kỹ thuật truy cập CSDL nhớ - Chương Thử nghiệm sở liệu nhớ - Kết luận Phương pháp nghiên cứu - Nghiên cứu lý thuyết: tìm hiểu lý thuyết Cơ sở liệu nhớ báo, diễn đàn tiếng, website thức cơng ty có sản phẩm giải pháp liên quan Cơ sở liệu nhớ - Thử nghiệm: tổng quát hóa loại tốn áp dụng Cơ sở liệu nhớ, chọn lựa sản phẩm Cơ sở liệu nhớ hệ thống để áp dụng, rút kết Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Ý nghĩa khoa học đề tài - Ý nghĩa khoa học:  Khái quát Cơ sở liệu nhớ: khái niệm, mơ hình kiến trúc, ưu nhược điểm  Phân tích kỹ thuật truy cập Cơ sở liệu nhớ - Ý nghĩa thực tiễn:  Tổng qt hóa lớp tốn áp dụng Cơ sở liệu nhớ để tăng hiệu  Kết thử nghiệm Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Chương K Á QUÁT VỀ CƠ SỞ DỮ L UT Ờ AN T ỰC V VẤN Ề TRU CẬP 1.1 Khái quát xử lý liệu sở liệu thời gian thực Cơ sở liệu (CSDL) truyền thống hình thành từ sớm có vai trò quan trọng ứng dựng thực tế Đặc điểm giao dịch CSDL truyền thống yêu cầu tính quán Điều thể việc lưu trữ liệu thống nhất, nghĩa tránh tình trạng trùng lặp thơng tin có chế điều khiển truy xuất liệu hợp lý, tránh việc tranh chấp liệu bảo đảm liệu đắn thời điểm Thông thường thực giao dịch xử lý truy vấn CSDL cố gắng nhằm đạt số lượng lớn giao dịch thực thi thời gian đáp ứng nhanh Ngày nay, với phát triển cơng nghệ, ngồi việc đảm bảo tính chất giao dịch, giao dịch với số lượng lớn phải đảm bảo thời gian đáp ứng giao dịch, đảm bảo tính thời gian thực cho hệ thống Các lĩnh vực cần đáp ứng thời gian thực bao gồm sở hạ tầng mạng, viễn thông, thị trường tài chính, chứng khốn, hàng khơng, thương mại điện tử, doanh nghiệp với ứng dụng điển hệ thống điều khiển không lưu, giao dịch cổ phiếu chứng khoán, đặt chỗ máy bay, du lịch, hệ thống điều khiển robot, thi trực tuyến, hội họp trực tuyến Dưới số lĩnh vực có xu hướng giao dịch CSDL thời gian thực Trong lĩnh vực hoạt động doanh nghiệp, việc ứng dụng hệ quản trị CSDL (Database Management System - DBMS) quan trọng DBMS hệ thống phần mềm tạo điều kiện cho trình xác định, xây dựng, thao tác, chia sẻ CSDL người dùng khác ứng dụng Nó củng cố tất hoạt động ứng dụng doanh nghiệp hiệu suất ứng dụng doanh nghiệp phụ thuộc nhiều vào hiệu suất DBMS Khi hệ quản trị CSDL quan hệ đời hỗ trợ giao dịch hiệu tin cậy Nhưng khối lượng liệu lớn hơn, hệ quản trị CSDL quan hệ khơng cịn hiệu phục vụ yêu cầu ứng dụng doanh nghiệp Đặc biệt thể xử lý Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn giao dịch tồn CSDL cách kịp thời Lý mà hệ quản trị CSDL quan hệ thực truy vấn yêu cầu đủ nhanh liệu phải lấy từ đĩa cứng Hệ thống đại sử dụng rộng rãi nhớ đệm để lưu trữ liệu thường xuyên truy cập nhớ truy vấn xử lý lượng lớn liệu, đọc ổ đĩa yêu cầu Đơn giản cần truy cập đọc liệu từ đĩa cứng số lượng đáng kể thời gian Vì doanh nghiệp địi hỏi phải có phương án thay để giảm chi phí thời gian xử lý hệ thống quản lý liệu đĩa cần thiết Hình 1.1 ví dụ đề xuất Bill Gates vào năm 1994, Information at the fingertips, ơng hình dung tương lai mà thơng tin có sẵn đâu Việc tham gia họp nhiều địa điểm khác nhau, tất trình duyệt, truy vấn, thao tác thơng tin thời gian thực.( http://sapinsider.wispubs.com/Assets/Blogs/2010/June/Hasso-Plattner-on-InMemory-Computing-OLAP-and-OLTP) Hình 1 ội họp tương lai Trong lĩnh vực tài chính, cán kiểm sốt tài người đặc biệt gặp khó khăn với khối lượng liệu ngày gia tăng Do thời gian trả lời liệu chậm, họ bị buộc phải giới hạn khung thời gian phân tích vài ngày thay vài thang hay vài quý Điều dẫn tới loạt chậm trễ, bao gồm việc đóng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn sổ cuối kỳ tài Vì việc phân tích liệu khối lượng lớn mơi trường mơ hình linh động đồng nghĩa với việc tốn tài nhanh hiểu biết sâu sắc liệu tài chi tiết khung thời gian rộng cần phương án thay thích hợp so với hệ thống CSDL thơng thường Trong lĩnh vực đào tạo thi trực tuyến, việc tham gia hàng trăm, hàng nghìn thí sinh tham gia nước đòi hỏi hệ thống phải xử lý lượng giao dịch lớn Ngay sau thi xong, thí sinh biết điểm thứ hạng hệ thống Điều địi hỏi thời gian xử lý phải nhanh, đáp ứng thời gian thực.( http://violympic.vn) Hình ệ thống thi trực tuyến Qua xu hướng này, nhận thấy giao dịch CSDL thời gian thực xu hướng tất yếu, cần tìm hiểu áp dụng Tiếp theo, tìm hiểu giao dịch CSDL hoạt động nào? 1.2 Vấn đề truy cập xử lý nhanh hệ thống sở liệu Một vấn đề gây ảnh hưởng đến tốc độ hồi đáp truy vấn trực tuyến thời gian thực hệ thống CSDL cho ứng dụng (trực tuyến) thời gian Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 - Đặc biệt phù hợp mơ hình hệ thống tài ngun server triển khai ứng dụng cho phép (vì mơ hình TimesTen cài đặt máy vật lý với server triển khai ứng dụng) 3.2.2 Lựa chọn loại cache group sử dụng Khi sử dụng mơ hình giữ lại CSDL Oracle truyền thống, ta sử dụng TimesTen IMDB Cache, phần liệu đưa lên TimesTen Khi đó, có tùy chọn để sử dụng đặc điểm IMDB Cache cho phù hợp Manual Automatic a/ Lựa chọn 1: Read-only cachegroup Trong read-only cache group, thay đổi với liệu thực Oracle , sau cập nhật xuống TimesTen Ứng dụng kết nối đến TimesTen để select liệu - Ưu điểm: Vẫn sử dụng CSDL Oracle làm chuẩn, đồng thời liệu cần tốc độ truy vấn nhanh đưa lên TimesTen - Nhược điểm: Có độ trễ định liệu thay đổi Oracle cập nhật lên TimesTen Chỉ cập nhật liệu Oracle Khi nên dùng: - Khi muốn dùng Oracle làm chuẩn, đưa số liệu cần truy vấn nhanh lên - Không quan trọng độ trễ đồng liệu Oracle TimesTen Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 - Chỉ hệ thống cập nhật liệu, hệ thống khác select liệu b/ Lựa chọn 2: Asynchronous writethrough (AWT) cachegroup Những thay đổi với liệu cập nhật TimesTen, sau liệu tự động truyền(propagate) lên Oracle cached tables theo kiểu bất đồng (khơng kiểm sốt liệu từ TT propagate lên Oracle) - Ưu điểm: Lấy TimesTen làm chuẩn, liệu cập nhật TimesTen (sau select) TimesTen lựa chọn thời điểm thích hợp để đồng liệu TimesTen xuống Oracle, không để việc đồng làm cao tải hệ thống - Nhược điểm: Khơng kiểm sốt liệu từ TimesTen đồng xuống Oracle Khi nên dùng: - Muốn thao tác truy vấn liệu TimesTen - Không quan trọng liệu TimesTen cập nhật xuống Oracle - Không muốn việc đồng liệu ảnh hưởng đến hiệu hệ thống c/ Lựa chọn 3: Synchronous writethrough (SWT) cachegroup Những thay đổi lựa chọn TimesTen cache table tự động truyền tới Ocache cached tables theo kiểu đồng bộ, nghĩa là, có thay đổi với TT, câu lệnh thực Oracle trước, thành công thực TT - Ưu điểm: Lấy TimesTen làm chuẩn, liệu cập nhật TimesTen (sau select) Dữ liệu thay đổi TimesTen cập nhật xuống CSDL Oracle - Nhược điểm: Việc đồng tức thời liệu từ TimesTen xuống Oracle làm giảm hiệu hệ thống (vì có câu lệnh thay đổi liệu, TimesTen gửi thực câu lệnh Oracle trước, thành công thực thay đổi - Muốn thao tác truy vấn liệu TimesTen Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 57 - Hệ thống yêu cầu liệu TimesTen hệ thống Oracle luôn phải giống d/ Lựa chọn 4: User managed cachegroup Cho phép người dùng tùy biến cho phù hợp với yêu cầu họ Nếu bảng muốn dùng kết hợp chế: kết hợp autorefresh SWT - Ưu điểm: Có thể đồng hai chiều TimesTen Oracle - Nhược điểm: Khó kiểm soát cập nhật Oracle, cập nhật TimesTen Đồng chiều từ TimesTen xuống Oracle làm ảnh hưởng đến hiệu giống chế SWT - Cần thiết có tác động liệu với bảng TimesTen Oracle 3.2.3 Lựa chọn chế aging Cơ chế Data aging loại bỏ liệu bảng theo chế xác định Có thể định nghĩa aging policy cho nhiều bảng TimesTen Một aging policy gồm: loại aging, thuộc tính aging trạng thái aging (on off) TimesTen hỗ trợ hai loại aging policy: time-based usage-based Usagebased loại bỏ liệu sử dụng (LRU) Time-based loại bỏ liệu dựa tham số lifetime theo tần suất (cycle) cấu hình Một data store có chế này, bảng chọn chế a/ Lựa chọn 1: Usage-based data aging * Đặc điểm: - Cơ chế giúp tối ưu hóa nhớ lưu trữ liệu cách loại bỏ liệu sử dụng - Một dịng bảng coi khơng sử dụng khơng truy cập tham chiếu đến Một dòng truy cập tham chiếu tham số câu lệnh SELECT, UPDATE, DELETE - Ưu điểm: Loại bỏ liệu theo tài nguyên máy cài đặt TimesTen - Nhược điểm: Khó kiểm sốt liệu bị xóa, có bất thường tài nguyên Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 Khi nên dùng: - Khi muốn loại bỏ liệu tham chiếu - Các ứng dụng không quan tâm đến thời gian liệu b/ Lựa chọn 2: Time-based data aging Cơ chế loại bỏ liệu cũ (theo định nghĩa) Khi muốn sử dụng loại aging này, bảng phải có cột có kiểu liệu date - Ưu điểm: Xác định rõ ràng liệu loại bỏ theo thời gian cấu hình - Nhược điểm: Khơng kiểm sốt lượng tài ngun sử dụng, liệu hay sử dụng bị xóa bị “cũ” theo cấu hình Khi nên dùng: - Các ứng dụng truy vấn liệu theo ngày, tháng * Các thông tin cách Cài đặt, cấu hình Oracle TimesTen xem thêm phần Phụ lục 3.3 Lựa chọn hệ thống phần mềm để thử nghiệm Qua tham khảo em thấy hệ thống tính cước chăm sóc khác hàng nhà mạng triển khai ứng dụng phần mềm được, em chọn hệ thống Tính cước chăm sóc khách hàng viettel làm thử nghiệm Hiện nay, Tập đồn Viettel có nhiều lĩnh vực hoạt động, cung cấp dịch vụ viễn thông lĩnh vực chủ chốt Để thực hoạt động kinh doanh này, phần mềm Tính cước Chăm sóc khách hàng (BCCS – Billing & CustomerCare System) tối quan trọng Hệ thống BCCS có nhiều phân hệ, đảm bảo tính cước khách hàng sử dụng dịch vụ, hệ thống hỗ trợ chăm sóc khách hàng Qua đánh giá phân hệ BCCS, nhận thấy hệ thống CustomerCare BCCSRating phù hợp cần thiết sử dụng TimesTen a/ Hệ thống CustomerCare * Mục tiêu hệ thống: - Điện thoại viên tra cứu giải đáp khách hàng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 59 - Hỗ trợ tiếp nhận giải khiếu nại Do yêu cầu phần giải đáp khách hàng phải nhanh, giảm thời gian khách hàng chờ đợi Do vậy, hệ thống cần đảm bảo tính thuận tiện, truy vấn trả thơng tin nhanh, thông tin đầy đủ cho việc tra cứu để trả lời khách hàng * Hiện trạng vấn đề: - Số lượt truy cập hàng ngày vào hệ thống (tương ứng vào CSDL) lên đến hàng triệu lượt, với chức hiển thị thông tin khách hàng lịch sử khiếu nại khách hàng nhiều - Nghiệp vụ mong muốn hiển thị nhiều lịch sử khiếu nại tốt, lượng liệu ngày lớn, số truy cập nhiều, nên đáp ứng hiển thị thông tin lịch sử khiếu nại ngày gần >> Nhu cầu phải tăng lượng liệu truy vấn, giảm thời gian truy vấn b/ Hệ thống BCCS_Rating: * Mục tiêu hệ thống: - Tính cước cho dịch vụ viễn thông mà Viettel Telecom cung cấp bao gồm Mobile, Homephone, ADSL, PSTN - Đáp ứng sách khai bao giá cước mềm dẻo, đáp ứng yêu cầu hiệu nghiệp vụ tính cước, số lượng ghi lớn, thời gian xử lý nhanh * Hiện trạng vấn đề: Hai module quan trọng yêu cầu hiệu cao hệ thống Rating Chuẩn hóa thơng tin Tính cước Ứng với dịng file CDR đầu vào, hai module cần truy xuất liệu từ CSDL Dưới đo thời gian xử lý với ghi sử dụng CSDL Oracle: Bảng 1 Bảng thống kê thời gian xử lý ghi cước Chức ầu vào Thời gian xử lý Thời gian mong muốn Chuẩn hóa file (20.000 ghi) 60.5 ms / ghi ms / ghi Tính cước file (20.000 ghi) 50.5 ms / ghi ms / ghi Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 60 >> Nhu cầu phải có giải pháp để đạt yêu cầu toán đặt Dưới đánh giá theo tiêu chí để lựa chọn sử dụng TimesTen tính tương ứng cho hai hệ thống trên: Bảng Bảng lựa chọn TimesTen Tiêu chí CustomerCare Đang sử dụng CSDL BCCS_Rating - Có - Có - Chức popup lịch sử - Tra cứu thơng tin th Oracle Có chức (có truy tần cập CSDL) với khiếu nại xuất sử nhiều, yêu cầu gian phản hồi dụng - Chức tra cứu lịch sử thời khiếu nại (truy (chi tiết chương 4) bao - Tác động (cập nhật), truy vấn tài khoản (khuyến mại, tích lũy) vấn, thay đổi liệu) nhỏ Số lượng liệu lớn - Số lượng khiếu nại - Số lượng thuê bao trả sau làm cho việc thao tác tháng: khoảng triệu khiếu khoảng triệu (truy vấn, cập nhật) nại liệu khơng cịn đáp - Tương ứng số lượng tài khoản (tối đa) triệu ứng yêu cầu thời gian phản hồi, yêu cầu hiệu Có chức có - Chức popup lịch sử - Tra cứu thông tin thuê khả gây cao tải khiếu nại bao CSDL Oracle - Chức tra cứu lịch sử - Tác động (cập nhật), truy khiếu nại vấn tài khoản (khuyến mại, tích lũy) Việc tốc độ chậm Đúng nguyên (đã ghi log theo dõi thời Số hóa Trung tâm Học liệu – ĐHTN Đúng (đã ghi log theo dõi thời http://www.lrc.tnu.edu.vn 61 nhân khác (ví dụ mã nguồn gian truy vấn liệu) gian truy vấn liệu) Server processor, GB Server 16GB, processor chưa tối ưu) mà nguyên nhân CSDL Có đủ tài nguyên để sử dụng TimesTen cho việc lưu trữ liệu (tương ứng hệ khiếu nại 15 ngày thống) Bảng Bảng lựa chọn tính TimesTen Tiêu chí CustomerCare Sử dụng - Sử dụng TimesTen TimesTen CSDL riêng (gồm bảng BCCS_Rating - Sử dụng IMDB Cache: đưa thông tin thuê bao CSDL riêng cho chức popup, tab thông tin tài khoản lên hay cache sử dụng LSKN áp dụng TimesTen) IMDB Cache? - Viết tiến trình đồng để đồng liệu từ Oracle TimesTen - Thay đổi liệu Oracle, truy vấn liệu từ TimesTen (Bản chất dùng IMDB Cache TimesTen không hỗ trợ charset vn8vn3) Kết nối trực tiếp - Kết nối trực tiếp - Kết nối trực tiếp hay client/server Lựa chọn cache group dụng loại - n/a sử (bản chất read-only cache group) Số hóa Trung tâm Học liệu – ĐHTN - Read-only cache group cho thông tin thuê bao (đồng từ Oracle lên http://www.lrc.tnu.edu.vn 62 TimesTen, thay đổi Oracle, select từ TimesTen) - AWT cachegroup cho thông tin tài khoản (sửa đổi truy vấn TimesTen, đồng xuống Oracle để lưu trữ) Lựa chọn thuộc - n/a - Explicitly loaded tính cachegroup - passthrough = Lựa chọn - n/a chế - Time-based data aging aging (2 chức popup tab LSKN cần liệu số ngày gần nhất) 3.4 Kết thử nghiệm 3.4.1 Kết thử nghiệm cho hệ thống CustomerCare * Đề xuất giải pháp Dưới mơ hình tổng quan CC sau áp dụng TimesTen: Hệ thống CC sử dụng TimesTen để lưu trữ thông tin Lịch sử khiếu nại KH Hệ thống truy vấn thông tin TimesTen Việc insert, update, delete thông tin thực Oracle DB thơng thường Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63 Trước Sau CC OracleDB CC OracleDB Đồng Insert, update delete CC TimestenDB select Customer Care Physical machine Customer Care Hình Mơ hình CC trước sau áp dụng TimesTen * Kết đạt được: Dưới kết so sánh response time chức popup ứng dụng CC sử dụng Oracle TimesTen Kết response time trung bình thuê bao kiểm tra, kết dựa log ngày Bảng Bảng so sánh response time TimesTen Oracle Chức Response time Response time TimesTen Oracle Chi phí Popup LSKN - TB: 20.775ms - TB: 42.09ms - server: CPU, GB Tab Lịch sử - TB: 35.3 ms - TB: 60.6 ms RAM (30% cpu, 4-5 khiếu nại - Cao: 0.7 s (tra - Cao: 5.6s (7 ngày) GB ram cho TimesTen) cứu 30 ngày) 1.9s (2 ngày) - Lập trình: sửa code CC (3 MD), viết tool đồng (3 MD) - Cài đặt, cấu hình TimesTen: MD Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 64 * Nhận xét: Tốc độ chức popup sau sử dụng TimesTen tăng khoảng 35% Hiện ngày có khoảng 700.000 kết nối lên tổng đài thành công (gặp ĐTV), tương ứng 700.000 lượt sử dụng chức popup LSKN, chiếm khoảng 20-30% việc sử dụng chức khác hệ thống CC (tìm kiếm khiếu nại, tra cứu thơng tin, xử lý khiếu nại,…) Với chức Tap LSKN: hệ thống CC gặp tượng chậm, đáp ứng giới hạn ngày tìm kiếm khiếu nại mặc định 7, phải để ngày Khi triển khai thử nghiệm link CC chạy với thời gian tra cứu mặc định 15 ngày Đang thực theo dõi hệ thống đảm bảo ổn định trước triển khai mở rộng cho toàn hệ thống CC Giảm tải cho CSDL Oracle, lượng lớn kết nối chức popup LSKN chuyển sang CSDL TimesTen Bản thân CSDL TimesTen giảm tải thời gian response time với truy vấn tới nhỏ 3.4.2 Kết thử nghiệm cho hệ thống BCCS_Rating Đề xuất giải pháp: Hệ thống Rating sử dụng TimesTen theo hai mơ hình: - Thơng tin th bao: đồng từ OracleDB, ứng dụng cần thông tin truy vấn từ TimesTen - Thông tin tài khoản: việc cập nhật lưu lượng miễn phí tài khoản khuyến mại thực TimesTen, sau đồng xuống CSDL Oracle Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 65 Trước Sau Rating OracleDB Rating OracleDB Đồng Insert, update delete Rating TimestenDB update select tài khoản Physical machine RatingApp RatingApp Hình Mơ hình Rating trước sau áp dụng TimesTen * Kết đạt được: Dưới kết so sánh thời gian xử lý ghi cước hệ thống Rating trước sau sử dụng TimesTen Bảng Bảng so sánh thời gian xử lý dùng Oracle TimesTen Chức Thời gian xử lý Thời gian xử lý TimesTen Oracle Chi phí Chuẩn hóa 6.25 ms / ghi 60.5 ms / ghi - server: CPU, 4GB Tính cước 5.75 ms / ghi 50.5 ms / ghi RAM - Lập trình: xây dựng hệ thống - Cài đặt, cấu hình TimesTen: MD Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 Kết cho thấy sử dụng TimesTen đáp ứng yêu cầu hiệu hệ thống Như vậy, Chương đưa thông tin để áp dụng thử nghiệm sản phẩm IMDB vào hệ thống phần mềm Xuất phát từ việc khái quát hóa lĩnh vực, tốn sử dụng IMDB, lựa chọn sản phẩm IMDB Oracle TimesTen thử nghiệm vào hai hệ thống phần mềm nơi làm việc Kết thử nghiệm thực khả quan IMDB giúp cải thiện rõ rệt hiệu ứng dụng, đồng thời giảm tải cho CSDL tại, mà chi phí đầu tư khơng q cao Từ cho thấy, giải pháp Cơ sở liệu nhớ thực hiệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 KẾTLUẬNV K ẾNN Ị Kết luận CSDL nhớ lĩnh vực khó Tại Việt Nam việc áp dụng cơng nghệ chưa nhiều, việc tìm hiểu, phát triển ứng dụng điều cần thiết Ðặc biệt bối cảnh điện tốn đám mây đời, ứng dụng có sẵn đâu cho người dùng cuối Yêu cầu người dùng thời gian đáp ứng giao dịch phải nhanh, thời gian thực Ðể giải vấn dề giải pháp CSDL nhớ tối ưu Luận văn trình bày hệ thống phải xử lý lượng giao dịch lớn mà thời gian đáp ứng đòi hỏi nhanh(thời gian thực); đưa giải pháp áp dụng CSDL nhớ; đưa ưu nhược điểm CSDL nhớ lợi sử dụng Trọng tâm luận văn tìm hiểu kiến trúc, cấu trúc mục, xử lý truy vấn, khơi phục kiểm sốt đồng thời IMDB; cấu trúc điển hình gắn với IMDB T-Tree Phần cuối luận văn đưa lớp tốn áp dụng IMDB, mơ hình hệ thống sau áp dụng, lựa chọn hệ thống để áp dụng thử nghiệm đưa kết thử nghiệm Những kiến thức kết thử nghiệm IMDB cho thấy hiệu giải pháp IMDB áp dụng cho hệ thống cần hiệu cao sở liệu, với số lượng truy cập lớn yêu cầu thời gian phản hồi nhỏ Kiến nghị Qua đây, đề xuất việc hệ thống tổ chức nhiều buổi hội thảo liên quan, với thành phần tham dự cơng ty làm phần mềm có nhu cầu cải tiến hiệu hệ thống liên quan Cơ sở liệu Đồng thời, có diễn đàn thảo luận sâu IMDB, giúp cho cộng đồng phần mềm nhìn nhận đánh giá IMDB nhằm áp dụng có nhu cầu, tăng hiệu cho phần mềm, tăng thêm uy tín lợi nhuận cho cơng ty doanh nghiệp, cao cho đất nước Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 68 T L UT AMK ẢO Tiếng Việt Đỗ Trung Tuấn (2004), Cơ sở liệu, NXB Đại học quốc gia Hà Nội Nguyễn Văn Huân (2009), Giáo trình hệ sở liệu phân tán suy diễn, NXB Khoa học kỹ thuật Trần Quốc Chiến (2007), Giáo trình sở liệu nâng cao, ĐHSP- Đại học Đà Nẵng Khánh Hà (2012), Giải pháp Công nghệ nhớ trong, http://www.sbv.gov.vn, ngày 05/8/2012 Mai Phương (2011), IMDS cho đòi hỏi truy xuất nhanh, http://www.pcworld.com.vn, ngày 13/2/2012 Hồng Xa (4.2009), “Các loại trình ứng dụng Cơ sở liệu”, Tạp chí CNTT & TT, Kỳ 2, tr 16 - 17 Tiếng Anh Adina costea, Main Memory Database Systems, e-paper Hector Garcia, Kenneth Salem, Main Memory Database System, e-paper Oracle (2010), TimesTen Introduction, e-book 10 Oracle (2010), TimesTen Installation guide, e-book 11 Oracle (2010), TimesTen Operation guide, e-book 12 Oracle (2010), TimesTen Cache Guide, e-book 13 Oracle (2010), TimesTen to TimesTen Replication, e-book 14 Oracle (2010), Java Developer guide, e-book 15 I BM software, IBM solidDB, e-book 16 IBM software, IBM solidDB Universal Cache, ebook 17 A.Ammann, M.Harahan and R.Krishnamurthy (February 1985), Memory Resident DBMS, Proc IEEE COMPCON, San Franci 18 C Ammann, M B Hanrahan, R.Krishnamurthy ( 1985) , Desigresident DBMS, in Proc IEEE COMPCOM Conj Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 69 19 Aho, J Hopcroft and J D Ullman (1974), The Design and Computer Algorithm, Addison-Wesley Pulishing Company 20 B R Badrinath and K Ramamritham (March 1992.), “SeConcurrency Control: Beyond Commutativity”, ACM TransaDatabase Systems, 17(1) 21 C.J Date (1985), An Introduction to Database Systems, AddisioD.Comer (June 1979), The Ubiquitous B Tree, Computing SurveD J De Witt, R Katz, F Olken, L Shapiro, M Stonebraker 22 (June 1984), Implemententation Techniques for Main MemSystems, Proc ACM SIGMOD Conf, 1-8 23 D Knut (1973), The Art of Computer Programming, AddisoReading, Mass 24 IBM (1979), IMS Version Release 1.5 Fast Path Feature DescripDesign Guide, IBM World Trade System Centers (G320-5775) 25 IBM (1984), Guide to IMS/VS V1 R3 Data Entry Database (DEDIBM International Systems Centers (GG24-1633-0) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... dụng sở liệu nhớ .8 1.3.1 Giải pháp 1.3.2 Kiến trúc hệ thống sở liệu nhớ 12 1.3.3 Lợi sử dụng sở liệu nhớ 22 Chương MỘT SỐ KỸ THUẬT TRUY CẬP TRONG CSDL TRÊN BỘ NHỚ... thuật truy cập sở liệu nhớ - Phạm vi nghiên cứu:  Khái quát xử lý liệu thời gian thực, vấn đề truy cập xử lý nhanh hệ thống sở liệu, giải pháp xử dụng sở liệu nhớ  Các tổ chức mục sở liệu nhớ. .. với CSDL nhớ Bố cục luận văn - Mở đầu - Chương Khái quát sở liệu thời gian thực vấn đề truy cập - Chương Một số kỹ thuật truy cập CSDL nhớ - Chương Thử nghiệm sở liệu nhớ - Kết luận Phương pháp