Nghiên cứu một số kỹ thuật quản lý, truy vấn dữ liệu luồng liên tục

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DƢƠNG HỒNG MINH NGHIÊN CỨU MỘT SỐ KỸ THUẬT QUẢN LÝ, TRUY VẤN DỮ LIỆU LUỒNG LIÊN TỤC LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN 2015 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DƢƠNG HỒNG MINH NGHIÊN CỨU MỘT SỐ KỸ THUẬT QUẢN LÝ, TRUY VẤN DỮ LIỆU LUỒNG LIÊN TỤC Mã số : 60 48 01 01 Chuyên ngành: Khoa học máy tính LUẬN VĂN THẠC SỸ: KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS HOÀNG ĐỖ THANH TÙNG Thái Nguyên, 11/2015 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CAM ĐOAN Tôi xin cam đoan, công trình nghiên cứu Trong có giúp đỡ tận tình thầy giáo hƣớng dẫn TS Hoàng Đỗ Thanh Tùng, thầy cô Viện CNTT, thầy cô giáo Trƣờng Đại học Công nghệ Thông tin Truyền thông Các nội dung nghiên cứu kết đề tài hoàn toàn trung thực Trong luận văn, có tham khảo tài liệu số tác giả đƣợc liệt kê phần Tài liệu tham khảo cuối luận văn Thái Nguyên, tháng 11 năm 2015 Tác giả Dƣơng Hồng Minh ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii LỜI CẢM ƠN Để hoàn thành chƣơng trình luận văn, nhận đƣợc hƣớng dẫn, giúp đỡ góp ý nhiệt tình quý thầy cô Trƣờng Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Tôi xin chân thành cảm ơn đến quý thầy cô Trƣờng Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên, quý thầy cô Viện CNTT, đặc biệt thầy cô tận tình dạy bảo cho suốt thời gian học tập trƣờng Tôi xin gửi lời cảm ơn sâu sắc đến TS Hoàng Đỗ Thanh Tùng dành nhiều thời gian, tâm huyết bảo tận tình hƣớng dẫn nghiên cứu giúp hoàn thành luận văn Nhân đây, xin chân thành cảm ơn Ban giám hiệu, Phòng sau Đại học Trƣờng Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo điều kiện để học tập hoàn thành tốt khóa học Tôi xin chân thành cảm ơn! Thái Nguyên, tháng 11 năm 2015 Học viên thực Dƣơng Hồng Minh ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC HÌNH vi DANH MỤC CÁC BẢNG vii PHẦN MỞ ĐẦU Chƣơng 1: TỔNG QUAN VỀ DỮ LIỆU LUỒNG VÀ HỆ THỐNG QUẢN LÝ DỮ LIỆU LUỒNG 1.1 Tổng quan liệu luồng 1.1.1 Giới thiệu 1.1.2 Sự khác biệt liệu luồng sở liệu truyền thống 1.1.3 Một số ứng dụng 11 1.2 Những thách thức xây dựng hệ thống quản lý liệu luồng 14 1.2.1.Yêu cầu nhớ không hạn chế 14 1.2.2 Truy vấn xấp xỉ 17 1.2.3 Truy vấn cửa sổ trƣợt 17 1.2.4 Truy vấn khối 18 1.2.5 Xây dựng hệ thống quản lý liệu luồng 19 Chƣơng 2: MỘT SỐ KỸ THUẬT TRONG QUẢN LÝ VÀ TRUY VẤN DỮ LIỆU LUỒNG 22 2.1 Kỹ thuật đánh số liệu luồng R-Tree 22 2.1.1 Khái niệm 23 2.1.2 Cấu trúc R-Tree .25 2.1.3 Thuật toán R-Tree 26 2.2 Kỹ thuật truy vấn liệu luồng 35 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv 2.2.1 Ngữ nghĩa truy vấn 35 2.2.2 Ngôn ngữ truy vấn 36 2.2.3 Kiến trúc truy vấn 37 2.2.4 Thuật toán 39 2.3 Phân tích lựa chọn công cụ 42 2.3.1 Microsoft StreamInsight 42 2.3.2 Ứng dụng Web thời gian thực sử dụng thƣ viện SignalR 49 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 55 3.1 Bài toán Web thời gian thực 55 3.1.1.Bài toán 55 3.1.2 Vấn đề cần giải 55 3.1.3 Giải pháp đề xuất 56 3.2 Một số kết 59 3.2.1 Kết chƣơng trình Streaming sử dụng StreamInsight 60 3.2.2 Kết ứng dụng chạy Web thời gian thực 63 PHẦN KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v DANH MỤC TỪ VIẾT TẮT Nghĩa tiếng Anh Từ viết tắt DBMS Data Base Management System DSMS Data Stream Management System CPU Central Processing Unit SQL Structured Query Language CQL Continuous Query Language SPE Stream Processing Engine URL Uniform Resource Locator HTTP Hypertext Transfer Protocol ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH Hình 1.1: Xử lý liệu quản trị sở liệu Hình 1.2: Xử lý liệu hệ thống liệu luồng Hình 2.1: Ví dụ R-Tree .23 Hình 2.2: Trƣờng hợp phân chia node (a) bad split, (b) good split .31 Hình 2.3: Phân chia phần tử thành nhóm node 32 Hình 2.4: Các kiểu liệu lớp hàm ngữ nghĩa trừu tƣợng 35 Hình 2.5: Mô hình kiến trúc xử lý truy vấn liên tục 37 Hình 2.6: Kiến trúc truy vấn liên tục luồng liệu 41 Hình 2.7: Nền tảng ứng dụng StreamInsight 43 Hình 2.8: Truy vấn ràng buộc 49 Hình 2.9: Mô hình gửi thông tin SignalR 51 Hình 2.10: Phƣơng thức kết nối SignaIR 53 Hình 3.1: Kiến trúc tạo báo cáo Web sử dụng thuật toán truy vấn liên tục 55 Hình 3.2: Sơ đồ toán 57 Hình 3.3: Sơ đồ tổng thể toán 58 Hình 3.4: Lớp SimpleEventType 60 Hình 3.5: Các lớp gói SimulatedInputAdapter 60 Hình 3.6: Các lớp gói ConsoleOutput (hiển thị thông tin) 61 Hình 3.7: Báo cáo theo dòng 62 Hình 3.8: Chƣơng trình Web 67 Hình 3.9: Kết hiển thị Web 67 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii DANH MỤC CÁC BẢNG Bảng 1.1: So sánh khác DBMS DSMS 10 Bảng 1.2: Ví dụ truy vấn liệu luồng S(A, B, C) T(D, E) 15 Bảng 1.3: Ký hiệu số truy vấn Q luồng S 16 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn PHẦN MỞ ĐẦU Công nghệ thông tin ngày phát triển, ứng dụng rộng rãi nhiều lĩnh vực đời sống kinh tế xã hội Theo thời gian, lƣợng liệu thông tin cần lƣu trữ quan tổ chức, đơn vị, doanh nghiệp, ngƣời sử dụng… ngày tăng Do dung lƣợng liệu gia tăng không ngừng, yêu cầu ngày cao hiệu truy xuất, tính ổn định sẵn sàng liệu; việc lƣu trữ trở nên quan trọng Lƣu trữ liệu không đơn giản cung cấp thiết bị lƣu trữ dung lƣợng lớn mà bao gồm khả quản lý, chia sẻ nhƣ lƣu phục hồi liệu trƣờng hợp Mặt khác môi trƣờng kinh tế đà hội nhập, phát triển cạnh tranh ngƣời ta ngày cần có nhiều thông tin cần truy vấn nhanh để hỗ trợ giúp đƣa định ngày có nhiều câu hỏi, vấn đề cần phải trả lời, giải dựa khối lƣợng thông tin khổng lồ Các phƣơng pháp lƣu trữ, truy vấn sở liệu truyền thống ngày không đáp ứng đƣợc yêu cầu thực tế đề ra, phát triển khuynh hƣớng kỹ thuật truy liệu luồng liên tục (Data Streaming) Streaming kỹ thuật xử lý truyền liệu theo luồng cách ổn định liên tục Trong mô hình luồng liệu, hoạt động tất liệu đầu vào không đƣợc truy cập ngẫu nhiên từ ổ đĩa nhớ mà truy cập từ từ nhiều luồng liệu liên tục Ứng dụng trực tuyến không nhấn mạnh đến chế xử lý hệ thống quản lý liệu luồng, mà đƣa thách thức cho việc quản lý liệu: Lớn, nhanh chóng thay đổi liệu cần phải đƣợc xử lý với chi phí thấp nhớ CPU cung cấp truy cập hiệu thời gian đáp ứng đảm bảo thấp Giải khắc phục thách thức lƣu trữ quản lý liệu, truy vấn liệu nhanh từ hỗ trợ cá nhân, doanh nghiệp đƣa định nhanh chóng, kịp thời, hiệu quả, tăng doanh thu Luận văn tập trung tìm ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 khách hàng Vấn đề sống kinh doanh đƣa đƣợc chiến lƣợc hợp lý cho giai đoạn mà phải kịp thời không tốn nhiều thời gian, nguồn lực chi phí Để hỗ trợ cho ngƣời quản lý có định kịp thời cho công ty cần có hệ thống báo cáo theo thời gian thực đảm bảo tính xác, thông tin rõ ràng có đƣợc thông tin phân tích quản lý để trả lời câu hỏi nhƣ “Các sản phẩm bán chạy ?”, “Mặt hàng có lợi nhuận cao nhất” “Doanh thu ngày hôm qua đƣợc ?”… Thời gian thực báo cáo đề cập đến trình mà ngƣời dùng nhận đƣợc báo cáo thời điểm liệu giao dịch xảy nơi hệ thống tổ chức Khách quan mà nói, thấy khả không thực đƣợc "thực tế" vốn chịu ảnh hƣởng nhiều yếu tố Báo cáo thời gian thực hiểu theo nghĩa giảm thời gian trễ tới xấp xỉ giây hay đến mili giây báo cáo cho kiện phát sinh 3.1.3 Giải pháp đề xuất Bài toán thử nghiệm đƣợc đặt hệ thống siêu thị, ngƣời quản lý cần biết thông tin doanh thu, sản phẩm bán chạy, tổng số đơn hàng đến thời điểm ? Theo cách thông thƣờng ngƣời quản lý cần chạy chƣơng trình bấm truy vấn thông tin đến thời điểm tại, hệ thống cho kết tƣơng ứng Theo cách ngƣời quản lý cần phải có thao tác bấm nút xử lý thông tin để có kết Bài toán đặt với ngƣời quản lý siêu thị cần theo dõi hệ thống bán hàng theo thời gian thực, ngƣời quản lý đƣợc thông tin mặt hàng bán chạy, doanh thu đến thời điểm bao nhiêu… Làm nhƣ thời gian, cần đến Streaming data để có biến động liệu hiển thị hình Input : + Đơn hàng ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 57 + Các sản phẩm thuộc đơn hàng + Tổng tiền Output: + Tổng doanh thu đến thời điểm + Tổng số đơn hàng đến thời điểm + Sản phẩm bán chạy đến thời điểm Khi có thay đổi hệ thống (Ví dụ: Chèn thêm liệu, xóa liệu, thay đổi thông tin liệu…) chƣơng trình cần phải biết để lấy thông tin Thông thƣờng muốn lấy thông tin cần phải truy vấn xuống hệ thống, làm nhƣ tốn thời gian đƣợc liệu có thay đổi hay không Còn Stream Insight giúp ngƣời quản lý có thay đổi lấy thông tin, thay đổi liệu cần thiết Từ sử dụng Streamlight để có thay đổi Stream Isight lấy đƣợc liệu để xử lý thông tin Yêu cầu: Dữ liệu phải hiển thị liên tục, có biến động đơn hàng, doanh thu hệ thống hiển thị lên hình không cần phải tác động vào hệ thống Thu ngân Thu ngân Xử lý thông tin Báo cáo Thu ngân Thu ngân … Hình 3.2: Sơ đồ toán Các đơn hàng đƣợc nhập liên tục thu ngân, sau đơn hàng đƣợc lƣu vào hệ thống sở liệu xử lý tổng hợp thông tin đƣa ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 báo cáo Các liệu đầu vào thông tin đơn hàng, tổng tiền, sản phẩm thuộc đơn hàng Để xây dựng hệ thống trên, sử dụng liệu đầu vào đƣợc tạo ngẫu nhiên hệ thống StreamInsight, phần liệu đƣợc lƣu vào sở liêụ, biến đổi “trung tâm” đầu chuyển đổi để hiển thị thông tin, chuyển đổi đƣa phần thông tin tới Inmemory tables qua hiển Web thời gian thực Real time Web Input Stream Insight (IR) Q1 In Memory Input Tables Q2 Qn Input n Database Hình 3.3: Sơ đồ tổng thể toán Input: Dữ liệu đầu vào thời gian thực StreamInsight: Query liệu thời gian thực Output: Xuất liệu thời gian thực, panel theo dõi luồng liệu xuất nhƣ In memory: Lƣu liệu tạm thời IR: Hiển thị liệu thời gian thực Web Từ sơ đồ tổng thể toán hình 3.3, input liệu đầu vào qua ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 59 truy vấn (Q) cụ thể lƣu lại kết IR (In Memory Tables) đẩy kết Bài toán muốn báo cáo thời gian thực Web, cần phải lƣu trữ kết đẩy Web hình hiển thị máy tính Một phần liệu đƣợc lƣu trữ sở liệu Ở đây, toán muốn đảm bảo có thay đổi hệ thống, chƣơng trình biết để lấy thông tin Cũng nhƣ vậy, ngƣời quản lý thêm, thay đổi thông tin cần thiết, truy vấn liệu để đƣa định cho công việc Hệ thống hiển thị đƣợc chạy Web thời gian thực có ƣu điểm không cần cài đặt, cần có Internet trình duyệt xem đƣợc nơi Trong thực tế để xem đƣợc báo cáo không thiết phải đến văn phòng công ty StreamInsight khó triển khai Web đặc biệt Web thời gian thực Output file XML, Web phải tự quét lấy file có thay đổi, qua ServiceWCF Kết hợp công nghệ Microsoft StreamInsight thêm bảng tạm nhớ quản lý truy vấn liên tục nhƣ đầu Stream, nên dễ quản lý, triển khai độ trễ thấp Chúng nghĩ phƣơng pháp xây dựng toán truy vấn liệu dựa tảng Stream Insight kết hợp thêm vào Web thời gian thực, để toán dễ hiểu Cũng nhƣ trợ giúp ngƣời dùng quản lý, truy vấn, báo cáo thông tin cách đơn giản, dễ dàng SignalR thƣ viện dành cho ASP.NET nhằm đơn giản hóa việc xây dựng ứng dụng Web thời gian thực Chức thời gian thực khả máy chủ chủ động đẩy liệu cho Client Client kết nối tới máy chủ thay Client phải gửi yêu cầu làm liệu tới máy chủ SignalR thêm số tính ứng dụng web ASP.NET Framework 3.2 Một số kết Trong chƣơng trình thử ngiệm xây dựng hai hệ thống kết hợp với sử dụng StreamInsight xử lý liệu liên tục kết hợp với hiển thị thông tin Web thời gian thực thông qua thƣ viện SignalR Sự kết hợp StreamInsight SignalR nhằm tạo giải pháp hoàn thiện bao gồm hệ ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 60 thống liệu riêng hệ thống hiển thị riêng Hệ thống thị đƣợc chạy Web thời gian thực có ƣu điểm không cần cài đặt, cần có Internet trình duyệt xem đƣợc nơi Trong thực tế để xem đƣợc báo cáo không thiết phải đến văn phòng công ty 3.2.1 Kết chương trình Streaming sử dụng StreamInsight StreamInsight sinh ngẫu nhiên liệu theo thời gian định kỳ Dự án đầu tiên, có lớp SimpleEventType lớp chuyển đổi tùy chỉnh dùng để sinh kiện ngẫu nhiên gửi kiện đến xử lý StreamInsight Hình 3.4: Lớp SimpleEventType Tiếp theo ta xây dựng lớp liệu đầu vào: SimulatedInputAdapter để sinh liệu Hình 3.5: Các lớp gói SimulatedInputAdapter ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 61 Các lớp chính: + Lớp SimulatedInputAdapterConfig: Đây loại cấu hình cho lớp SimulatedDataInputFactory Sử dụng trƣờng hợp lớp để cấu hình chuyển đổi liệu đầu vào theo mô kiện + Lớp SimulatedInputPointAdapter: Mô chuyển đổi đầu vào cho kiện Định kỳ làm tăng liệu kiện mô Nếu lớp thực thông qua ItypeInitializer giao diện đƣợc quy định cấu hình kiện đƣợc điền vào thể lớp Các lớp liệu : Hình 3.6: Các lớp gói ConsoleOutput (hiển thị thông tin) Lớp: ConsoleAdapterConfig : Cấu hình đầu liệu Lớp ConsoleAdapterFactory: Tạo thể chuyển đổi đầu giao diện điều khiển kiện nhận đến cửa sổ NETgỡ lỗi theo cửa sổ dòng lệnh (Console) Tiếp theo ta tạo ứng dụng streaming set thời gian cập nhật kiện Trong chƣơng trình sử dụng thời gian đặt kiện với thời gian 500 mili giây Application cepApplication = cepServer.CreateApplication("simple"); var input = CepStream.Create("inputStream", typeof(SimulatedInputFactory), new SimulatedInputAdapterConfig() { CtiFrequency = 1, EventPeriod = 500, // thoi gian cap nhat su kien ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 62 EventPeriodRandomOffset = 0, TypeInitializer = typeof ( SimpleEventTypeFiller ) AssemblyQualifiedName }, EventShape.Point); Kết chạy chương trình sử dụng StreamInsight Các liệu dùng toán đƣợc tạo ngẫu nhiên SimpleEventType.cs, cấu trúc kiện đƣợc tạo SimpleEventType.cs gồm ba đối tƣợng “Doanh số”, “Sản phầm bán chạy” “số đơn hàng” Trong luồng liệu đầu vào cho toán, liệu đƣợc sinh sau 500 mini giây lần Ta theo dõi liệu thời gian sinh qua báo cáo nhƣ hình dƣới Các liệu đƣợc hiển thị chi tiết với số lƣợng theo hàng Hình 3.7: Báo cáo theo dòng Kết đƣợc hiển thị có biến động doanh thu Kết hiển thị doanh thu gồm doanh thu biến đổi tổng doanh thu Tiếp theo sản phẩm bán chạy đến thời điểm ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63 3.2.2 Kết ứng dụng chạy Web thời gian thực Việc báo cáo môi trƣờng đƣợc thực chƣơng trình chạy, mang tính chất thông báo chạy máy Việc hiển thị liệu bên cần ứng dụng khác, truy cập lúc, nơi thông qua môi trƣờng Internet Trong ví dụ sử dụng thƣ viện SignalR Microsoft kết hợp với với Web server chạy ứng dụng thông qua môi trƣờng Web Khi có thay đổi, liệu đƣợc viết hình, đồng thời lƣu xuống sở liệu để lƣu trữ Trong trình lƣu liệu xuống sở liệu, liệu đƣợc đọc hiển thị Web server Các lớp chƣơng trình: Messages: Lớp hiển thị thông tin thông báo public class Messages { public int MessageID { get; set; } // ID public string Message { get; set; } // Ten Thong bao public string EmptyMessage { get; set; } // public DateTime MessageDate { get; set; } // thoi gian } Tiếp theo ta xây dựng lớp MessagesRepository dùng để lắng nghe thay đổi từ CSDL, đọc thông tin từ database public class MessagesRepository { readonly string _connString =ConfigurationManager.ConnectionStrings["DefaultConnection"].ConnectionString; public IEnumerable GetAllMessages() ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 64 { var messages = new List(); // luu cac thong bao // doc dƣ lieu tu database using (var connection = new SqlConnection(_connString)) { connection.Open(); using (var command = new SqlCommand(@"SELECT [MessageID], [Message], [EmptyMessage], [Date] FROM [dbo].[Messages]", connection)) { command.Notification = null; var dependency = new SqlDependency(command); dependency.OnChange += new OnChangeEventHandler(dependency_OnChange); if (connection.State == ConnectionState.Closed) connection.Open(); var reader = command.ExecuteReader(); while (reader.Read()) { messages.Add(item: (int)reader["MessageID"], EmptyMessage = new Message Messages = { MessageID = (string)reader["Message"], reader["EmptyMessage"] != DBNull.Value ? (string) reader["EmptyMessage"] : "", MessageDate Convert.ToDateTime(reader["Date"]) }); } } ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn = 65 } return messages; } /* * Lớp thực có sụ thay đổi liệu * Đọc thông báo đẩy kết */ private void dependency_OnChange(object sender, SqlNotificationEventArgs e) { if (e.Type == SqlNotificationType.Change) { MessagesHub.SendMessages(); } } } Hiển thị liệu: Sau thông báo, liệu đƣợc hiển thị thông qua việc kết hợp Ajax Javascripts Xây dụng file Index.cshtml $(function () { // Declare a proxy to reference the hub var notifications = $.connection.messagesHub; // Create a function that the hub can call to broadcast messages notifications.client.updateMessages = function () { getAllMessages() ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 }; // Bắt đầu connect $.connection.hub.start().done(function () { // Thong bao viec ket noi den server da than cong alert("connection started") getAllMessages(); }).fail(function (e) { alert(e); }); }); // lay thong bao Ajax function getAllMessages() { var tbl = $('#messagesTable'); $.ajax({ url: '/home/GetMessages', contentType: 'application/html ; charset:utf-8', type: 'GET', dataType: 'html' }).success(function (result) { tbl.empty().append(result); }).error(function () { }); } ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 Hình 3.8: Chương trình Web Kết hiển thị Web: Khi có thay đổi doanh thu, tổng doanh thu tổng doanh thu + số lƣơng doanh thu thay đổi Hình 3.9: Kết hiển thị Web ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 68 PHẦN KẾT LUẬN Các phƣơng pháp lƣu trữ, truy vấn sở liệu truyền thống ngày không đáp ứng đƣợc yêu cầu thực tế đề ra, phát triển khuynh hƣớng kỹ thuật truy liệu luồng liên tục (Data Streaming) Streaming kỹ thuật xử lý truyền liệu theo luồng cách ổn định liên tục Xuất phất hoàn cảnh đó, luận văn tập trung nghiên cứu khái niệm tổng quát lý thuyết giải pháp Data Streaming, nhƣ kỹ thuật hỗ trợ giải toán “Truy vấn liên tục” dùng lớp báo cáo Luận văn đạt kết nhƣ sau: + Trình bày tổng quan liệu luồng, khác biệt liệu luồng sở liệu truyền thống, số ứng dụng liệu luồng + Hệ thống hóa số kỹ thuật quản lý truy vấn liệu luồng + Cài đặt thử nghiệm chƣơng trình sử dụng tảng StreamInsight kết hợp báo cáo Web thời gian thực giải toán truy vấn liên tục Hƣớng phát triển: Hiện tại, luận văn dừng lại việc tìm hiểu tổng quan hệ thống kỹ thuật hỗ trợ luồng liệu liên tục Sử dụng tảng công nghệ Microsoft StreamInsight để bắt gói liệu liên tục đƣợc tạo lớp ứng dụng Vì chƣa thể đƣợc khả hoạt động thực tế nguồn cung cấp liệu liên tục từ nhiều vị trí khác hệ thống kinh doanh thực Hƣớng phát triển đề tài triển khai hệ thống hóa, áp dụng vào hệ thống ứng dụng cụ thể, tham gia vào trình xây dựng hệ thống báo cáo liên tục cho tổ chức/doanh nghiệp Tôi tiếp cận với lĩnh vực Data Streaming nên đề tài thiếu sót Tôi mong nhận đƣợc nhiều ý kiến đóng góp chuyên môn, cách trình bày luận văn từ quý thầy cô bạn ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 69 TÀI LIỆU THAM KHẢO * Tài liệu tiếng nƣớc [1] Brian Babcock, Shivnath Babu, Mayur Datar, Rajeev Motwani, Jennifer Widom, Models and Issues in Data Stream Systems, Department of Computer Science, Stanford University, PODS 2002, Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems, http://dl.acm.org/citation.cfm?id=543615 [2] Arvind Arasu, Brian Babcock, Shivnath Babu, John Cieslewicz, Mayur Datar, Keith Ito, Rajeev Motwani, Utkarsh Srivastava, and Jennifer Widom, STREAM: The Stanford Data Stream Management System, Department of Computer Science, Stanford University, December 2008, http:// ilpubs stanford edu:8090/641/1/2004-20.pdf [3] Shivnath Babu and Jennifer Widom, Continuous Queries over Data Streams, StanfordUniversity, Newsletter ACM SIGMOD Record Volume 30 Issue 3, September 2001, http://dl.acm.org/citation.cfm?id=603884 [4] Samuel Madden, Michael J Franklin, Fjording the Stream: An Architecture for Queries over Streaming Sensor Data, University of California, Berkeley, June 2001, www.cs.berkeley.edu/~franklin/Papers/ fjord s0601.pdf [5] Sirish Chandrasekaran, Michael J Franklin, Streaming Queries over Streaming Data, University of California, Berkeley, VLDB 2002, Proceedings of the 28th international conference on Very Large Data Bases, http://dl.acm.org/citation.cfm?id=1287388&bnc=1 [6] Bei Pan, Ugur Demiryurek, Farnoush Banaei-Kashani and Cyrus Shahabi, Spatiotemporal Summarization of Traffic Data Streams, Department of Computer Science, University of Southern California, Los Angeles, IWGS 2010, Proceedings of the ACM SIGSPATIAL International Workshop on GeoStreaming, http://dl.acm.org/citation.cfm?id=1878504 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 70 [7] Gutman A (1984) – “R-Tree: A Dynamic Index Structure For Spatial Searching” – Procesdings of the ACM SIGMOD Confernece, pp 44-57 [8] Kame I, Faloutos C (1994) Hilbert – “R-Tree: An Improved R-Tree Using Fractals” – Proceedings of the VLDB Conference, pp 144 - 155 ố hóa STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn [...]...2 hiểu cơ sở dữ liệu truy n thống, cơ sở dữ liệu luồng liên tục, một số kỹ thuật quản lý, truy vấn dữ liệu luồng liên tục Lƣu trữ dữ liệu an toàn và truy vấn dữ liệu nhanh quyết định sự thành công của mỗi cá nhân, tổ chức, doanh nghiệp Vì vậy, học viên chọn: Nghiên cứu một số kỹ thuật quản lý, truy vấn dữ liệu luồng liên tục làm đề tài luận văn tốt nghiệp của mình... quản lý luồng dữ liệu trƣớc khi có bất kỳ dữ liệu có liên quan nào đến Truy vấn xác định trƣớc nói chung là các truy vấn liên tục, mặc dù kế hoạch truy vấn một lần có thể đƣợc định nghĩa trƣớc Mặt khác, truy vấn bột phát sau khi các luồng dữ liệu đã bắt đầu công khai Truy vấn bột phát có thể là truy vấn một lần hoặc là các truy vấn liên tục Thiết kế một hệ thống quản lý dữ liệu luồng cho truy vấn bột... bị giới hạn Truy vấn trên dữ liệu luồng liên tục có nhiều điểm chung với các truy vấn trong hệ thống quản lý cơ sở dữ liệu truy n thống Tuy nhiên, có hai khác biệt quan trọng đặc biệt với mô hình luồng dữ liệu: + Sự khác biệt đầu tiên là giữa truy vấn một lần và truy vấn liên tục Truy vấn một lần (một lớp bao gồm truy vấn DBMS truy n thống) là những truy vấn đƣợc đánh giá một lần trên một bản chụp... thống quản lý cơ sở dữ liệu (DBMS) để quản lý một cơ sở dữ liệu thông thƣờng Một truy vấn cơ sở dữ liệu thông thƣờng thực hiện một lần truy vấn và trả về tập hợp một kết quả tại một thời điểm thực hiện truy vấn Ngƣợc lại, một truy vấn liên tục tiếp tục thực hiện theo thời gian khi có dữ liệu mới đi vào hoạt động, các kết quả của các truy vấn liên tục đƣợc cập nhật khi có dữ liệu mới xuất hiện Xây dựng một. .. truy vấn liên tục, dữ liệu không bị chặn khi truy vấn và có thể cho ra câu trả lời truy vấn nhanh nhất trong một khoảng thời gian ngắn + Do tính chất liên tục của dữ liệu, một DSMS thƣờng hỗ trợ các truy vấn dữ liệu dài và liên tục, hỗ trợ các câu trả lời truy vấn liên tục, kịp thời DSMS phải hỗ trợ ngôn ngữ khai báo truy vấn và có thể đối phó với dữ liệu tốc độ cao, hàng ngàn các truy vấn liên tục +... trên các kỹ thuật này, để có thể tạo ra các trả lời truy vấn xấp xỉ Đây là hƣớng nghiên cứu còn cần phải tìm hiểu nhiều trong tƣơng lai 1.2.3 Truy vấn cửa sổ trượt Một kỹ thuật để tạo ra một trả lời xấp xỉ cho một truy vấn luồng liên tục là đánh giá truy vấn đó không theo toàn bộ lịch sử của các luồng dữ liệu, mà chỉ qua các cửa sổ trƣợt trên dữ liệu gần đây của luồng dữ liệu Ví dụ: Chỉ dữ liệu trong... cho tới khi mọi dữ liệu tới, thì các hàm khác sử dụng kết quả đó làm sao đáng tin cậy 1.2.5 Xây dựng hệ thống quản lý dữ liệu luồng Một hệ thống quản lý dữ liệu luồng (DSMS) là một chƣơng trình máy tính kiểm soát việc duy trì và truy vấn dữ liệu trong dữ liệu luồng [2, 4] Một tính năng quan trọng của DSMSs là việc thực hiện một truy vấn liên tục Việc sử dụng một DSMS để quản lý dữ liệu luồng cũng tƣơng... chƣơng: Chƣơng 1: Tổng quan về dữ liệu luồng và hệ thống quản lý dữ liệu luồng Chƣơng 2: Một số kỹ thuật trong quản lý luồng và truy vấn dữ liệu luồng Chƣơng 3: Chƣơng trình thử nghiệm Phần kết luận Tài liệu tham khảo ố hóa bởi STrung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 3 Chƣơng 1: TỔNG QUAN VỀ DỮ LIỆU LUỒNG VÀ HỆ THỐNG QUẢN LÝ DỮ LIỆU LUỒNG 1.1 Tổng quan về dữ liệu luồng 1.1.1 Giới thiệu Trong... quả Xử lý truy vấn Bộ nhớ chính Đĩa Hình 1.1: Xử lý dữ liệu trong quản trị cơ sở dữ liệu Hệ thống cơ sở dữ liệu truy n thống không thể sử dụng để lƣu trữ hiệu quả và xử lý dữ liệu trực tuyến Cơ sở dữ liệu truy n thống không đƣợc thiết kế để tải nhanh chóng và liên tục các kết quả truy vấn dữ liệu cá nhân khi có yêu cầu truy vấn trong trƣờng hợp luồng dữ liệu Hệ thống quản lý cơ sở dữ liệu truy n thống... quyết những vấn đề đơn lẻ (one-time queries) + Không đặt nặng vấn đề thời gian + Dữ liệu khép kín + Dữ liệu đƣợc giả định chính xác + Tính thích ứng (reactive capability) Một hệ thống quản lý dữ liệu luồng (DSMS) là một chƣơng trình máy tính để quản lý dữ liệu luồng liên tục Nó tƣơng tự nhƣ một hệ thống quản lý cơ sở dữ liệu (DBMS), thiết kế cho các dữ liệu tĩnh trong cơ sở dữ liệu thông thƣờng Một DSMS