Cơ sở dữ liệu ngoại suy và ứng dụng luận văn ths công nghệ thông tin 1 01 10

1 LỜI CẢM ƠN Luận văn đƣợc hoàn thành dƣới hƣớng dẫn tiến sĩ Đỗ Năng Toàn -Viện Công nghệ Thông tin thuộc Viện Khoa học Công nghệ Việt Nam Tác giả xin bày tỏ lòng biết ơn sâu sắc đến thầy, hƣớng dẫn tận tình đầy lịng nhân hậu q trình học tập, nghiên cứu Tác giả xin bày tỏ lòng biết ơn đến Ban lãnh đạo Trung tâm Thông tin- Tƣ liệu Dầu khí tận tình động viên, tạo điều kiện giúp đỡ tác giả thời gian học tập Tác giả xin bày tỏ lòng biết ơn sâu sắc đến Trƣờng Đại học Công nghệ- Đại học Quốc gia Hà nội, Viện Công nghệ Thông tin- Viện Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi thời gian học tập nghiên cứu Tác giả xin gửi lời cám ơn chân thành đến ngƣời thân gia đình bạn bè đồng nghiệp quan tâm, động viên giúp đỡ thời gian qua Hà nội tháng 10-2006 MỤC LỤC MỞ ĐẦU Tính thời sự, ý nghĩa thực tiễn đề tài Mục đích, cấu trúc luận văn Chƣơng 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU “NGOẠI SUY” Khái niệm sở liệu “ngoại suy” Tính chất sở liệu “ngoại suy” Các bƣớc cần thực để xây dựng sở liệu “ngoại suy” Chức vai trò sở liệu “ngoại suy” 11 4.1 Chức sở liệu “ngoại suy” 11 4.2 Vai trò sở liệu “ngoại suy” 12 Chƣơng 2: MỘT SỐ PHƢƠNG NGOẠI SUY DỮ LIỆU 15 Ngoại suy liệu dựa vào mơ hình hồi quy tuyến tính 15 1.1 Mô hình hồi quy tuyến tính cổ điển 15 1.2 Ƣớc lƣợng bình phƣơng cực tiểu 16 1.2.1 Tính chất ƣớc lƣợng phƣơng pháp bình phƣơng cực tiểu 17 1.2.2 Định lý Gauss ƣớc lƣợng bình phƣơng cực tiểu 18 1.2.3 Hệ số xác định R 18 1.2.4 Khoảng tin cậy hệ số hồi quy i 18 1.2.5 Kiểm định giả thiết hệ số hồi quy 19 1.2.6 Ƣớc lƣợng hàm hồi quy tuyến tính 21 1.3 Kiểm tra phù hợp mơ hình 21 1.3.1 Tiêu chuẩn F 21 1.3.2 Khảo sát phần dƣ 21 1.4 Tóm tắt bƣớc tiến hành phân tích hồi quy 22 1.5 Hệ thống mơ hình hồi quy tuyến tính bội 22 1.5.1 Mơ hình hồi quy với nhiều biến phụ thuộc 22 1.5.2 Ƣớc lƣợng tham số chƣa biết mơ hình 24 1.6 Hồi quy tƣơng quan tuyến tính bội 25 1.6.1 Ngoại suy với biến phụ thuộc 25 1.6.2 Ngoại suy với nhiều biến phụ thuộc 27 1.7 Mơ hình hồi quy phi tuyến 29 Ngoại suy phƣơng pháp làm trơn 31 2.1 Các kỹ thuật làm trơn thƣờng dùng 31 2.2 Trung bình trƣợt đơn 31 2.3 Trung bình trƣợt kép 33 2.4 Làm trơn đơn mũ 34 2.5 Làm trơn mũ kép 36 Ngoại suy liệu dựa phân tích chuỗi thời gian 38 3.1 Đại cƣơng chuỗi thời gian 38 3.1.1 Khái niệm chuỗi thời gian 38 3.1.2 Mục tiêu việc phân tích chuỗi thời gian 39 3.2 Quá trình dừng phân tích hệ số tƣơng quan 41 3.2.1 Khái niệm trình dừng 41 3.2.2 Các trình tuyến tính 43 3.2.3 Hệ số tƣơng quan tự tƣơng quan mẫu 43 3.2.4 Hệ số tự tƣơng.quan riêng 46 3.3 Ngoại suy liệu dựa chuỗi thời gian ARMA 47 3.3.1 Khái niệm chuỗi thời gian dừng 47 3.3.2 Chuỗi thời gian ARMA 51 3.3.3 Ngoại suy liệu trình ARMA 54 3.3.4 Kiểm tra tính phù hợp mơ hình 64 Chƣơng 3: ỨNG DỤNG 66 Cơ sở liệu trạng thái 66 1.1 Cơ sở liệu thời gian 66 1.2 Cơ sở liệu ngoại suy qua trạng thái 69 Ứng dụng 69 2.1 Bài toán 69 2.2 Ngoại suy dựa vào chuỗi thời gian 70 2.3 Chƣơng trình quản trị sở liệu International Revenue 73 KẾT LUẬN 75 TÀI LIỆU THAM KHẢO 76 MỞ ĐẦU Tính thời sự, ý nghĩa thực tiễn đề tài Khái niệm dự báo tồn từ lâu đời sống xã hội Tuy nhiên, buổi đầu cịn mang nặng tính thần bí, vơ cứ, sau mà môn khoa học tự nhiên phát triển dự báo thực đƣợc coi trọng hoạt động dự báo đƣợc diễn sở khoa học vững Ngày nay, việc đoán trƣớc xu tƣơng lai đóng vai trị quan trọng việc hoạch định sách kinh tế-xã hội cho hoạt động tập đồn, cơng ty nhỏ , vừa, lớn chí quốc gia hùng mạnh Việc đánh giá diễn biến tƣơng lai đối tƣợng phải dựa số liệu thực tế chu kỳ thời gian trƣớc Nhƣng nhiều trƣờng hợp số liệu chƣa thể cập nhậ t đến thời điểm thời , song nhu cầu bắt buộc lại cần kết để đánh giá q trình hoạt động Ví dụ: Việc tính tốn tốn khấu trừ thực gọi điện thoại vùng chẳng hạn Cuộc điện thoại đƣợc gọi từ Việt Nam sang Mỹ Việt Nam thu tiền cƣớc Mỹ phải chịu phí tổn đƣờng truyền ngƣợc lại điện thoại gọi từ Mỹ Việt Nam Mỹ lại ngƣời thu tiền Vấn đề đặt cần phải tính tốn khấu trừ việc gọi gọi đến Tuy nhiên, số liệu thực tế thƣờng có đƣợc chậm, có quý Số liệu thật có chậm q việc tốn lại chậm thêm quý Trong lại cần biết thông tin kinh doanh thời điểm để có kế hoạch, định hƣớng kinh doanh chẳng hạn nhƣ thuê thêm hay bớt đƣờng truyền Từ dẫn đến tất yếu nảy sinh phải tính tốn dựa số liệu ngoại suy (extrapolate data) để phục vụ nhu cầu đánh giá định Việc dự báo cho mục tiêu đơn cụ thể đƣợc thực nhiều song việc sản sinh tập hợp số liệu cách sử dụng thuật toán ngoại suy, dựa liệu thu thập khứ, tổ chức thành sở liệu gọi sở liệu “ngoại suy” nói chƣa có tài liệu đề cập đến, cho dù có nhiều dạng cấu trúc liệu đƣợc tạo dựng Mục đích, cấu trúc luận văn Sử dụng kỹ thuật ngoại suy liệu nhằm ứng dụng vào mục đích dự báo đƣợc sử dụng nhiều đơn vị hành nhƣ doanh nghiệp thơng qua mơ hình, phƣơng pháp tốn học Việc tổ chức có tính chất hệ thống cho liệu ngoại suy nhằm xây dựng sở liệu mà thực tiễn đặt nhu cầu cấp thiết nhƣng tài liệu có tính chất hệ thống vấn đề đặt phần thiếu vắng Xuất phát từ thực tế đó, mục tiêu luận văn nghiên cứu phƣơng pháp ngoại suy liệu, sở đề xuất giải pháp cho việc xây dựng sở liệu cho giá trị ngoại suy dựa mơ hình tốn học giải vấn đề thực tế nhờ ứng dụng mơ hình đề xuất Với mục tiêu cụ thể nhƣ sau: Nghiên cứu tổng quan ngoại suy liệu sở liệu nhằm thừa kế kết cải tiến cho phù hợp với liệu xác liệu dự báo Tìm hiểu mơ hình tốn học phƣơng pháp ngoại suy liệu dựa mơ hình Đề xuất tốn ứng dụng thực tế có sử dụng phƣơng pháp ngoại suy cụ thể cài đặt Cấu trúc luận văn gồm 76 trang chia thành chƣơng, phần mở đầu, phần kết luận tài liệu tham khảo đƣợc cấu trúc nhƣ sau: Chƣơng 1: Tổng quan sở liệu “ngoại suy” (8 trang) Trình bày tổng quan mơ hình sở liệu, liệu ngoại suy Sau nêu lên vai trị việc tổ chức liệu ngoại suy việc tổ chức quản lý liệu Chƣơng 2: Một số phƣơng pháp ngoại suy liệu (51 trang) Chƣơng trình bày khái niệm kỹ thuật ứng với ba phƣơng pháp thƣờng đƣợc sử dụng việc ngoại suy liệu, là: Mơ hình hồi quy phƣơng pháp ngoại suy dựa vào mơ hình hồi quy Q trình làm trơn ngoại suy dựa làm trơn Chuỗi thời gian ngoại suy liệu dựa chuỗi thời gian Chƣơng 3: Ứng dụng (9 trang) Trình bày việc tổ chức liệu ngoại suy thành sở liệu dựa việc gán trạng thái thời gian cho ghi Trên sở cài đặt ứng dụng cụ thể liên quan đến việc thao tác với liệu ngoại suy Chƣơng TỔNG QUAN VỀ CƠ SƠ DỮ LIỆU “NGOẠI SUY” Khái niệm sở liệu “ngoại suy” Bản thân thuật ngữ sở liệu “ngoại suy” nói lên thuộc tính khơng thể thiếu đƣợc não ngƣời: phản ánh vƣợt trƣớc, cố gắng hƣớng tới tƣơng lai ngày tốt đẹp Những cố gắng ban đầu đƣợc thể dƣới hình thức ƣớc đốn, hy vọng thiếu cứ, ƣớc muốn viển vông không tƣởng, tính tốn ƣớc lƣợng thiếu sở khoa học mang nặng tính kinh nghiệm.[1] Từ cổ xƣa việc dự báo đƣợc áp dụng sống hàng ngày, nhƣng mang nặng màu sắc thần bí tơn giáo, thể câu tiên tri, lời bói tốn Ngay từ thời cổ Hy Lạp ngƣời ta phân chia lĩnh vực dự báo thành: Các tƣợng tự nhiên nhƣ: thời tiết, nhật thực, nguyệt thực… Các tƣợng xã hội: Sự xuất kết thúc chiến tranh, hƣng thịnh hay suy vong thể chế trị… Các tƣợng đời sống xã hội nhƣ khả giàu có, bệnh tật, sinh tử, phát đạt dòng họ… Suốt nhiều kỷ trƣớc dự báo không đƣợc vận dụng cách khoa học khơng có tính tích cực, thời kỳ lý thuyết tôn giáo không tƣởng triết học tâm chiếm vai trò thống trị tƣ nhận thức giới, giai cấp thống trị lợi dụng làm công cụ thống trị mê ngƣời dân nghèo khổ Đến kỷ XVI, XVII mà môn khoa học tự nhiên nhƣ tốn học, hóa học , vật lý học thiên văn học phát triển, dự báo có tính chất khoa học xuất Tuy nhiên, lúc đầu dự báo với độ xác cao thƣờng đƣợc áp dụng vào vật lý cổ điển, hóa học đặt phạm vi không gian thời gian khắt khe Sau đó, xuất nhiều dự báo mà tƣợng dự báo phức tạp, chịu tác động nhiều nhân tố: tiến khoa học–kỹ thuật, phát triển kinh tế-xã hội, trị, thay đổi tâm lý chuẩn mực đạo đức xã hội, đòi hỏi dự báo phải vận dụng phƣơng pháp thống kê xác suất (dự báo với mức độ tin cậy khơng hồn tồn xác) [1] Học thuyết C.Mác mở khả vế tiên đốn có tính khoa học hình thái kinh tế - xã hội Mác Ăng ngƣời đề giải thích cách sâu sắc mâu thuẫn động lực phát triển hình thái kinh tế - xã hội tất yếu khách quan việc chuyển từ hình thái kinh tế - xã hội sang hình thái kinh tế xã - hội khác tiến Hai ông cho tƣợng kinh tế - xã hội vận động phát triển theo thời gian: mang dấu vết khứ tƣơng lai khứ phát triển tạo thành Khi liên hệ cách thận trọng với kinh nghiệm khứ để rút học sâu sắc từ thực tế sinh động, phủ nhận đƣợc tiên đốn thiên tài Lênin, di sản có tính chất kinh điển Ơng tổng qt hóa khuynh hƣớng phát triển tƣợng phức tạp lĩnh vực trị, kinh tế, xã hội khoa học để tập chung đầu tƣ cho kế hoạch điện khí hóa Nhà nƣớc Xơ Viết [2] Nhƣ vậy, dự báo từ thần bí kinh nghiệm phát triển thành môn khoa học độc lập Ngày vai trò dự báo ngày đƣợc khẳng định tăng lên đáng kể lĩnh vực cấp độ đời sống xã hội Đó quy mô kinh tế ngày lớn, cấu trúc kinh tế xã hội ngày phức tạp Việc tổng hợp nhân tố ảnh hƣởng đến trình phát triển kinh tế quốc dân, việc vạch luận chứng để xây dựng chiến lƣợc, quy hoạch kế hoạch phát triển, việc lựa chọn phƣơng án để phát triển khả thực mục tiêu kinh tế - xã hội ngày tăng lên Nhƣ hiểu sở liệu “ngoại suy” sở liệu gắn với chuỗi thời gian thực, đƣợc cài đặt thuật toán ngoại suy nhằm sản sinh liệu (dữ liệu ngoại suy) có khoa học mang tính chất xác suất mức độ, nội dung, mối quan hệ, trạng thái, xu hƣớng phát triển đối tƣợng nghiên cứu cách thức thời hạn đạt đƣợc mục tiêu định đề tƣơng lai Tiên đoán hình thức phản ánh vƣợt trƣớc thời gian thực khách quan, kết nhận thức chủ quan ngƣời dựa sở nhận thức quy luật khách quan vận động phát triển vật tƣợng phân biệt loại tiên đốn: Tiên đốn khơng khoa học: tiên đốn khơng có sở khoa học, thƣờng dựa mối quan hệ có tính tƣởng tƣợng, không thực, đƣợc cấu trúc cách giả tạo, phát có tính chất Các hình thức nhƣ bói tốn, tiên tri, luận điệu tuyên truyền lực thù địch,… thuộc loại tiên đoán Tiên đoán kinh nghiệm: tiên đốn hình thành qua kinh nghiệm thực tế dựa vào mối quan hệ qua lại thƣờng xuyên thực tế tƣởng tƣợng mà không dựa sở phân tích cấu trúc lý thuyết, nghiên cứu quy luật hay đánh giá kinh nghiệm Loại tiên đoán nhiều có sở song lại khơng giải thích đƣợc vận động đối tƣợng đa số dừng lại mức độ định tính Tiên đoán khoa học: tiên đoán dựa việc phân tích mối quan hệ qua lại đối tƣợng khuôn khổ hệ thống lý luận khoa học định Nó dựa việc phân tích tính quy luật phát triển đối tƣợng dự báo điều kiện ban đầu với tƣ cách nhƣ giả thiết Tiên đoán khoa học kết kết hợp phân tích định tính phân tích định lƣợng trình cần dự báo Chỉ có dự báo khoa học đảm bảo độ tin cậy cao sở vững cho việc thông qua định quản lý khoa học [2] Ngoại suy liệu có thời gian xác định hay tầm xa ngoại suy Tầm xa ngoại suy liệu khoảng cách thời gian tối đa từ đến thời điểm sản sinh liệu ngoại suy Khoảng cách phụ thuộc vào nhiều nhân tố: thay đổi liệu ngoại suy, mức độ ổn định nhân tố ảnh hƣởng, độ dài thời kỳ tiền sử v.v… Tính chất sở liệu “ngoại suy” Ngoại suy liệu mang tính xác suất Mỗi đối tƣợng liệu ngoại suy vận động theo quy luật đó, quỹ đạo định đó, đồng thời q trình phát triển ln ln chịu tác động mơi trƣờng, hay yếu tố bên ngồi Bản thân mơi trƣờng hay yếu tố tác động đứng im mà luôn trạng thái vận động phát triển khơng ngừng, phía chủ thể liệu ngoại suy, thông tin hiểu biết đối tƣợng tƣơng lai nghèo nàn Vì dù thuật tốn ngoại suy có hồn thiện, có tin cậy đến đâu khơng thể chắn liệu ngoai suy hồn tồn xác Hay nói cách khác ngoại suy liệu mang tính xác suất [1] Ngoại suy liệu đáng tin cậy Ngoại suy mang tính xác suất nhƣng đáng tin cậy dựa sở lý luận phƣơng pháp luận khoa học Đó phép biện chứng vật lịch sử, hệ thống lý luận khoa học, kinh tế xã hội Phƣơng pháp công cụ xử lý thông tin ngày đại Xét mặt chất, ngoại suy liệu phản ảnh vƣợt trƣớc, giả thiết phát triển liệu ngoại suy tƣơng lai đƣợc đƣa sở nhận thức quy luật phát triển điều kiện ban đầu với tƣ cách giả thiết Theo đà phát triển khoa học kỹ thuật, trình độ nhận thức quy luật điều kiện ban đầu ngày đƣợc hồn thiện độ tin cậy liệu ngoại suy không ngừng đƣợc nâng cao độ tin cậy.[1] Ngoại suy liệu mang tính đa kết Mỗi phƣơng pháp ngoại suy đƣợc thực giả thiết định – ngoại suy có điều kiện Tập hợp giả thiết nhƣ gọi phơng liệu ngoại suy Ngoại suy đƣợc tiến hành phông liệu ngoại suy khác nhau, nguyên nhân chủ quan khách quan khác có nhiều kết ngoại suy khác Tính đa kết mặt thuộc tính khách quan liệu ngoại suy, nhƣng mặt khác lại phù hợp với u cầu cơng tác quản lý, làm cho việc định nhƣ đạo thực định quản lý trở nên linh hoạt hơn, dễ thích nghi với biến đổi vơ phức tạp tình hình thực tế [1] Các bƣớc thực để xây dựng sở liệu “ngoại suy” Thông thƣờng thủ tục để xây dựng sở liệu “ngoại suy” bao gồm bƣớc sau đây: [2] Bƣớc 1: Xác định mục tiêu toán Bƣớc công tác xây dựng sở liệu “ngoại suy” làm rõ mục tiêu Ba mục tiêu cần xác định là: Xác định đối tƣợng: Nhu cầu thuê bao điện thoại, nhu cầu nhà ở, nhu cầu nghề nghiệp, lƣợng nƣớc hồ chứa, thời tiết, tỷ giá cổ phiếu v.v… Khu vực dự báo: Theo địa dƣ (một tỉnh, khu vực, toàn quốc v.v…) hay khu vực xã hội (ngành công nghiệp, khu vực dịch vụ, v.v…) Khu vực dự báo thu hẹp vùng nơng thơn hay lĩnh vực cụ thể nhƣ tỷ giá đồng đô la Mỹ đồng Việt nam Khoảng thời gian dự báo: năm, năm, 10 năm… Bƣớc 2: Phân tích yếu tố ảnh hƣởng Đại lƣợng biến đổi theo thời gian thực tiền đề quan hệ đại lƣợng yếu tố định giá trị đại lƣợng khứ, không thay đổi thời điểm cần xác định tƣơng lai Do 10 đó, điều kiện bên (hệ thống giá, cấu giá, chế vận hành điều tiết lũ v.v…) điều kiện bên ngồi (kế hoạch phát triển vùng, bảo đảm tính bền vững môi trƣờng v.v…) phải đƣợc xét đến Bƣớc 3: Thu thập phân loại liệu Trong nghiên cứu yếu tố ảnh hƣởng trực tiếp đến đối tƣợng, cần phải thu thập số liệu yếu tố đó, sau xếp phân loại chúng để xử lý Chẳng hạn, liệu cần cho việc xác định nhu cầu điện thoại bao gồm: Dân số, hộ gia đình Số văn phịng cơng ty, quan đoàn thể Tốc độ tăng thu nhập Các kế hoạch phát triển đô thị Nhu cầu điện thoại năm qua Các liệu cần đƣợc xếp theo thời gian, vùng địa dƣ hay ngành nghề Bƣớc 4: Phân tích xu hƣớng tiến triển đại lƣợng Xu hƣớng tiến triển đƣợc phân tích bình diện sau: Các số liệu thời gian trƣớc Cơ cấu phát triển hệ Nguồn tác động đến trình phát triển Xem xét đặc trƣng khu vực So sánh vùng khác Bƣớc 5: Xác định mơ hình kỹ thuật ngoại suy sử dụng q trình tính tốn, lựa chọn sở liệu cài đặt Ngoại suy chuỗi thời gian Quá trình làm trơn Phân tích hồi quy Các phƣơng pháp khác (so sánh, chun gia v.v…) Phƣơng pháp mơ hình đƣợc chọn tƣơng ứng với đặc điểm đối tƣợng yếu tố liên quan, ứng với liệu thu thập đƣợc Để đạt đƣợc giá trị có ˆ X n1 , rn ,nj , vào biểu thức L(n ) ta có hàm hợp lý cực đại 64 L(,, Chú ý X j đại , , ˆ ˆ Trong  , j 1 3.3.4 Kiểm tra tính phù hợp mơ hình [10] Mỗi mơ hình đƣợc ƣớc lƣợng, kiểm tra phù hợp hay khơng mô tả chuỗi số liệu cho nhờ việc xét số dƣ (tức chuỗi thời gian đƣợc tạo số liệu chuỗi số liệu gốc chuỗi số liệu ngoại suy) Các số dƣ đƣợc tính nhờ số liệu quan sát đƣợc tham số vừa đƣợc tính Mơ hình đƣợc xem phù hợp với chuỗi số liệu phần dƣ đƣợc phân bổ cách ngẫu nhiên hay goi tạo thành ồn trắng Chúng ta biết hệ số tự tƣơng quan có hai ích lợi sau: 1- Nhận dạng kiểu dạng chuỗi thời gian 2- Kiểm tra để đảm bảo số dƣ ngẫu nhiên Chúng ta đề cập đến vấn đề 1) mục 3.1,3.2 3.3 Bấy ta sử dụng hệ số tự tƣơng quan để kiểm tra xem số dƣ (sai số) có ngẫu nhiên khơng? Sau lựa chọn kỹ thuật để ngoại suy liệu chuỗi thời gian ARMA, chẳng hạn ta ƣớc lƣợng tham số nhờ thuật tốn cải tiến hay thuật tốn Hannan-Rissanen, tính sai số  t phép ngoại suy nhƣ sau:  t =số liệu thực tại-số liệu ngoại suy= X t  X t ˆ Xt Với sai số cịn có tên gọi khác số dƣ hay thặng dƣ đƣợc tính theo cơng thức Điểm cốt yếu có vơ vàn cách khác để ngọai suy chuỗi thời gian Có cách dựa vào cảm tính, có cách dựa sở lập luận Đối với phƣong pháp cụ thể, tạo nên số sai lạc nhận dạng kiểu mẫu 65 chuỗi thời gian Nếu có mơ hình ngoại suy chuỗi thời gian đƣợc chọn đắn số dƣ (các sai số ngoại suy) đƣợc phân bổ cách ngẫu nhiên Điều có nghĩa sai số khơng ngẫu nhiên mơ hình dự báo đƣợc chọn khơng phù hợp ta phải tìm mơ hình khác tốt Áp dụng phƣơng pháp trình bày mục 2.3, với mức ý nghĩa  , ta thiết lập giới hạn tin cậy nhƣ định nghĩa mục 2.3 Sau đó, ta tính hệ số tự tƣơng quan số dƣ Nếu hệ số tự tƣơng quan nằm giới hạn tin cậy này, mơ hình xem dùng đƣợc Nếu có (cho dù một) hệ số tự tƣơng quan nằm ngồi giới hạn mơ hình đƣợc lựa chọn không phù hợp cho chuỗi thời gian xét cần tìm mơ hình khác tốt 66 Chƣơng ỨNG DỤNG CƠ SỞ DỮ LIỆU TRẠNG THÁI 1.1 Cơ sở liệu thời gian [12] Cơ sở liệu hệ thống tích hợp quan hệ liệu đƣợc tổ chức lƣu trữ máy tính Thực tế liệu đƣợc lƣu trữ sở liệu thể trạng thái cở sở liệu thời gian định Bởi nội dung sở liệu thay đổi thông tin đƣợc cập nhật bị xóa từ sở liệu, định nghĩa sở liệu với tập đối tƣợng liệu, tập liệu biến thay đổi theo thời gian trạng thái sở liệu thời điểm t giá trị biến cho đối tƣợng liệu thời điểm t Mỗi sở liệu thƣờng kết hợp với tập ràng buộc toàn vẹn mà liệu sở liệu phải thỏa mãn Các giá trị liệu đƣợc phép lƣu trữ sở liệu chúng không vi phạm ràng buộc tồn vẹn tƣơng ứng Các ràng buộc liệu thƣờng đƣợc thể nhƣ công thức logic đối tƣợng liệu Giao tác suy diễn TM- Tran saction Manager DOS- Data Operator System DM- Data manager Sensor Thiết bị vật lý TM DOS DM Sensor Bộ điều khiển Hình 3.1: Mơ hình sở liệu thời gian thực Giao tác USER 67 Một sở liệu thời gian thực bao gồm hệ quản trị sở liệu truyền thống hệ thống thời gian thực Trong sở liệu thời gian thực, giao tác không thỏa mãn điểm tới hạn mà chúng phải sử dụng liệu hợp lệ thực Trong hệ thống sở liệu thời gian thực đối tƣợng liệu đƣợc chia thành đối tƣợng liệu liên tục đối tƣợng liệu rời rạc Mơ hình hệ thống sở liệu đƣợc mơ tả hình 3.1 Một giá trị đối tƣợng liệu liên tục phản ánh trạng thái đối tƣợng sở liệu thời gian thực Một giá trị đối tƣợng liên tục khơng hợp lệ khoảng thời gian trôi qua Các đối tƣợng liệu rời rạc tĩnh giá trị khơng phụ thuộc vào thời gian Các đối tƣợng liệu liên tục chia thành đối tƣợng liệu sở đối tƣợng liệu suy diễn Giá trị đối tƣợng liệu sở đƣợc nhận trực tiếp từ sensor, giá trị đối tƣợng suy diễn đƣợc tính tốn từ tập giá trị đối tƣợng sở Trong sở liệu thời gian thực giao tác phải thực trƣớc điểm tới hạn chúng Điểm hạn giao tác điểm hạn cứng, điểm hạn vững hay điểm hạn mềm, độc lập yêu cầu chức Việc hồn thành thực giao tác thời gian thực tạo giá trị cho hệ thống Quan hệ giá trị giao tác thời gian thực với thời gian hoàn thành thực chúng xem nhƣ hàm giá trị thời gian Hàm giá trị ĐiểmThời gian hạn Điểm hạn mềm Hình 3.2: Quan hệ giá trị giao tác thời gian thực với thời gian  Một giao tác có điểm tới hạn cứng bị vi phạm dẫn đến cố xảy nghĩa có giá trị âm điểm hạn cứng bị vi phạm  Một giao tác có điểm tới hạn mềm giá trị giảm với thời gian thời điểm sau điểm tới hạn  Một giao tác có điểm tới hạn vững khơng cịn giá trị kết thúc điểm hạn Điểm hạn mềm điểm hạn vững thƣờng xuất 68 ứng dụng thời gian thực có u cầu mức độ an tồn thấp Ví dụ nhƣ hệ thống chuyển mạch điện thoại hay chƣơng trình chứng khốn v.v… Trong hệ thống sở liệu thời gian thực ngồi tính logic nhƣ sở liệu truyền thống, liệu phải thỏa mãn tính qn thời gian Có hai thể khác đối tƣợng liệu thể bên (trong giới thực) thể bên (trong sở liệu) Hai thể có quan hệ với quan hệ gọi quan hệ quán thời gian Có hai kiểu quán thời gian liệu là: quán tuyệt đối quán tƣơng đối Mối quan hệ kiểu quán tuyệt đối tƣơng đối liệu đƣợc mơ tả nhƣ hình 3.3 Thể (x) Cơ sở liệu Thể (x) Nhất quán tƣơng đối Hình 3.3: Mối quan hệ kiểu quán tuyệt đối tƣơng đối liệu Nhất quán tuyệt đối: thể bên liệu gần so với thể bên liệu thời điểm thời gian Nhất quán tương đối: Tồn giá trị tập đối tƣợng liệu đƣợc sử dụng dù chúng đƣợc sinh đủ gần Định nghĩa 3.1: Một dơn vị liệu sở liệu thời gian thực ký hiệu d(value,avi,timestamp) Trong dvalue giá trị d, dtimestamp thời điểm quan sát tạo d, d av i khoảng hợp lệ tuyệt đối d Ký hiệu R tập quán tương đối nghĩa tập đối tượng liệu nhận từ đơn vị liệu Mỗi tập R kết hợp với khoảng hợp lệ tương đối ký hiệu Rrv i , Giả thiết d  R , d có trạng thái khi: 1) dvalue quán logic thỏa mãn tất ràng buộc toàn vẹn 69 2) d quán thời gian  Tuyệt đối: (d  Tương đối d'R currenttime d timestamp )d avi | dtimestamp  d 'timestamp )  Rrvi Trong dcurrenttime thời điểm quan sát 1.2 Cơ sở liệu trạng thái Trong đề cập đến dạng sơ khai sở liệu thời gian thực thông qua trạng thái liệu, là: Dạng tƣơng lai (số liệu dự báo), dạng (số liệu thực) dạng khứ (số liệu toán) Để biểu diễn trạng thái liệu, sở liệu sử dụng thêm trƣờng trạng thái, ghi có trạng thái tƣơng ứng Dữ liệu tƣơng lai trƣờng trạng thái có giá trị dự báo (C), dạng với số liệu thực đƣợc cập nhật, trƣờng trạng thái có giá trị thực (A), ứng với liệu đƣợc tốn trƣờng trạng thái có giá trị q khứ (S) Dữ liệu dự báo đƣợc sinh ta chủ động thực lệnh tạo thực việc truy xuất liệu cho báo cáo thời điểm dự báo tƣơng lai Các liệu đƣợc tự động sinh nhờ thuật tốn ngoại suy liệu Do đó, liệu thời điểm tƣơng lai có giá trị dự báo ứng với trƣờng trạng thái có giá trị C Với thời điểm tại, liệu có giá trị giá trị dự báo giá trị thực tế trƣờng trạng thái ứng với có giá trị A Đối với thời điểm khứ, liệu đƣợc tốn có giá trị giá trị dự báo, giá trị thực tế giá trị toán trƣờng trạng thái ứng với S Một cách mặc định thao tác với sở liệu trạng thái thời điểm tƣơng lai liệu có giá trị tƣơng ứng với trạng thái C, thời điểm giá trị tƣơng ứng với trạng thái A thời điểm khứ có giá trị S Tuy nhiên, ta chủ động lựa chọn giá trị liệu cho thời điểm ứng với trạng thái ỨNG DỤNG 2.1 Bài tốn Telstra cơng ty viễn thông hàng đầu giới Australia Công ty Telstra có thời gian dài cho VNPT thuê kênh truyền 70 quốc tế nhƣ vệ tinh, cáp biển v.v Để tính tốn đƣợc lợi nhuận cần phải có tốn khấu trừ quốc tế Chẳng hạn, gọi điện từ Việt Nam sang Mỹ Việt Nam thu tiền cịn Mỹ chịu chi phí đƣờng dây đảm bảo cho gọi Ngƣợc lại, có điện thoại gọi từ Mỹ Việt Nam Mỹ lại nơi thu tiền cịn Việt Nam lại phải chịu phí tổn đƣờng dây Lợi nhuận đƣợc xây dựng sở có khấu trừ gọi gọi đến Nhƣng thực tế để có đƣợc thông tin khấu trừ xác nhận đối tác thƣờng chậm trễ Thơng thƣờng việc có đƣợc số liệu thực phải chậm hàng tháng, việc tốn lại chậm hàng q Bài tốn thực tế đƣợc đặt thời điểm tại, số liệu thực chƣa có đƣợc ta có báo cáo liên quan khơng Điều có nghĩa phải đƣợc báo cáo có tính chất dự báo Cơng việc công việc nặng nhọc công ty Telstra chi nhánh Việt Nam, có địa tầng 6, tồ nhà 17 Ngơ Quyền, Hà Nội Hàng tháng, đến thời điểm cần có báo cáo, thƣờng có đến nhân viên phải làm công việc cách bảng tính Excel theo cách thức dự báo nhà lập kế hoạch, nhƣ phòng kế hoạch quan ta 2.2 Ngoại suy dựa vào chuỗi thời gian Để xây dựng liệu ngoại suy sử dụng chuỗi thời gian Nhƣ nói trên, công thức cho việc nhận dạng chuỗi thời gian rõ ràng.Tuy dãy số liệu mà có lại thể chuỗi thời gian Việc dùng đặc trƣng mẫu tính tốn khơng thể đảm bảo tính xác cho mơ hình, việc lựa chọn tham số cho mơ hình thƣờng địi hỏi nhiều ý kiến chuyên gia Vì sau đã tìm hiểu chuỗi thời gian, cố gắng xây dựng cơng cụ cho phép phân tích nhận dạng chuỗi thời gian cách trực quan Trong hình 3.3 thể hình ảnh chuỗi số đầu vào với 28 liệu Sau thấy đƣợc hình ảnh chuỗi số liệu ban đầu, thực dự báo tự động cách bấm chuột vào "du bao" (ở phía dƣới hình) Có nghĩa chƣơng trình thực dị tìm bậc sai phân d, bậc hồi quy p, bậc trung bình trƣợt q cho sai số nhỏ Ngay sau bên phải nút dự báo hệ số (p, d, q) tìm đƣợc bên Xt trái hệ số (a1 , a2 , , b1 , b2 , ) cho  a1 X t 1  a2 X t 2   b1t 1  b2t 2  71 Để hiển thị kết trực quan cho chuỗi mô kết dự báo ta bấm chuột vào nút "MoPhong" Kết thu đƣợc hình ảnh chuỗi ban đầu sau lấy sai phân lần (màu đen) hình ảnh chuỗi mơ (có đƣợc từ cơng thức) a) Chuỗi số liệu b) Chuỗi số liệu chuỗi mô Hình 3.4: Hình ảnh chuỗi số liệu thật chuỗi mơ Ta thí nghiệm dự báo cách điều chỉnh bậc dự báo giả sử lấy bậc (có nghĩa phát sinh chuỗi mơ sau cắt bỏ số liệu cuối chuỗi ban đầu) sau nhấn chuột vào nút mp bandau ta có chuỗi mơ Hình 3.5: Hình ảnh chuỗi số liệu thật chuỗi mô bậc Tƣơng tự ta điều chỉnh bậc dự báo giả sử lấy bậc (có nghĩa phát sinh chuỗi mô sau cắt bỏ số liệu cuối chuỗi ban đầu) sau nhấn chuột vào nút mp bandau ta có chuỗi mơ 72 Hình 3.6: Hình ảnh chuỗi số liệu thật chuỗi mơ bậc Tiếp theo ta thí nhiệm với bậc dự báo (có nghĩa phát sinh chuỗi mô sau cắt bỏ số liệu cuối chuỗi ban đầu) sau nhấn chuột vào nút mp bandau ta có chuỗi mơ Hình 3.7: Hình ảnh chuỗi số liệu thật chuỗi mơ bậc Có thể dự báo cách tự chọn bậc (p,d,q) cách chủ quan dựa hình ảnh giá trị tự tƣơng quan tự tƣơng quan riêng cho bậc sai phân có đƣợc cách nhấn chuột vào nút TuTuongQuan, TuongQuanRieng tƣơng ứng Có thể lựa chọn ba (p,d,q) có đƣợc mơ hình phù hợp (nhờ 73 cung cấp hình ảnh trực quan chuỗi số liệu ban đầu chỗi mô ba (p,d,q) tƣong ứng) dựng lại thực dự báo nhƣ làm 2.3 Chƣơng trình quản trị sở liệu International Revenue Chúng tơi cài đặt thuật tốn ngoại suy liệu vào chƣơng trình quản trị sở liệu International Revenue công ty viễn thông Telstra Úc tồ nhà 17 Ngơ Quyền Hình 3.8: Giao diện đăng nhập vào chƣơng trình quản trị sở liệu International Revenue Hình 3.9: Giao diện nhập liệu dịch vụ điện thoại chƣơng trình quản trị sở liệu International Revenue 74 Hình 3.10: Báo cáo liệu dự báo tính đến tháng 11 năm 2006 chƣơng trình quản trị sở liệu International Revenue 75 KẾT LUẬN Dự báo đóng vai trị quan trọng việc hoạch định sách kinh tế-xã hội cho hoạt động tập đoàn, cơng ty nhỏ, vừa, lớn chí quốc gia hùng mạnh Việc đánh giá diễn biến tƣơng lai đối tƣợng phải dựa số liệu thực tế chu kỳ thời gian trƣớc Nhƣng nhiều trƣờng hợp số liệu chƣa thể cập nhật đến thời điểm thời, song nhu cầu bắt buộc lại cần kết để đánh giá trình hoạt động Việc dự báo cho mục tiêu đơn cụ thể đƣợc thực nhiều song việc sản sinh tập hợp số liệu cách sử dụng thuật toán ngoại suy dựa liệu thu thập khứ, tổ chức thành sở liệu gọi sở liệu “ngoại suy” nói chƣa có tài liệu đề cập đến Mục tiêu luận văn nghiên cứu phƣơng pháp ngoại suy liệu, sở đề xuất giải pháp cho việc xây dựng sở liệu cho giá trị ngoại suy, dựa mơ hình tốn học tính học giải vấn đề thực tế nhờ ứng dụng mơ hình đề xuất Cụ thể luận văn đạt đƣợc kết sau:  Trình bày cách tổng quan dự báo sở liệu  Trình bày phƣơng pháp ngoại suy liệu dựa mơ hình tốn học  Xây dựng chƣơng trình ứng dụng thực tế sử dụng phƣơng pháp ngoại suy dựa lý thuyết chuỗi thời gian Áp dụng cho toán quản lý gọi gọi đến công ty viễn thông Telstra Úc 76 TÀI LIỆU THAM KHẢO [1] Anderson O.D Time Series Analysis & Forecacting The Box – Jenkins Approach, Butterwworths, London 1976 [2] Box G.E.P Jenkins G.M Time Series Analysis- Forecasting And Control Holden –Day 1970 [3] Brockwell P.J & David R.A “Time Series:Theory And Method” Springer – Verlag, New York, 1991 [4] Durbin C & Levinson M (1991), Algorithm For Fitting Autoregressive Model Biometrika 90.1973 [5] Đinh Văn Gắng Lý Thuyết Xác Suất Thống Kê [6] Lý Hoàng Tú (2001), Phân Tích Chuỗi Thời Gian Mơ Hình Hố Và Dự Báo Chuỗi Thời Gian Trong Kinh Doanh Và Quốc Tế - Nxb ĐHQG Tp Hồ Chí Minh 2001 [7] Nguyễn Hồ Quỳnh, Chuỗi Thời Gian Phân Tích Và Nhận Dạng [8] Nguyễn Văn Hƣu, Nguyễn Đình Dƣ, Phân Tích Thống Kê Và Dự Báo [9] Nguyễn Trung Hòa (1997), Chuỗi Thời Gian Mô Phỏng Và Chặt Khúc, Luận án Tiến sỹ Ngành Toán ĐHBK Hà Nội 1997 [10] Nguyễn Trung Hịa (1996), "Về Một Thuật Tóan Mơ Phỏng Chuỗi Thời Gian Tự Hồi Quy AR(P)", Tạp Chí Tin Học Và Điều Khiển, Tập 12 Số 1, năm 1996 [11] Nguyễn Xuân Núi (2006), Tìm hiểu chuỗi thời gian ứng dụng tốn quản lý, Khóa luận tốt nghiệp đại học, Đại học Công nghệ ĐHQG Hà Nội [12] Hồ Văn Hƣơng (2004), Đặc tả kiểm chứng hình thức ứng dụng sở liệu thời gian thực, LATS toán học 1.01.10 [13] James T McClave, P George Benson, Terry Sincich: A first course in Business Statistics , Sixth Edition, 1995 Naresh K Malhotra: Marketing Research - An Applied Orientation , Edi., 1996 [14] sd ... sở liệu ? ?ngoại suy? ?? Chức vai trò sở liệu ? ?ngoại suy? ?? 11 4 .1 Chức sở liệu ? ?ngoại suy? ?? 11 4.2 Vai trò sở liệu ? ?ngoại suy? ?? 12 Chƣơng 2: MỘT SỐ PHƢƠNG NGOẠI SUY DỮ LIỆU... ỨNG DỤNG 66 Cơ sở liệu trạng thái 66 1. 1 Cơ sở liệu thời gian 66 1. 2 Cơ sở liệu ngoại suy qua trạng thái 69 Ứng dụng 69 2 .1. .. làm liệu trơn lên, chọn  gần tƣơng đƣơng với số nhỏ khoảng thời gian trung bình trƣợt để lại nhiều thăng giáng liệu N Thg ăm 96 Kh thời gian 1 2 7 36 10 11 12 97 10 11 12 13 14 15 16 17 18 Tổng