Nghiên cứu bản chất phân đoạn và đa phân đoạn của dữ liệu mạng

TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HỒ CHÍ MINH BỘ MÔN VIỄN THÔNG -o0o - LUẬN ÁN CAO HỌC NGHIÊN CỨU BẢN CHẤT PHÂN ĐOẠN VÀ ĐA PHÂN ĐOẠN CỦA DỮ LIỆU MẠNG GVHD: TS LÊ TIẾN THƯỜNG HV: KS VÕ THỊ LƯU PHƯƠNG Lớp: CHK10 _ KTVT-ĐT 05/2003 LỜI CẢM TẠ Tôi xin cảm ơn chồng, cha mẹ em hỗ trợ, động viên nhiều cho công việc học tập Xin chân thành cảm ơn Tiến Sĩ LÊ TIẾN THƯỜNG tận tình hướng dẫn tơi suốt thời gian làm luận án Ngày 15 tháng năm 2003, Võ Thị Lưu Phương Chương 1: LỜI NÓI ĐẦU 1.1 Giới thiệu chung 1.2 Các nội dung Luận án bao gồm tất chương ¾ Chương 1: Các phương pháp phân tích mơ hình q trình phân đoạn Chương nói đến lỗi thời mơ hình Poison áp dụng cho lưu thơng mạng Sau nêu lên đặc tính lưu thơng mạng, đặc tính phân đoạn Các trình tiêu biểu trình phân đoạn Tự Đồng Dạng Phụ thuộc Tầm Xa Sau đó, chương cịn đề cập đến phương pháp để ước lượng tham số Hurst (đánh giá mức độ tự đồng dạng q trình) Các mơ hình cho trình phân đoạn đề cập đến, bao gồm mơ hình FARIMA, mơ hình nguồn ON/OFF, mơ hình fBm, ¾ Chương 2: Biến đổi wavelet phương pháp Phân Tích Đa Phân Giải Đầu tiên chương nêu lại số lý thuyết biến đổi wavelet liên tục (CWT) biến đổi wavelet rời rạc (DWT) số tính chất bật chúng Phần trọng tâm chương trình bày phương pháp Phân Tích Đa Phân Giải, mà công cụ quan trọng áp dụng chương ¾ Chương 3: Phương pháp phân tích liệu phân đoạn wavelets Chương cho ta biết làm mà Phân Tích Đa Phân Giải ứng dụng để phân tích, ước lượng tổng hợp q trình phân đoạn ¾ Chương 4: Bản chất Đa Phân Đoạn liệu WAN Chương nêu lên cách nhìn liệu thang tỉ lệ rât nhỏ (cỡ vài trăm mili giây trở xuống), mà đồ thị Logscale, biểu diễn khơng cịn tuyến tính Đó biểu đa phân đoạn liệu WAN Dữ liệu Đa Phân Đoạn khơng dược mơ hình hóa tham số liệu Phân Đoạn mà nhiều tham số khác theo thời gian Trong chương đề cập đến khác biệt liệu LAN liệu WAN, thang tỉ lệ lớn thang tỉ lệ nhỏ ¾ Chương 5: Mơ hình Đa Phân Đoạn dựa vào Wavelet Chuơng nêu lên mơ hình tối ưu để áp dụng cho liệu Đa Phân Đoạn Ưu điểm Những Kiến Thức Cơ Bản HV: KS.Võ Thị Lưu Phương mơ hình so với mơ hình khác ln cho ngõ dương, giống với liệu thức Cơng cụ áp dụng cho mơ hình wavelet Haar Phân Tích Đa Phân Giải ¾ Chương 6: Chương trình mơ Chương bao gồm phần Phần đầu chương trình MATLAB ước lượng tham số Hurst liệu Phân Đoạn Đánh giá chất liệu (Tự Đồng Dạng hay Phụ Thuộc Tầm Xa ) Phần thứ hai chương trình MATLAB dùng để ước lượng tham số liệu Đa Phân Đoạn Sau trình bày kết đạt nêu lên ý kiến đánh giá chúng ¾ Chương 7: Hướng phát triền Chương nêu lên việc chưa thực luận án hướng phát triển tương lai Ngồi chương ra, luận án cịn có hai phụ lục quan trọng khơng nhằm cung cấp cho người đọc số kiến thức tảng Đó là: ¾ Phụ lục A: Ơn lại số vấn đề lý thuyết xác suất trình ngẫu nhiên Phần trình bày lại số khái niệm xác suất phân bố quan trọng áp dụng luận án Ngồi ra, cịn định nghĩa số q trình ngẫu nhiên thơng dụng như: q trình dừng, q trình chuyển động Brownian, ¾ Phụ lục B giới thiệu phân tích Đa Phân Đoạn 1.3 Một số ký hiệu quy ước ¾ f (x ) ~ g (x ) x → a có nghĩa là: lim x→a f (x ) =1 g (x ) ¾ f (x ) ≈ g (x ) x → a có nghĩa là: lim x→a f (x ) = C , C số hữu hạn, khác g (x ) ¾ Ngoại trừ rõ, cịn khơng ∑ có nghĩa n +∞ ∑ n = −∞ d ¾ = có nghĩa chiều (dimensional) fd ¾ = có nghĩa chiều hữu hạn (finte-dimensional) Những Kiến Thức Cơ Bản HV: KS.Võ Thị Lưu Phương Tóm tắt nội dung Ngày nay, mạng liệu, LAN WAN ngày phức tạp phong phú ứng dụng chất nhiều lớp hệ thống mạng (7 lớp theo mơ hình OSI) Nên ta khơng thể dùng mơ hình Poisson để mơ hình cho liệu mạng làm với mạng thoại truyền thống hon 70 năm qua Dữ liệu mạng LAN có chất khác so với lưu thơng mạng thoại truyền thống (mạng chuyển mạch mạch), chất Tự Đồng Dạng, hay gọi phân đoạn Đồng thời, có biểu Phụ Thuộc Tầm Xa Dữ liệu phân đoạn đặc trưng tham số tham số Hurst (H) Đầu tiên, ta dùng phương pháp thống kê truyền thống đồ thị Phương sai-thời gian, đồ thị R/S, đồ thị Periodogram để phân tích, ước lượng tham số H liệu phân đoạn Sau đó, ta nêu lên phương pháp phân tích pháp triển gần phương pháp dựa biến đổi wavelets rời rạc (Discrete Wavelets Transform _ DWT) phân tích đa phân giải (Multiresolution Analysis _ MRA) Dưới lăng kính wavelet ta cịn gọi liệu phân đoạn liệu tỉ lệ (scaling), hay bất biến tỉ lệ (invariant scaling) xuất phát từ định nghĩa liệu có tham số thống kê khơng đổi nhiều thang tỉ lệ khác Và ta dùng tham số thống kê bậc hai, tham số đặc trưng cho liệu phân đoạn gọi số mũ bậc hai α, α=2H-1 Ta dùng đồ thị Logscale Diagram để phân tích đặc tính tỉ lệ ước lượng số mũ bậc hai liệu so sánh phương pháp phân tích với phương pháp thống kê truyền thống, nêu bậc ưu điểm Tuy nhiên, quan sát dòng liệu WAN thang tỉ lệ nhỏ (khoảng 100ms) ta thấy đồ thị Logsacle khơng cịn tuyến tính nữa, liệu lúc có chất khác với phân đoạn, chất đa phân đoạn liệu WAN Ta phải dùng phương pháp đồ thị khác để phân tích ước lượng WAN traffic thang tỉ lệ, đồ thị Multiscale Diagram Dữ liệu Đa Phân Đoạn đặc trưng nhiều tham số, số mũ tỉ lệ bậc khác bậc Luận án bao gồm tất chương ¾ Chương 1: Giới thiệu chung Chương nói đến lỗi thời mơ hình Poison áp dụng cho lưu thơng mạng Giới thiệu đo đạc Bellcore thí nghiệm khám phá chất phân đoạn liệu mạng Và sau nêu số ký hiệu quy ước ¾ Chương 2: Các phương pháp phân tích mơ hình q trình phân đoạn Sau nêu lên đặc tính lưu thơng mạng, đặc tính phân đoạn Các q trình tiêu biểu trình phân đoạn Tự Đồng Dạng Phụ thuộc Tầm Xa Sau đó, chương cịn đề cập đến Abstract HV: KS.Võ Thị Lưu Phương phương pháp để ước lượng tham số Hurst (đánh giá mức độ tự đồng dạng trình) Các mơ hình cho q trình phân đoạn đề cập đến, bao gồm mơ hình FARIMA, mơ hình nguồn ON/OFF, mơ hình fBm, ¾ Chương 3: Biến đổi wavelet phương pháp Phân Tích Đa Phân Giải Đầu tiên chương nêu lại số lý thuyết biến đổi wavelet liên tục (CWT) biến đổi wavelet rời rạc (DWT) số tính chất bật chúng Phần trọng tâm chương trình bày phương pháp Phân Tích Đa Phân Giải, mà công cụ quan trọng áp dụng chương ¾ Chương 4: Phương pháp phân tích liệu phân đoạn wavelets Chương cho ta biết làm mà Phân Tích Đa Phân Giải ứng dụng để phân tích, ước lượng tổng hợp q trình phân đoạn ¾ Chương 5: Bản chất Đa Phân Đoạn liệu WAN Chương nêu lên cách nhìn liệu thang tỉ lệ rât nhỏ (cỡ vài trăm mili giây trở xuống), mà đồ thị Logscale, biểu diễn khơng cịn tuyến tính Đó biểu đa phân đoạn liệu WAN Dữ liệu Đa Phân Đoạn không dược mơ hình hóa tham số liệu Phân Đoạn mà nhiều tham số khác theo thời gian Trong chương đề cập đến khác biệt liệu LAN liệu WAN, thang tỉ lệ lớn thang tỉ lệ nhỏ ¾ Chương 6: Chương trình mơ Chương bao gồm phần Phần đầu chương trình MATLAB ước lượng tham số Hurst liệu Phân Đoạn Đánh giá chất liệu (Tự Đồng Dạng hay Phụ Thuộc Tầm Xa ) Phần thứ hai chương trình MATLAB dùng để ước lượng tham số liệu Đa Phân Đoạn Sau trình bày kết đạt nêu lên ý kiến đánh giá chúng ¾ Hướng phát triển Phần nêu lên việc chưa thực luận án hướng phát triển tương lai Ngồi chương ra, luận án cịn có hai phụ lục khơng phần quan trọng nhằm cung cấp cho người đọc số kiến thức tảng, là: ¾ Phụ lục A: Ơn lại số vấn đề lý thuyết xác suất trình ngẫu nhiên Phần trình bày lại số khái niệm xác suất phân bố quan trọng áp dụng luận án Ngồi ra, cịn định nghĩa số q trình ngẫu nhiên thơng dụng như: q trình dừng, q trình chuyển động Brownian, ¾ Phụ lục B giới thiệu khái niệm phân đoạn (tự đồng dạng) toán học Abstract HV: KS.Võ Thị Lưu Phương Tóm tắt nội dung Ngày nay, mạng liệu, LAN WAN ngày phức tạp phong phú ứng dụng chất nhiều lớp hệ thống mạng (7 lớp theo mơ hình OSI) Nên ta khơng thể dùng mơ hình Poisson để mơ hình cho liệu mạng làm với mạng thoại truyền thống hon 70 năm qua Dữ liệu mạng LAN có chất khác so với lưu thơng mạng thoại truyền thống (mạng chuyển mạch mạch), chất Tự Đồng Dạng, hay gọi phân đoạn Đồng thời, có biểu Phụ Thuộc Tầm Xa Dữ liệu phân đoạn đặc trưng tham số tham số Hurst (H) Đầu tiên, ta dùng phương pháp thống kê truyền thống đồ thị Phương sai-thời gian, đồ thị R/S, đồ thị Periodogram để phân tích, ước lượng tham số H liệu phân đoạn Sau đó, ta nêu lên phương pháp phân tích pháp triển gần phương pháp dựa biến đổi wavelets rời rạc (Discrete Wavelets Transform _ DWT) phân tích đa phân giải (Multiresolution Analisis _ MRA) Dưới lăng kính wavelet ta cịn gọi liệu phân đoạn liệu tỉ lệ (scaling), hay bất biến tỉ lệ (invariant scaling) xuất phát từ định nghĩa liệu có tham số thống kê khơng đổi nhiều thang tỉ lệ khác Và ta dùng tham số thống kê bậc hai, tham số đặc trưng cho liệu phân đoạn gọi số mũ bậc hai α, α=2H-1 Ta dùng đồ thị Logscale Diagram để phân tích đặc tính tỉ lệ ước lượng số mũ bậc hai liệu so sánh phương pháp phân tích với phương pháp thống kê truyền thống, nêu bậc ưu điểm Abstract HV: KS.Võ Thị Lưu Phương Chương 1: LỜI NÓI ĐẦU Sự lỗi thời mơ hình Poisson Trong phân tích, mơ lưu thơng mạng thoại cổ điển, mơ hình Poisson sử dụng 70 năm với giả thiết: ¾ Khoảng thời gian đến theo phân bố Poisson (Poisson arrival rate) ¾ Khoảng thời gian gọi theo luật số mũ Giả thiết có xuất phát từ tính chất có mạng điện thoại truyền thống (chuyển mạch mạch) Trong lưu thông mạng điện thoại, số lần gọi đến gọi giữ máy đơn vị thời gian có phân bố theo luật hàm số mũ, gọi độc lập lẫn Và mơ hình Poisson tỏ phù hợp với mạng điện thoại Trong mơ hình Poisson với tham số λ biểu diễn số gọi đến trung bình, xác suất Pk(t) ( k gọi đến khoảng thời gian cố định t) tính sau: Pk (t ) = (λt )k e −λt , k≥0 k! (1.1) Mơ hình dựa theo Poisson dễ dàng tính tốn theo tốn học, cần tham số để đặc tính hóa traffic flow, số gọi giữ máy flow trình Poisson theo luật hàm số mũ Mơ hình Poisson có lợi điểm hợp lưu thơng Poisson có phân bố Poisson, đó, traffic tổng hợp dễ phân tích mơ hình Trong thực tế, mơ hình Poisson thích hợp với tầm thang tỉ lệ thời gian giới hạn, cách tối ưu hóa tham số λ, mơ hình phù hợp với số loại traffic tầm xa tầm gần Phụ lục A – Ôn lại số lý thuyết xác suất trình ngẫu nhiên HV: KS.Võ Thị Lưu Phương Tuy nhiên, mơ hình lại không phù hợp với mạng liệu, mạng liệu có nguồn gốc từ mạng thoại, ví dụ dial-up internet Điều data traffic tạo nhiều chế khác từ lưu thông thoại Lưu thông thoại dùng mạch ảo, có tính chất hướng kết nối (connection-oriented) Trong mạch ảo, kết nối ln trì giao thức báo hiệu, băng thông cho traffic tương đối thấp Khi số lượng kết nối vượt khả đường truyền, gọi đến bị loại bỏ giao thức điều khiển Hơn nữa, thời gian gọi đến thực bị ảnh hưởng trực tiếp từ yếu tố người Mặc khác, traffic internet dựa theo chế chuyển mạch gói, có tính chất phi kết nối (connectionless) Trên mạng internet, liệu gói truyền phân mảnh thành nhiều gói với kích thước khác nhau, gói có header chứa field địa nguồn, địa đích phần payload có chiều dài khác Mỗi gói tự động định tuyến đến đích router dựa theo thơng tin hearder Do tính chất giao thức internet phi kết nối, đó, khơng phải tất gói phân mảnh từ ứng dụng đếu định tuyến đường Hơn nữa, điều quan trọng mạng Internet cách mà cư xử tắc nghẽn Tắc nghẽn xảy đệm router, mà tốc độ lưu thông vào vượt tốc độ tối đa mà đường ngõ cho phép (nghẽn cổ chai) Khi có tắc nghẽn xảy ra, router loại bỏ gói Để đảm bảo cho data đến đích, máy tính nguồn phải có chế điều khiển luồn chế truyền lại, thông thường, có timer lưu thơng internet, timer tràn host nguồn truyền lại gói, lưu thơng thoại truyền thống bị chi phối người Nói cách khác, data traffic có tương quan theo thời gian mạnh hơn, có tính burst (nhiều điểm vọt bất thường) nhiều voice traffic Hình 1.1 mơ tả tính burst mạng thoại truyền thống (có phân bố Poisson), song lưu thơng Internet khơng đơn giản Trong hình 1.1, số packet đơn vị thời gian đếm biểu diễn theo chiều dọc, khoảng thời gian quan sát biểu diễn theo chiều ngang Các khoảng thời gian tăng dần cách nhân lên 10 (trong hình thứ 3) nhân lên (trong hình đầu hình cuối) Khoảng thời gian đơn vị tăng theo hệ số Traffic quan sát lớp datalink Các khoảng thời gian quan sát mở rộng dần từ đỉnh đến đáy Ta thấy hình 1.1, khoảng quan sát dài mạng thoại, tính bursty giảm, Internet traffic burst thang tỉ lệ thời gian Phụ lục A – Ôn lại số lý thuyết xác suất trình ngẫu nhiên HV: KS.Võ Thị Lưu Phương Tóm lại, chất, lưu thơng mạng ngày có đặc điểm khác với mạng thoại truyền thống, đó, ta cần phải có phương pháp mới, mơ hình để phân tích mơ lưu thơng mạng liệu Hình 1.1: Tính bursty phân bố Poisson hay mạng thoại cổ điển (trái) mạng Internet hay mạng chuyển mạch gói (phải), đo lớp datalink Traffic trở nên phẳng mạng thoại, bursty mạng internet Phụ lục A – Ôn lại số lý thuyết xác suất trình ngẫu nhiên HV: KS.Võ Thị Lưu Phương ... tính Đó biểu đa phân đoạn liệu WAN Dữ liệu Đa Phân Đoạn khơng dược mơ hình hóa tham số liệu Phân Đoạn mà nhiều tham số khác theo thời gian Trong chương đề cập đến khác biệt liệu LAN liệu WAN, thang... làm mà Phân Tích Đa Phân Giải ứng dụng để phân tích, ước lượng tổng hợp q trình phân đoạn ¾ Chương 5: Bản chất Đa Phân Đoạn liệu WAN Chương nêu lên cách nhìn liệu thang tỉ lệ rât nhỏ (cỡ vài trăm... tính Đó biểu đa phân đoạn liệu WAN Dữ liệu Đa Phân Đoạn không dược mô hình hóa tham số liệu Phân Đoạn mà nhiều tham số khác theo thời gian Trong chương đề cập đến khác biệt liệu LAN liệu WAN, thang