Nghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy vănNghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy văn
HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Nguyễn Văn Khoa NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƢỢNG THỦY VĂN LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2018 HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Nguyễn Văn Khoa NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƢỢNG THỦY VĂN Chuyên ngành: Mã số: Hệ thống thông tin 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HOÀNG XUÂN DẬU HÀ NỘI - 2018 i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả luận văn Nguyễn Văn Khoa ii LỜI CẢM ƠN Để hoàn thành luận văn này, nghiên cứu cố gắng thân, em xin gửi lời cảm ơn sâu sắc tới Tiến sĩ Hoàng Xuân Dậu, giáo viên trực tiếp hướng dẫn, tận tình bảo định hướng cho em suốt trình nghiên cứu thực luận văn Em xin gửi lời cảm ơn chân thành, cảm ơn tất thầy cô giáo Học viện Cơng nghệ Bưu Viễn thơng giảng dạy dìu dắt em trong suốt trình học tập trường Cuối cùng, em xin gửi lời cảm ơn tới gia đình, bạn bè người ln bên cổ vũ tinh thần, tạo điều kiện thuận lợi cho em để em học tập tốt hoàn thiện luận văn Em xin chân thành cảm ơn! iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Kí hiệu IP Tiếng Anh Internet Protocol Giao thức liên mạng Khí tượng thủy văn KTTV TCP/IP Tiếng Việt Transmission Control Bộ giao thức liên mạng Protocol/Internet Protocol NIST CNTT Dropbox National Institute of Viện Tiêu chuẩn Kĩ thuật Standards and Technology Quốc gia Hoa Kỳ Công nghệ thông tin Phần mềm lưu trữ, đồng liệu công ty Dropbox iv DANH MỤC CÁC BẢNG Bảng 3.1: Thư mục liệu trung tâm thông tin liệu KTTV 38 Bảng 3.2: Thư mục liệu đài KTTV khu vực Tây Bắc 39 Bảng 3.3: Đánh giá chức thử nghiệm 45 Bảng 3.4: Truyền file thử nghiệm với mơ hình đồng liệu ưu tiên 46 Bảng 3.5: Truyền file thử nghiệm với phần mềm đồng trung tâm 46 Bảng 3.6: Truyền file thử nghiệm mơ hình đồng liệu ưu tiên với tin ảnh radar 47 Bảng 3.7: Truyền file thử nghiệm mơ hình đồng liệu ưu tiên với tin 47 Bảng 3.8: Truyền file thử nghiệm mơ hình đồng liệu ưu tiên với ảnh radar 47 v DANH MỤC CÁC HÌNH Hình 0.1: Mơ hình hệ thống đồng liệu KTTV có Hình 1.1: Mơ hình mạng khách chủ Hình 1.2: Mơ hình mạng ngang hàng Hình 1.3:Mơ hình hoạt động Dropbox Hình 2.2: Hàng đợi tổng quát 14 Hình 2.3: Các dạng hệ thống hàng đợi 15 Hình 2.4: Mơ tả cách lấy gói tin hàng đợi ưu tiên 16 Hình 2.5: Tiến trình gửi gói tin Priority Queueing 17 Hình 2.6: Cây có thứ tự phần 21 Hình 2.7: Các giao thức lập trình Socket 26 Hình 2.8: Mơ hình hoạt động FTP 28 Hình 2.9: So sánh hiệu truyền kiến trúc Client/Server P2P 30 Hình 2.10: Sự ảo hóa với nhiều cấp độ 32 Hình 2.11: Mơ hình hoạt động GridFTP 32 Hình 3.1: Mơ hình quản trị hệ thống tích hợp, xử lý chuyển mạch tự động liệu KTTV 35 Hình 3.2: Mơ hình hệ thống đồng liệu KTTV 36 Hình 3.3: Mơ hình đồng liệu có ưu tiên theo mơ hình client/server 40 Hình 3.4: Mơ tả truyền thơng điệp có ưu tiên từ server đến client 40 Hình 3.5: Mơ tả truyền thơng điệp có ưu tiên từ client đến server 41 Hình 3.6: Tổ chức thư mục server 41 Hình 3.7: Tổ chức thư mục client 41 Hình 3.8: Mơ hình truyền file liệu có ưu tiên 42 Hình 3.9: Mơ hình hàng đợi ưu tiên dùng cấu trúc đống 42 Hình 3.10: Giao diện server đồng liệu ưu tiên 44 Hình 3.11: Giao diện client đồng liệu ưu tiên 45 vi MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii DANH MỤC CÁC BẢNG iv DANH MỤC CÁC HÌNH v MỞ ĐẦU Chương1: TỔNG QUAN VỀ HỆ THỐNG ĐỒNG BỘ DỮ LIỆU 1.1 Khái quát hệ thống đồng liệu 1.1.1 Giới thiệu 1.1.2 Các thành phần 1.1.3 Các yêu cầu 1.2 Các kỹ thuật đồng liệu 1.3 Kết luận chương 12 Chương2: HÀNG ĐỢI CÓ ƯU TIÊN VÀ ĐỒNG BỘ FILE DỮ LIỆU 13 2.1 Hàng đợi có ưu tiên 13 2.1.1 Khái quát hàng đợi hàng đợi có ưu tiên 13 2.1.2 Các giải thuật xử lý hàng đợi có ưu tiên 20 2.1.3 Ứng dụng hàng đợi có ưu tiên: 23 2.2 Đồng file liệu 24 2.2.1 Một số khái niệm 24 2.2.1 Khái quát đồng file liệu 25 2.2.2 Các kỹ thuật đồng file liệu 25 2.2.3 Một số ứng dụng đồng file liệu 28 2.3 Kết luận chương 33 Chương3: XÂY DỰNG VÀ THỬ NGHIỆM MƠ HÌNH ĐỒNG BỘ DỮ LIỆU CÓ ƯU TIÊN 34 3.1 Hiện trạng hệ thống đồng liệu Trung tâm thông tin liệu KTTV 34 vii 3.1.1 Mơ hình thành phần hệ thống đồng liệu có 35 3.1.2 Các dạng liệu đồng 38 3.1.3 Các tồn hệ thống đồng liệu có 39 3.2 Xây dựng mơ hình đồng liệu có ưu tiên 40 3.2.1 Mơ hình đồng liệu có ưu tiên 40 3.2.2 Hoạt động mơ hình 42 3.3 Cài đặt thử nghiệm 43 3.3.1 Các yêu cầu phần cứng phần mềm 43 3.3.2 Giới thiệu mơ đun chương trình 43 3.3.3 Một số kết đánh giá 44 3.4 Định hướng ứng dụng mơ hình đồng liệu có ưu tiên vào hệ thống đồng liệu Trung tâm thông tin liệu KTTV 47 3.5 Kết luận chương 48 KẾT LUẬN 49 DANH MỤC TÀI LIỆU THAM KHẢO 50 MỞ ĐẦU Lý chọn đề tài Thơng tin liệu khí tượng thủy văn (KTTV), đặc biệt thông tin dự báo thời tiết, từ lâu đóng vai trò quan trọng nghiệp phát triển kinh tế - xã hội đất nước đời sống nhân dân Cùng với phát triển vũ bão khoa học công nghệ, thông tin liệu KTTV ngày nâng cấp số lượng chất lượng Các liệu KTTV thu thập từ trạm đo đặt vùng nước liệu quan trắc qua vệ tinh chuyển lên Trung tâm Khí tượng thủy văn quốc gia xử lý để đưa tin dự báo Các tin dự báo khí tượng thủy văn số liệu vệ tinh lại chuyển xuống đài khí tượng thủy văn tỉnh thành quan truyền thông phục vụ thơng tin đến đơn vị có liên quan người dân Yêu cầu việc thu thập, xử lý, lưu trữ, truyền phát, trao đổi liệu KTTV phải diễn nhanh chóng, đầy đủ, kịp thời để đảm bảo phục vụ hiệu công tác điều hành đạo, điều hành, cung cấp liệu cho dự báo KTTV, phục vụ phòng tránh thiên tai quan, đơn vị người dân Hiện tại, hệ thống mạng Trung tâm Khí tượng thủy văn quốc gia hỗ trợ tính trao đổi, đồng liệu chiều từ Trung tâm Công nghệ thông tin KTTV đài KTTV địa phương, cho phép chuyển liệu từ trạm đo địa phương trung tâm chuyển tin dự báo khí tượng thủy văn số liệu vệ tinh xuống đài khí tượng thủy văn địa phương Tuy nhiên, tính trao đổi, đồng liệu có sử dụng lập trình socket để chuyển tất loại liệu theo chiều nên hiệu không cao, đặc biệt hay xảy lỗi truyền liệu ảnh vệ tinh có kích thước lớn Hơn nữa, tính trao đổi, đồng liệu có khơng hỗ trợ việc chuyển nhanh tin có độ ưu tiên cao, tin cảnh báo thiên tai, nên chưa thực đáp ứng yêu cầu quản lý, điều hành Như vậy, việc nghiên cứu giải pháp nâng cao hiệu hệ thống trao đổi, đồng liệu KTTV yêu cầu cấp thiết, nhằm đáp ứng yêu 36 tâm KTTV tỉnh Hệ thống đồng trung tâm đồng theo mơ hình nguồn đến nhiều đích đơn vị trực thuộc Hình 3.2: Mơ hình hệ thống đồng liệu KTTV Hệ thống đồng liệu trung tâm thông tin liệu KTTV cần hỗ trợ đồng liệu chiều đơn vị ngành KTTV trung tâm thông tin liệu KTTV Hệ thống phải đảm bảo yêu cầu sau: - Hệ thống phải đảm bảo đồng liệu thành phần hệ thống phải giải vấn đề chia tải truyền liệu máy chủ hệ thống tránh điểm bị tắc nghẽn truyền nhiều liệu thời điểm ưu tiên truyền liệu quan trước liệu khác - Hệ thống phải lựa chọn đường truyền thành phần cho tối ưu truyền liệu phải có đường truyền dự phòng điều kiện có lỗi số máy chủ thành phần 37 - Hệ thống phần mềm truyền dẫn phải quản trị q trình truyền trung tâm thơng tin liệu KTTV - Hệ thống phải giám sát báo cáo trình truyền nhận liệu điểm thành phần hệ thống - Hệ thống phải có mức ưu tiên truyền liệu quan trọng (là tin thời tiết nguy hiểm liệu quan trắc phục vụ dự báo) - Hệ thống phải đảm bảo truyền tốt liệu có kích thước lớn ( ảnh radar, ảnh vệ tinh, sản phẩm mơ hình dự báo) Hệ thống hoạt động theo mơ hình phân cấp nhằm giảm tải cho máy chủ Trung tâm thông tin liệu KTTV Dữ liệu phân luồng hệ thống cho phù hợp với điều kiện cụ thể, gồm (a) điều kiện hoạt động bình thường, (b) điều kiện hệ thống có lỗi (c) điều kiện thời tiết nguy hiểm a ong u kiện hoạt động bình thường - Dữ liệu từ trung tâm truyền đến đài KTTV khu vực sau liệu từ đài KTTV khu vực truyền tiếp xuống đến trung tâm KTTV tỉnh mà đài KTTV khu vực quản lý - Dữ liệu từ đài KTTV khu vực truyền trực tiếp xuống trung tâm KTTV tỉnh mà đài KTTV khu vực quản lý đồng thời liệu truyền trung tâmthông tin liệu KTTV Trung tâm nhận liệu chuyển tiếp liệu truyền sang đài KTTV khu vực khác kết nối đến trung tâm - Dữ liệu trung tâm KTTV tỉnh truyền trực tiếp đài KTTV khu vực mà kết nối đến, sau liệu từ đài KTTV khu vực chuyển tiếp truyền trung tâm b ong u kiện hệ thống có lỗi - Nếu đài KTTV khu vực khơng kết nối đến trung tâm cố lỗi đường truyền xảy đài KTTV khu vực truyền liệu đến cho đài KTTV khu vực gần Dữ liệu từ truyền trực tiếp trung tâm Luồng liệu thể qua đường kết nối Backup Hình 3.2 38 - Nếu trung tâm KTTV tỉnh không kết nối đến với đài KTTV khu vực cố đường truyền máy chủđài KTTV khu vực không hoạt động trung tâm KTTV tỉnh thực kết nối trực tiếp đến trung tâm thông tin dữ liệu KTTV thông qua đường Backup Nếu không kết nối trung tâm, trung tâm KTTV tỉnh tự động chuyển kết nối đến đài KTTV khu vực gần để truyền liệu cho hệ thống thơng qua đài KTTV khu vực c ong u kiện thời tiết nguy hiểm Tại trung tâm thông tin liệu KTTV yêu cầu trực tiếp đài KTTV khu vực trung tâm KTTV tỉnh nằm vùng có thời tiết nguy hiểm mưa bão, lũ lụt, … truyền liệu trực tiếp trung tâm để đảm bảo số liệu phục vụ cơng tác dự báo nhanh xác 3.1.2 Các dạng liệu đồng Dữ liệu trung tâm có dạng cần đồng : + Dữ liệu file quan trọng có kích thước nhỏ liệu quan trắc thời tiết phục vụ nghiệp vụ dự báo tin thời thiết nguy hiểm thông báo cho đơn vị ngành KTTV người dân biết để phòng tránh + Dữ liệu file có kích thước lớn liệu radar vệ tinh, liệu mơ hình phục vụ nghiệp vụ dự báo KTTV Bảng 3.1: Thƣ mục liệu trung tâm thông tin liệu KTTV Thƣ mục Mô tả MeteorologySync\Receiver\Obs Thư mục lưu trữ số liệu Obs khu vực MeteorologySync\Receiver\Radar Thư mục nhận radar MeteorologySync\Transmit\Data Thư mục phát số liệu obs cho đơn vị MeteorologySync\Transmit\JMA Thư mục phát ảnh JMA cho đơn vị MeteorologySync\Transmit\PSFaxVN Thư mục phát ảnh PSFaxVN MeteorologySync\Transmit\Satellite Thư mục phát ảnh vệ tinh cho đơn vị MeteorologySync\Transmit\TinKTTV\DB_Hanngan Thư mục phát Bản tin dự báo hạn ngắn cho đơn vị Down load Up load 39 MeteorologySync\Transmit\TinKTTV\DB_Hanvuadai Thư mục phát Bản tin dự báo hạn vừa hạn dài cho đơn vị MeteorologySync\Transmit\TinKTTV\DB_Thuyvan Thư mục phát Bản tin dự báo Thuỷ văn cho đơn vị MeteorologySync\Transmit\TinKTTV\luongmua Thư mục phát số liệu lượng mưa cho đơn vị Bảng 3.2: Thƣ mục liệu đài KTTV khu vực Tây Bắc Thƣ mục Mô tả MeteorologySync\Receiver\Obs Thư mục lưu trữ số liệu Obs khu vực Tây Bắc MeteorologySync\Transmit\Data Thư mục phát số liệu obs cho đơn vị MeteorologySync\Transmit\JMA Thư mục phát ảnh JMA cho đơn vị MeteorologySync\Transmit\PSFaxVN Thư mục phát ảnh PSFaxVN MeteorologySync\Transmit\Satellite Thư mục phát ảnh vệ tinh cho đơn vị MeteorologySync\Transmit\TinKTTV\DB_Hanngan Thư mục phát Bản tin dự báo hạn ngắn cho đơn vị MeteorologySync\Transmit\TinKTTV\DB_Hanvuadai Thư mục phát Bản tin dự báo hạn vừa hạn dài cho đơn vị MeteorologySync\Transmit\TinKTTV\DB_Thuyvan Thư mục phát Bản tin dự báo Thuỷ văn cho đơn vị MeteorologySync\Transmit\TinKTTV\luongmua Thư mục phát số liệu lượng mưa cho đơn vị Down load Up load 3.1.3 Các tồn hệ thống đồng liệu có Mặc dù hệ thống đồng liệu Trung tâm đưa vào sử dụng hiệu thời gian, có số vấn đề tồn cần xem xét khắc phục: - Việc truyền tin nguy hiểm cho đài KTTV khu vực trung tâm KTTV tỉnh đơn vị liên quan bị chậm muộn vào thời điểm thời tiết nguy hiểm hệ thống mạng trung tâm bị tải -Việc truyền liệu có kích thước lớn liệu ảnh radar, ảnh vệ tinh, số liệu mơ hình dự báo, gồm nhiều file dung lượng file thường lớn, nên hệ thống thường truyền chậm, thiếu số liệu 40 -Hệ thống không hỗ trợ truyền ưu tiên file liệu quan trọng, dẫn đến tình trạng file liệu quan trọng, tin khẩn cấp thường bị truyền muộn không ổn định 3.2 Xây dựng mơ hình đồng liệu có ƣu tiên 3.2.1 Mơ hình đồng liệu có ưu tiên - Hệ thống phải hỗ trợ mức ưu tiên truyền liệu quan trọng (là tin thời tiết nguy hiểm liệu quan trắc phục vụ dự báo) - Hệ thống phải đảm bảo truyền tốt liệu có kích thước lớn (như ảnh radar, ảnh vệ tinh, sản phẩm mơ hình dự báo) Hình 3.3: Mơ hình đồng liệu có ƣu tiên theo mơ hình client/server Hình 3.4: Mơ tả truyền thơng điệp có ƣu tiên từ server đến client 41 Hình 3.5: Mơ tả truyền thơng điệp có ƣu tiên từ client đến server Hình 3.6: Tổ chức thƣ mục server Hình 3.7: Tổ chức thƣ mục client 42 Hình 3.8: Mơ hình truyền file liệu có ƣu tiên [4] (Phỏng theo Các kỹ thuật hàng đợi WFQ, CBWFQ LLQ QoS) Hình 3.9: Mơ hình hàng đợi ƣu tiên dùng cấu trúc đống[12] 3.2.2 Hoạt động mơ hình a Hoạt động mơ hình server: Tại server Hình 3.4 mơ tả hoạt động server truyền file có thứ tự ưu tiên tới client thuật toán lập lịch mơ hình dùng giải thuật định thời ln phiên, tạo hàng đợi ưu tiên dùng cấu trúc đống(Min-heap) để file có thứ tự ưu 43 tiên truyền trước, mơ hình gắn nhãn ưu tiên từ đến 10 Mơ hình server tạo đa luồng để xử lí client kết nối đến server b Hoạt động mơ hình client: Tại client Hình 3.5 mơ tả hoạt động client truyền file có thứ tự ưu tiên tới server thuật toán lập lịch mơ hình dùng giải thuật định thời ln phiên, tạo hàng đợi ưu tiên dùng cấu trúc đống(Min-heap) để file có thứ tự ưu tiên truyền trước, mơ hình gắn nhãn ưu tiên tự đến 10 3.3 Cài đặt thử nghiệm 3.3.1 Các yêu cầu phần cứng phần mềm Phần cứng: - Máy tính (server): Dùng cài đặt server - Máy tính (client): Dùng cài đặt client Phần mềm: - Windows: Cài đặt cho máy tính chạy hệ thống client - Windows Server: Cài đặt cho máy tính chạy hệ thống Server - Hệ quản trị CSDL SQL Server: Dùng cho việc lưu trữ sở liệu hệ thống đồng liệu ưu tiên - Thư viện DotNet Framework: Cài cho máy tính chạy ứng dụng hệ thống đồng liệu ưu tiên phát triển DotNet Framework 3.3.2 Giới thiệu mơ đun chương trình 3.3.2.1 Các mơ đun xử lí client: - Kết nối đến server - Client gửi username password - Client nhận mã tạm thời token thay cho password - Xử lý client nhận file từ server - Tạo md5 để so sánh file client server - Mã hóa chuỗi json danh sách file client gửi tới server - Theo dõi thư mục 44 - Xử lý gửi file từ client đẩy lên server 3.3.2.2 Các mô đun xử lí Server: - Server xử lý kết nối - Server nhận username password client gửi lên - Server gửi trả client mã tạm thời token thay cho password - Nhận chuỗi json giải mã thành danh sách file client - Theo dõi thư mục - Xử lý gửi file từ server xuống client 3.3.3 Một số kết đánh giá 3.3.3.1 Một số hình ảnh chương trình Hình 3.10: Giao diện server đồng liệu ƣu tiên 45 Hình 3.11: Giao diện client đồng liệu ƣu tiên 3.2.3.2 Nhận xét đánh giá Chương trình thực chức để đồng tự động liễu nhỏ có thứ tư ưu tiên chức đồng tự động liệu lớn Đánh giá việc thực thi chức phần mềm biểu diễn Bảng 3.3 Bảng 3.3: Đánh giá chức thử nghiệm STT Tính thử nghiệm Đánh giá Truyền-nhận file có thứ tự ưu Phần mềm truyền-nhận tốt file có tiên client đến server thứ tư ưu tiên từ client đến server Truyền-nhận file có thứ tự ưu Phần mềm truyền-nhận tốt file có tiên server đến client thứ tư ưu tiên từ server đến client Tự động truyền- nhận liệu có ưu Tự động truyền- nhận liệu có ưu tiên thêm bật lại phần mềm tiên thêm bật lại phần mềm 46 Dữ liệu đảm bảo đầy đủ xác Phần mềm đảm bảo truyền nhận đầy với số lượng liệu (nhiều file) đủ xác với số lượng liệu đảm bảo liệu đẩy đồng (nhiều file) đảm bảo liệu thời nhanh chóng theo khả đẩy đồng thời nhanh chóng theo đường truyền Khơng xảy tình khả đường truyền Khơng xảy trạng trễ hàng đợi q lâu tình trạng trễ hàng đợi lâu Thực đánh giá so sánh mơ hình đồng liệu ưu tiên với hệ thống đồng liệu trung tâm thực với hệ thống máy tính phần cứng trung tâm liệu mẫu file ( bantin_1.txt, bantin_2.rar, anhradar_3.rar, anhradar_4.mp4, anhradar_5.mp4) ta bảng kết sau: Bảng 3.4: Truyền file thử nghiệm với mơ hình đồng liệu ƣu tiên Client Thứ tự truyền Tên file Dung lượng bantin_1.txt bantin_2.rar anhradar_3.rar anhradar_4.mp4 anhradar_5.mp4 ~1Mb ~5Mb ~20Mb ~50Mb ~100Mb Thời gian chờ xử lí ~1s ~3s ~31s ~2p31s ~6p31s Thời gian truyền từ client sang server ~2s ~28s ~2p ~4p ~6p Tổng (Thời gian chờ xử lí + Thời gian truyền) ~3s ~31s ~2p31s ~6p31s ~12p31s Bảng 3.5: Truyền file thử nghiệm với phần mềm đồng trung tâm Client Thứ tự truyền Tên file anhradar_3.rar bantin_1.txt bantin_2.rar Dung lượng ~20Mb ~1Mb ~5Mb Thời gian chờ xử lí ~2s ~2p2s ~2p4s Thời gian truyền từ client sang server ~2p ~2s ~28s Tổng (Thời gian chờ xử lí + Thời gian truyền) ~2p2s ~2p4s ~2p32s 47 anhradar_5.mp4 ~100Mb anhradar_4.mp4 ~50Mb ~2p32s ~6p32s ~6p ~4p ~8p32s ~10p32s Bảng 3.6:Truyền file thử nghiệm mơ hình đồng liệu ƣu tiên với tin ảnh radar Thứ tự truyền Client Dung lượng Tên file bantin_1.txt bantin_2.doc anhradar_3.rar anhradar_4.mp4 anhradar_5.Mp4 ~1Mb ~5Mb ~20Mb ~50Mb ~100Mb Tổng thời gian từ client sang server ~12m30s Bảng 3.7: Truyền file thử nghiệm mơ hình đồng liệu ƣu tiên với tin Thứ tự truyền Client Dung lượng Tên file bantin_1.txt bantin_2.doc ~1Mb ~5Mb Tổng thời gian từ client sang server ~30s Bảng 3.8: Truyền file thử nghiệm mơ hình đồng liệu ƣu tiên với ảnh radar Thứ tự truyền Client Dung lượng Tên file anhradar_3.rar ~20Mb anhradar_4.mp4 ~50Mb anhradar_5.Mp4 ~100Mb Tổng thời gian từ client sang server ~10m 3.4 Định hƣớng ứng dụng mơ hình đồng liệu có ƣu tiên vào hệ thống đồng liệu Trung tâm thơng tin liệu KTTV Mơ hình đồng liệu có ưu tiên đáp ứng truyền tin có thứ tự ưu tiên đáp ứng nhu cầu phục vụ công tác nghành KTTV truyền nhanh 48 tin thời tiết nguy hiểm liệu quan trắc truyền file liệu lớn áp dụng vào hệ thống đồng trung tâm hệ thống tách thành hệ thống hệ thống truyền liệu có dung lượng nhỏ có mức ưu tiên khác nhau, hai hệ thống truyền liệu có dung lượng lớn 3.5 Kết luận chƣơng Chương luận văn xây dựng mơ hình đồng liệu có ưu tiên phần mềm demo thực tốt tính sau: - Dữ liệu đảm bảo đầy đủ xác - Thời gian trễ tin truyền liệu ưu tiên thấp mức cho phép - Người dùng không cần tương tác nhiều với hệ thống, thứ tự động - Với số lượng liệu (nhiều file) đảm bảo liệu đẩy đồng thời nhanh chóng theo khả đường truyền.Khơng xảy tình trạng trễ hàng đợi lâu - Tự động kiểm tra liệu thiếu để truyền lại bật lại phần mềm Việc áp dụng lý thuyết hàng đợi ưu tiên kỹ thuật truyền liệu lớn tạo ưu điểm cho phần mềm đồng liệu có ưu tiên định hướng áp dụng mơ hình đồng liệu có ưu tiên vào hệ thống đồng liệu trung tâm thông tin liệu KTTV 49 KẾT LUẬN Những đóng góp luận văn Bài toán đồng liệu vấn đề không mới, nhiên để xây dựng hệ thống đồng liệu có ưu tiên phục vụ đặc thù ngành KTTV cần quan tâm nghiên cứu Luận văn sâu nghiên cứu kỹ thuật hàng đợi có ưu tiên ứng dụng vận chuyển tin có độ ưu tiên khác nghiên cứu kỹ thuật hiệu cho đồng file liệu có kích thước lớn, nhằm tăng tốc độ truyền file giảm tỷ lệ lỗi truyền Luận văn đạt kết sau: - Nghiên cứu kỹ thuật hàng đợi có ưu tiên ứng dụng vận chuyển tin có độ ưu tiên khác - Nghiên cứu nghiên cứu kỹ thuật hiệu cho đồng file liệu có kích thước lớn, nhằm tăng tốc độ truyền file giảm tỷ lệ lỗi truyền - Xây dựng, cài đặt thử nghiệm mơ hình đồng liệu có ưu tiên Hƣớng phát triển luận văn - Phát triển ứng dụng mơ hình đồng liệu có ưu tiên vào hệ thống đồng liệu Trung tâm thông tin liệu KTTV - Chuyển sang mơ hình Hybrid (kết hợp P2P Client-Server) Hệ thống gặp số nhược điểm mơ hình client-server mở rộng hệ thống rộng phải cần nhiều server liệu phải qua khâu trung gian, không tận dụng tốt băng thông hệ thống Việc hướng tới mơ hình p2p cần thiết, nhiên để khắc phục nhược điểm hệ thống p2p phải đưa phương án kết hợp p2p client server 50 DANH MỤC TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Nguyễn Đức Nghĩa Cấu trúc liệu thuật toán, Nhà xuất Bách Khoa- Hà Nội [2] Từ Minh Phương, Giáo trình Hệ điều hành, Học viện Công nghệ BcVT, 2016 [3] Chu Mạnh Tồn, “Nghiên cứu tốn hàng đợi có ưu tiên mô ứng dụng", Báo cáo luận văn thạc sĩ, Đại học Thái Nguyên, 2016 [4] Các kỹ thuật hàng đợi WFQ, CBWFQ LLQ QoS Tài liệu tiếng Anh [5] Leonard Kleinrock(1975) “Qu u ing Syst ms - Volume Theory”, John Wiley and Sons New York [6] Robert B Cooper(1977) “Introduction to Queueing Theory”, North Holland [7] William Stallings, Operating Systems: Internals and Design Principles, 8th edition, Pearson, 2014 [8] Craig Hunt (2005) TCP/IP Network Administration, 3rd Edition Publisher: O'Reilly Media [9] Forouzan, B.A (2000) TCP/IP: Protocol Suite (1st ed.) New Delhi, India: Tata McGraw-Hill Publishing Company Limited [10] RFC 697, RFC 959, RFC 1579, RFC 1635, RFC 1639 [11] Kozierok, Charles M (2005) "The TCP/IP Guide v3.0" Tcpipguide.com [12] https://www.cs.cmu.edu/~adamchik/15121/lectures/Binary%20Heaps/heaps.html [13] https://www.resilio.com/ [14] http://www.bittorrent.com [15] http://toolkit.globus.org/toolkit/docs/latest-stable/gridftp/key/ ... Nguyễn Văn Khoa NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƢỢNG THỦY VĂN Chuyên ngành: Mã số: Hệ thống thông tin 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định... Khí tượng thủy văn quốc gia Dựa phân tích nêu trên, học viên lựa chọn đề tài "Nghiên cứu kỹ thuật nâng cao hiệu đồng liệu khí tượng thủy văn" làm luận văn tốt nghiệp cao học với mục tiêu: (1) nghiên. .. giá kết Đối tượng nghiên cứu: Các kỹ thuật hàng đợi có ưu tiên, kỹ thuật trao đổi, đồng file liệu có kích thước lớn Phạm vi nghiên cứu: Giới hạn hệ thống đồng liệu khí tượng thủy văn dựa hệ