Nghiên cứu các kỹ thuật nâng cao hiệu quả đồng bộ dữ liệu khí tượng thủy văn (tóm tắt luận ngành hệ thống thông tin)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Văn Khoa NGHIÊN CỨU CÁC KỸ THUẬT NÂNG CAO HIỆU QUẢ ĐỒNG BỘ DỮ LIỆU KHÍ TƯỢNG THỦY VĂN Chuyên ngành: Hệ thống thơng tin Mã số: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2018 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS HỒNG XN DẬU (Ghi rõ học hàm, học vị) Phản biện 1: …………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Thơng tin liệu khí tượng thủy văn (KTTV), đặc biệt thông tin dự báo thời tiết, từ lâu đóng vai trị quan trọng nghiệp phát triển kinh tế - xã hội đất nước đời sống nhân dân Cùng với phát triển vũ bão khoa học công nghệ, thông tin liệu KTTV ngày nâng cấp số lượng chất lượng Các liệu KTTV thu thập từ trạm đo đặt vùng nước liệu quan trắc qua vệ tinh chuyển lên Trung tâm Khí tượng thủy văn quốc gia xử lý để đưa tin dự báo Các tin dự báo khí tượng thủy văn số liệu vệ tinh lại chuyển xuống đài khí tượng thủy văn tỉnh thành quan truyền thông phục vụ thông tin đến đơn vị có liên quan người dân Yêu cầu việc thu thập, xử lý, lưu trữ, truyền phát, trao đổi liệu KTTV phải diễn nhanh chóng, đầy đủ, kịp thời để đảm bảo phục vụ hiệu cơng tác điều hành đạo, điều hành, cung cấp liệu cho dự báo KTTV, phục vụ phòng tránh thiên tai quan, đơn vị người dân Hiện tại, hệ thống mạng Trung tâm Khí tượng thủy văn quốc gia hỗ trợ tính trao đổi, đồng liệu chiều từ Trung tâm Thông tin liệu KTTV đài KTTV địa phương, cho phép chuyển liệu từ trạm đo địa phương trung tâm chuyển tin dự báo khí tượng thủy văn số liệu vệ tinh xuống đài khí tượng thủy văn địa phương Tuy nhiên, tính trao đổi, đồng liệu có sử dụng lập trình socket để chuyển tất loại liệu theo chiều nên hiệu không cao, đặc biệt hay xảy lỗi truyền liệu ảnh vệ tinh có kích thước lớn Hơn nữa, tính trao đổi, đồng liệu có khơng hỗ trợ việc chuyển nhanh tin có độ ưu tiên cao, tin cảnh báo thiên tai, nên chưa thực đáp ứng yêu cầu quản lý, điều hành Như vậy, việc nghiên cứu giải pháp nâng cao hiệu hệ thống trao đổi, đồng liệu KTTV yêu cầu cấp thiết, nhằm đáp ứng yêu cầu trao đổi liệu kịp thời, đầy đủ, đáp ứng tốt yêu cầu quản lý, điều hành Trung tâm Khí tượng thủy văn quốc gia Dựa phân tích nêu trên, học viên lựa chọn đề tài "Nghiên cứu kỹ thuật nâng cao hiệu đồng liệu khí tượng thủy văn" Bố cục luận văn gồm phần mở đầu chương nội dung, cụ thể là: - Chương 1: Tổng quan hệ thống đồng liệu Trình bày tổng quan hệ thống đồng liệu, thành phần, yêu cầu hệ thống đồng kỹ thuật đồng liệu - Chương 2: Hàng đợi có ưu tiên đồng file liệu Giới thiệu cách khái quát hàng đợi có ưu tiên giải thuật xử lí hàng đợi ưu tiên Chương giới thiệu đồng file liệu kỹ thuật đồng file liệu đồng file giao thức socket, đồng file giao thức FTP - Chương 3: Xây dựng mơ hình đồng liệu có ưu tiên ứng dụng hệ thống đồng liệu trung tâm Thông tin liệu khí tượng thủy văn Chương ba luận văn đề cập việc áp dụng hàng đợi ưu tiên truyền file liệu lớn việc xây dựng mơ hình đồng file có mức ưu tiên đồng file liệu lớn thử nghiệm phần mềm Trung tâm thông tin liệu khí tượng thủy văn 3 Chương 1: TỔNG QUAN VỀ HỆ THỐNG ĐỒNG BỘ DỮ LIỆU 1.1 Khái quát hệ thống đồng liệu 1.1.1 Giới thiệu Ngày với bùng nổ mạnh mẽ công nghệ thông tin truyền thông làm cho xóa bỏ rào cản khoảng cách địa lý máy tính hệ thống mạng muốn chia sẻ trao đổi liệu với việc chia sẻ liệu qua hệ thống mạng ngày nhanh ổn định toàn vẹn liệu Hệ thống đồng liệu hệ thống có trình trao đổi đồng hóa thơng tin hai nguồn liệu theo thời gian Trước Trung tâm thơng tin liệu KTTV có nguồn liệu phân tán khắp nơi tồn lãnh thổ Việt Nam q trình thu nhận liệu từ nguồn trung tâm khó khăn chưa có hệ thống mạng Internet rộng khắp Ngược lại, liệu từ trung tâm muốn gửi địa phương toàn lãnh thổ gặp khó khăn vị trí địa lý xa xơi Tuy nhiên, nhờ có phát triển công nghệ thông tin, viễn thông đặc biệt mạng Internet, việc trao đổi đồng liệu trung tâm địa phương thực dễ dàng 1.1.2 Các thành phần Hệ thống đồng gồm thành phần là: - Dữ liệu đồng bộ: Dữ liệu đồng gồm file, sở liệu, email, liên lạc lịch làm việc Đây tài nguyên liệu cần đồng - Thiết bị nguồn chứa liệu: Gồm điện thoại di động, máy tính bảng, máy tính cá nhân, máy chủ, điện toán đám mây Đây thiết bị chứa liệu nguồn cần đồng - Thiết bị đích chứa liệu: Gồm điện thoại di động, máy tính bảng, máy tính cá nhân, máy chủ, điện tốn đám mây .Đây thiết bị đích chứa liệu đồng 4 - Hệ thống mạng kết nối thiết bị: Hệ thống mạng gồm mạng LAN, MAN, WAN, mạng internet cầu nối thiết bị cần đồng liệu 1.1.3 Các yêu cầu - Các yêu cầu hệ thống đồng liệu gồm: Tốc độ đồng bộ: Đảm bảo đồng với tốc độ cao, tận dụng tối đa băng thông có sẵn - Đảm bảo chất lượng đồng bộ: Các thông điệp, file liệu đồng đầy đủ, có hỗ trợ chế kiểm tra tính tồn vẹn liệu Khả chịu lỗi: Có khả tự phục hồi, khởi động lại, truyền lại - thông điệp, file liệu có lỗi hệ thống, lỗi đường truyền Khả mở rộng: Hệ thống phải dễ mở rộng để đáp ứng nhu cầu - tăng dung lượng liệu đồng 1.2 Các kỹ thuật đồng liệu 1.2.1 Đồng liệu theo mạng khách chủ Mạng khách chủ (Client/Server network) mạng mà có số máy chủ (Server) đóng vai trò cung ứng dịch vụ theo yêu cầu máy khách (Client) Các máy khách mơ hình nơi gửi yêu cầu xử lý máy chủ Máy chủ xử lý gửi kết máy khách Máy khách tiếp tục xử lý kết để phục vụ cho công việc Đồng liệu theo mạng khách chủ có nghĩa đồng hóa liệu từ máy chủ chuyển tới máy khách ngược lại 1.2.2 Đồng liệu theo mạng ngang hàng Mạng ngang hàng (Peer to peer network - P2P), gọi mạng đồng đẳng, mạng máy tính hoạt động mạng chủ yếu dựa vào khả tính tốn băng thông máy tham gia không tập trung vào số nhỏ máy chủ trung tâm mạng thơng thường Mạng đồng đẳng có nhiều ứng dụng Ứng dụng thường gặp chia sẻ tệp tin, tất dạng âm thanh, hình ảnh, liệu, 1.2.3 Đồng liệu dựa đám mây Các dịch vụ lưu trữ đồng liệu liệu dựa điện toán đám mây cung cấp phổ biến, Google Drive, Dropbox, onedrive… Các dịch vụ đầu tư qui mô tập đoàn lớn Google, Microsoft… với hệ thống chuỗi máy chủ có cơng suất lớn Đa số hệ thống có nguyên lý hoạt động tương tự nhau, mô tả hệ thống Dropbox - dịch vụ lưu trữ đồng liệu dựa điện toán đám mây sử dụng rộng rãi Hình 0.1: Mơ hình hoạt động Dropbox Dropbox cho phép người dùng tạo thư mục đặc biệt máy tính khác người dùng đặt tập tin liệu vào thư mục Dropbox máy tính gần lập tức, chúng xuất thiết bị khác mà cài sẵn phần mềm tài khoản Dropbox người dùng Khả hỗ trợ nhiều client Dropbox tốt, cần có thiết bị có kết nối internet tài khoản Dropbox truy cập nguồn liệu 6 Chương 2: HÀNG ĐỢI CÓ ƯU TIÊN VÀ ĐỒNG BỘ FILE DỮ LIỆU 2.1 Hàng đợi có ưu tiên 2.1.1 Khái quát hàng đợi hàng đợi có ưu tiên 2.1.1.1.Khái niệm xếp hàng[3]: Mơ hình tổng qt lý thuyết xếp hàng khách hàng đến thời điểm ngẫu nhiên yêu cầu phục vụ theo loại Giả thiết thời gian phục vụ ngẫu nhiên Hình 0.1: Mơ hình tổng qt lý thuyết xếp hàng 2.1.1.2.Các yếu tố hệ thống hàng đợi [3] Hệ thống hàng đợi tổng quát minh hoạ Hình 2.2 Hình 0.2: Hàng đợi tổng quát Các yếu tố hệ thống hàng đợi bao gồm: Bố trí vật lí hệ thống Hệ thống hàng đợi có số dạng bố trí vật lí (phisical layout) minh họa Hình 2.3  Hình 0.3: Các dạng hệ thống hàng đợi Các kênh phục vụ hiểu thiết bị kĩ thuật người tổ hợp thiết bị kĩ thuật người tổ chức quản lí cách thích hợp nhằm phục vụ yêu cầu tín hiệu đến hệ thống Chẳng hạn, trạm điện thoại tự động, kênh phục vụ đường dây liên lạc thiết bị kĩ thuật khác phục vụ cho việc đàm thoại Nguyên tắc phục vụ Nguyên tắc phục vụ hệ thống cách thức nhận yêu cầu vào kênh phục vụ Nguyên tắc phục vụ cho biết trường hợp yêu cầu nhận vào phục vụ cách thức phân bố yêu cầu vào  kênh Đồng thời nguyên tắc phục vụ cho biết trường hợp yêu cầu bị từ chối phải chờ giới hạn thời gian chờ Một số nguyên tắc phục vụ thường áp dụng hệ thống hàng đợi FIFO(First in first out), LIFO(Last in first out), FCFS(First come first serve), có ưu tiên, khơng ưu tiên, 2.1.1.3 Hàng đợi có ưu tiên Priority Queueing [4]: a Khái niệm hàng đợi có ưu tiên Hàng đợi ưu tiên kiểu liệu trừu tượng tập hợp đặc biệt, phần tử có độ ưu tiên Độ ưu tiên phần tử thường số, theo đó, phần tử có độ ưu tiên nhỏ „ưu tiên‟ Một cách tổng quát độ ưu tiên phần tử phần tử thuộc tập hợp xếp theo thứ tự tuyến tính Ví dụ bệnh viện, bệnh nhân xếp hàng để chờ phục vụ người đến trước phục vụ trước mà họ có độ ưu tiên theo tình trạng khẩn cấp bệnh Hình 0.4: Mơ tả cách lấy gói tin hàng đợi ưu tiên Tính đặc biệt Priority Queueing lập lịch Priority Queueing lập lịch lưu lượng đảm bảo phần tử ưu tiên phục vụ trước Các mức ưu tiên thường sử dụng gồm: cao, trung bình, bình thường, thấp Nếu hàng đợi ưu tiên cao ln có gói chờ, lập lịch ln ln lấy gói hàng đợi ưu tiên cao Nếu hàng đợi ưu tiên cao khơng có gói chờ có hàng đợi ưu tiên trung bình, gói hàng đợi lấy tiến trình tiếp tục Bộ lập lịch Priority Queueing có số thuận lợi hạn chế Các gói hàng đợi ưu tiên cao đạt 100% băng thơng liên kết, với độ trì hỗn nhỏ độ biến động trễ nhỏ Thật ra, nghẽn mạch, gói hàng đợi ưu tiên thấp tốn nhiều thời gian phục vụ Khi liên kết tắc nghẽn, ứng dụng người dùng ngừng làm việc gói đặt hàng đợi ưu tiên thấp 9 2.1.1.4 Các thuật toán lập lịch cho hàng đợi a First Come First Served (FCFS) Trong thuật toán này, độ ưu tiên phục vụ tiến trình vào thời điểm hình thành tiến trình Hàng đợi tiến trình tổ chức theo kiểu FIFO Mọi tiến trình phục vụ theo trình tự xuất kết thúc bị ngắt b Round robin Giải thuật định thời luân phiên (round-robin scheduling algorithmRR) thiết kế đặc biệt cho hệ thống chia sẻ thời gian Để cài đặt định thời RR, quản lý hàng đợi sẵn sàng hàng đợi FIFO trình Các q trình thêm vào hàng đợi Hệ thống chọn trình từ hàng đợi sẵn sàng, đặt đếm thời gian để ngắt sau định mức thời gian gửi tới trình c Shortest Remain Time Trong thuật toán này, độ ưu tiên thực tiến trình dựa vào thời gian cần thiết để thực nốt tiến trình (bằng tổng thời gian trừ thời gian thực hiện) Như vậy, thuật toán cần phải thường xuyên cập nhật thông tin giời gian thực tiến trình Đồng thời, chế độ phân bổ phải áp dụng khơng làm tính ưu việc thuật toán 2.1.2 Các giải thuật xử lý hàng đợi có ưu tiên 2.1.2.1 Sử dụng danh sách liên kết 2.1.2.2 Sử dụng có thứ tự phần 2.1.2.3 Sử dụng đống Tạo hàng đợi ưu tiên đống: HeapSort giải thuật dựa vào cấu trúc đống để xếp theo thứ tự giảm dần giá trị khoá số Giải thuật Heapsort trải qua giai đoạn : Giai đoạn : Hiệu chỉnh dãy số ban đầu thành heap; 10 Giai đoạn 2: Sắp xếp dãy số dựa heap Độ phức tạp thuật toán O(nlogn), với n >0 2.1.3 Ứng dụng hàng đợi có ưu tiên: Một số ứng dụng hàng đợi ưu tiên nói chung cấu trúc heap nói riêng là: – Heapsort: Một phương pháp xếp chỗ tốt dựa vào tiêu chí xếp mảng theo chiều “ưu tiên” Heap, ta áp dụng để xếp mảng theo chiều “tăng giảm dần” cho thuật tốn Heapsort – Thuật tốn lựa chọn: sử dụng đống để tìm phần tử lớn nhất, nhỏ nhất, trung vị, phần tử lớn thứ k, thời gian tuyến tính – Thuật tốn cho đồ thị: nhiều thuật toán cho đồ thị sử dụng cấu trúc liệu đống chẳng hạn thuật toán Dijkstra, hay thuật toán Prim - Ứng dụng cấu trúc đống việc xử lí xếp lại hàng đợi ưu tiên - Ứng dụng lập lịch tiến trình - Ứng dụng cấp phát tài nguyên hệ điều hành.- Ứng dụng đệm hệ điều hành, ứng dụng - Ứng dụng hệ thống đồng liệu - Xử lý lệnh máy tính (ứng dụng hệ điều hành, trình biên dịch), hàng đợi tiến trình chờ xử lý - Ứng dụng viễn thông (QoS kỹ thuật dùng mạng truyển mạch gói) 2.2 Đồng file liệu 2.2.1 Một số khái niệm Khái niệm file: File đơn vị để lưu trữ thông tin nhớ ngoài, nhớ nhớ CPU không đánh địa trực tiếp Khái niệm hệ thống file: 11 Hệ thống file (File System) phương pháp tổ chức lưu trữ file liệu chúng, thường thực hệ điều hành Hệ thống file cho phép người sử dụng dễ dàng tìm kiếm truy nhập file Các máy tính lưu trữ thơng tin nhiều phương tiện lưu trữ khác nhau, đĩa từ, băng từ, đĩa quang Để hệ thống máy tính tiện dụng, hệ điều hành cung cấp phương tiện luận lý không đổi việc lưu trữ thông tin Hệ điều hành trừu tượng hóa thành phần vật lý thiết bị lưu trữ thành đơn vị lưu trữ luận lý tập tin (File) Mỗi hệ điều hành có phương pháp quản lý tổ chức lưu trữ file riêng gọi hệ thống file 2.2.1 Khái quát đồng file liệu Đồng file máy tính q trình xử lí đảm bảo file chép cập nhật máy tính kết nối với qua hệ thống mạng theo nguyên tắc từ nguồn tới đích ngược lại Đồng file chiều trình chép file từ vị trí nguồn đến nhiều vị trí đích, file khơng cập nhật ngược lại từ đính đến nguồn Đồng file hai chiều trình chép file từ vị trí nguồn đến vị trí đích ngược lại để đảm bảo file cập nhật liên tục nhiều vị trí khác Đồng file thường dùng để lưu trữ liệu, tạo cho việc chia sẻ liệu dễ dàng phục vụ nhiều công việc đời sống chia sẻ cập nhật liệu video phóng viên cho tịa soạn báo nhanh kịp thời, hay cập nhật thu thập liệu từ hệ thống trạm quan trắc khí tượng thủy văn tự động… 2.2.2 Các kỹ thuật đồng file liệu 2.2.2.1 Đồng sử dụng socket Đồng file dựa socket sử dụng kết nối qua socket để truyền liệu file cần đồng Khi kết nối socket thiết lập, bên tham gia truyền thơng sử dụng kết nối socket để để trao 12 đổi thông điệp trao đổi liệu file Ưu điểm phương pháp đồng sử dụng socket mềm dẻo có khả hỗ trợ nhiều loại thông điệp liệu Tuy nhiên, nhược điểm phương pháp không thực thích hợp cho truyền file liệu có kích thước lớn không hỗ trợ phục hồi xảy lỗi 2.2.2.2 Đồng sử dụng giao thức FTP Đồng file liệu sử dụng giao thức FTP hệ thống đồng file xây dựng theo mô hình FTP client/server để truyền file Ưu điểm phương pháp tốc độ truyền cao FTP thiết kế tối ưu cho truyền file, khả tương tích nhiều tảng dễ sử dụng Tuy nhiên, việc đồng không linh hoạt đồng truyền qua socket 2.2.3 Một số ứng dụng đồng file liệu 2.2.3.1 BitTorrent Gi i thiệu v it orr nt BitTorrent mạng chia sẻ sáng lập Bram Cohen, có khả đặc biệt có ích cho người cần chia sẻ file có dụng lượng lớn qua mạng Nếu bạn có file dung lượng 1GB 300 người cần, cần nhiều thời gian để chia sẻ 300GB liệu Nhưng bạn chia file thành mảnh nhỏ gửi cho người họ lại chia sẻ mảnh cho người khác tất người có file hồn chỉnh nhanh nhiều Các trang web lớn sử dụng BitTorrent để cung cấp dịch vụ cập nhật phân tán phần mềm họ để giảm chi phí trả cho băng thông b Hoạt động giao thức BitTorrent BitTorrent giao thức tạo phục vụ cho trình truyền tải file Dưới hình thức kết nối peer-to-peer, người sử dụng kết nối trực tiếp với để gửi nhận phần file Một server trung tâm, tên gọi tracker, lập để xác định vị trí người dùng 13 Tracker mang nhiệm vụ quản lý kết nối, ko cần biết nội dung file truyền tải, tracker có băng thơng cực nhỏ, số lượng người dùng cực lớn tham gia vào việc truyền tải file Điểm BitTorrent việc người dùng thực việc tải lên (up) tải xuống (down) lúc băng thông tổ chức cho tối ưu BitTorrent thiết kế để số người dùng tăng cao làm việc hiệu - điều trái ngược hẳn với giao thức truyền tải file khác 2.2.3.2 GridFTP a Khái niệm Grid Computing Có nhiều cách khác để định nghĩa Mạng tính tốn lưới (Grid Computing) Để hình dung Grid Computing gì, tưởng tượng mạng lưới điện mà người cần cắm phích điện vào để sử dụng mà không cần biết nguồn điện từ đâu đến Tương tự vậy, Grid Computing, người dùng truy nhập vào tài nguyên (bao gồm: xử lý, ổ lưu trữ, liệu ) mà không cần biết tài nguyên nằm đâu, chúng dùng cơng nghệ gì, cấu hình phần cứng nào,v.v b GridFTP GridFTP giao thức truyền liệu an toàn tin cậy, với hiệu xuất cao tối ưu cho mạng diện rộng, có băng thông lớn Giao thức GridFTP dựa tảng giao thức FTP với mở rộng cho phù hợp với môi trường Grid Các tài liệu đặc tả giao thức GridFTP tìm thấy diễn đàn Grid tồn cầu 14 Hình 0.5: Mơ hình hoạt động GridFTP GridFTP sử dụng khả bảo mật Grid hai kênh: kênh điều khiển kênh liệu Sử dụng nhiều kênh liệu để truyền song song, truyền phần tệp, truyền cho bên thứ ba…Do GridFTP sử dụng để chuyển tệp (đặc biệt tệp có dung lượng lớn) mạng cách hiệu tin cậy 15 Chương 3: XÂY DỰNG MƠ HÌNH ĐỒNG BỘ DỮ LIỆU CÓ ƯU TIÊN VÀ ỨNG DỤNG TRONG HỆ THỐNG ĐỒNG BỘ DỮ LIỆU TẠI TRUNG TÂM THÔNG TIN VÀ DỮ LIỆU KTTV 3.1 Hiện trạng hệ thống đồng liệu Trung tâm thông tin liệu KTTV 3.1.1 Mơ hình thành phần hệ thống đồng liệu có Hiện mơ hình quản trị hệ thống xử lý tích hợp chuyển mạch tự động liệu KTTV chia làm ba lớp ứng dụng dựa sở đặc thù, nhu cầu nhiệm vụ chuyên môn nghiệp vụ đơn vị Mơ hình hệ thống hình 3.1 Core TT CNTT KTTV TT DB KTTV TU Đài KTTV khu vực Trung tâm KTTV tỉnh Các đơn vị liên quan Hình 0.1: Mơ hình quản trị hệ thống tích hợp, xử lý chuyển mạch tự động liệu KTTV Hệ thống đồng liệu trung tâm tổ chức phân phối thu thập liệu KTTV theo cấp liệu từ đài trạm truyền đài KTTV khu vực từ đài khu vực truyền trung tâm thông tin liệu KTTV Tại trung tâm liệu tin liệu nghiệp vụ khác ảnh radar ảnh vệ tinh đồng từ trung tâm đài KTTV khu vực Tại đài liệu lại đồng trung tâm KTTV tỉnh Hệ thống đồng trung tâm đồng theo mô hình nguồn đến nhiều đích đơn vị trực thuộc 16 Hình 0.2: Mơ hình hệ thống đồng liệu KTTV Hệ thống đồng liệu trung tâm thông tin liệu KTTV cần hỗ trợ đồng liệu chiều đơn vị ngành KTTV trung tâm thông tin liệu KTTV Hệ thống hoạt động theo mô hình phân cấp nhằm giảm tải cho máy chủ Trung tâm thông tin liệu KTTV Dữ liệu phân luồng hệ thống cho phù hợp với điều kiện cụ thể, gồm (a) điều kiện hoạt động bình thường, (b) điều kiện hệ thống có lỗi (c) điều kiện thời tiết nguy hiểm 3.1.2 Các dạng liệu đồng Dữ liệu trung tâm có dạng cần đồng : + Dữ liệu file quan trọng có kích thước nhỏ liệu quan trắc thời tiết phục vụ nghiệp vụ dự báo tin thời thiết nguy hiểm thông báo cho đơn vị ngành KTTV người dân biết để phịng tránh + Dữ liệu file có kích thước lớn liệu radar vệ tinh, liệu mơ hình phục vụ nghiệp vụ dự báo KTTV 3.1.3 Các tồn hệ thống đồng liệu có Mặc dù hệ thống đồng liệu Trung tâm đưa vào sử dụng hiệu thời gian, có số vấn đề tồn cần xem xét khắc phục: 17 - Việc truyền tin nguy hiểm cho đài KTTV khu vực trung tâm KTTV tỉnh đơn vị liên quan bị chậm muộn vào thời điểm thời tiết nguy hiểm hệ thống mạng trung tâm bị tải -Việc truyền liệu có kích thước lớn liệu ảnh radar, ảnh vệ tinh, số liệu mơ hình dự báo, gồm nhiều file dung lượng file thường lớn, nên hệ thống thường truyền chậm, thiếu số liệu -Hệ thống không hỗ trợ truyền ưu tiên file liệu quan trọng, dẫn đến tình trạng file liệu quan trọng, tin khẩn cấp thường bị truyền muộn không ổn định 3.2 Xây dựng mơ hình đồng liệu có ưu tiên 3.2.1 Mơ hình đồng liệu có ưu tiên - Hệ thống phải hỗ trợ mức ưu tiên truyền liệu quan trọng (là tin thời tiết nguy hiểm liệu quan trắc phục vụ dự báo) - Hệ thống phải đảm bảo truyền tốt liệu có kích thước lớn (như ảnh radar, ảnh vệ tinh, sản phẩm mơ hình dự báo) Hình 0.3: Mơ hình đồng liệu có ưu tiên theo mơ hình client/server 18 Hình 0.4: Mơ tả truyền thơng điệp có ưu tiên từ server đến client Hình 0.5: Mơ tả truyền thơng điệp có ưu tiên từ client đến server Hình 0.6: Mơ hình truyền file liệu có ưu tiên Hình 0.7: Mơ hình hàng đợi ưu tiên dùng cấu trúc đống 19 3.2.2 Hoạt động mô hình a Hoạt động mơ hình server: Tại server Hình 3.4 mơ tả hoạt động server truyền file có thứ tự ưu tiên tới client thuật tốn lập lịch mơ hình dùng giải thuật định thời luân phiên, tạo hàng đợi ưu tiên dùng cấu trúc đống(Min-heap) để file có thứ tự ưu tiên truyền trước, mơ hình gắn nhãn ưu tiên từ đến 10 Mơ hình server tạo đa luồng để xử lí client kết nối đến server b Hoạt động mơ hình client: Tại client Hình 3.5 mơ tả hoạt động client truyền file có thứ tự ưu tiên tới server thuật tốn lập lịch mơ hình dùng giải thuật định thời ln phiên, tạo hàng đợi ưu tiên dùng cấu trúc đống(Min-heap) để file có thứ tự ưu tiên truyền trước, mơ hình gắn nhãn ưu tiên tự đến 10 3.3 Cài đặt thử nghiệm 3.3.1 Các yêu cầu phần cứng phần mềm 3.3.2 Giới thiệu mơ đun chương trình 3.3.2.1 Các mơ đun xử lí client: 3.3.2.2 Các mơ đun xử lí Server: 3.3.3 Một số kết đánh giá 3.2.3.1 Một số hình ảnh chương trình 3.2.3.2 Nhận xét đánh giá Chương trình thực chức để đồng tự động liễu nhỏ có thứ tư ưu tiên chức đồng tự động liệu lớn Đánh giá so sánh hiệu mô hình đồng liệu ưu tiên với hệ thống đồng liệu trung tâm 20 Bảng 0.1: Truyền file thử nghiệm với mơ hình đồng liệu ưu tiên Thứ tự truyền Tên file Dung lượng Thời Thời gian gian chờ xử truyền lí Tổng bantin_1.txt ~1Mb ~1s ~2s ~3s bantin_2.rar ~5Mb ~3s ~28s ~31s anhradar_3.rar ~20Mb ~31s ~2p ~2p31s anhradar_4.mp4 ~50Mb ~2p31s ~4p ~6p31s anhradar_5.mp4 ~100Mb ~6p31s ~6p ~12p31s Bảng 0.2: Truyền file thử nghiệm với phần mềm đồng trung tâm Thứ tự truyền Tên file Dung lượng Thời gian chờ xử lí Thời gian truyền Tổng anhradar_3.rar ~20Mb ~2s ~2p ~2p2s bantin_1.txt ~1Mb ~2p2s ~2s ~2p4s bantin_2.rar ~5Mb ~2p4s ~28s ~2p32s anhradar_5.mp4 ~100Mb ~2p32s ~6p ~8p32s anhradar_4.mp4 ~50Mb ~6p32s ~4p ~10p32s 3.4 Định hướng ứng dụng mơ hình đồng liệu có ưu tiên vào hệ thống đồng liệu Trung tâm thông tin liệu KTTV Mô hình đồng liệu có ưu tiên đáp ứng truyền tin có thứ tự ưu tiên đáp ứng nhu cầu phục vụ công tác nghành KTTV truyền nhanh tin thời tiết nguy hiểm liệu quan trắc truyền file liệu lớn áp dụng vào hệ thống đồng trung tâm hệ thống tách thành hệ thống hệ thống truyền liệu có dung lượng nhỏ có mức ưu tiên khác nhau, hai hệ thống truyền liệu có dung lượng lớn 21 KẾT LUẬN Những đóng góp luận văn Bài tốn đồng liệu vấn đề không mới, nhiên để xây dựng hệ thống đồng liệu có ưu tiên phục vụ đặc thù ngành KTTV cần quan tâm nghiên cứu Luận văn sâu nghiên cứu kỹ thuật hàng đợi có ưu tiên ứng dụng vận chuyển tin có độ ưu tiên khác nghiên cứu kỹ thuật hiệu cho đồng file liệu có kích thước lớn, nhằm tăng tốc độ truyền file giảm tỷ lệ lỗi truyền Luận văn đạt kết sau: - Nghiên cứu kỹ thuật hàng đợi có ưu tiên ứng dụng vận chuyển tin có độ ưu tiên khác - Nghiên cứu nghiên cứu kỹ thuật hiệu cho đồng file liệu có kích thước lớn, nhằm tăng tốc độ truyền file giảm tỷ lệ lỗi truyền - Xây dựng, cài đặt thử nghiệm mơ hình đồng liệu có ưu tiên Hướng phát triển luận văn Phát triển ứng dụng mơ hình đồng liệu có ưu tiên vào hệ thống đồng liệu Trung tâm thông tin liệu KTTV Chuyển sang mơ hình Hybrid (kết hợp P2P Client-Server) Hệ thống gặp số nhược điểm mơ hình client-server mở rộng hệ thống rộng phải cần nhiều server liệu phải qua khâu trung gian, không tận dụng tốt băng thông hệ thống Việc hướng tới mơ hình p2p cần thiết, nhiên để khắc phục nhược điểm hệ thống p2p phải đưa phương án kết hợp p2p client server  ... Tổng quan hệ thống đồng liệu Trình bày tổng quan hệ thống đồng liệu, thành phần, yêu cầu hệ thống đồng kỹ thuật đồng liệu - Chương 2: Hàng đợi có ưu tiên đồng file liệu Giới thiệu cách khái quát... điều hành Trung tâm Khí tượng thủy văn quốc gia Dựa phân tích nêu trên, học viên lựa chọn đề tài "Nghiên cứu kỹ thuật nâng cao hiệu đồng liệu khí tượng thủy văn" Bố cục luận văn gồm phần mở đầu chương... tiên đồng file liệu lớn thử nghiệm phần mềm Trung tâm thơng tin liệu khí tượng thủy văn 3 Chương 1: TỔNG QUAN VỀ HỆ THỐNG ĐỒNG BỘ DỮ LIỆU 1.1 Khái quát hệ thống đồng liệu 1.1.1 Giới thiệu Ngày với