Nâng cao hiệu quả một số kỹ thuật đảm bảo tính nhất quán dữ liệu trong mạng p2p TT

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN HỒNG MINH NÂNG CAO HIỆU QUẢ MỘT SỐ KỸ THUẬT ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng, Năm 2021 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TSKH Nguyễn Xuân Huy PGS.TS Lê Văn Sơn Phản biện 1:……………………………………… Phản biện 2:.……………………………………… Phản biện 3:……………………………………… Luận án bảo vệ trước Hội đồng chấm luận án cấp Đại học Đà Nẵng Vào hồi … … ngày … tháng … năm 2021 Có thể tìm hiểu luận án tại: - Thư viện quốc gia Việt Nam - Trung tâm Thông tin - Học liệu & Truyền thông, Đại học Đà Nẵng MỞ ĐẦU Các ứng dụng phân tán thường có quy mô lớn địa lý, số lượng lớn người dùng, cần đáp ứng yêu cầu đa dạng, phức tạp liệu; đồng thời ứng dụng phải triệt để phát huy ưu môi trường phân tán công nghệ nhằm mang lại hiệu tối đa Chính vậy, chúng khơng thể sử dụng liệu tập trung mà phải lưu trữ phân tán Nghĩa là, đối tượng liệu lưu trữ nhiều nút mạng P2P, thực kỹ thuật nhân bản, gọi hệ thống liệu chia sẻ, nhằm đáp ứng yêu cầu hiệu cho ứng dụng phân tán như: tin cậy cao, khả mở rộng, chịu lỗi, khôi phục, sẵn sàng đáp ứng liệu cân tải Trong kỹ thuật nhân bản, bên cạnh ưu điểm, việc thực thi, xử lý tiến trình hồn tồn độc lập, tự trị không nhất, đặt vấn đề khó khăn, phức tạp như: an ninh an tồn, chi phí lưu trữ, thao tác ghi liệu chậm, thời gian ngừng hệ thống tạo mới, yêu cầu đảm bảo tính quán liệu Tính qn liệu phụ thuộc vào mơ hình quán liệu, quy định chế thực thi tiến trình (các thao tác đọc/ghi) liệu chia sẻ Đảm bảo tính quán liệu để tiến trình cục (đọc/ghi) trả kết xác, tin cậy, đáp ứng tốt u cầu từ phía người dùng, yêu cầu vô quan trọng cần thiết Ngay từ sớm, tốn đảm bảo tính quán liệu chia sẻ quan tâm nghiên cứu Tuy nhiên, qua nghiên cứu nhận thấy rằng, đề xuất có phạm vi giải hiệu hẹp khó đáp ứng cho hệ thống liệu chia sẻ ngày này, môi trường phân tán yêu cầu ngày trở nên đa dạng, phức tạp Nhằm góp phần giải vấn đề trên, nghiên cứu sinh chọn đề tài: “Nâng cao hiệu số kỹ thuật đảm bảo tính quán liệu mạng P2P” làm nội dung nghiên cứu cho luận án tiến sĩ kỹ thuật mình, với mục tiêu đề xuất giải pháp nhằm thực tối ưu cho tốn đảm bảo tính quán liệu Bố cục luận án gồm có: phần mở đầu, ba chương phần kết luận Chương 1: Trình bày tổng quan đảm bảo tính quán liệu mạng P2P Nội dung cụ thể chương bao gồm: Trình bày hệ phân tán; khái niệm, phân loại, đặc trưng bản, chức mạng P2P; nhận xét, so sánh mạng P2P Tiếp đến, luận án trình bày kỹ thuật nhân bản, phát biểu phân tích tốn đảm bảo tính qn liệu mạng P2P, mơ hình qn lược đồ đảm bảo tính quán liệu mạng P2P; nhận xét, đánh giá ưu điểm, hạn chế nghiên cứu, qua luận án xác định tồn cần tiếp tục nghiên cứu, cải tiến Chương 2: Trình bày nghiên cứu nội dung hệ phân tán, định nghĩa, chương trình thuật tốn phân tán, Tiếp đến, luận án trình bày biểu diễn mơ hình tốn học tham số đầu vào ảnh hưởng đến tốn đảm bảo tính qn; mơ hình lan truyền nội dung cập nhật để đảm bảo tính qn liệu; biểu diễn mơ hình tốn học tham số đánh giá hiệu lược đồ Cuối chương, luận án giới thiệu trình bày thiết lập mạng Pastry, mạng để triển khai thuật tốn giải pháp đề xuất; trình bày ngơn ngữ lập trình thuật tốn, cơng cụ tiến hành thực nghiệm Chương 3: Trình bày ba đề xuất lược đồ cập nhật nội dung đảm bảo tính quán liệu; thực mô giải pháp đề xuất nhằm phân tích đánh giá kết đạt giải pháp đề xuất so sánh với đề xuất Nakashima Yi Cuối chương, luận án trình bày thuật tốn phịng tránh bế tắc cung cấp tài nguyên cho máy ảo, sở cho nghiên cứu ứng dụng nâng cao hiệu lược đồ đảm bảo tính quán sử dụng máy ảo cập nhật Phần cuối luận án tổng kết lại kết đạt được, hướng nghiên cứu tiếp theo, danh mục cơng trình nghiên cứu tác giả, danh mục tài liệu tham khảo Các kết luận án báo cáo thảo luận Hội nghị, Hội thảo khoa học; đánh số tham chiếu theo quy cách [1] -> [6] (trang 98) Trong kết cơng bố (3) tạp chí ESCI, cơng bố [5][6] đánh số theo Scopus Các tài liệu tham khảo luận án đánh số tham chiếu theo quy cách [xyz] nêu trang 99 – 104 Chương TỔNG QUAN VỀ YÊU CẦU ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU CHIA SẺ TRONG MẠNG P2P 1.1 Hệ thống liệu chia sẻ phân tán mạng P2P Kỹ thuật nhân giải pháp chìa khóa để giải vấn đề khó khăn, phức tạp liệu cho ứng dụng phân tán quy mô lớn phân phối liệu, lưu trữ đám mây, công nghệ chuỗi – khối Một đối tượng liệu X nhân nhiều đặt chúng nút phân tán mạng P2P (Hình 1.1) nút Bản X User User nút Dữ liệu X nút Bản X User Internet User nút Bản X User nút Bản X nút Bản X Hình 1.1 Hệ thống liệu chia sẻ X Nhiều nút đồng thời sử dụng chung liệu X, liệu X gọi liệu chia sẻ (shared data), nút có liệu chia sẻ gọi nút sao; thuật ngữ hệ thống liệu chia sẻ mạng P2P (sau gọi hệ thống liệu chia sẻ) để hệ thống nút liệu chia sẻ Hệ thống phần ứng dụng phân tán 1.2 Bài tốn đảm bảo tính qn liệu mạng P2P Dữ liệu chia sẻ X đặt nhớ cục tiến trình thực thi hồn tồn độc lập (Hình 1.2) Thao tác ghi tiến ( ) , thao tác đọc tiến trình X trả giá trị , ký hiệu trình X trả giá trị , ký hiệu ( ) Mỗi tiến trình thực chuỗi thao tác đọc ghi liệu chia sẻ, có thao tác ghi làm thay đổi giá trị liệu ( ) chia sẻ X Chẳng hạn, giá trị trả thao tác ( ) 10 15 Bản (X) Pn Bản (X) R(X)? P2 W(X)15 W(X)10 P1 Bản (X) Hình 1.2 Tiến trình thực thi độc lập liệu chia sẻ X Tuy nhiên, hệ phân tán khơng có đồng hồ toàn cục vấn đề độ trễ truyền thơng, khơng có quy ước, ràng buộc việc thực thi tiến trình liệu chia sẻ tiến trình thực thi theo cách khác nhau, dẫn đến không xác định giá trị trả thao tác đọc đó, cụ thể có trường hợp sau: Giá trị trả thao tác đọc liệu chia sẻ X tiến trình số giá trị ghi liệu chia sẻ X mà tiến trình thực trước Giá trị trả thao tác đọc liệu chia sẻ X tiến trình khác nhau, tức xẩy trường hợp ( ) ( ) Vì vậy, hệ thống liệu chia sẻ cần có quy ước, quy định chặt chẽ việc thực thao tác đọc/ghi tiến trình liệu chia sẻ, nhằm xác định xác, tin cậy giá trị trả tiến trình Trong đó, quy ước, quy định cần thống tuân theo mơ hình qn liệu định Điều đảm bảo tính quán liệu chia sẻ X Các hệ thống liệu chia sẻ mạng P2P có khó khăn yêu cầu phức tạp như: mạng tùy biến, quy mô hệ thống chia sẻ lớn (số lượng nút tham gia số lượng đối tượng liệu chia hệ thống); nút hồn tồn độc lập, tự trị khơng nhất; tốc độ nút vào/ra hệ thống tốc độ nút thực cập nhật không xác định; yêu cầu mơ hình đảm bảo tính qn liệu, hiệu mong muốn cần đạt hệ thống khác Trong đó, nghiên cứu triển khai xây dựng hệ thống mạng P2P, mơ hình qn tuyến tính lựa chọn phù hợp, phổ biến 1.3 Lược đồ đảm bảo tính qn liệu Có ba phương thức cập nhật, gồm có: gửi thao tác cập nhật, gửi thông điệp cập nhật gửi nội dung cập nhật Trong phương thức gửi nội dung (bản mới) cho nút hệ thống, để thực cập nhật nhằm đảm bảo quán liệu (mơ hình tuyến tính) chứng minh tính hiệu phù hợp với ứng dụng mạng P2P Giải pháp tổng quát thực sau: Bước 1: Với đối tượng liệu chia sẻ X, lược đồ xây dựng cấu trúc cập nhật phía mạng P2P, ký hiệu Bước 2: Các nút thực cập nhật cục theo nhu cầu sử dụng, đồng thời nút gửi nội dung tới nút gốc Nút gốc lan truyền cập nhật cho nút phía thao tác lặp lại cập nhật gửi tới nút Tuy nhiên giải pháp đề xuất tồn hạn chế, chưa tối ưu phương thức xây dựng cấu trúc cập nhật phương thức lan truyền nội dung cập nhật Cây cập nhật xây dựng theo trình tự thời gian vào hệ thống nút, nên nút liên kết với cách xa vật lý logic, làm tăng độ trễ, số lượng thông điệp băng thông sử dụng trao đổi thông điệp lan truyền cập nhật Cây cập nhật xây dựng dựa vào tính tốn khả nút (độ ổn định, tốc độ xử lý…) khó thực hiện, tốn nhiều chi phí, đặc biệt tốc độ nút vào/ra hệ thống cao Cây cập nhật “động” có hiệu tốc độ nút yêu cầu cập nhật thấp không tốn chi phí trì cấu trúc Phương thức lan truyền cập nhật cho tất nút online tốn chi phí, dư thừa khơng phù hợp người dùng yêu cầu thời gian sử dụng khác Phương thức lan truyền cập nhật từ nút gốc cho nút phía (thậm chí nút lá) làm tăng độ trễ, số lượng thông điệp băng thơng chi phí truyền thơng điệp xử lý qua nhiều nút Giải pháp mà nút sử dụng nhớ đệm để lưu gửi tới lan truyền cập nhật cho nút yêu cầu, cần giải vấn đề khó khăn, phức tạp tắc nghẽn, cân tải tình trạng vượt khả nút Chương GIẢI PHÁP CẬP NHẬT NỘI DUNG ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU CHIA SẺ TRONG MẠNG P2P 2.1 Chương trình phân tán, khơng 2.1.1 Chương trình phân tán Chương trình phân tán bao gồm tập tiến trình khơng đồng * + ( ) trạng thái tiến trình Tập tất trạng thái tiến trình thời điểm gọi cấu hình hệ thống, biểu diễn vector có dạng ( ) Định nghĩa chương trình phân tán sau: Định nghĩa 2.1 Một thực thi hệ thống phân tán ( ) với ( ) dãy tối đại , , 2.1.2 Thuật toán phân tán Định nghĩa 2.2 Thuật toán cục tiến trình ( ), với tập trạng thái trạng thái ban đầu, quan hệ quan hệ ( tập thông điệp) Mối quan hệ nhị phân định nghĩa bởi: ( ) / ( ( ) ) Trong quan hệ biểu diễn chuyển đổi trạng thái tiến trình , với chuyển trạng thái nội bộ, không nhận hay gửi thông điệp, chuyển trạng thái gửi thông điệp, chuyển trạng thái nhận thông điệp Định nghĩa 2.3 Một thuật toán phân tán * + tập thuật toán cục Định nghĩa 2.4 Một dịch chuyển cấu hình theo phương thức truyền thơng tin khơng đồng dựa thuật tốn phân tán, ( ), đó: * ) ( ) } ( ), với hàm chuyển đổi trạng thái tiến trình ; tập cặp: ( )( ) Chúng thỏa mãn ba điều kiện sau: a) ( ) * + b) Có ( ) * + c) Có ( ) *( ) ( ) + Một thực thi thuật toán phân tán chuyển đổi cấu hình dựa Các cặp ( ) gọi kiện nội ) , ( gọi kiện gửi kiện nhận Định nghĩa 2.5 Một dịch chuyển cấu hình theo phương thức truyền thơng tin đồng dựa thuật tốn phân tán, ( ), đó: * ) +, ( ) ( , với ( ) a) tập cặp ( )( ) thỏa ( ) b) tập cặp ( ) ( ) thỏa có thơng ( điệp ) cho ( ) *( ) ( )+ 2.1.3 Biểu diễn tham số hệ thống liệu chia sẻ Mỗi tham số hệ thống liệu chia sẻ ln có ảnh hưởng quan trọng tới lược đồ đảm bảo tính quán liệu Các tham số gồm có: - Nút khơng khả xử lý biểu diễn phân phối Pareto; tốc độ nút vào/ra hệ thống tốc độ nút thực cập nhật biểu diễn hàm phân phối Poisson; - Quy mô hệ thống liệu chia sẻ gồm có số lượng nút tham gia số lượng đối tượng liệu chia sẻ biểu diễn phân phối Zipf Lưu ý hệ thống nhằm phục vụ cho nhiều đối tượng liệu chia sẻ âm thanh, hình ảnh, video, sách 2.2 Lược đồ cập nhật nội dung 2.2.1 Giải pháp xây dựng trì cấu trúc cập nhật a) Xây dựng cập nhật Khi nút muốn tham gia hệ thống liệu chia sẻ, trước tiên cần liên kết vào cấu trúc cập nhật Một số giải pháp xây dựng cập nhật sau: - Xây dựng cập nhật theo thời gian đến cân - Xây dựng cập nhật theo xác suất - Xây dựng cập nhật sử dụng nút đại diện - Xây dựng cập nhật theo khoảng cách mạng b) Duy trì cấu trúc cập nhật Nút có tốc độ vào/ra hệ thống không xác định, nguyên nhân nhu cầu tham gia hệ thống khác nút yếu tố đặc trưng mạng P2P Vì thế, lược đồ đảm bảo tính qn liệu cần có giải pháp xử lý vấn đề nhằm trì cấu trúc cập nhật Khi tốc độ lớn việc trì cấu trúc cập nhật khó khăn, phức tạp địi hỏi chi phí cao Tùy theo ứng dụng cụ thể (các tham số môi trường phân tán yêu cầu toán đặt ra) giải pháp xây dựng cấu trúc cập nhật mà lược đồ có giải pháp phù hợp, hiệu để trì cấu trúc Điều ảnh hưởng quan trọng tới hiệu chung lược đồ đảm bảo quán liệu 2.2.2 Giải pháp lan truyền cập nhật Mơ hình lan truyền cập nhật từ nút gốc tới nút cấu trúc Hình 2.1 đây: Hình 2.1 Mơ hình lan truyền cập nhật cấu trúc : Tốc độ cập nhật mà nút gửi tới nút gốc : Kích thước nhớ đệm lưu trữ nút 11 Chương MỘT SỐ GIẢI PHÁP ĐỀ XUẤT NÂNG CAO HIỆU QUẢ CẬP NHẬT NỘI DUNG ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU 3.1 Giải pháp xây dựng cấu trúc cập nhật hiệu hệ thống ổn định 3.1.1 Bài toán Các hệ thống liệu chia sẻ mạng P2P ổn định tốc độ nút vào/ra hệ thống lớn không xác định, làm tăng chi phí xây dựng trì cấu trúc cập nhật, phải kể đến thời gian mà hệ thống phải dừng để xử lý việc nút vào/ra hệ thống nên thực lan truyền nội dung cập nhật, làm tăng độ trễ cập nhật Hơn nữa, độ trễ cập nhật phụ thuộc hiệu truyền thông nút Tuy nhiên, giải pháp đề xuất tồn hạn chế xây dựng cấu trúc cập nhật tối ưu truyền thông nút, dẫn đến hiệu chưa cao độ trễ cập nhật, đặc biệt tốc độ nút vào/ra hệ thống lớn thường dẫn đến độ trễ cập nhật tăng đột biến (chẳng hạn giải pháp Nakashima đề xuất) Chính vậy, luận án đề xuất giải pháp cải tiến cho hạn chế nêu nhằm đạt hiệu cao độ trễ cập nhật Nội dung nghiên cứu cơng bố cơng trình tác giả số [4] 3.1.2 Thuật toán ID_LINK Giải pháp đề xuất thực xây dựng cập nhật tĩnh d-ary (mỗi nút có tối đa nút con), gồm có nút liệu chia sẻ X sau: Nút M đối tượng liệu X định danh hàm băm địa IP nút tên X, kết Khi đó, nút vào hệ thống chọn nút gốc cập nhật, ký hiệu nút R Nút R coi chịu trách nhiệm cho tồn khơng gian định danh tất nút, nên với nút M, ta ln có , - Khơng gian định danh nút M chịu trách nhiệm ký hiệu Ký hiệu phần, phân chia liên tiếp không gian định danh Nút đánh số thứ tự từ trái qua phải, chẳng hạn ký hiệu nút nút vị trí thứ 12 Giả sử nút M cần liên kết vào cấu trúc cập nhật, gửi thông điệp ( ) tới nút gốc R thông qua cấu trúc mạng phủ Pastry, yêu cầu liên kết vào cập nhật Nút R ̅̅̅̅̅ Nếu nút chưa có nút chịu kiểm tra , với trách nhiệm cho khơng gian định danh , nút M chọn nút vị trí thứ nút R, ký hiệu nút Ngược lại nút R có nút , nút R gửi thông điệp ( ) tới nút Nút nhận thông điệp thực tương tự Yêu cầu nút M kết thúc tìm nút thỏa mãn nút chưa có nút Như vậy, nút chọn nút nút K vị trí thứ i, ký hiệu Khi đó, nút chịu tránh nhiệm cho vùng khơng gian định danh Mã giả thuật tốn ID_LINK trình bày Thuật toán 3.1: ID_LINK Đầu vào: Nút K nhận thông điệp ( ) Đầu ra: Nút cha nút M Begin // thuộc không gian định danh thứ i If nút K chưa có nút Then Return K := Else if Send ( ) To // K gửi yêu cầu cho nút End if End Bổ đề 1: Chi phí truyền thơng nút nút cập nhật tối đa ⌈( ) ⌉ bước Chi phí gửi cập nhật từ nút gốc tới nút , biểu diễn công thức sau: ( ( ) ) ( ) , ký hiệu (3.1) Giả sử xác suất nút liên kết vào cập nhật mức l, chi phí nút liên kết vào cập nhật Như vậy, 13 chi phí nút liên kết vào cập nhật vị trí đó, ký hiệu , biểu diễn công thức sau: ∑ Độ trễ cập nhật ( = (3.2) biểu diễn công thức sau: )∑ (3.3) 3.1.3 Phân tích kết thực nghiệm Thuật tốn ID_LINK giúp nâng cao hiệu truyền thơng nút, mang lại hiệu cao độ trễ cập nhật, đặc biệt ứng dụng ổn định tốc độ nút vào/ra hệ thống lớn Kết thực nghiệm mơ ra, giải pháp ln có hiệu tốt độ trễ cập nhật so với giải pháp Nakashima tốc độ nút vào/ra hệ thống lớn 0,3 độ trễ cập nhật giữ ổn định 3.2 Giải pháp linh hoạt cập nhật phòng tránh tắc nghẽn 3.2.1 Bài tốn Hướng tiếp cận lược đồ trình bày mục 3.1 đạt hiệu cao độ trễ cập nhật, không đạt yêu cầu tỷ lệ cập nhật thành công Nguyên nhân chủ yếu nút khơng có nhớ đệm (ví dụ giải pháp Nakashima đề xuất), khác lan truyền cho nút cấu trúc cập nhật nút gốc từ chối cập nhật Ngồi cịn có ngun nhân nút gốc trở nên tải, bị lỗi Thực tế, có hệ thống liệu chia sẻ, nút cần sử dụng tối đa tạo tất nút Vì vậy, giải pháp cho yêu cầu nút có nhớ đệm để lưu trữ cập nhật, trừ nút có sử dụng, chẳng hạn giải pháp BCoM Yi đề xuất sử dụng cấu trúc Tuy nhiên giải pháp BCoM thiếu linh hoạt lan truyền cập nhật, cụ thể việc 14 gửi cập nhật từ nút cha cho nút nhớ đệm nút cịn trống mà khơng phụ thuộc vào việc nút có u cầu hay khơng dễ dẫn tới nhớ đệm nút bị đầy, xảy tắc nghẽn lan truyền cập nhật Điều ảnh hưởng quan trọng tới hiệu giải pháp BCoM Hơn nữa, khơng phù hợp để áp dụng cho hệ thống liệu chia sẻ mà tốc độ nút thực cập nhật chênh lệch lớn Vì thế, luận án có hướng tiến cận nghiên cứu toán giải pháp cập nhật linh hoạt, hiệu để phòng tránh tắc nghẽn phù hợp với môi trường phân tán, yêu cầu đảm bảo tính quán liệu hệ thống Nội dung nghiên cứu công bố cơng trình tác giả số [1] [2] 3.2.2 Giải pháp Mỗi nút (trừ nút lá) có biến cục sau: ̅̅̅̅̅̅̅̅̅̅): Vector V có Vector V[i] ( bit số (bit 1/0 để trống), ghi u cầu cập nhật d nút Trong đó, bit ghi yêu cầu nút d bit ghi yêu cầu nút tương ứng với vị trí từ trái qua phải Bit 1/0 nút tương ứng có/khơng u cầu cập nhật, trống khơng có nút vị trí tương ứng Nút sử dụng thơng tin vector V để xác định nút có yêu cầu cập nhật ̅̅̅̅̅ ̅̅̅̅̅̅̅̅̅̅): Bộ nhớ đệm B có Bộ nhớ đệm B[i][j] ( kích thước ( ) gồm có k ghi ghi có phần tử Phần tử ghi chứa sao, thành phần bit 1/0 trống thể đã/chưa gửi cho nút tương ứng khơng có nút vị trí Giá trị k độ lệch tối đa mơ hình quán tuyến tính Nút gốc sử dụng nhớ đệm lưu trữ phiên cập nhật theo thứ tự thời gian đến gửi từ nút hệ thống, nút thực cập nhật Các nút khác sử dụng nhớ đệm lưu trữ gửi từ nút cha Khi nhận từ nút cha, nút có thơng điệp xác nhận Một phiên bị xóa khỏi nhớ đệm gửi cho tất nút Như vậy, thông tin nhớ đệm giúp nút biết nút cập nhật đến phiên 15 3.2.2.1 Phương thức cập nhật linh hoạt Mã giả thuật toán nút gửi yêu cầu cập nhật cho nút cha trình bày Thuật tốn 3.2: ReqUd Đầu vào: Nút K có thơng tin nút cha M Đầu ra: Nút K gửi yêu cầu cập nhật cho nút M Begin If K nút Then Send request_update(K) cho nút M Else if nhớ đệm nút K trống Then Send request_update(K) cho nút M , End if End Mã giả thuật toán nút xử lý nhận yêu cầu cập nhật trình bày Thuật tốn 3.3: RecReqUd Đầu vào: Nút M nhận thơng điệp request_update(K) Đầu ra: Nút M gửi cập nhật cho nút K tiếp tục gửi request_update(M) Begin If nút M có cập nhật yêu cầu Then PropUd() Else if nút M có nhớ đệm cịn trống Then ,i3 //giả sử nút K nút thứ i nút M ReqUd() End if End 3.2.2.2 Giải pháp phòng tránh tắc nghẽn cập nhật Lan truyền cập nhật xảy tắc nghẽn nút nhớ đệm nút đầy tiếp tục nhận yêu cầu cập nhật khơng có nhớ đệm Do đó, luận án đề xuất thuật tốn thực xóa ghi nhớ đệm, hoán đổi liên kết nút nhằm giải phóng nhớ đệm để phòng tránh tắc nghẽn cập nhật Hai trường hợp nút phải thực xóa ghi nhớ đệm, gồm có cập nhật xong cho tất nút nút hoán đổi liên kết cập nhật Mã 16 giả thuật tốn giải phóng nhớ đệm trình bày Thuật tốn 3.4: DelRep Đầu vào: Bộ nhớ đệm B Đầu ra: Xóa ghi chứa cập nhật, xếp lại Begin While ( ){ If , -, Then Break If End Else if j++ End if} Then xóa ghi thứ xếp (a) (b) Hình 3.1 Hốn đổi liên kết nút: (a) tốc độ nút cha thực cập nhật lớn nhiều so với nút nó; (b) tốc độ nút thực cập nhật lớn nhiều so với nút cha Trong giải pháp đề xuất, nhớ đệm đầy nút nhận yêu cầu cập nhật mà nút có khơng xảy tắc nghẽn Tuy nhiên, luận án đề xuất giải pháp chủ động để phòng tránh tắc nghẽn lan truyền cập nhật nút, thực giải phóng nhớ đệm nút bị đầy xảy hai trường hợp, cách hoán đổi liên kết nút dựa 17 vào tương đồng tốc độ nút thực cập nhật 3.2.3 Phân tích kết thực nghiệm Giải pháp đề xuất nâng cao hiệu cập nhật cấu trúc mà nút sử dụng nhớ đệm, có hiệu tốt độ trễ cập nhật so với Nakashima trường hợp như: số lượng nút hệ thống liệu chia sẻ nhỏ 300, tốc độ nút vào/ra hệ thống lớn 0,45 tốc độ nút thực cập nhật lớn 160 Bên cạnh đó, giải pháp đạt hiệu cân tham số, với tỷ lệ cập nhật thành công 90%, giải pháp Nakashima có tỷ lệ loại bỏ cập nhật xấp xỉ 100% 3.3 Giải pháp nhân dựa vào ngưỡng tốc độ yêu cầu cập nhật tối ưu chi phí đảm bảo tính qn 3.3.1 Bài tốn Phương thức lan truyền cập nhật từ nút gốc tới nút có hạn chế tốn chi phí truyền thơng gửi qua nhiều nút; đồng thời dễ dẫn tới việc nút tải nút cần xử lý nhiều yêu cầu cập nhật phải thực gửi cập nhật cho nút Đặc biệt phương thức có độ trễ tăng đột biệt trường hợp tốc độ nút thực cập nhật lớn Do đó, tốn đặt cần đặt nút phù hợp để chúng đáp ứng yêu cầu cập nhật nhằm đạt hiệu đảm bảo tính quán liệu Trong đó, nhân liệu để tạo nhiều đặt chúng nút đồng thời làm tăng chi phí đảm bảo tính quán liệu Mặt khác, kỹ thuật nhân đề xuất chưa trọng, đề cập đảm bảo tính quán liệu hệ thống quy mô nhỏ ổn định (tốc độ nút vào/ra hệ thống tốc độ nút thực cập nhật nhỏ) Chính vậy, luận án tiếp cận hướng nghiên cứu kỹ thuật nhân hiệu quả, có khả áp dụng cho hệ thống liệu chia sẻ mạng P2P giải tốn nêu Nội dung nghiên cứu cơng bố cơng trình tác giả số [3] 3.3.2 Giải pháp Luận án đề xuất thuật toán OptRep, thực thi chiến lược When Where là: Thực nhân cho nút (gọi nút nhân bản) dựa vào ngưỡng tốc độ yêu cầu cập nhật nút nhằm 18 giảm chi phí lan truyền cập nhật đảm bảo tính quán liệu Một nút nhân tốc độ yêu cầu cập nhật nút đủ lớn - gọi ngưỡng, xác định dựa vào so sánh chi phí thực nhân cho nút để đáp ứng u cầu cập nhật khơng nhân Khi đó, khác với phương thức lan truyền cập nhật từ nút gốc nút lá, nút gốc nút nhân chịu trách nhiệm lan truyền cập nhật cho nút có yêu cầu để giảm chi phí đảm bảo tính quán liệu Thuật tốn 3.5: OptRep Đầu vào: Nút có giá trị , biết nút nhân (thông tin lần nhận cập nhật trước) Đầu ra: yêu cầu nhân cho nút Phương pháp: Bước 1: Nút cập nhật giá trị , tốc độ cập nhật đến nút gốc tốc độ yêu cầu cập nhật gửi tới nút khoảng thời gian Γ Bước 2: Nút tính tốn giá trị hai biểu thức với ý nghĩa công thức biểu diễn sau: Trong trường hợp không nhân từ nút cho nút , tổng chi phí để thực cập nhật yêu cầu nút con, cụ thể bao gồm: Chi phí tiếp tục gửi yêu cầu cập nhật tới nút (do nút nút nhân nên cần tiếp tục gửi yêu cầu lên nút ) , chi phí gửi cập nhật từ nút cho nút (khi yêu cầu gửi tới nút chi phí gửi gửi cập nhật xuống) cập nhật cho nút yêu cầu, yêu cầu để cập nhật cho nút , mà gồm yêu cầu nút có gốc nút Giả sử xác suất nút mức i yêu cầu cập nhật số yêu cầu này, chi phí gửi cập nhật cho nút yêu cầu 19 ∑ Do đó, biểu diễn sau: i ∑ (3.4) Bằng lập luận tương tự công thức 3.1, dễ dàng biểu diễn công thức tính chi phí truyền thơng nút sau: nút ( ( ) ) ( (3.5) ) Trong trường hợp thực nhân từ nút cho nút tổng chi phí cập nhật cho yêu cầu, bao gồm: Chi phí lan truyền phí gửi cập nhật từ nút cho nút cập nhật cho nút yêu cầu, tương tự ∑ biểu diễn sau: Do đó, i ∑ (3.6) Chú ý rằng, luận án chưa tính vào hai biểu thức chi phí gửi yêu cầu cập nhật từ nút phía cho nút , hai trường hợp có chi phí Bước 3: Nút thực so sánh hai biểu thức Do hai có biểu thức ∑ , nên cần so sánh biểu thức Nếu kết nút khơng u cầu thực nhân bản, ngược lại nút gửi yêu cầu nhân cho nút giá trị gọi ngưỡng tốc độ yêu cầu cập nhật nút 3.3.3 Phân tích kết thực nghiệm 20 Giải pháp đề xuất ln có hiệu tốt độ trễ cập nhật, số lượng nút tham gia hệ thống tốc độ nút vào/ra hệ thống gia tăng lớn Hơn nữa, giải pháp đề xuất cải tiến đáng kể tỷ lệ cập nhật thành công so với giải pháp Nakashima, đặc biệt tốc độ nút thực cập nhật lớn kết rõ (9,5% so với 5,5% trường hợp tốc độ cập nhật 200) 3.4 Giải pháp nâng cao hiệu sử dụng máy ảo cập nhật 3.4.1 Bài tốn Nút mạng P2P khơng có khả hạn chế Vì thế, lược đồ đảm bảo tính qn liệu ln tồn khó khăn mang tính chất cố hữu như: tình trạng nút trở nên tải yêu cầu vượt khả nút hay tốc độ nút vào/ra hệ thống khơng xác định, khả xảy tình trạng tắc nghẽn, bế tắc cân tải Những điều làm giảm hiệu lược đồ đảm bảo tính quán liệu Các giải pháp ảo hóa dựa Open Stack hướng tiếp cận mới, có tiềm lớn để khắc phục hạn chế nêu Hiện nay, giải pháp cung cấp tài nguyên cho máy ảo thực lớp hạ tầng dịch vụ (IaaS), trung tâm liệu Nghiên cứu công bố xây dựng hàm mục tiêu cần tối ưu cung cấp tài ngun cho máy ảo mơ hình M VM-out-of-N PM, cho máy ảo xây dựng tảng trung tâm liệu (máy vật lý ổn định, hiệu cao) Do vậy, nhằm làm sở nghiên cứu, ứng dụng để nâng cao hiệu lược đồ đảm bảo tính quán liệu sử dụng máy ảo cập nhật, luận án đề xuất thuật tốn tối ưu hóa hàm theo hướng tiếp cận giải phòng tránh bế tắc cung cấp tài nguyên cho máy ảo xây dựng mạng P2P, lớp hạ tầng dịch vụ IaaS Nội dung nghiên cứu cơng bố cơng trình tác giả số [5] [6] 3.4.2 Thuật tốn phịng tránh bế tắc cung cấp tài nguyên cho máy ảo Luận án đề xuất thuật toán AllResVm, sử dụng đồ thị tranh chấp Wait – For – Graph (WFG) giải tốn phịng tránh bế tắc cung cấp tài nguyên cho máy ảo, xác suất lấy 21 ( đồ thị ngẫu nhiên với ), ( là: ) ( ) (3.7) ( ) Để xác định khả phân phối tất máy ảo vào nút thời gian yêu cầu, bắt đầu thời điểm kéo dài giây, thuật toán xếp nút theo bước sau: Bước 1: Trước tiên, ưu tiên nút có hợp đồng chạy nhanh thời điểm Bởi nút có hiệu suất cao cần phân bổ nhiều hợp đồng so với nút có hiệu suất thấp Bước 2: Nếu tiêu chuẩn hợp đồng nhau, sau thủ tục so sánh dựa vào số lượng tài nguyên rảnh thời điểm Bước 3: Cuối cùng, ưu tiên cho nút có tài nguyên rỗi ổn định Những nút cho ổn định ln có số lượng máy ảo định phân phối thời điểm Bước 4: Thực việc cập nhật thông tin trạng thái nút thông qua việc gửi thông điệp theo định tuyến mạng phủ P2P Bước 5: Khi nút xếp tạo danh sách tài nguyên ổn định, luận án tiếp cận sử dụng thuật toán tham lam để phân phối tất máy ảo Mã giả thuật tốn AllResVm trình bày Thuật tốn 3.7: AllResVm ( ) ( Đầu vào: ( ) ( ) ) ( ) ( ) để cấp phát tài nguyên cho Đầu ra: thời điểm Begin // Release resource provision in the critical section is If Return Else For Send permission(i,j) tới End for ; Send thông điệp ( ) 10 max( ); 11 ( ) (( ) (( ( 12 If ( ) then gửi ( ) tới ))); 22 13 14 15 16 17 18 19 20 21 ) then gửi Else if ( ( End if While (ready.isfree()=true) job.delete( ) Ready.Insert(Job); Send thông điệp ( ) nhận từ When ) ( End if 22 ) tới end if ( ) nhận từ if (( ) , -) then gửi REQUEST( ,( ) tới End 3.4.3 Phân tích kết thực nghiệm Kết mô ra, khả CPU 100% có khác biệt lớn tỷ lệ hiệu cung cấp tạo thành công máy ảo, với thành công 60,6% thất bại 25%; đồng thời tỷ lệ cao với khả cho trước CPU từ 60% trở lên Trong trường hợp khả CPU từ 10% 30% tỷ lệ tạo thành cơng chênh lệch khơng nhiều, với khả thành công cao nhiều so với khả không thành công 23 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Luận án nghiên cứu giải pháp đảm bảo tính quán liệu chia sẻ mạng P2P Trên sở đó, luận án có đề xuất cải tiến lược đồ đảm bảo tính quán liệu, cụ thể sau: a) Đề xuất thuật toán ID_LINK xây dựng cấu trúc lan truyền cập nhật, có hiệu độ trễ cập nhật hệ thống liệu chia sẻ ổn định tốc độ nút vào/ra hệ thống lớn Giải pháp đề xuất ln có hiệu tốt độ trễ cập nhật so với giải pháp Nakashima tốc độ nút vào/ra hệ thống lớn 0,3 độ trễ cập nhật ổn định mà không tăng đột biến b) Đề xuất giải pháp linh hoạt cập nhật hốn đổi liên kết nút nhằm phịng tránh tắc nghẽn lan truyền cập nhật cấu trúc mà nút sử dụng nhớ đệm Giải pháp đề xuất có hiệu tốt độ trễ cập nhật so với Nakashima trường hợp như: số lượng nút hệ thống liệu chia sẻ nhỏ 300, tốc độ nút vào/ra hệ thống lớn 0,45 tốc độ nút thực cập nhật lớn 160 Bên cạnh đó, giải pháp đề xuất đạt hiệu cân tham số, cụ thể có tỷ lệ cập nhật thành cơng ln 90%, giải pháp Nakashima có tỷ lệ loại bỏ cập nhật xấp xỉ 100% c) Đề xuất thuật toán OptRep nhân cho nút dựa vào ngưỡng tốc độ yêu cầu cập nhật nút nhằm tối ưu chi phí đảm bảo tính quán liệu Một nút nhân tốc độ yêu cầu cập nhật tới nút đủ lớn - gọi ngưỡng, xác định tính tốn, so sánh hiệu (thời gian, số bước phải thực hiện) nhân cho nút để đáp ứng cho yêu cầu cập nhật không nhân Giải pháp đề xuất ln có hiệu tốt độ trễ cập nhật, số lượng nút tham gia hệ thống tốc độ nút thực cập nhật gia tăng lớn Bên cạnh đó, giải pháp đề xuất cải thiện đáng kể tỷ lệ cập nhật thành công so với giải pháp Nakashima, đặc biệt tốc độ nút thực cập nhật lớn kết rõ (9,5% so với 5,5% trường hợp tốc độ cập nhật 200) 24 d) Đề xuất thuật tốn AllResVm phịng tránh bế tắc cung cấp tài nguyên cho máy ảo xây dựng mạng P2P, nhằm nâng cao hiệu lược đồ đảm bảo tính quán liệu sử dụng máy ảo để thực cập nhật Giải pháp có tỷ lệ tạo máy ảo cao khả cho trước CPU 60% trở lên; khả CPU từ 10% 30% khả tạo thành cơng chênh lệch khơng nhiều, có khả thành cơng cao nhiều so với khả không thành công Hướng phát triển a) Ngoài phương thức lan truyền cập nhật để đảm bảo tính quán liệu hệ thống liệu chia sẻ, cịn có hai phương thức khác lan truyền thông báo lan truyền thao tác điều khiển cập nhật Mỗi phương thức có ưu điểm, áp dụng cho hệ thống có tính chất đặc thù Vì vậy, hướng nghiên cứu mở rộng luận án tiếp tục phát triển hai trường hợp b) Đề xuất lược đồ đảm bảo tính qn liệu có hiệu quả, tối ưu số lượng thông điệp, băng thông sử dụng tài nguyên khác, nhằm ứng dụng trường hợp tài nguyên hạn chế hệ thống người dùng cuối DANH MỤC CÁC CƠNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ [1] Nguyễn Hồng Minh, Lê Văn Sơn, Nguyễn Xuân Huy, "Một thuật toán hiệu đảm bảo quán liệu môi trường phân tán mạng phủ P2P có cấu trúc", Kỷ yếu Hội thảo Quốc gia lần thứ XVIII “Một số vấn đề chọn lọc Công nghệ thông tin Truyền thông”, NXB Khoa học Kĩ thuật, Hà Nội, ISBN 978-604-67-06458, Trang 191-196, 2016 [2] Nguyễn Hồng Minh, Nguyễn Xuân Huy, "Giải pháp hiệu Đảm bảo quán liệu chia sẻ phân tán tảng P2P có cấu trúc”, Chun san "Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông", Bộ thông tin truyền thông, ISSN 1859-3526, tập V-1, số 17(37), Trang 22-30, 6/2017 [3] Hong Minh Nguyen, Xuan Huy Nguyen, Ha Huy Cuong Nguyen, “On a construction and a highly effective update method for consistency in structured p2p systems”, International Journal of Computer Science and Network Security, ISSN 1738-7906, Vol.17, No.9, pp.151-158, 9/2017 [4] Nguyễn Hồng Minh, Lê Văn Sơn, “Một giải pháp hiệu xây dựng trì lan truyền cập nhật đảm bảo quán liệu”, Kỷ yếu Hội nghị Khoa học Công nghệ Quốc gia lần thứ 10 “Nghiên cứu ứng dụng Công nghệ thông tin”, Nhà xuất Khoa học tự nhiên Công nghệ, Hà Nội, ISBN: 978-604-913-614-6, Trang 488- 494, 2017 [5] Nguyen Ha Huy Cuong, Hong Minh Nguyen, and Trung Son Doan, "The Method of Maintaining Data Consistency in Allocating Resources for the P2P Network Model", Context-Aware Systems and Applications, and Nature of Computation and Communication, Springer, Cham, pp.155-165, 2017 [6] Hong Minh Nguyen, Van Doan Thang, Le Dac Nhuong, Nguyen Ha Huy Cuong, and Nguyen Xuan Huy, "Open Stack: Resources Allocation for Distributed Virtual Machine Peer to Peer", Frontiers in Intelligent Computing: Theory and Applications Advances in Intelligent Systems and Computing, Springer, Singapore, vol 1013, pp.341-349, 2020 ... đạt hiệu đảm bảo tính quán liệu Trong đó, nhân liệu để tạo nhiều đặt chúng nút đồng thời làm tăng chi phí đảm bảo tính quán liệu Mặt khác, kỹ thuật nhân đề xuất chưa trọng, đề cập đảm bảo tính quán. .. cao hiệu số kỹ thuật đảm bảo tính quán liệu mạng P2P? ?? làm nội dung nghiên cứu cho luận án tiến sĩ kỹ thuật mình, với mục tiêu đề xuất giải pháp nhằm thực tối ưu cho toán đảm bảo tính quán liệu Bố... QUAN VỀ YÊU CẦU ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU CHIA SẺ TRONG MẠNG P2P 1.1 Hệ thống liệu chia sẻ phân tán mạng P2P Kỹ thuật nhân giải pháp chìa khóa để giải vấn đề khó khăn, phức tạp liệu cho ứng