Bài viết tập trung nghiên cứu lý thuyết đồng bộ dữ liệu và đề xuất thuật toán cho việc đồng bộ dữ liệu. Đồng bộ hóa dữ liệu là quá trình trao đổi và đồng bộ hóa thông tin giữa hai nguồn dữ liệu theo thời gian.
TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học – Đại học Huế Tập 4, Số (2016) MỘT GIẢI PHÁP HIỆU QUẢ CHO VIỆC ĐỒNG BỘ HÓA DỮ LIỆU TRÊN THIẾT BỊ DI DỘNG Nguyễn Dũng Khoa Công nghệ Thông tin, Trường Đại học Khoa học – Đại học Huế Email: nguyendung622@gmail.com TÓM TẮT Việc sử dụng phổ biến thiết bị cầm tay điện thoại thơng minh hay máy tính bảng hoạt động hàng ngày khiến cho việc đồng liệu trở thành nhu cầu thiết Đồng đảm bảo cho liệu thiết bị cá nhân tổ chức quán Các thách thức quan trọng băng thông thấp, khả xử lý giới hạn dung lượng lưu trữ thiết bị Trong báo nghiên cứu lý thuyết đồng liệu đề xuất thuật toán cho việc đồng liệu Từ khóa: liệu, di động, đồng MỞ ĐẦU Với bùng nổ phát triển ngày mạnh mẽ thiết bị di động, liệu người sử dụng không cịn tập trung thiết bị mà bị phân tán rải rác nhiều thiết bị khác Khi tiến hành sửa đổi liệu thiết bị dẫn đến tình trạng liệu khơng cịn quán Do nhu cầu đồng hóa liệu trở thành vấn đề đáng quan tâm Đồng hóa liệu q trình trao đổi đồng hóa thơng tin hai nguồn liệu theo thời gian Ứng dụng đồng hóa liệu đa dạng, đồng hóa tập tin, đồng hóa lịch Việc đồng liệu diễn nhiều loại thiết bị khác nhau, là: máy tính cá nhân, điện thoại thơng minh, máy tính bảng,… Một số mơ hình lý thuyết đồng hóa liệu công bố số nghiên cứu khoa học, vấn đề việc đồng hóa liên quan đến tốn mã hóa SlepianWolf ngành lý thuyết thơng tin Các mơ hình lý thuyết phân loại tùy theo việc chúng xem xét liệu đồng hóa nào: - Dữ liệu khơng có thứ tự: Bài tốn đồng hóa liệu khơng có thứ tự (cịn gọi tốn hịa hợp tập hợp - set reconciliation problem) mơ hình hóa thành cách tính mức chênh lệch đối xứng hai tập xa Một số cách xử lý tiêu biểu là: o Chuyển toàn (wholesale transfer): Trong trường hợp toàn liệu truyền tới nơi để tiến hành so sánh cục Phương pháp dễ cài đặt thực hiện, nhiên phương pháp có nhược điểm lớn Một giải pháp hiệu cho việc đồng hóa liệu thiết bị di dộng tốn băng thông thời gian truyền tải lớn tập liệu có kích thước lớn o Đồng hóa theo dấu thời gian (timestamp synchronization): Trong trường hợp thay đổi liệu đánh dấu dấu thời gian (timestamp) Việc đồng hóa tiến hành cách chép liệu có dấu thời gian so với lần đồng hóa trước đó[1] Phương pháp tỏ hiệu hẳn mà cần truyền thay đổi, thay đổi ghi nhận dấu thời gian, từ nguồn đến đích cách dễ dàng Tuy nhiên có hai vấn đề lớn cần quan tâm: làm để ghi nhận thay đổi tập liệu nguồn với nguồn lại, hai hòa hợp thay đổi vào tập liệu đích o Đồng hóa kiểu tốn học (mathematical synchronization): Trong trường hợp liệu xem đối tượng toán học đồng hóa tương ứng với q trình xử lý toán học[1] - Dữ liệu xếp thứ tự: Trong trường hợp này, hai chuỗi xa cần hịa hợp với Thơng thường, chuỗi giả định khác tới số cố định sửa đổi (tức thao tác thêm, xóa, sửa ký tự) Sau q trình đồng hóa liệu việc giảm dần khoảng cách sửa đổi , khoảng cách sửa đổi khơng Đã có nhiều nhà khoa học tiến hành xây dựng thuật toán đồng hóa liệu như: Palm HotSync, Intellisync, SyncML, CPISync, … Tuy nhiên việc xây dựng thuật toán đồng liệu cần ý đến việc liệu phân tán nhiều thiết bị, có thiết bị di động[3] Các thiết bị di động xét khả lưu trữ, khả xử lý băng thơng cịn thấp Do tiến hành nghiên cứu xây dựng giải thuật đồng nhằm để giải vấn đề nêu GIẢI THUẬT Phát biểu toán: Giả sử có hai thiết bị A B kết nối với với băng thông thấp độ trễ mạng cao Tại thời điểm bắt đầu chuyển liệu, máy A chứa tập tin có kích thước máy B có tập tin có kích thước bi (giả sử , với n kích thước lớn hai tập tin) Mục đích giải thuật cho B nhận tập tin từ A Cấu trúc giải thuật sau: B gửi liệu S bi đến A A đối sánh liệu nhận với gửi liệu D đến B B cấu trúc lại tập tin dựa vào bi, S D TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học – Đại học Huế Tập 4, Số (2016) Câu hỏi đặt khn dạng S gì, làm A sử dụng liệu S để đối sánh với làm để B tái cấu trúc lại Với cấu trúc đơn giản này, dễ dàng nhận liệu S mà B gửi đến A cần phải có kích thước nhỏ kích thước tập tin hoàn chỉnh để tăng tốc độ truyền tải1 Chúng ta thực số phép thử thuật tốn để tìm lời giải tối ưu: Phép thử thứ nhất: B chia bi thành N khối với kích thước chữ ký gửi đến A tính tốn chữ ký A chia thành N khối có kích thước tính A tìm Với k, A gửi đến B số khối j khối trường hợp ngược lại B cấu trúc lại cách sử dụng khối từ bi khối từ đối sánh với cho khối Các cho khối với khối k khớp với liệu Giải thuật đơn giản lại gặp vấn đề tập tin máy A giống với tập tin máy B khác byte tập tin khơng có khối so khớp với giải thuật truyền toàn tập tin Phép thử thứ hai: Để giải vấn đề tồn phép thử thử cho A tạo chữ ký khơng cho khối mà cịn tạo chữ ký cho tất byte vùng biên khối Khi A so sánh chữ ký byte vùng biên với chữ ký Sj bi tìm khớp khối Điều cho phép chèn thêm xóa bớt byte cách tùy ý tập tin Phương pháp thực khơng khả thi chi phí tính toán chữ ký hợp lý cho khối lớn, khơng tạo chữ ký cho khối tạo chữ ký cho tất byte khối Để thuật toán trở nên khả thi sử dụng thuật tốn tạo chữ ký đơn giản làm cho chữ ký trở nên yếu Một chữ ký yếu làm cho thuật tốn đồng khơng cịn xác Ví dụ: Chữ ký byte khối Điều dễ để tạo nên chữ ký, giải thuật đồng cho kết sai hai khối khơng khác byte Trừ kết nối A B không đối xứng Nếu liên kết từ B đến A nhanh kết nối từ A đến B chậm kích thước S là khơng thành vấn đề Một giải pháp hiệu cho việc đồng hóa liệu thiết bị di dộng Giải pháp cho vấn đề không sử dụng chữ ký cho khối mà hai Nếu gọi chữ ký R (rolling checksum, tính checksum khối liệu) H (hash, tạo bảng băm cho khối liệu), giải thuật trở thành: B chia bi thành N khối với kích thước Các chữ ký gửi đến A Với byte thứ i ai, A tính A so sánh Với j, Nếu khớp với A gửi thẻ đến B để xác định khối khớp vị trí khối khớp, ngược lại A gửi byte đến B B nhận byte thẻ từ A sử dụng để tái tạo lại với tính tốn chữ ký cho khối cho khối bắt đầu i nhận từ B khớp với Rj, A tính so sánh với Như để giải thuật hiệu cần điều kiện sau: - Chữ ký R cần chi phí tính tốn thấp Ở sử dụng giải thuật MD4 MD5 IDEA để tính Hơn giải thuật có tính bảo mật cao Chữ ký H cần có xác suất đụng độ thấp Bảng băm tạo cách dễ dàng dựa vào lý thuyết bảng băm A cần thực thuật toán đối sánh chữ ký khối nhận từ B cách hiệu Với phép thử thứ hai, giải vấn đề đồng liệu cách hiệu tốn chi phí Tuy nhiên trường hợp tồi dễ dàng nhận giải thuật phải truyền toàn tập tin từ A đến B mà khơng có khối liệu so khớp với MỘT SỐ VẤN ĐỀ KHÁC CỦA THUẬT TOÁN Tái cấu trúc tập tin: Đây phần đơn giản giải thuật Sau gửi chữ ký đến A, B nhận thông tin luồng byte từ A không so khớp Để tái cấu trúc tập tin, B cần ghi luồng byte nhận khối liệu B so khớp lên tập tin Tất nhiên để làm việc ứng dụng cần cấp phép truy xuất tập tin tạo tập tin mới[2] Chọn kích thước khối liệu, L ( ): Kích thước khối liệu sau chia tập tin vấn đề quan trọng thuật tốn Việc chọn kích thước phù hợp phù thuộc vào yếu tố[2]: - Kích thước khối phải lớn kích thước chữ ký khối cộng lại Một khối có kích thước lớn làm giảm thông tin chữ ký gửi từ B đến A TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học – Đại học Huế - Tập 4, Số (2016) Một khối có kích thước nhỏ xác suất so khớp A cao hơn, làm giảm có lượng byte truyền từ A đến B Do để xác định kích thước tối ưu khối liệu, chúng tơi giả định hai tập tin sai khác số cố định Chẳng hạn, chúng tơi giả định hai tập tin giống ngoại trừ chuỗi Q byte, tổng số byte truyền sấp xỉ là: ( ) Trong đó: - kích thước chữ ký R kích thước chữ ký H kích thước token n kích thước lớn hai tập tin Giả sử (1) trở thành Trong trường hợp giá trị tối ưu cho L √ Điều có nghĩa tập tin có kích thước phổ biến khoảng vài kilobyte đến vài megabyte với khoảng chục khác biệt hai tập tin kích thước khối tối ưu khoảng vài trăm ngàn byte KẾT LUẬN Trong báo này, tiến hành phân tích xây dựng thuật tốn đồng liệu dựa ràng buộc đồng thiết bị di động Giải thuật áp dụng hiệu cho toán đồng lịch cá nhân đơn vị dựa nhiều nguồn khác LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn đến trường Đại học Khoa học cấp kinh phí cho báo (bài báo phần đề tài cấp sở trường) Cám ơn Khoa Công nghệ Thông tin, trường Đại học Khoa học tạo điều kiện để cơng trình hoàn thành Một giải pháp hiệu cho việc đồng hóa liệu thiết bị di dộng TÀI LIỆU THAM KHẢO [1] Minsky, Y.; Trachtenberg, A.; Zippel, R (2003) “Set reconciliation with nearly optimal communication complexity” Information Theory, IEEE Transactions on 49 (9): 2213–2218 doi:10.1109/TIT.2003.815784 ISSN 0018-9448 [2] A.Tridgell (February 1999) "Efficient algorithms for sorting and synchronization" (PDF), PhD thesis The Australian National University [3] S Agarwal, D Starobinski, A Trachtenberg (Aug 2002) “On the Scalability of Data Synchronization Protocols for PDAs and Mobile Devices”, Department of Electrical and Computer Engineering Boston University AN EFFECTIVE SOLUTION FOR DATA SYNCHRONIZATION ON MOBILE DEVICES Nguyen Dung Department of Information Technology, Hue University College of Sciences Email: nguyendung622@gmail.com ABSTRACT The popular usages of portable devices such as smart phones or tablets in daily activites makes data synchronization become an urgent need Synchronization keeps data in personal and/or organization devices in consistent state The most important chalenges are the low bandwith, capablity of processing, and limit of storage in devices In this paper, we review theory of data synchronization and propose an algorithm for effective synchronization of data Keywords: data, mobile, synchronization ... thành vấn đề Một giải pháp hiệu cho việc đồng hóa liệu thiết bị di dộng Giải pháp cho vấn đề không sử dụng chữ ký cho khối mà hai Nếu gọi chữ ký R (rolling checksum, tính checksum khối liệu) H (hash,... toán đồng hóa liệu như: Palm HotSync, Intellisync, SyncML, CPISync, … Tuy nhiên việc xây dựng thuật toán đồng liệu cần ý đến việc liệu phân tán nhiều thiết bị, có thiết bị di động[ 3] Các thiết bị. . .Một giải pháp hiệu cho việc đồng hóa liệu thiết bị di dộng tốn băng thông thời gian truyền tải lớn tập liệu có kích thước lớn o Đồng hóa theo dấu thời gian (timestamp