Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 63 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
63
Dung lượng
1,54 MB
Nội dung
I H C QU C GIA TP H CHÍ MINH TR NGă I H C BÁCH KHOA V THI T K B KHÔNG S NGă ỊNHăH NG PHỂNă O N D LI U SONG SONG D NGăHĨMăB MăTRểNăFPGA Chuyên ngành: K Thu t i n T Mã s : 8520203 LU NăV NăTH CăS TP H CHÍ MINH, tháng 07 n m 2022 CỌNG TRỊNH TR Cán b h NG C HOÀN THÀNH T I I H C BÁCH KHOA ậ HQC ậHCM ng d n khoa h c: TS Tr n Hoàng Linhầầầầầầầầầầ Cán b ch m nh n xét 1: TS Nguy n Minh S n ầầầầầầầầầầầ Cán b ch m nh n xét 2: TS Bùi Tr ng Tú ầầầầầầầầầầầầầ Lu n v n th c s đ c b o v t i Tr ng i h c Bách Khoa, HQG Tp.HCM ngƠy 13 tháng 07 n m 2022 Thành ph n H i đ ng đánh giá lu n v n th c s g m: PGS TS Tr ng Quang Vinh - Ch t ch TS Nguy n LỦ Thiên Tr ng - Th kỦ TS Nguy n Minh S n - Ph n bi n TS Bùi Tr ng Tú - Ph n bi n TS Tr n Hoàng Linh - y viên Xác nh n c a Ch t ch H i đ ng đánh giá LV vƠ Tr chuyên ngành sau lu n v n đư đ CH T CH H Iă NG ng Khoa qu n lý c s a ch a (n u có) TR NG KHOA I Nậ I NT TR C NG HÒA XÃ H I CH NGH AăVI T NAM c l p - T - H nh phúc I H C QU C GIA TP.HCM NGă I H C BÁCH KHOA NHI M V LU NăV NăTH CăS H tên h c viên: V ng ình H ngầầ MSHV: 1970534 NgƠy, tháng, n m sinh: 12/12/1997ầầầầầầầầ N i sinh: TP HCM Chuyên ngành: K Thu t i n T ầầầầầầầầầầầMư s : 8520203 I TểNă TÀI: THI T K B PHỂNă O N D LI U SONG SONG KHÔNG S D NG HĨMăB MăTRểNăFPGA II NHI M V VÀ N I DUNG: xu t ph ng pháp phơn đo n d li u song song cho gi i thu t phơn đo n không dùng hƠm b m Xơy d ng ph n c ng cho ph ng pháp đ c đ xu t n n t ng FPGA b ng ngơn ng Verilog T đó, đánh giá k t qu nghiên c u đ t đ bàn lu n nh ng h ng nghiên c u ti p theo đ c ng d ng phơn đo n d li u h th ng ch ng trùng l p d li u III NGÀY GIAO NHI M V : 06/09/2021 IV NGÀY HOÀN THÀNH NHI M V : 22/05/2022 H V CÁN B NG D N : TS Tr n Hoàng Linh Tp HCM, ngày tháng n m 20 CÁN B H NG D N TR CH NHI M B NGăKHOAă I N ậ I N T MỌNă ĨOăT O L ic m n GVHD: TS Tr n Hoàng Linh L IC M N H c viên xin g i l i c m n sâu s c đ n quý th y cô Khoa i n – i n t , tr ng i h c Bách Khoa Thành ph H chí Minh ch d y t n tình, giúp đ h c viên trình h c t p, nghiên c u hoàn thành lu n v n Xin đ c g i l i c m n chân thành đ n th y TS Tr n Hồng Linh Ng ih t lịng giúp đ , d y b o, t o u ki n thu n l i cho h c viên su t trình th c hi n lu n v n t t nghi p C m n th y đ nh h ng, góp ý giúp em có th hồn thành lu n v n m t cách t t nh t Cu i cùng, xin đ c c m n cha m b n bè đ ng viên ng h su t q trình hồn thành lu n v n S giúp đ có ý ngh a tinh th n r t l n đ i v i h c viên Tp H Chí Minh, ngày 22 tháng 05 n m 2022 H c viên V ng ình H ng i C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hồng Linh TĨM T T LU NăV N Phơn đo n d li u d a n i dung lƠ ph ng pháp ph bi n đ c ng d ng r ng rãi h th ng ch ng trùng l p d li u h th ng đ ng b d li u Trong nh ng n m g n đơy, nhi u gi i thu t m i không dùng hƠm b m đư đ g t hái đ c phát tri n c nhi u k t qu tích c c Tuy nhiên, gi i thu t hi n ch th c hi n đ n lu ng vi x lý Trong lu n v n nƠy, sau kh o sát gi i thu t CDC, h c viên nh n th y gi i thu t s d ng k thu t c a s tr hóa Lu n v n nƠy s đ xu t m t ph t kh song song ng pháp phơn đo n song song m i, h vi c th c hi n n n t ng FPGA Trong đó, gi i thu t PCI đ c l a ch n đ ng t i ng d ng thi t k B ng cách khai thác s c m nh ph n c ng c a FPGA, thi t k lu n v n nƠy không nh ng đ t đ c t c đ x lý cao mà d dàng m r ng Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn ii C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh ABSTRACT Content-defined chunking is a common method in many applications such as data deduplication and data synchronization In recent years, new CDC algorithms using nonhashing methods have been developed, and positive results have been obtained However, most of the algorithms are developed for single-thread computation on microprocessors After analyzing some popular CDC algorithms, we observed that the algorithms using the basic sliding window protocol are more feasible to process in parallel In this work, we proposed a new parallel chunking method that aims for hardware implementation Additionally, we used the PCI algorithm, which does not include hash functions, to implement a multi-thread chunking system on FPGA devices By exploiting the strength of the FPGAs, our proposed design achieves not only high computational speed but also great scalability Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn iii C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh L IăCAMă OAN H c viên cam đoan r ng, tr k t qu tham kh o t công trình khác nh ghi rõ trích d n lu n v n này, công vi c nghiên c u trình bày lu n v n h c viên th c hi n H c viên V ng ình H ng Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn iv C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh M CL C M U 1.1 Lý ch n đ tài 1.2 M c đích .2 1.3 it ng ph m vi nghiên c u 1.3.1 it ng nghiên c u 1.3.2 Ph m vi nghiên c u 1.4 ụ ngh a khoa h c th c ti n c a đ tài nghiên c u .3 1.4.1 ụ ngh a khoa h c 1.4.2 ụ ngh a th c ti n T NG QUAN 2.1 Tình hình nghiên c u vƠ ngoƠi n 2.2 Nhi m v đ tài c 3 C S LÝ THUY T 3.1 Lý thuy t v phơn đo n d li u 3.2 Tiêu chí đánh giá gi i thu t d li u 3.3 Lý thuy t v gi i thu t phơn đo n d li u không c đ nh 3.3.1 Gi i thu t Asymmetric Extremum (AE) 3.3.2 Gi i thu t Rapid Asymmetric Maximum (RAM) 3.3.3 Gi i thu t Parity Check of Interval (PCI) 10 Ph ng pháp phơn đo n d li u song song 11 3.4.1 Ph ng pháp P-Dedupe 11 3.4.2 Ph ng pháp SS-CDC 12 3.4.3 Ph ng pháp MUCH 13 3.4 3.5 Lý thuy t v b l c Bloom Filter .14 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn v C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh N I DUNG NGHIÊN C U 16 xu t ph 4.1 ng pháp phơn đo n d li u song song 16 ánh giá kh n ng song song hóa c a gi i thu t .16 4.1.1 xu t ph 4.1.2 ng pháp phơn đo n d li u song song 19 Thi t k ph n c ng cho b phơn đo n d li u song song 22 4.2 4.2.1 S đ thi t k t ng quát 22 4.2.2 Thi t k b Chunking Module 23 4.2.3 Thi t k b Marshalling Module 28 ÁNH GIÁ VÀ BÀN LU N K T QU 30 5.1 K t qu t ng h p, mô ph ng ki m th 30 5.1.1 K t qu ki m th ph ng pháp phơn đo n đ xu t 31 5.1.2 K t qu mô ph ng thi t k ph n c ng 33 5.1.3 K t qu t ng h p m ch 35 ánh giá, bƠn lu n so sánh k t qu 36 5.2 5.2.3 Tác đ ng c a kích th 5.2.4 Tác đ ng c a s l c b nh đ m v i k t qu phơn đo n 37 ng segment v i k t qu phơn đo n 38 5.2.5 Tác đ ng c a kích th c b nh đ m v i thông l ng c a thi t k 40 ánh giá thi t k ph n c ng .42 5.2.6 K T LU N VÀ NGH H ng phát tri n t NG PHÁT TRI N TRONG T NG LAI .44 6.1 H ng lai 44 6.2 K t lu n 45 DANH M C CÁC CƠNG TRÌNH KHOA H C 46 DANH M C TÀI LI U THAM KH O .47 PH L C 50 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn vi C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hồng Linh DANH SÁCH HÌNH MINHăH A Hình So sánh gi a phơn đo n d li u kích th c c đ nh khơng c đ nh .6 Hình Ho t đ ng c a gi i thu t AE .7 Hình Ho t đ ng c a gi i thu t RAM Hình Ho t đ ng c a gi i thu t PCI 10 Hình Ho t đ ng phơn đo n song song c a P-Dedupe 12 Hình Quá trình phơn đo n c a ph ng pháp SS-CDC .13 Hình Ho t đ ng c a k thu t Dual Mode Chunking b phơn đo n MUCH .14 Hình Ho t đ ng c a b Bloom Filter 15 Hình nh h ng c a hi n t ng byte shifting v i gi i thu t AE 17 Hình 10 Tác đ ng c a hi n t ng byte shifting v i gi i thu t RAM 18 Hình 11 Xác đ nh m c t th c v i m c t 20 Hình 12 Xác đ nh m c t th c v i lƠ m c t 21 Hình 13 S đ thi t k ph n c ng c a b phơn đo n song song 22 Hình 14 Ph n c ng c a b Chunking Module 23 Hình 15 Thi t k c a b Chunking Module 25 Hình 16 Máy tr ng thái c a b Chunking Controller 25 Hình 17 M ch ph n c ng cho gi i thu t PCI 27 Hình 18 Ph n c ng c a b Marshalling Module 28 Hình 19 Thi t k c a b Marshalling Module 29 Hình 20 Máy tr ng thái c a b Data Request 30 Hình 21 Mơ hình ki m th thi t k đa lu ng 31 Hình 22 K t qu phơn đo n tu n t v i gi i thu t PCI b ng ph n m m 32 Hình 23 K t qu phơn đo n song song v i gi i thu t PCI b ng ph n m m 33 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn vii C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh T p d li u 2: d li u m ng D li u t cu c thi Mid-Atlantic Collegiate Cyber Defense Competition (MACCDC) 2012 [20] 3,451,850,240 T p d li u 3: ph ng ti n truy n thông 25 t p video MP4 ng u nhiên 3,360,570,368 T vƠ ng ng ng cho t ng t p d li u, c u hình cho kích th ng so sánh V c a gi i thu t PCI s đ c khung c a s tr tW c thi t l p khác nh m khích th c đo n trung bình vào kho ng 1KB 5.2.3 Tácăđ ng c aăkíchăth c b nh đ m v i k t qu phơnăđo n Khi b Chunking Module ho t đ ng toàn b vào b nh đ m tr c đ đo n d li u l n h n kích th li u khơng mong mu n đ ch đ slow mode, d li u s đ cl u c x lý b i b Marshalling Module N u có m t c b nh , s n cho b nh b trƠn vƠ đo n d c t o Nói cách khác, đo n d li u khơng mong mu n nh ng đo n không đ ng nh t v i k t qu phơn đo n tu n t B i khơng th bi t tr cđ li u nên r t khó đ xác đ nh kích th c kích th c c a đo n l n nh t m t t p d c b nh đ m v a đ đ không x y hi n t ng tràn Tuy nhiên, l a ch n kích th c b nh phù h p v n góp ph n h n ch s l ng đo n d li u không mong mu n đ c t o V i kích th kB, nghiên c u s kh o sát s l c đo n trung bình kho ng ng đo n d li u l i đ nh đ m t ng d n t 1024 lên 8192 K t qu th c nghi m đ c t o v i đ sâu b c trình bày hình 29 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 37 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s Hình 29 S l S l GVHD: TS Tr n Hoàng Linh ng đo n d li u l i đ c t o thay đ i kích th c b nh đ m ng đo n d li u không mong mu n lƠ cao đ sâu c a b nh đ m g n b ng kích th c đo n trung bình S l ng gi m d n kích th c b nh t ng lên Do m i đo n d li u dài s b c t lƠm b nh đ m b tràn, 1000 segment đ c phơn đo n song song có th t o t i đa kho ng 1998 đo n d li u không mong mu n K t qu hình 29 cho th y r ng có t i 70% đo n d li u l i đ t p d li u Trong đó, s nƠy đ i v i t p d li u ph ch g n 40% S l ng d li u l i gi m m nh kích th c t o t ng ti n truy n thông c b nh đ m 8192 Tuy nhiên, vi c s d ng b nh đ m l n nh v y có th làm gi m kh n ng m r ng thi t k Trong tr ng h p c u hình kích th c b nh 4096, s l ng đo n d li u không mong mu n t ng lên nh ng không đáng k Bù l i, thi t k gi m đ l ng tài nguyên b nh V i kích th cm tn a c đo n trung bình kB, c u hình b nh đ m 4096 l a ch n h p lý cân b ng đ cs l ng đo n d li u l i v i l ng tài nguyên ph n c ng s d ng 5.2.4 Tácăđ ng c a s l Các đo n d li u l i đ ng segment v i k t qu phơnăđo n c t o có đo n d li u r t dƠi đ ch đ slow mode n cho b nh đ m b tràn i u nƠy có ngh a lƠ s l Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn c x lý ng segment 38 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh c a m t t p d li u s nh h nh h ng đ n s đo n l i Do s l ng lu ng tính tốn khơng ng đ n s đo n l i, thí nghi m ph n ch th c hi n v i hai lu ng x lý B nh đ m thí nghi m nƠy đ th c hi n thay đ i s l c c u hình v i đ sâu 4096 Thí nghi m s ng segment c a t ng t p d li u, b t đ u t segment sau t ng lên 500 vƠ 1000 segment B ng So sánh gi a gi i thu t PCI vƠ ph T p d li u ngăphápăphơnăđo n Ph T p d li u (W=5, V=31) Ph ng pháp đ xu t T p d li u (W=5, V=30) Ph ng pháp đ xu t T p d li u (W=5, V=30) Ph ng pháp đ xu t PCI segment 500 segment 1000 segment PCI segment 500 segment 1000 segment PCI segment 500 segment 1000 segment ng pháp phơn đo n đ xu t T ng s đo n 2,283,359 2,283,359 2,283,472 2,283,586 3,090,635 3,090,636 3,090,869 3,091,103 3,638,227 3,638,227 3,638,243 3,638,263 S đo n l i 0 226 454 468 936 0 32 72 S byte l p 178,822,602 178,822,602 178,199,365 177,680,014 178,287,661 178,287,661 178,287,661 178,287,661 196,230 196,230 196,230 196,230 K t qu t b ng cho th y đo n d li u khơng mong mu n r t khó xu t hi n s l ng segment nh nh t Trong tr t o c ng lƠ r t Khi t ng s l ng segment lên, s l mu n t ng theo d n đ n t ng s đo n đ Trong m t s tr ng h p có đo n d li u l i, s l ng đ c ng đo n d li u không mong c t o c ng t ng lên ng h p, đo n d li u n b nh đ m b tràn m t đo n d li u l p Khi đó, đo n d li u b chia c t thƠnh hai đo n m i làm cho hi u su t phát hi n d li u l p c a thi t k phơn đo n song song b s t gi m Nh ng tr ng h p x y ti n hành th c nghi m v i t p d li u V i 500 vƠ 1000 segment đ u vào, s l ng byte d li u l p đ c phát hi n l n l t gi m 0.35% 0.64% so v i phân đo n tu n t T p d li u chia nh thành nhi u segment kh n ng phát hi n d li u l p cƠng Trong đó, th c nghi m v i hai t p d li u cịn l i khơng cho th y s s t gi m v s byte l p b phát hi n Nguyên nhân có th hai t p d li u có r t đo n d li u dài trùng l p v i Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 39 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh 5.2.5 Tácăđ ng c aăkíchăth c b nh đ m v iăthôngăl ng c a thi t k B i b Marshalling Module đ c d li u t hai b nh đ m thu c hai lu ng x lý khác nhau, l s byte đ ng d li u đ c đ c x lý b i m t b Marshalling Module có th nhi u h n t ng s byte c a segment đ li u đ c tính tốn vƠ kh i m i lu ng khác T ng c đ a vào M c đ chênh l ch gi a lu ng v l c x lý s tác đ ng đ n thông l ng c a thi t k Trong ph n này, nghiên c u s th c hi n thí nghi m đ đánh giá s v i thơng l nh h ng c a thi t k Thí nghi m s đ đ m khác nhau, cho nhi u thi t k v i s l ng c a kích th ng lu ng l n l t 2, 4, 8, 16 32 ng cho t ng thi t k c b nh đ m thay đ i t 1024 t i 8192 K t qu cho th y, thông l d n kích th kích th c b nh đ m đ i c th c hi n v i c u hình b nh Hình 30, 31, 32, 33 34 trình bày k t qu thơng l kích th c b nh đ m t ng lên Tuy nhiên, kích th lý b i lu ng c ng lƠ th p i u gi i thích cho vi c thơng l Hình 30 Thơng l ng gi m c b nh đ m so v i c c a m t segment không đáng k , m c đ chênh l ch v l suy hao r t t ng kích th ng d ng d li u x ng c a thi t k b c b nh đ m ng c a thi t k phơn đo n lu ng v i c u hình b nh đ m Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 40 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh Hình 31 Thơng l ng c a thi t k phơn đo n lu ng v i c u hình b nh đ m Hình 32 Thơng l ng c a thi t k phơn đo n lu ng v i c u hình b nh đ m Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 41 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hồng Linh Hình 33 Thơng l ng c a thi t k phơn đo n 16 lu ng v i c u hình b nh đ m Hình 34 Thông l ng c a thi t k phơn đo n 32 lu ng v i c u hình b nh đ m 5.2.6 ánhăgiáăthi t k ph n c ng Trong nghiên c u này, thi t k ph n c ng s đ c t ng h p v i chip FPGA Cyclone V 5CSXFC6D6F31C6 ph n m m Quartus Prime Lite Edition 18.1 V i kích th c b nh đ m 4096, k t qu t ng h p đ c trình bày b ng Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 42 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh B ng K t qu t ng h p c a thi t k ph n c ng S lu ng x lý 16 32 T n s ho t đ ng t iăđaă (MHz) 197.63 194.14 192.31 177.94 174.90 Tài nguyên ph n c ng s d ng BRAM Logic cell Flip Flop (M10K) (ALM) 20 1162 497 40 2317 999 80 4640 1991 160 9269 3986 320 18526 7962 K t qu cho th y thi t k ph n c ng có th ho t đ ng t n s clock cao, g n 200 MHz Khi m r ng thi t k lên lu ng x lý, m c đ tài nguyên tiêu th t ng g n nh n tính Ng đ c l i, t n s ho t đ ng b suy gi m r t b nh đ m c thi t k b ng BRAM tài nguyên ph n c ng cho m i lu ng x lỦ đ n l không nhi u Khi s lu ng đ c t ng lên thƠnh 16 vƠ 32, t n s ho t đ ng s t gi m nhi u h n t ng tài nguyên c a thi t k lúc nƠy đư chi m m t ph n đáng k toàn b chip FPGA V i m c thi t l p 32 lu ng, thi t k đư s d ng h n 50% t ng s BRMA M10K chip FPGA có th ti p t c m r ng thi t k vƠ đ t thông l ph i gi m c u hình c a b nh đ m xu ng vƠ đánh đ i b ng s l đ ng cao h n, c n ng đo n d li u l i c t o Nghiên c u [14] th c hi n gi i thu t PCI b ng ph n m m vƠ đ t đ c t c đ tính toán kho ng 90 MBps Thi t k ph n c ng nghiên c u này, v i kích th c b nh đ m 4096, cho th y s c i thi n đáng k v t c đ x lý Hình 35 so sánh thơng l ng c a thi t k song song ph n c ng v i thi t k tu n t ph n m m K t qu cho th y thi t k ph n c ng v i s lu ng t i thi u (2 lu ng) đ t t c đ x lỦ nhanh h n g p l n so v i thi t k ph n m m c a Zhang c ng s Khi so sánh v i t c đ tính c a tốn c a gi i thu t AE vƠ RAM đ b i nghiên c u [13], thi t k ph n c ng v i lu ng x lỦ đ t đ c th c nghi m c thông l ng cao h n AE nh ng v n gi i thu t RAM Tuy nhiên, thi t k phơn đo n song song đ th c hi n FPGA có th d dàng m r ng, thơng l c ng c a thi t k có th cao h n vƠ s t ng g n nh n tính v i s lu ng x lý Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 43 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh Hình 35 So sánh t c đ x lý c a thi t k K T LU NăVĨă T NGH H NG PHÁT TRI N TRONG NGăLAI 6.1 H ng phát tri n t ng lai Thi t k ph n c ng FPGA m c dù c i thi n đáng k v t c đ tính tốn nh ng c ng đ l i nhi u khuy t m Các h ng phát tri n t ng lai có th nh m kh c ph c khuy t m t n t i ho c đ xu t nh ng ph ng pháp vƠ thi t k phơn đo n t t h n Bên c nh đó, b phơn đo n d li u đ c s d ng ph bi n h th ng ch ng trùng l p, nghiên c u ti p theo c ng có th v nh ng b ph n khác h th ng, nh m t n d ng nh ng đ c m c a thi t k nghiên c u M t s h ng phát tri n ti p theo đ c đ xu t là: • Trong thi t k c a nghiên c u nƠy, đo n d li u đ c xu t b m t th t Phát tri n thêm kh n ng s p x p l i th t đo n d li u cho Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 44 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh thi t k s giúp vi c qu n lý d li u h th ng ch ng trùng l p tr nên d dƠng h n • Phân chia khe th i gian cho dòng d li u vƠo H ng phát tri n có kh n ng giúp thu g n thi t k ph n c ng thành m t b x lý chung cho nhi u lu ng d li u • Phát tri n ph ng pháp phơn đo n song song dành riêng cho gi i thu t AE RAM nh m t n d ng l i th v t c đ tính tốn c a gi i thu t • Thi t k ph n c ng cho b phơn đo n s d ng b nh ngo i H ng thay đ i nh m m c đích trì tính nh t quán c a k t qu phơn đo n 6.2 K t lu n Phơn đo n d li u m t b ph n không th thi u h th ng ch ng trùng l p d li u Nghiên c u có vai trị quan tr ng vi c góp ph n t i u hóa h th ng ch ng trùng l p Trong nghiên c u này, h c viên đư kh o sát vƠ đánh giá kh n ng song song hóa cho m t s gi i thu t CDC Qua đó, l a ch n gi i thu t phù h p đ nghiên c u phơn đo n song song H c viên đ xu t phiên b n s a đ i cho Dual Mode Chunking đ phù h p h n cho gi i thu t CDC không dùng hƠm b m T đó, phát tri n thi t k ph n c ng FPGA cho ph ng pháp đ xu t K t qu đ t đ c kh quan thi t k d dàng m r ng ho t đ ng v i t n s cao Tuy nhiên, thi t k c ng đ l i nhi u khuy t m c n kh c ph c s đo n d li u đ u tiên m t c t o mà không ph thu c vào n i dung d li u g p v n đ tràn b nh đ m K ti p lƠ đo n d li u b m t th t sau đ phơn đo n song song Nh c xu t kh i b c m n vi c qu n lỦ, l u tr truy xu t d li u h th ng ch ng trùng l p g p nhi u khó kh n Trong nghiên c u ti p theo, h c viên s ti p t c t i u thi t k đ kh c ph c khuy t m Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 45 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hồng Linh DANH M C CÁC CƠNG TRÌNH KHOA H C H Vuong, H Nguyen and L Tran, "A Design of Parallel Content-Defined Chunking System Using Non-Hashing Algorithms on FPGA," in IEEE Access, vol 10, pp 82036-82048, 2022 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 46 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh DANH M C TÀI LI U THAM KH O [1] W Xia, H Jiang, D Feng, F Douglis, P Shilane, Y Hua, M Fu, Y Zhang, and Y Zhou, “A comprehensive study of the past, present, and future of data deduplication,” Proceedings of the IEEE, vol 104, no 9, pp 1681ậ1710, 2016 [2] S Singhal, P Sharma, R K Aggarwal, and V Passricha, “A global survey on data deduplication,” International Journal of Grid and High Performance Computing (IJGHPC), vol 10, no 4, pp 43ậ66, 2018 [3] A El-Shimi, R Kalach, A Kumar, A Ottean, J Li, and S Sengupta, “Primary data deduplication—large scale study and system design,” in 2012 USENIX Annual Technical Conference (USENIX ATC 12), pp 285ậ296, 2012 [4] D T Meyer and W J Bolosky, “A study of practical deduplication,” ACM Transactions on Storage (ToS), vol 7, no 4, pp 1ậ20, 2012 [5] S Quinlan and S Dorward, “Venti: A new approach to archival data storage,” In Proceedings of the 1st USENIX conference on File and storage technologies, Monterey, CA, USA, Jan 2002 [6] B Zhu, K Li, and H Patterson, “Avoiding the DISK bottleneck in the data Domain Deduplication file system,” In Proceedings of the 6th USENIX Conference on File and Storage Technologies, San Jose, CA, USA, Feb 2008 [7] A Muthitacharoen, B Chen, and D Mazieres, “A low-bandwidth network file system,” in Proceedings of the eighteenth ACM symposium on Operating systems principles, pp 174ậ187, 2001 [8] P Shilane, M Huang, G Wallace, and W Hsu, “Wan-optimized replication of backup datasets using stream-informed delta compression,” ACM Transactions on Storage (ToS), vol 8, no 4, pp 1ậ26, 2012 [9] W Xia, H Jiang, D Feng, L Tian, M Fu and Z Wang, "P-Dedupe: Exploiting Parallelism in Data Deduplication System," in 2012 IEEE Seventh International Conference on Networking, Architecture, and Storage, 2012, pp 338-347 Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 47 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh [10] F Ni, X Lin, and S Jiang, “SS-CDC: A two-stage parallel content-defined chunking for deduplicating backup storage,” in Proceedings of the 12th ACM International Conference on Systems and Storage, pp 86ậ96, 2019 [11] Y Won, K Lim, and J Min, “MUCH: Multithreaded content-based file chunking,” IEEE Transactions on Computers, vol 64, no 5, pp 1375ậ1388, 2014 [12] Y Zhang, H Jiang, D Feng, W Xia, M Fu, F Huang, and Y Zhou, “AE: An asymmetric extremum content defined chunking algorithm for fast and bandwidth-efficient data deduplication,” in 2015 IEEE Conference on Computer Communications (INFOCOM), pp 1337ậ1345, IEEE, 2015 [13] R N Widodo, H Lim, and M Atiquzzaman, “A new content-defined chunking algorithm for data deduplication in cloud storage,” Future Generation Computer Systems, vol 71, pp 145ậ156, 2017 [14] C Zhang, D Qi, W Li, and J Guo, “Function of content defined chunking algorithms in incremental synchronization,” IEEE Access, vol 8, pp 5316ậ 5330, 2020 [15] K Eshghi and H K Tang, “A framework for analyzing and improving contentbased chunking algorithms,” Hewlett-Packard Labs Technical Report TR, vol 30, 2005 [16] M O Rabin, “Fingerprinting by random polynomials,” Center for Research in Computing Technology, Harvard University, 1981 [17] “Linux mint 20.3 "una" ậ mint.” linux https://linuxmint.com/edition.php?id=292 (Accessed on 06/26/2022) [18] “Installing debian via the internet.” https://www.debian.org/distrib/netinst.en.html (Accessed on 06/26/2022) [19] “Arch linux - downloads.” https://archlinux.org/download/ (Accessed on 06/26/2022) Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 48 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh [20] “Pcap files from the US National Cyberwatch Mid-Atlantic Collegiate Cyber Defense Competition (MACCDC).” https://www.netresec.com/?page=MACCDC (Accessed on 06/26/2022) Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 49 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Lu n v n th c s GVHD: TS Tr n Hoàng Linh PH L C B ng nh ngh a thu t ng đ c s d ng nhăngh a Thu t ng AE Gi i thu t Asymmetric Extremum [12] Bloom Filter B l c Bloom Filter dùng đ ki m tra s t n t i c a m t ph n t t p d li u CDC Content-defined chunking Tên g i chung cho gi i thu t phân đo n d li u d a n i dung Extremevalued byte Hi n t ng Byte d li u có giá tr c c ti u ho c c c đ i, n m gi a hai khung c a s gi i thu t AE Hi n t ng đo n d li u liên ti p b thay đ i nh h ng t s byte shifting thay đ i n i dung c a m t đo n d li u tr MUCH Ph c ng pháp phơn đo n song song áp d ng k thu t Dual Mode Chunking [11] PCI Gi i thu t Parity Check of Interval [14] P-Dedupe H th ng ch ng trùng l p d li u đ RAM Segment Gi i thu t Rapid Asymmetric Maximum [13] Các dòng d li u b ng đ c chia t m t dịng d li u c trình bày nghiên c u [9] l nh n SS-CDC Ph ng pháp phơn đo n song song đ c gi i thi u nghiên c u [10] V Ng ng so sánh đ tìm m c t gi i thu t PCI W Kích th c khung c a s tr t c a gi i thu t PCI Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn 50 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn