JA trie phân loại gói tin dựa trên entropy

JA-trie: Entropy-Based Packet Classification Tóm tắt-Bất kỳ cải tiến hiệu suất phân loại gói tin quan trọng để đảm bảo chức Internet tiếp tục theo dõi lực liên kết ngày tăng Phân loại gói tin tảng nhiều chức Internet: từ quy tắc chuyển tiếp gói tin đến tính tiên tiến thực thi chất lượng việc dịch vụ (Quality of Service), chức giám sát bảo mật Công việc đề xuất thuật toán phân loại dựa Trie mới, tên Jump-Ahead Trie (JA-Trie), sử dụng giai đoạn tiền xử lý dựa entropy phương pháp để so khớp với ký tự đại diện Qua kiểm tra thử nghiệm rộng rãi, chứng minh thuật toán đề xuất làm tốt loạt thuật toán phân loại tiên tiến I INTRODUCTION Internet đặc trưng tăng trưởng không ngừng đa dạng lưu lượng mạng, người sử dụng tổng máy chủ, đa dạng kinh ngạc ứng dụng Ngoài ra, xuất ứng dụng mạng giới thiệu thách thức đáng kể chất lượng dịch vụ (QoS) hỗ trợ mạng tốc độ cao Phân loại gói tin nắm giữ vai trò quan trọng mạng lưới thông tin liên lạc đại, không để chuyển tiếp gói tin router mà để cung cấp bảo mật QoS Mặc dù nhiều giải pháp đề xuất năm qua, phương pháp có hạn chế Điều cho phép dòng liên tục phương pháp thực hiện, cải thiện hiệu suất trọng hạn chế khứ Mỗi phương pháp thường tìm kiếm tối ưu (ví dụ, nhớ foot-print, thời gian chờ tra cứu, độ phức tạp thuật toán) cho phép loạt phương pháp tiếp cận tồn – thực thi xác chúng hành vi điều kiện miền sử dụng Trong công việc này, đề xuất thuật toán phân loại dựa Trie mới, tên Jump-Ahead Trie (JA-Trie) Cách tiếp cận có hai ý chính: bước tiền xử lý dựa entropy áp dụng cho tập luật phân loại chế sử dụng để kết hợp đầu vào ký tự đại diện Entropy có liên quan chặt chẽ đến số lượng nút tạo cấu trúc liệu dựa thực Sử dụng đặc điểm đó, thấy giảm yêu cầu nhớ cấu trúc liệu tra cứu Phần III trình bày tỉ mỉ thuật toán phân loại đề xuất, ban đầu tập trung vào việc xây dựng cấu trúc liệu JA-Trie sau thảo luận giai đoạn tiền xử lý dựa entropy Chúng trình bày kết đánh giá thử nghiệm tiến hành loạt tập quy tắc phân loại Những kết minh họa cho tính hiệu phương pháp dịch vụ để làm bật hiệu suất cho độ sâu nhớ footprint Cùng với tóm tắt thí nghiệm, mục IV trình bày kết cho thuật toán so sánh với thuật toán đại khác II RELATED WORK Phân loại gói tin nghiên cứu rộng rãi thập kỷ qua Nhiều loại khác phương pháp áp dụng cho vấn đề nhằm đáp ứng nhu cầu ngày tăng thiết bị mạng Để cung cấp bối cảnh cho phương pháp tiếp cận chúng tôi, phác thảo tập đại diện thuật toán hành từ lớp phân loại CAM-based, Trie-based hash-based Phân loại phần cứng truyền thống sử dụng kỹ thuật dựa nhớ đánh địa nội dung (Content Addressable Memory - CAM) để cung cấp tra cứu bảng dựa khóa Cho khóa đầu vào, CAM so sánh với tất đầu vào bảng cách song song; đó, tra cứu hiệu đòi hỏi có vòng thời gian Trong CAMs nhị phân thực tốt cho thao tác so khớp xác, việc sử dụng rộng rãi CIDR (Classless Inter-Domain Routing) yêu cầu lưu trữ tìm kiếm đầu vào với độ dài tiền tố tùy ý Do đó, CAM bậc ba trở thành phương pháp tiếp cận phần cứng thông thường Với khả lưu trữ thêm không quan tâm trạng thái, điều cho phép chúng cung cấp chu kỳ thời gian đơn tra cứu cho độ dài tiền tố tùy ý Mức độ cao song song kèm với chi phí mật độ lưu trữ tiêu thụ điện Do đó, giải pháp như: [1], [2] gặp phải vấn đề tương tự Để khắc phục vấn đề này, nhiều giải pháp Trie-based, hash-based đề xuất Một số giải pháp cố gắng tận dụng tiền tố dài phù hợp với thuật toán dựa Trie (mà hình thành cho ứng dụng tra cứu) để phù hợp với hai chiều liên quan đến nhiều lĩnh vực Giải pháp [3] thường sử dụng quy tắc xác định có địa IP nguồn đích Các giải pháp khác tận dụng hình thức hoá hình học vấn đề phân loại [4]: quy tắc phân loại coi phạm vi không gian đa chiều, phân loại gói tin có nghĩa tìm phạm vi điểm tương ứng thuộc To this end, kết biết từ lĩnh vực hình học tính toán sử dụng Cohen & Lund [5] đề xuất để tối ưu hóa định cách giới thiệu việc tối ưu hóa nhánh chung (common branches) Những nhánh chung quy tắc mà, nhờ kí hiệu đặc biệt, gán cho hai nút định; xử lý riêng biệt làm giảm kích thước trường hợp xấu Một tăng tốc đề xuất [6] cách sử dụng đệm nhỏ dùng tập quy tắc phát triển, bảo toàn ngữ nghĩa phân loại Cuối cùng, [7] đạt nhiều tiến cách phân vùng quy tắc thành tập, gần với tập khác không gian tuple Qua tận dụng thông tin từ tra cứu đơn trường để loại bỏ tập hạn chế không gian tìm kiếm Ngoài ra, Một lớp thuật toán tận dụng định: mặc dù, thức, mô hình thuật toán tương tự với cách tiếp cận Triebased, cho phép linh hoạt lớn Thay có tất trường có liên quan theo cách tuần tự, nút thực kiểm tra tùy ý Đặc biệt, Hicuts [8], thực kiểm tra phạm vi trường cụ thể, [9] kiểm tra bít đơn Hypercuts [10] tiếp tục cải thiện hiệu suất cách kiểm tra đa trường bước Cuối cùng, Efficuts [11] loại bỏ chồng chéo quy tắc nhỏ lớn đạt truy cập node Đối với cách tiếp cận hash-based, thuật toán Tuple Space Search (TSS) hành [12] ý rộng rãi Lược đồ thúc đẩy việc quan sát sở liệu lọc có chứa nhiều tiền tố phạm vi khác nhau, số lượng độ dài tiền tố riêng biệt có xu hướng nhỏ Như vậy, số kết hợp khác độ dài tiền tố nhỏ Rõ ràng hội để cải tiến hiệu suất đáng kể III AN ENTROPY–BASED PACKET CLASSIFICATION SCHEME Tăng trưởng dấu hiệu mạng Internet tạo áp lực cụ thể với thiết bị mạng; thiết bị phải theo kịp yêu cầu Điều dẫn đến thuật toán ngày tối ưu hóa chuyên môn hóa, kết vấn đề phân loại gói tin vấn đề mở tiến hành Các phương pháp phổ biến để phân loại gói tin để tạo cấu trúc liệu dựa tập quy tắc cho trước Mỗi gói tin đến, 5-tuple (tức địa IP nguồn /đích, giao thức, cổng tầng 4) trích xuất trình tra cứu cấu trúc liệu bắt đầu Đẩy nhanh tiến trình thực cách nén cấu trúc liệu (do cho phép sử dụng nhớ nhỏ nhanh hơn) cách giảm số lần truy cập nhớ Cuối cùng, phát triển cấu trúc phân loại mới: Jump Ahead Trie (JA-Trie), với tối ưu hóa liệu dựa entropy (mô tả phần IIIB), có khả giảm kích thước nhớ trì chiều sâu nhỏ, dẫn đến thời gian tra cứu khóa nhanh Phần lại phần phác thảo phân loại (phần III-A), bao gồm quy trình thuật toán để hình thành cấu Trie (phần III-A1) chế để thực tra cứu JA-Trie (phần III-A2) Giai đoạn tiền xử lý dựa Entropy nêu mục cuối (Phần III-B) A JA-Trie: Jump-ahead Trie data structure Một tiền tố (tức là, Trie) cấu trúc liệu có thứ tự sử dụng để lưu trữ tập động mảng kết hợp khóa thường chuỗi Tất “con cháu” nút chia sẻ tiền tố chung chuỗi liên kết với nút đó, với gốc liên kết với chuỗi rỗng Các giá trị thông thường không kết hợp với nút cây, liên kết với nút số nút bên tương ứng với khóa cần quan tâm Trong Trie đơn bít duyệt sử dụng bít thời điểm,(một phương pháp cung cấp hiệu sử dụng nhớ tuyệt vời, chi phí tìm kiếm nhớ khủng khiếp; tương ứng với tìm kiếm theo chiều sâu), Trie đa-bit duyệt sử dụng b-bit (ví dụ, stride-khoảng bước) thời điểm Điều làm giảm yêu cầu truy cập nhớ tra cứu, chi phí lưu vết nhớ tăng Vì lý này, đề xuất Trie đa-bit cải tiến, dựa phần Trie bít "cổ điển" [13] [Phần 11.5 Multibit Tries] Đề xuất khác đáng kể từ multibit-Trie 8-bit "cổ điển" kết hợp đầu vào ký tự đại diện Thật vậy, dễ hiểu kí tự đại diện có tác động hiệu suất đáng kể cấu trúc liệu dựa thúc đẩy trình tạo nút khác cho giá trị có ký tự đại diện Điều này, lần lượt, làm tăng đáng kể yêu cầu nhớ kết hợp wildcard vào multibit-Trie 8-bit "cổ điển" Hơn nữa, wildcard không hữu ích để phân biệt luật khác dẫn đến gia tăng chiều sâu nên trình tra cứu chậm Những nhược điểm việc kết hợp kí hiệu thành multibitTrie 8-bit "cổ điển" cung cấp động lực cho cách tiếp cận Jump Ahead Trie, không giống multibit-Trie 8-bit "cổ điển", không trực tiếp kết hợp bước ký tự đại diện (wildcard strides) Thay vào đó, tra cứu nhảy từ stride cố định tới stride Chúng phân tích chi tiết cách đạt Trước hết, xem xét hai bitmap khác chèn vào để kích hoạt tính “jump-ahead”: - Transition bitmap: transition có bitmap k bit kết hợp, k số bước tiến tạo chuỗi để so khớp Bít thứ j bitmap xác nhận chuyển tiếp (transition) đại diện cho bước tiến thứ j chuỗi để so khớp Điều quan trọng cần lưu ý chuyển tiếp đại diện cho stride lúc - Rule bitmap: luật lưu trữ nút có bitmap k-bit, bit thứ j xác nhận luật xem đoạn liệu (chunk) thứ j liệu (tuple) Trong phần mô tả việc xây dựng quy trình tra cứu Trie để hiểu rõ tính chất JA-Trie 1) Xây dựng Trie: Thuật toán giả mã cho trình xây dựng Trie Thứ nhất, lưu ý việc trình xây dựng đòi hỏi stride (bước dài) để tạo giá trị cố định kí hiệu wildcards (mở rộng quy tắc stride cần thiết thuộc tính không bảo đảm tập luật thực sự) Trong trình xây dựng Trie, có stride với giá trị cố định tạo nút cấu trúc liệu, stride lại wildcard (kí hiệu) không tạo nút nào, chúng trộn với nút tồn phương pháp Transition bitmap Việc giảm số lượng transition nút trong, mà kết từ wildcard-transition, dẫn đến giảm lưu vết nhớ tổng thể cấu trúc liệu Để minh họa cho khái niệm này, xem tập luật đề xuất Bảng I, wildcards ghi ký hiệu *, Và kết JA-Trie thể hình Như dễ dàng nhìn thấy, nút gốc có nút con, tương ứng với transition rõ ràng cho luật R2, R3, R4, transition luật R1, nơi có ký tự đại diện stride Điều ngụ ý trình tìm kiếm, chuyển từ nút gốc đến nút con, xem xét R2, R3, R4, transition xét R1 Bây giờ, xem xét trình chuyển đổi tạo stride thứ hai Trong trường hợp R1 tạo chuyển đổi có sẵn cấu trúc liệu, R2 R4 không tạo chuyển đổi (vì chúng có ký tự đại diện stride tương ứng), R3 tạo thành transition tới nút con, tương ứng với giá trị Rõ ràng theo cách này, nút tham chiếu tới stride khác luật khác Xét ví dụ tại, trình chuyển đổi từ nút gốc nút tham chiếu đến stride luật R2, R3, R4, stride thứ hai R1 Để giải nhập nhằng nút phải trì bitmap, transition bitmap minh họa hình với transition hình Điều sử dụng trình tra cứu để xác định stride phải xét Trong ví dụ chúng tôi, bitmap chuyển tiếp kết hợp với nút "đầu tiên" có tập bit thứ hai, để trình chuyển đổi liên quan stride thứ hai Cách tiếp cận giới thiệu số dương tính giả; nhiều stride biểu diễn nút, nhập nhằng xảy đến tương ứng với nhiều luật Chúng biết trình chuyển đổi thực thực Vì lý này, luật có bitmap liên quan Rule bitmap kết hợp với luật minh họa hình bảng transition (sự chuyển tiếp) Điểm bật Bitmap mà stride sử dụng để có kết vậy; trình tra cứu xem xét luật bitmap để xem so khớp với transition kèm, chọn luật xác Trong ví dụ nút với transition có hai bitmap luật, tương ứng với R1 R4 2) Lookup: Thuật toán giả mã cho trình tra cứu Nhảy từ nút tới nút khác cho phép có trình chuyển đổi hợp lệ stride cho S(i) Vì nhiều stride biểu diễn nút, không rõ ràng để có chuyển đổi hợp lệ stride so khớp S(i), xem stride khác (S(j)) Các transition bitmaps sử dụng để tránh bước sai lầm Trong trình tra cứu bitmap tạm thời (BMclass) phải cập nhật để lưu vết stride xét Mỗi tới nút mới, tất stride tốt (trừ stride duyệt) phải để ý tới để tìm chuyển đổi hợp lệ Một transition tìm thấy, bitmap tạm thời phải cập nhật cách xác nhận bit nhắc đến stride dùng Nếu trình chuyển đổi hợp lệ tại, tiến trình kết thúc Khi đến nút lưu trữ nhiều luật; có luật, kết tra cứu rõ ràng, không, nhiều luật lưu trữ, trình phải so sánh bitmap tạm thời với bitmap luật để tìm so khớp xác B Entropy-Based JA-Trie Trong lý thuyết thông tin, entropy thước đo cho tính không ổn đinh (độ bất định) biến ngẫu nhiên [14] Thuật ngữ thường đề cập đến entropy Shannon, mà định lượng giá trị kỳ vọng thông tin chứa message Chính thức, đưa biến ngẫu nhiên X, mà giả sử n có giá trị riêng biệt {x1; x2;…; xn}, định nghĩa là: P(xi) hàm khối lượng xác suất kết xi Tóm lại, điều có nghĩa kiện có xác suất cao có entropy thấp ngược lại Một nghiên cứu tương tự áp dụng cho stride; giá trị thấp entropy stride có nghĩa nhiều stride từ luật khác chia sẻ giá trị Do đó, entropy có liên quan chặt chẽ đến số lượng nút tạo cấu trúc liệu dựa Khai thác thuộc tính giảm bớt yêu cầu nhớ cấu trúc liệu JA-Trie hưởng lợi từ quan sát này, cách sử dụng hai giai đoạn bổ sung, cụ thể giai đoạn tiền xử lý giai đoạn tổ chức byte dựa entropy Giai đoạn tiền xử lý quan tâm đến việc chia luật thành stride 8-bit tính toán giá trị entropy stride Chúng lưu ý tiến trình cần stride bao gồm giá trị cố định kí hiệu Vì stride ký hiệu không tạo nút trình xây dựng Trie, chúng có giá trị zero entropy Một giá trị entropy tính toán, luật tổ chức lại Trong thực tế, bước tiến khác luật xếp lại dựa giá trị gia tăng entropy; luật viết chúng bắt đầu với bước tiến với giá trị entropy thấp nhất, bước tiến với giá trị entropy thấp thứ hai tiếp tục Ngược lại với Trie xây dựng giai đoạn tiền xử lý này, giai đoạn làm giảm số lượng nút mức mở rộng số lượng nút lá, dẫn đến vết (footprint) nhớ nhỏ Kích thước nhớ cấu trúc đủ nhỏ để vừa nhớ cache, đặc biệt cho hệ CPU cache lớn vào thị trường [15], có khả cải thiện tốc độ tra cứu tổng thể Để định lượng tốt tính hiệu giai đoạn sơ bộ, xem xét đến tập luật thể Bảng II Trong ví dụ có bốn luật đơn giản, luật dựa địa IP Chia luật thành stride dài 8bit khác nhau, nhận bảng III, có chứa giá trị entropy kết hợp với stride hàng cuối JA-Trie tương ứng thể hình Ngoài ra, việc áp dụng giai đoạn tiền xử lý, tập luật xử lý xếp lại sở giá trị entropy stride Điều dẫn đến tập luật thể Bảng IV Entropy-Based-JA-Trie có liên quan, thể hình Ngay trường hợp đơn giản này, Entropy-Based-JA-Trie nhỏ gọn so với JA-Trie"tiêu chuẩn"; biểu diễn 10 nút thay 15 nút Nó nhấn mạnh rằng, với thủ tục xây dựng số nút Entropy-Based-JA-Trie nhỏ số nút JA-Trie tương ứng IV SIMULATION RESULTS Trong phần trình bày kết đánh giá thử nghiệm tính hiệu thuật toán đề xuất (lưu ý điều sau, với biểu thuật toán chúng tôi, không xác định rõ khác nhau, luôn nhắc đến Entropy-Based-JA-Trie ) Sử dụng Classbench [16], tiến hành số kiểm tra thử nghiệm, thay đổi số lượng luật tập liệu (ví dụ, từ 500 đến 10.000 luật) Đối với kích thước tập luật, tạo 1.000 tập luật khác Mỗi plot cho thấy giá trị trung bình tất mẫu thử nghiệm tập luật cho tham số cụ thể Hơn nữa, để đánh giá xác hiệu suất phương pháp chúng tôi, so sánh với số thuật toán phân loại phổ biến nhất: WOO, TSS, HiCuts, HyperCuts [9], [12], [8], [10] Chúng chọn cấu hình tốt cho thuật toán, ví dụ, hai yếu tố binth không gian tốt trường hợp HiCuts Cùng với ứng dụng trước báo khác sử dụng công cụ [8], [10], không cung cấp kết tốc độ tìm kiếm điều phụ thuộc vào phần cứng sử dụng để thực (ví dụ, kích thước sử dụng nhớ nhanh chậm) Hơn nữa, phần lớn thuật toán so sánh không cung cấp thông tin việc triển khai mẫu, đưa so sánh trực tiếp không tránh khỏi sai sót lúc tốt nhất, lúc tồi tệ nhất, có khả bị xuyên tạc công việc thuật toán khác Thay kết tốc độ tra cứu trực tiếp, sử dụng chiều sâu đại diện ủy quyền tốc độ tra cứu Điều vì, nói chung, tốc độ tra cứu tỷ lệ chặt chẽ với chiều sâu Điều cho phép kết luận thuật toán có khả cung cấp hiệu tốc độ tra cứu tốt Hình thể chiếm nhớ thuật toán Trong trường hợp này, thuật toán đề xuất rõ ràng tốt hai HiCuts HyperCuts, tệ WOO TSS Độ sâu minh họa hình Rõ ràng thấy phương pháp JATrie trình bày dáng điệu gần liên tục với hiệu suất tốt tập so sánh thuật toán Kết gần tương đương với phương pháp cung cấp WOO TSS tập luật "nhỏ", thuật toán chạy tốt đáng kể tăng cao kích thước tập luật tăng lên Trong có thuật toán khác có khả lưu vết nhớ tốt nhất, hiệu suất tốt từ có độ sâu nhỏ nhất, JA-Trie, thuật toán cung cấp cân Các thuật toán JA-Trie cung cấp hiệu suất tốt xem xét hai tiêu chí thực kết lựa chọn tốt cho phân loại gói tin nhanh Cuối cùng, Hình cho thấy tính hiệu giai đoạn lọc dựa entropy Rõ ràng entropy có tác động đáng kể tính hợp lý lọc trước cải thiện độ sâu số thuật toán phân loại khác, áp dụng cách thích hợp V CONCLUSIONS Trong công việc này, giới thiệu thuật toán phân loại mới: JA-Trie dựa Entropy Cách tiếp cận sử dụng giai đoạn tiền xử lý dựa Entropy với chế để kết hợp ký tự đại diện Một đánh giá thử nghiệm cho thấy tính hiệu giải pháp đề xuất cho liệu khác Thật vậy, thuật toán cung cấp hiệu suất tốt chiếm nhớ chiều sâu Việc so sánh mở rộng với thuật toán hành chứng minh đề xuất vượt qua hạn chế đáng kể thuật toán trước tối ưu hóa metric hiệu suất thời điểm [...]... tập luật thể hiện trong Bảng IV và các Entropy- Based -JA- Trie có liên quan, thể hiện trong hình 3 Ngay cả trong trường hợp rất đơn giản này, các Entropy- Based -JA- Trie là nhỏ gọn hơn so với JA- Trie" tiêu chuẩn"; biểu diễn chỉ 10 nút thay vì 15 nút Nó nhấn mạnh rằng, với các thủ tục xây dựng số nút của Entropy- Based -JA- Trie luôn nhỏ hơn hoặc bằng nhau về số nút của JA- Trie tương ứng IV SIMULATION RESULTS... nhất từ các cây có độ sâu nhỏ nhất, ngoài JA- Trie, không có thuật toán có thể cung cấp một sự cân bằng Các thuật toán JA- Trie có thể cung cấp hiệu suất tốt trong khi xem xét cả hai tiêu chí thực hiện và do đó kết quả này là một lựa chọn tốt cho phân loại gói tin nhanh Cuối cùng, Hình 6 cho thấy tính hiệu quả của các giai đoạn lọc dựa trên entropy Rõ ràng là entropy có thể có một tác động đáng kể và... đáng kể và tính hợp lý của nó như lọc trước có thể cải thiện độ sâu của một số thuật toán phân loại khác, nếu áp dụng một cách thích hợp V CONCLUSIONS Trong công việc này, chúng tôi giới thiệu một thuật toán phân loại mới: các JA- Trie dựa trên Entropy Cách tiếp cận này sử dụng một giai đoạn tiền xử lý dựa trên Entropy cùng với một cơ chế mới để kết hợp các ký tự đại diện Một đánh giá thử nghiệm cho... bốn luật đơn giản, mỗi luật dựa trên một địa chỉ IP duy nhất Chia các luật thành những stride dài 8bit khác nhau, chúng ta nhận được bảng III, có chứa các giá trị của entropy kết hợp với mỗi stride duy nhất ở hàng cuối cùng JA- Trie tương ứng được thể hiện trong hình 2 Ngoài ra, việc áp dụng giai đoạn tiền xử lý, các tập luật xử lý được sắp xếp lại trên cơ sở của những giá trị entropy stride Điều này dẫn... định rõ khác nhau, chúng tôi luôn luôn nhắc đến các Entropy- Based -JA- Trie ) Sử dụng Classbench [16], chúng tôi đã tiến hành một số kiểm tra thử nghiệm, thay đổi số lượng luật trong các tập dữ liệu (ví dụ, từ 500 đến 10.000 luật) Đối với mỗi kích thước của tập luật, chúng tôi đã tạo ra 1.000 tập luật khác nhau Mỗi plot cho thấy giá trị trung bình trên tất cả các mẫu thử nghiệm tập luật cho một tham... này, thuật toán đề xuất rõ ràng tốt hơn cả hai HiCuts và HyperCuts, nhưng hơi tệ hơn WOO và TSS Độ sâu cây được minh họa trong hình 5 Rõ ràng thấy rằng phương pháp JATrie trình bày một dáng điệu gần như liên tục với hiệu suất tốt nhất trên tập so sánh của các thuật toán Kết quả là gần như tương đương với những phương pháp được cung cấp bởi hoặc WOO hoặc TSS đối với tập luật "nhỏ", nhưng thuật toán... trị trung bình trên tất cả các mẫu thử nghiệm tập luật cho một tham số cụ thể Hơn nữa, để đánh giá chính xác hiệu suất của phương pháp của chúng tôi, chúng tôi đã so sánh nó với một số các thuật toán phân loại phổ biến nhất: WOO, TSS, HiCuts, và HyperCuts [9], [12], [8], [10] Chúng tôi đã chọn cấu hình tốt nhất có thể cho mỗi thuật toán, ví dụ, cả hai yếu tố binth và không gian tốt nhất trong trường... kết quả tốc độ tìm kiếm vì điều này phụ thuộc vào phần cứng sử dụng để thực hiện (ví dụ, kích thước và sử dụng những bộ nhớ nhanh và chậm) Hơn nữa, phần lớn các thuật toán so sánh không cung cấp thông tin về việc triển khai mẫu, đưa ra một so sánh trực tiếp là không tránh khỏi sai sót lúc tốt nhất, lúc tồi tệ nhất, có khả năng bị xuyên tạc công việc của thuật toán khác Thay vì kết quả tốc độ tra cứu