Chơng Lý thuyết shannon Năm 1949, Claude shannon đ công bố báo có nhan đề " Lý thuyết thông tin hệ mật" tạp chí " The Bell System Technical Journal" Bài báo đ có ảnh hởng lớn đến việc nghiên cứu khoa học mật m Trong chơng ta thảo luận vài ý tởng lý thuyết Shannan 2.1 độ mật hoàn thiện Có hai quan điểm độ an toàn hệ mật Độ an toàn tính toán: Đo độ liên quan đến nỗ lực tính toán cần thiết để phá hệ mật Một hệ mật an toàn mặt tính toán có thuật toán tốt để phá cần N phép toán, N số lớn Vấn đề chỗ, hệ mật thực tế đ biết đợc chứng tỏ an toàn theo định nghĩa Trên thực tế, ngời ta gọi hệ mật "an toàn mặt tính toán" có phơng pháp tốt phá hệ nhng yêu cầu thời gian lớn đến mức không chấp nhận đợc.(Điều tất nhiên khác với việc chứng minh độ an toàn) Một quan điểm chứng minh độ an toàn tính toán quy độ an toàn hệ mật toán đ đợc nghiên cứu kỹ toán đợc coi khó Ví dụ, ta chứng minh khẳng định có dạng " Một hệ mật đ cho an toàn phân tích thừa số số nguyên n cho trớc" Các hệ mật loại gọi " an toàn chứng minh đợc" Tuy nhiên cần phải hiểu rằng, quan điểm cung cấp chứng minh độ an toàn có liên quan đế toán khác mét chøng minh hoµn chØnh vỊ ä an toµn ( Tình hình tơng tự nh việc chứng minh toán NP đầy đủ: Có thể chứng tỏ toán đ cho chí khó nh toán NP đầy đủ khác , song chứng minh hoàn chỉnh độ khó tính toán toán) Độ an toàn không điều kiện Độ đo liện quan đến độ an toàn hệ mật hạn chế đợc đặt khối lợng tính toán mà Oscar đợc phép thực Một hệ mật đợc gọi an toàn không điều kiện bị phá chí với khả tính toán không hạn chế Khi thảo luận độ an toàn mật, ta phải kiểu công đợc xem xét Trong chơng đ cho thấy rằng, không hệ mật hệ m dịch vòng, m thay m Vigenère đợc coi an toàn mặt tính toán với phơng pháp công với m ( Với khối lợng m thích hợp) Điều mà ta làm phần để phát triển lý thuyết hệ mật có độ an toàn không điều kiện với phơng pháp công với m Nhận thấy rằng, ba hệ mật nêu hệ mật an toàn vô điều kiện pkần tử rõ đợc m hoá khoá cho trớc! Rõ ràng độ an toàn không điều kiện hệ mật đợc nghiên cứu theo quan điểm độ phức tạp tính toán thời gian tính toán cho phép không hạn chế lý thuyết xác suất tảng thích hợp để nghiên cứu độ an toàn không điều kiện Tuy nhiên ta cần số kiến thức sơ đẳng xác suất; định nghĩa đợc nêu dới Định nghĩa 2.1 Giả sử X Y biến ngẫu nhiên Kí hiệu xác suất để X nhận giá trị x p(x) để Y nhận giá trị y p(y) Xác suất đồng thời p(x,y) xác suất để X nhận giá trị x Y nhận giá trị y Xác suất có điều kiện p(x | y) xác suất để X nhận giá trị với điều kiện Y nhận giá trị y Các biến ngẫu nhiên X Y đợc gọi độc lập p(x,y) = p(x) p(y) với giá trị x X y Y Quan hệ xác suất đồng thời xác suất có điều kiện đợc biểu thị theo công thức: p(x,y) = p(x | y) p(y) Đổi chỗ x vµ y ta cã : p(x,y) = p(y | x) p(x) Tõ hai biĨu thøc trªn ta cã thĨ rút kết sau:(đợc gọi định lý Bayes) §Þnh lý 2.1: (§Þnh lý Bayes) NÕu p(y) > th×: p(x) p(y | x) p(x | y) = p(y) Hệ 2.2 X Y biến độc lËp vµ chØ khi: p(x | y) = p(x) với x,y Trong phần ta giả sử rằng, khoá cụ thể dùng cho m Giả sử có phân bố xác suất không gian rõ P Kí hiệu xác suất tiên nghiệm để rõ xuất pP (x) Cũng giả sử rằng, khóa K đợc chọn ( Alice Bob ) theo phân bố xác suất xác định ( Thông thờng khoá đợc chọn ngẫu nhiên, tất khoá đồng khả năng, nhiên điều bắt buộc) Kí hiệu xác suất để khóa K đợc chọn pK(K) Cần nhớ khóa đợc chọn trớc Alice biết rõ Bởi giả định khoá K rõ x kiện độclập Hai phân bố xác suất P K tạo phân bố xác suất C Thật vậy, dễ dàng tính đợc xác suất pP(y) với y m đợc gửi Với khoá K K, ta xác định: C(K) = { eK (x) : x P } C(K) biểu thị tập m K khóa Khi với y C, ta có : pC (y) = ∑ pK(K) pP(dK (y)) {K:y∈C(K)} NhËn thấy rằng, với y C x P, tính đợc xác suất có điều kiện pC(y | x).(Tức xác suất để y m với điều kiện rõ x): pC (y | x ) = ∑ pK(K) {K:x= dK(y)} B©y ta tính đợc xác suất có điều kiƯn pP (x | y ) ( tøc x¸c st để x rõ với điều kiện y m ) cách dùng định lý Bayes Ta thu đợc công thức sau: pP (x) = {K:x= dK(y)} pP(y | x ) = pK(K) ∑ pK(K) pP(dK (y)) {k,U:yc(k)} Các phép tính thực đợc biết đợc phân bố xác suất Sau trình bày ví dụ đơn giản để minh hoạ việc tính toán phân bố xác suất Ví dụ 2.1 Giả sử P = {a,b} víi pP(a) = 1/4, pP(b) = 3/4 Cho K = { K1, K2, K3} víi pK(K1) = 1/2, pK(K2) = pK(K3) = 1/4 Giả sử C = {1,2,3,4} hàm m đợc xác định eK1(a) = 1, eK2(b) = 2, eK2(a) = 2, eK2(b) = 3, eK3(a) = 3, eK3(a) = Hệ mật đợc biểu thị b»ng ma trËn m ho¸ sau: K1 K2 K3 a 2 b TÝnh ph©n bè x¸c suÊt pC ta cã: pC (1) = 1/8 pC (2) = 3/8 + 1/16 = 7/16 pC (3) = 3/16 + 1/16 = 1/4 pC (4) = 3/16 B©y ta đ phân bố xác suất có điều kiện rõ với điều kiện đ biÕt b¶n m Ta cã : pP(a | 1) = pP(b | 1) = pP(a | 2) = 1/7 pP(b | 2) = 6/7 pP(a | 3) = 1/4 pP(b | 3) = 3/4 pP(a | 4) = pP(b | 4) = B©y giê ta đ có đủ điều kiện để xác định khái niệm độ mật hoàn thiện Một cách không hình thức, độ mật hoàn thiện có nghi Oscar với m tay thu đợc thông tin rõ ý tởng đợc làm xác cách phát biểu theo thuật ngữ phân bố xác suất định nghĩa nh sau: Định nghĩa 2.2 Một hệ mật có độ mËt hoµn thiƯn nÕu pP(x | y) = pP(x) víi mäi x ∈ P , y ∈ C Tøc xác suất hậu nghệm để rõ x với điều kiện đả thu đợc m y đồng với xác suất tiên nghiệm để rõ x Trong vÝ dơ 2.1 chØ cã b¶n m thoả m n tính chất độ mật hoàn thiện, m khác tính chất Sau chứng tỏ rằng, MDV có độ mật hoàn thiện Về mặt trực giác, điều dờng nh hiển nhiên Với m dịch vòng, đ biết phần tử m y Z26, phần tử rõ x Z26 m đả giải y tuỳ thuộc vào giá trị khoá Định lý sau cho khẳng định hình thức hoá đợc chứng minh theo phân bố xác suất Định lý 2.3 Giả sử 26 khoá MDV có xác suất nh bằng1/26 MDV có độ mật hoàn thiện với phân bố xác suất cđa b¶n râ Chøng minh: Ta cã P = C = K = Z26 vµ víi ≤ K ≤ 25, quy tắc m hoá eKlà eK(x) =x +K mod 26 (x 26) Trớc tiên tính phân bố PC Giả sử y Z26, đó: pC (y) = ∑ pK(K) pP(dK (y)) K∈ Z26 = ∑ 1/26 pP(y -K) K∈ Z26 = 1/26 ∑ pP(y -K) K∈ Z26 Xét thấy với y cố định, giá trị y -K mod 26 tạo thành hoán vị Z26 pP phân bố xác suất Bëi vËy ta cã: ∑ pP(y -K) = ∑ pP(y) K∈ Z26 y∈ Z26 =1 pC (y) = 1/26 Do ®ã víi bÊt kú y ∈ Z26 TiÕp theo ta cã: pC (y|x) = pK(y -x mod 26) = 1/26 Vơi x,y với cặp x,y, khóa K (khoá đảm bảo eK(x) = y ) khoá K = y-x mod 26 Bây sử dụng định lý Bayes, ta dễ dàng tính: pP(x|y) = pP(x) pC (y|x) pC (y) = pP(x) (1/26) (1/26) = pP(x) Bởi vậy, MDV có độ mật hoàn thiện Nh vậy, m dịch vòng hệ mật không phá đợc miễn dùng khoá ngẫu nhiên để m hoá ký tự rõ Sau ngiên cứu độ mật hoàn thiện trờng hợp chung Trớc tiên thấy rằng,(sử dụng định lý Bayes) ®iỊu kiƯn ®Ĩ pP (x | y) = pP (x) với xP , yP tơng đơng với pC (y | x) = pC (y) víi mäi x∈P , y∈P Gi¶ sư r»ng pC (y) > víi yC (pC (y) = m không đợc dùng loại khỏi C ) Cố định giá trị xP Với y∈C ta cã pC (y | x) = pC (y) > Bởi vậy, với yC phải có khoá K cho eK(x) = y Điều dẫn đến |K | | C | Trong mét hƯ mËt bÊt kú ta ph¶i cã |C | | P | quy tắc m hoá đơn ánh Trong trờng hợp giới hạn, |K | = | C | = | P |, ta có định lý sau (Theo Shannon) Định lý 2.4 Giả sử (P,C, K, E, D) hệ mật , ®ã |K | = | C | = | P | Khi ®ã, hƯ mËt cã ®é mật hoàn thiện khoá K đợc dïng víi x¸c st nh− b»ng 1/|K | , x P,mỗi y C có khoá nhÊt K cho eK(x) = y Chøng minh Gi¶ sử hệ mật đ cho có độ mật hoàn thiện Nh đ thấy trên, với x P y C , phải có khoá K cho eK(x) = y Bëi vËy ta cã bÊt ®¼ng thøc: | C | = |{eK(x) :K ∈C }| | K | Tuy nhiên, ta giả sử | C | = |K | Bëi vËy ta ph¶i cã: |{eK(x) :K ∈C }| = | K | Tức không tồn hai khoá K1 K2 khác để eK1(x) = eK2(x) = y Nh ta đ chứng tỏ đợc rằng, với x P y C có khoá K ®Ĩ eK(x)=y Ký hiƯu n = | K | Gi¶ sư P = { xi: ≤ i n } cố định giá trị y ∈C Ta cã thĨ ký hiƯu c¸c kho¸ K1,K2, .,Kn cho eKi (xi ) = yi, i n Sử dụng định lý Bayes ta cã: pP(xi|y) = = pC(y| xi) pP (xi) pC (y) pK(K1) (pP (xi)) pC (y) XÐt ®iỊu kiƯn ®é mËt hoàn thiện pP(xi|y) = pP (xi) Điều kiện kéo theo pK(Ki) = pC (y) víi ≤ i ≤ n Tức khoá đợc dùng với xác suất nh (chính pC(y)) Tuy nhiên số khoá | K | nªn ta cã pK(K) =1/ |K | với K K Ngợc lại, giả sử hai điều giả định thảo m n Khi dễ dàng thấy đợc hệ mật có độ mật hoàn thiện với phân bố xác suất rõ ( tơng tự nh chớng minh định lý 2.3) Các chi tiết dành cho bạn đọc xem xét Mật m khoá sử dụng lần Vernam (One-Time-Pad:OTP) mét vÝ dơ quen thc vỊ hƯ mËt cã ®é mật hoàn thiện Gillbert Verman lần mô tả hệ mật vào năm 1917 Hệ OTP dùng để m giải m tự động tin điện báo Điều thú vị nhiều năm OTP đợc coi hệ mật bị phá nhng chớng minh Shannon xây dựng đợc khái niệm độ mật hoàn thiện 30 năm sau Mô tả hệ mật dùng lần nêu hình 2.1 Sử dụng định lý 2.4, dễ dàng thấy OTP có độ mật hoàn thiện HƯ thèng nµy rÊt hÊp dÉn dƠ thùc hiƯn m giải m Vernam đ đăng ký phát minh cđa m×nh víi hy väng r»ng nã sÏ cã ứng dụng thơng mại rộng r i Đáng tiếc có nhỡng nhợc điểm quan trọng hệ mật an toàn không điều kiện, chẳng hạn nh OTP §iỊu kiƯn |K | ≥ | P | cã nghĩa lợng khóa (cần đợc thông báo cách bÝ mËt) cịng lín nh− b¶n râ VÝ dơ , trờng hợp hệ OTP, ta cần n bit khoá để m hoá n bit rõ Vấn đề không quan trọng dùng khoá để m hoá tin khác nhau; nhiên, độ an toàn hệ mật an toàn không điều kiện lại phụ thuộc vào thực tế khoá đợc dùng cho lần m Ví dụ OTP đứng vững trớc công với rõ đ biết ta tính đợc K băngf phép loại trừ xâu bít x eK(x) Bởi vậy, cần phải tạo khóa thông báo kênh bảo mật tin trớc gửi Điều nàytạo khó khăn cho vấn đề quản lý khoá gây hạn chế cho việc sư dơng réng r i OTP Tuy nhiªn OTP vÉn đợc áp dụng lĩnh vực quân ngoại giao, lĩnh vực độ an toàn không điều kiện có tầm quan trọng lớn Hình 2.1 Hệ mật sử dụng khoá lần (OTP) Giả sử n số nguyên P = C = K = (Z2)n Với K (Z2)n , ta xác định eK(x) tổng véc tơ theo modulo K x (hay tơng đơng với phép loại trừ cđa hai d y bit t−¬ng øng) Nh− vËy, nÕu x = (x1, , xn ) vµ K = (K1, , Kn ) th×: eK(x) = (x1 + K1, , xn + Kn) mod Phép m hoá đồng nhÊt víi phÐp gi¶i m NÕu y = (y1, , yn ) th×: dK(y) = (y1 + K1, , yn + Kn) mod Lịch sử phát triển mật m học trình cố gắng tạo hệ mật dùng khoá để tạo xâu m tơng đối dài (tức dung khoá để m nhiều tin) nhng chí đợc độ an toàn tính toán Chuẩn m liệu (DES) hệ mật thuộc loại (ta nghiên cứu vấn đề chơng 2) 2.2 ENTROPI Trong phần trớc ta đ thảo luận khái niệm độ mật hoàn thiện đặt mối quan tâm vào trờng hợp đặc biệt, khoá đợc dùng cho lần m Bây giê ta sÏ xÐt ®iỊu sÏ xÈy cã nhiều rõ đợc m khoá cách mà thám m thực có kết phép công chỉ với m thời gian đủ lớn Công cụ nghiên cứu toán khái niệm entropi Đây khái niệm lý thuyết thông tin Shannon đu vào năm 1948 Có thể coi entropi đại lợng đo thông tin hay gọi độ bất định Nó đợc tính nh hàm phân bố xác suất Giả sử ta có biến ngẫu nhiên X nhận giá trị tập hữu hạn theo phân bố xác suất p(X) Thông tin thu nhận đợc kiện xảy tuân theo phân bố p(X) gì? Tơng tự, kiện cha xảy độ bất định kết quả? Đại lợng đợc gọi entropi X đợc kí hiệu H(X) Các ý tởng nh trìu tợng, ta xét ví dụ cụ thể Giả sử biến ngẫu nhiên X biểu thị phép tung đồng xu Phân bố xác suất là: p(mặt xấp) = p(mặt ngữa) = 1/2 Có thể nói rằng, thông tin (hay entropi) phép tung đồng xu bit ta m hoá mặt xấp mặt ngữa Tơng tự entropi cđa n phÐp tung ®ång tiỊn cã thĨ m hoá xâu bít có độ dài n Xét ví dụ phức tạp chút Giả sử ta có biến ngẫu nhiên X có giá trị x1, x2, x3 với xác suất tơng ứng 1/2, 1/4, 1/4 Cách m hiệu biến cố m hoá x1 lµ 0, m cđa x2 lµ 10 vµ m cđa x3 11 Khi số bít trung bình phép m hoá là: 1/2 ì +1/4 ì + 1/4 ì = 3/2 Các ví dụ cho thấy rằng, biến cố xảy với xác suất 2-n m hoá đợc xâu bít có độ dài n Tổng quát hơn, coi rằng, biến cố xảy với xác suất p m hoá xâu bít có độ dài xấp xỉ -log2 p Nếu cho trớc phân bố xác suất tuỳ ý p1, p2, ., pn biến ngẫu nhiên X, độ đo thông tin trọng số trung bình lợng -log2pi Điều dẫn tới định nghĩa hình thức hoá sau Định nghĩa 2.3 Giả sử X biến ngẫu nhiên lấy giá trị tập hữu hạn theo phân bố xác suất p(X) Khi entropy phân bố xác suất đợc định nghĩa l−ỵng: n H(X) = - ∑ pi log2 pi i=1 Nếu giá trị X xi ,1 ≤ i ≤ n th× ta cã: n H(X) = - ∑ p(X=xi )log2 p(X= xi) i=1 NhËn xÐt Nhận thấy rằng, log2 pi không xác định pi =0 Bởi entropy đợc định nghĩa tổng tơng ứng tất xác suất khác Vì limx0xlog2x = nên thực tế trở ngại cho pi = với giá trị i Tuy nhiên ta tuân theo giả định tính entropy phân bố xác suất pi , tổng đợc lấy số i cho pi0 Ta thấy việc chọn số logarit tuỳ ý; số không thiết phải Một số khác làm thay đổi giá trị entropy số Chú ý r»ng, nÕu pi = 1/n víi ≤ i ≤ n H(X) = log2n Cũng dễ dàng thấy H(X) ≥ vµ H(X) = vµ chØ pi = với giá trị i ®ã vµ pj = víi mäi j ≠ i Xét entropy thành phần khác hệ mật Ta coi khoá biến ngẫu nhiên K nhận giá trị tuân theo phân bố xác suất pK tính đợc H(K) Tơng tự ta tính entropy H(P) H(C) theo phân bố xác suất tơng ứng m rõ Ví dụ 2.1: (tiÕp) Ta cã: H(P) = -1/4log21/4 - 3/4log23/4 = -1/4(-2) - 3/4(log23-2) =2 - 3/4log23 ≈0,81 b»ng c¸c tÝnh to¸n tơng tự, ta có H(K) = 1,5 H(C) 1,85 2.2.1 M huffman entropy Trong phần ta thảo luận sơ qua quan hệ entropy m Huffman Vì kết phần không liên quan đến ứng dụng mật m entropy nên ta bỏ qua mà không làm tính liên tục Tuy nhiên hệ dùng để nghiên cứu sâu khái niệm entropy đ đa entropy bối cảnh m hoá biến cố ngẫu nhiên xảy theo phân bố xác suất đ định Trớc tiên ta xác hoá thêm ý tởng Cũng nh trên, coi X biến ngẫu nhiên nhận giá trị tập hữu hạn p(X) phân bố xác suất tơng ứng Một phép m hoá X ánh xạ bất kỳ: f:X {0,1}* tố độc lập không tồn phần tử x,y X xâu z {0,1}* cho g(x) = g(y) z) Thảo luận không liên hệ đến entropy Tuy nhiên đáng ngạc nhiên entropy lại có liên quan đến tính hiệu phép m Ta đo tính hiệu phép m f nh đ làm trên: độ dài trung bình trọng số ( đợc kí hiệu l (f) ) phép m mét phÇn tư cđa X Bëi vËy ta cã ®Þnh nghÜa sau: l( f ) = ∑ p ( x ) | f ( x) | x∈X Trong ®ã |y| kí hiệu độ dài xâu y Bây nhiệm vụ chủ yếu ta phải tìm phép m hoá đơn ánh cho tối thiểu hoá đợc l(f) Thuật toán Huffman thuật toán tiếng thực đợc mục đích Hơn nữa, phép m f tạo thuật toán Huffman phép m có tiền tố độc lập H(X) l(f) H(X) +1 Nh vậy, giá trị entropy cho ta đánh giá xác độ dài trung bình phép m đơn ánh tối u Ta không chứng minh kết đ nêu mà đa mô tả ngắn gọn hình thức hoá thuật toán Huffman Thuật toán Huffman bắt đầu với phân bố xác suất tập X m phần tử ban đầu trống Trong bớc lặp, phần tử có xác suất thấp đợc kết hợp thành phần tử có xác suất tổng hai xác suất Trong phần tử, phần tử có xác suất nhỏ đợc gán giá trị "0", phần tử có giá trị lớn đợc gán giá trị "1" Khi lại phần tử m x X đợc cấu trúc d y phần tử ngợc từ phần tử cuối tới phần tử ban đầu x Ta minh hoạ thuật toán qua ví dụ sau Ví dụ 2.3 Giả sử X = {a,b,c,d,e} có phân bố xác suất: p(a) = 0,05; p(b) = 0,10; p(c) = 0,12; p(d) = 0,13 p(e) = 0,60 Thuật toán Huffman đợc thực nh− b¶ng sau: A B c d e 0,05 0,10 0,12 0,13 0,60 0,12 0,13 0,60 0,15 0,15 0,25 0,40 0.60 0,60 1,0 Điều dẫn đến phép m hoá sau: x f(x) a b c d e 000 001 010 011 Bởi độ dài trung bình phép m hoá là: l(f) = 0,05 ì + 0,10 × + 0,12 × + 0,13 × + 0,60 ì = 1,8 So sánh giá trị nµy víi entropy: H(X) = 0,2161 + 0,3322 + 0,3671 + 0,3842 + 0,4422 = 1,7402 2.3 C¸c tÝnh chÊt entropi Trong phần chứng minh số kết quan trọng liên quan đến entropi Trớc tiên ta phát biểu bất đẳng thức Jensen Đây kết hữu ích Bất đẳng thức Jensen có liên quan đến hàm lồi có định nghĩa nh sau Định nghĩa 2.4 Một hàm có giá trị thực f lồi khoảng I nếu: x + y f ( x) + f ( y ) f ≥ víi x,y I f hàm lồi thực kho¶ng I nÕu: x + y f ( x) + f ( y ) f > víi mäi x,y ∈ I,x ≠ y Sau ta phát biểu mà không chứng minh bất đẳng thức Jensen Định lý 2.5.(Bất đẳng thức Jensen) Giả sử h hàm lồi thực liên tục khoảng l, n a i =1 i =1 >0,1 i n Khi đó: ( n n ∑ f ( xi ) ≤ f ∑ xi i =1 i =1 ) ®ã xi ∈ I,1 ≤ i ≤ n Ngoµi dÊu "=" xảy x1= = xn Bây ta đa số kết entropi Trong định lý sau sử dụng khẳng định: hàm log2x hàm lồi thực khoảng (0, ) (Điều dễ dàng thấy đợc từ tính toán sơ cấp đạo hàm cấp hàm logarith âm khoảng (0, )) Định lý 2.6 Giả sử X biến ngẫu nhiên có phân bố xác suất p1, p2, , pn, ®ã pi >0,1 ≤ i ≤ n Khi H(X) log2n Dờu "=" xảy vµ chØ pi = 1/n, ≤ i n Chứng minh: áp dụng bất đẳng thức Jensen, ta cã: = log n 2n n H ( X ) = −∑ pi log pi = ∑ pi log (1 / pi ) i =1 i =1 n ≤ log ∑ ( pi × / pi ) i =1 Ngoài ra, dấu "=" xảy vµ chØ pi = 1/n, ≤ i n Định lý 2.7 H(X,Y) H(X) +H(Y) Đẳng thức (dấu "=") xảy X Y biến cố độc lập Chứng minh Giả sử X nhận giá trị xi,1 i m;Y nhận giá trị yj,1 j ≤ n KÝ hiÖu: pi = p(X= xi), ≤ i ≤ m vµ qj = p(Y = yj ), 1≤ j ≤ n KÝ hiÖu ri j = p(X = xi ,Y = yj ), ≤ i ≤ m, j n (Đây phân bố xác suất hợp) Nhận thấy n pi = rij j =1 (1 ≤ i ≤ m) vµ m q j = ∑ rij i =1 (1 ≤ j ≤ n) Ta cã m n i =1 j =1 H ( X ) + H (Y ) = −(∑ pi log pi + ∑ q j log q j ) m n n m = −(∑∑ rij log pi + ∑∑ rij log q j ) i =1 j =1 m j =1 i =1 n = −∑∑ rij log pi q j i =1 j =1 Mặt khác m n H ( X , Y ) = −∑∑ rij log rij i =1 j =1 Kết hợp lại ta thu đợc kết qu¶ sau: m n m n H ( X , Y ) − H ( X ) − H (Y ) = ∑∑ rij log (1 / rij ) + ∑∑ rij log pi q j i =1 j =1 i =1 j =1 (ở đ áp dụng bất đẳng thức Jensen biết rjj tạo nên phân bố xác suất ) m n = ∑∑ rij log ( pi q j / rij ) i =1 j =1 m n = log ∑∑ pi q j i =1 j =1 = log =0 Khi đẳng thức xảy ra, có thĨ thÊy r»ng ph¶i cã mét h»ng sè c cho pjj / rjj = c víi mäi i,j Sư dụng đẳng thức sau: n m n m rij = ∑∑ pi q j = j =1 i =1 j =1 i =1 Điều dẫn đến c=1 Bởi đâửng thức (dấu "=") xảy vµ chØ rjj = pjqj, nghÜa lµ: p(X = xj, Y = yj ) = p(X = xj )p(Y = yj ) víi ≤ i ≤ m, j n Điều có nghĩa X Y độc lập Tiếp theo ta đa khái niệm entropi có điều kiện Định nghĩa 2.5 Giả sử X Y hai biến ngẫu nhiên Khi với giá trị xác định y Y, ta có phân bố xác suất có điều kiƯn p(X|y) Râ rµng lµ : H ( X | y ) = −∑ p ( x | y ) log p( x | y ) x Ta định nghĩa entropi có điều kiện H(X|Y) trung bình trọng sè (øng víi c¸c x¸c st p(y) cđa entropi H(X|y) giá trị y H(X|y) đợc tính b»ng: H ( X | Y ) = −∑ y ∑ p( y) p( x | y) log p( x | y) x Entropi có điều kiện đo lợng thông tin trung bình X Y mang lại Sau hai kết trực tiếp ( Bạn đọc tự chứng minh) Định lý 2.8 H(X,Y) = H(Y) + H(X | Y) HƯ qu¶ 2.9 H(X |Y) H(X) Dấu xảy X Y độc lập 2.4 Các khoá giả khoảng Trong phần áp dụng kết entropi cho hệ mật Trớc tiên quan hệ entropi thành phần hệ mật Entropi có điều kiện H(K|C) đợc gọi độ bất định khoá Nó cho ta biết lợng thông tin khoá thu đợc từ m Định lý 2.10 Giả sử(P, C, K, E, D) hệ mật Khi đó: H(K|C) = H(K) + H(P) - H(C) Chøng minh: Tr−íc tiªn ta thÊy r»ng H(K,P,C) = H(C | K,P) + H(K,P) Do y = eK(x) nên khoá rõ xác định m Điều có nghĩa H(C|K,C) = Bëi vËy H(K,P,C) = H(K,P) Nh−ng K P độc lập nên H(K,P) = H(K) + H(P) Vì thế: H(K,P,C) + H(K,P) = H(K) + H(P) Tơng khoá m xác định rõ (tức x = dK(y)) nên ta có H(P | K,C) = vµ bëi vËy H(K,P,C) = H(K,P) B©y giê ta sÏ tÝnh nh− sau: H(K | C) = H(K,C) - H(C) = H(K,P,C) - H(C) = H(K) + H(P) - H(C) Đây nội dung định lý Ta quay lại ví dụ 2.1 để minh hoạ kết Ví dụ 2.1 (tiếp) Ta đ tính đợc H(P) 0,81, H(K) = 1,5 H(C) 1,85 Theo định lý 2.10 ta có H(K | C) ≈ 1,5 + 0,85 - 1,85 ≈ 0,46 Cã thÓ kiểm tra lại kết cách áp dụng ®Þnh nghÜa vỊ entropi cã ®iỊu kiƯn nh− sau Tr−íc tiên cần phải tính xác suất xuất p(Kj | j), ≤ i ≤ 3, ≤ j ≤ Để thực điều áp dụng định lý Bayes nhận đợc kết nh sau: ` P(K1 | 1) = P(K1 | 2) = 6/7 P(K1 | 3) = P(K1 | 4) = p(K2 | 1) p(K2 | 2) p(K2 | 3) p(K2 | 4) =0 = 1/7 = 3/4 =0 p(K3 | 1) = p(K3 | 2) = p(K3 | 3) = 1/4 p(K3 | 4) = B©y giê ta tÝnh: H(K | C) = 1/8 × +7/16 × 0,59 + 1/4 × 0,81 + 3/16 × = 0,46 Giá trị giá trị đợc tính theo định lý 2.10 Giả sử (P, C, K, E, D ) hệ mật đợc sử dụng Một xâu rõ x1x2 xn đợc m hoá khoá để tạo m y1y2 yn Nhớ lại rằng, mục đích thám m phải xác định đợc khoá Ta xem xét phơng pháp công với m coi Oscar có khả tính toán vô hạn Ta giả sử Oscar biết rõ văn theo ngôn ngữ tự nhiên (chẳng hạn văn tiếng Anh) Nói chung Oscar có khả rút số khoá định ( khoá hay khoá chấp nhận đợc) nhng có khoá đúng, khoá lại (các khoá không đúng) đợc gọi khoá giả Ví dụ, giả sử Oscar thu đợc xâu m WNAJW m phơng pháp m dịch vòng Dễ dàng thấy rằng, có hai xâu rõ có ý nghĩa river arena tơng ứng với khoá F( = 5) W( = 22) Trong hai khoá có khoá đúng, khoá lại khoá giả (Trên thực tế, việc tìm m MDV có độ dài giải m có nghĩa khó khăn, bạn đọc tìm nhiều ví dụ khác) Mục đích ta phải tìm giới hạn cho số trung bình khoá giả Trớc tiên, phải xác định giá trị theo entropi (cho kí tự) ngôn ngữ tự nhiên L ( kí hiệu HL ) HL lợng thông tin trung bình kí tự xâu có nghĩa rõ (Chú ý rằng, xâu ngẫu nhiên kí tự bảng chữ sÏ cã entropi trªn mét kÝ tù b»ng log2 26 ≈ 4,76) Ta cã thĨ lÊy H(P) lµ xÊp xØ bậc cho HL Trong trờng hợp L Anh ngữ, sử dụng phân bố xác suất bảng 1.1, ta tính đợc H(P) 4,19 Dĩ nhiên kí tự liên tiếp ngôn ngữ không độc lập với tơng quan kí tự liên tiếp làm giảm entropi Ví dụ, Anh ngữ, chữ Q kéo theo sau chữ U Để làm xấp xỉ bậc hai, tính entropi phân bố xác suất tất đôi chia cho Một cách tông quát, ta định nghĩa Pn biến ngẫu nhiên có phân bố xác suất tất n rõ Ta sử dụng tất định nghĩa sau: Định nghĩa 2.6 Giả sử L ngôn ngữ tự nhiên Entropi L đợc xác định lợng sau: H L = lim n →∞ §é d− cđa L lµ: H (Pn ) n RL =l - (HL / log2 | P | ) NhËn xÐt: HL ®o entropi kí tự ngôn ngữ L Một ngôn ngữ ngẫu nhiên có entropi log2 |P | Bởi đại lợng RL đo phần "kí tự vợt trội" phần d Trong trờng hợp Anh ngữ, dựa bảng chứa số lớn đôi tần số, ta tính đợc H(P2) Ước lợng theo cách này, ta tính đợc H(P2) 3,90 Cứ tiếp tục nh cách lập bảng ba v.v ta thu đợc ớc lợng cho HL Trên thực tế, nhiều thực nghiệm khác nhau, ta tới kết sau 1,0 HL 1,5 Tức lợng thông tin trung bình tiếng Anh vào khoảng bít tới 1,5 bít kí tự! Giả sử lấy 1,25 giá trị ớc lợng giá trị HL Khi độ d vào khoảng 0,75 Tức tiếng Anh có độ d vào khoảng 75%! (Điều nghĩa loại bá t ý trªn kÝb tù cđa mét văn tiếng Anh mà có khả đọc đợc Nó có nghĩa tìm đợc phép m Huffman cho n với n đủ lớn, phép m nén văn tiếng Anh xuống 1/4 độ dài gốc) Với phân bố xác suất đ cho K Pn Có thể xác định phân bố xác suất Cn tập n m (Ta đ làm điều trờng hợp n =1) Ta đ xác định Pn biến ngẫu nhiên biểu diễn n rõ Tơng tự Cn biến ngẫu nhiên biểu thị n m Với y Cn, định nghĩa: K(y) = { K ∈ K: ∃ x ∈ Pn, pPn(x) > 0, eK(x) =y} nghĩa K(y) tập khoá K cho y m xâu rõ độ dài n có nghĩa, tức tập khoá "có thể" với y m đ cho Nếu y d y quan sát đợc m số khoá giả | K(y) | -1 có khoá khoá số khoá Số trung bình khoá giả (trên tất xâu m độ dài n) đợc kí hiệu sn đợc tÝnh nh− sau: s n = ∑ y∈C n p( y )(| K ( y ) | −1) = ∑ y∈C n p( y ) | K ( y ) | −∑ y∈C n p ( y ) = ∑ y∈C n p( y ) | K ( y ) | Từ định lý 2.10 ta có: H(K| Cn) =H(K) + H(Pn) - H(Cn) Cã thĨ dïng −íc l−ỵng sau: H(Pn) ≈ nHL =n(1 - RL)log2| P | víi điều kiện n đủ lớn Hiển nhiên là: H(Cn ) ≤ nlog2| C | Khi ®ã nÕu | P | = | C | th×: H(K| Cn) ≥ H(K) - nRLlog2 | P | (2.1) n TiÕp theo xÐt quan hệ lợng H(K | C ) với số khoá gi¶ sn Ta cã: H ( K | C n ) = ∑ y∈C n p ( y )H ( K | y ) ≤ ∑ y∈C n p ( y ) log | K ( y ) | ≤ log ∑ y∈C n p ( y ) | K ( y ) | = log ( sn + 1) ta áp dụng bất đâửng thức Jensen (định lý 2.5) với f(x) = log2x Bởi ta có bất đẳng thức sau: H ( K | C n ) ≤ log ( sn + 1) (2.2) Kết hợp hai bất đẳng thức (2.1) (2.2), ta cã : log ( sn + 1) ≥ H ( K ) − nRL log | P | Trong trờng hợp khoá đợc chọn đồng xác suất (Khi H(K) có giá trị lớn nhất) ta có kết sau Định lý 2.11 Giả sử (P, C, K, E, D ) lµ mét hƯ mËt | C | = | P | khoá đợc chọn đồng xác suất Giả sử RL độ d ngôn ngữ gốc Khi với xâu m độ dài n cho trớc ( n số đủ lớn), số trung bình khoá giả sn thoả m n bất đẳng thức nh sau: sn ≥ {| K | /(| P | nRL )} − L−ỵng |K| / |P|nRL-1 tiÕn tíi theo hàm mũ n tăng Ước lợng không xác với giá trị n nhỏ Đó H(Pn)/ n ớc lợng tốt cho HL n nhỏ Ta đa khái niệm Định nghĩa 2.7 Khoảng hệ mật đợc định nghĩa giá trị n mà ứng với giá trị này, số khoá giả trung bình (kí hiệu giá trị n0) Điều có nghĩa n0 độ dài trung bình cần thiết m để thám m cã thĨ tÝnh to¸n kho¸ mét c¸ch nhÊt với thời gian đủ lớn Nếu đặt sn =0 định lý 2.11 giải theo n ta nhận đợc ớc lợng cho khoảng nhất: n0 log2|K| / RL log2 |P| VÝ dơ víi MTT, ta cã |P| = 26 vµ |K| =26 ! NÕu lÊy RL =0,75 ta nhận đợc ớc lợng cho khoảng bằng: n0 88,4/ (0,75 ì4,7) 25 Điều có nghĩa thông thờng m thám có đợc xâu m với độ dài tối thiểu 25, nhận đợc giải m nhÊt 2.5 C¸c hƯ mËt m tÝch Mét ph¸t minh khác Shannon đa báo năm 1949 ý tởng kết hợp hệ mật cách tạo tích chúng ý tởng cã tÇm quan träng to lín viƯc thiÕt kÕ hệ mật ( chẳng hạn chuẩn m liệu -DES ) Để đơn giản, phần hạn chế xét hệ mật C=P: hệ mật loại đợc gọi tự đồng cấu Giả sử S1= (P, P, K1, E1, D1) S2= (P, P, K2, E2, D2) lµ hai hƯ mËt tự đồng cấu có không gian m rõ Khi đó, tích S1 S2 (kí hiệu S1 ì S2) đợc xác định hệ mật sau: (P, P, K1 ì K2, E, D) Khoá cđa hƯ mËt tÝch cã d¹ng K = (K1,K2) K1 K1 K2 K2 Các quy tắc m giải m hệ mật tích đợc xác định nh sau: Với K = (K1,K2), ta có quy tắc m EK xác định theo công thøc: e( K1 , K ) ( x) = eK (eK1 ( x)) quy tắc giải m : d ( K1 , K ) ( y ) = d K1 (d K ( y )) Nghĩa trớc tiên ta m hoá x eK1 m lại kết eK2 Quá trình giải m tơng tự nhng thực theo thứ tự ngợc lại: d ( K1 , K ) (e( K1 , K ) ( x) = d ( K1 , K ) (eK (eK1 ( x))) = d K1 (d K (eK (eK1 ( x))) = d K1 (eK1 ( x))) = x Ta biết rằng, hệ mật có phân bố xác suất ứng với không gian khoá chúng Bởi vậy, cần phải xác định phân bố xác suất cho không gian khoá K hệ mật tích Hiển nhiên ta viết: pK(K1,K2)= pK1(K1) ì pK2=(K2) Nói cách khác, ta chọn K1 có phân bố pK1 chọn cách độc lập K2 có phân bố pK2(K2) Sau ví dụ đơn giản để minh hoạ khái niệm hệ mật tích Giả sử định nghĩa hệ mật m nhân nh hình 2.2 sau Hình 2.2 M nhân Giử sử P = C = Z26 giả sử: K = {a Z26: UCLN(a,26) = 1} Với a K, ta xác định: ea(x) = ax mod 26 vµ da(y) = a-1y mod 26 (x,y) Z26 Cho M hệ m nhân ( Với khoá đợc chọn đồng xác suất) S MDV ( với khoá chọn đồng xác suất) Khi dễ dàng thấy MìS hệ m Affine ( với khoá đợc chọn đồng xác suất) Tuy nhiên việc chớng tỏ S ìM hệ m Affine khó chút ( với khóa đồng xác suất) Ta chứng minh khẳng định Một khoá dịch vòng phần tử K Z26 quy tắc giải m tơng ứng eK(x) = x + K mod 26 Còn khoá hệ m nhân phần tử a Z26 cho UCLN(a,26) = Quy tắc m tơng ứng ea(x) = a mod 26 Bởi vậy, khoá m tích M ì S có dạng (a,K), e(a,K)(x) =a x + K mod 26 Đây định nghĩa khoá hệ m Affine Hơn nữa, xác suất khoá hệ m Affine là:1/312 = 1/12 ì 1/26 Đó tích xác suất tơng ứng khoá a K Bởi M ìS hệ m A ffine Bây ta xét S ìM Một khoá hệ m có dạng (K ,a) đó: e(K,a)(x) = a(x+K) = a x + aK mod 26 Nh− vËy khoá (K,a) m tích SìM đồng với khoá (a, aK) hệ m Affine Vấn đề lại phải chứng tỏ khoá m Affine xt hiƯn víi cïng x¸c st 1/312 nh− m tích SìM Nhận thấy rằng, aK = K1 chØ K = a-1K1, ( h y nhí l¹i UCLN(a,26) =1, a có phần tử nghịch đảo) Nói cách khác, khoá (a, K1) hệ m Affine tơng đơng với khoá (a-1K1,a) m tích SìM Bởi vậy, ta có song ánh hai không gian khoá Vì khoá đồng xác suất nên thấy SìM thực m Affine Ta chøng minh r»ng M ×S = S × M Bởi vậy, hai hệ mật giao hoán Tuy nhiên cặp hệ mật giao hoán; tìm ta đợc cặp phản ví dụ, Mặt khác ta thấy phép tích kết hợp: (S1 × S2) × S3 = S1 × (S2 × S3) NÕu lÊy tÝch cđa mét hƯ mËt tù ®ång cÊu với ta thu đợc hệ mật SìS (kí hiệu S2) Nếu lấy tích n lần hệ mật kết Sn Ta gọi Sn hệ mật lặp Một hệ mật S đợc gọi luỹ đẳng S2 = S Có nhiều hệ mật đ nghiên cứu chơng mật luỹ đẳng Chẳng hạn hệ MDV, MTT, Affine, Hill, Vigenère hoán vị luỹ đẳng Hiển nhiên hệ mật S luỹ đẳng không nên sử dụng hệ mâth tích S2 yêu cầu lợng khoá cực lớn mà độ bảo mật cao Nếu hệ mật luỹ đẳng có khả làm tăng độ mật cách lặp nhiều lần ý tởng đ đợc dùng chn m d÷ liƯu (DES) Trong DES dïng 16 phép lặp, tất nhiên hệ mật ban đầu phải hệ mật không luỹ đẳng Một phơng pháp xây dựng hệ mật không luỹ đẳng đơn giản lấy tích hai hệ mật đơn giản khác NhËn xÐt: Cã thĨ dƠ dµng chøng tá r»ng, hai hệ mật S1 S2 luỹ đẳng giao hoán S1 S2 luỹ đẳng Điều rút từ phép toán đại số sau: (S1 ì S2) ì(S1 ì S2) = S1 × (S2 × S1) × S2 =S1 × (S1 × S2) × S2 =(S1 × S1) × (S2 × S2) = S1 × S2 ( Chó ý dïng tÝnh chất kết hợp chứng minh trên) Bởi vậy, S1 S2 luỹ đẳng ta muốn S1 ì S2 không luỹ đẳng điều kiện cần S1 S2 không giao hoán Rất may mắn nhiều hệ mật đơn giản thoả m n điều kiện Kỹ thuật thờng đợc sử dụng thực tế lấy tích hệ m kiểu thay hệ m kiểu hoán vị Trong ch−¬ng sau ta sÏ xÐt mét thĨ hiƯn thĨ kỹ thuật 2.5 Các giải Khái niệm độ mật hoàn thiện việc sử dụng kỹ thuật entropi hệ mật lần Shannon đa [SH49] Các hệ mật tích đợc thảo luận báo Khái niệm entropi Shannon đa [SH48] Các sách nhập môn tốt entropi, m Huffman vấn đề có liên quan có tài liệu Welsh [WE88] Goldie, Pinch [GP91] Các kết phần 2.4 đợc lấy theo Beauchemin Brassard [BB88], tác giả đ tổng quát hoá kết ban đầu Shannon Bài tập 2.1 Cho n số nguyên dơng Một hình vuông Latin cấp n (L) bảng n ì n số nguyên 1, , n cho số n số nguyên xuất lần hàng cột L Ví dụ hình vuông Latin cấp có dạng: 2 3 Víi mét h×nh vu«ng Latin L bÊt kú cÊp n, ta cã thĨ xác định hệ m tơng ứng Giả sử P = C = K = { 1, , n} Víi ≤ i ≤ n, quy t¾c m hoá ei đợc xác định ei(j) = L(i,j) Do hàng L cho quy tắc m hoá) H y chứng minh rằng, hệ mật hình vuông Latin có độ mật hoàn thiện 2.2 H y chứng tỏ m Affine có độ mật hoàn thiện 2.3 Giả sử hệ mật đạt đợc độ mật hoàn thiện với phân bố xác suất p0 ®ã cđa b¶n râ H y chøng tá r»ng ®é mật hoàn thiện đợc phân bố xác suất rõ 2.4 H y chøng tá r»ng nÕu mét hÖ mËt cã độ mật hoàn thiên |K| = |C| = |P| m đồng xác suất 2.5 Giả sử X tập có lực lợng n, 2k ≤ n ≤ 2k+1 vµ p(x) =1/n víi mäi x X a/ H y tìm phép m hoá có tiền tố độc lập X (kí hiệu f) cho l(f) = k+2 - 2k+1/n ChØ dÉn: H y m hoá 2k+1-n phần tử X xâu có độ dài k m hoá phần tử lại xâu có độ dài k+1 b/ H y minh hoạ cấu trúc bạn n = Tính l(f) H(X) trờng hợp 2.6 Giả sử X = {a,b,c,d,e} có phân bố xác suất nh sau: p(a) = 0,32, p(b) = 0,23 p(c) = 0,20, p(d) = 0,15, p(e) = 0,10 H y dùng thuật toán Huffman để tìm phép m hoá tối u có tiền tố độc lập X So sánh độ dài phép m với H(X) 2.7 H y chøng tá r»ng H(X,Y) = H(Y) +H(X|Y) Sau chứng minh bổ đề H(X|Y) H(X), đẳng thức xảy X Y độc lập 2.8 Chứng minh rằng, hệ mật có độ mật hoàn thiện H(P|C) = H(P) 2.9 Chøng minh r»ng mét hƯ mËt bÊt kú H(K|C) ≥H(P C) ( vỊ mỈt trực giác, kết nói với m cho trớc, độ bất định thám m khoá lớn độ bất định thám m rõ) 2.10 Xét hệ mật trông P = {a,b,c}, K = {K1,K2,K3} vµ C = {1,2,3,4} Giả sử ma trận m hoá nh sau: K1 K2 K3 a b c Giả sử khoá đợc chọn đồng xác suất phần bố xác suất rõ lµ pP(a) = 1/2, pP(b) = 1/3, pP(c) = 1/6 H y tÝnh H(P), H(C), H(K), H(K|C) vµ H(P|C) 2.11 H y tÝnh H(K|C) vµ H(K|P,C) cđa hƯ m Affine 2.12 Xét hệ m Vigenère có độ dài từ khoá m H y chứng tỏ khoảng 1/RL, RL độ d ngôn ngữ xét (kết đợc hiểu nh sau: Nếu n0 số kí tự cần m hoá độ dài rõ n0/m phần tử cđa b¶n râ gåm m kÝ t− Bëi vËy, kho¶ng nhÊt 1/RL øng víi mét b¶n râ gåm m/RL kÝ tù) 2.13 H y chØ r»ng, kho¶ng nhÊt cđa hƯ m Hill ( víi ma trËn m hoá mìm) nhỏ m/RL ( h y ý số kí tự môt rõ có độ dài m2/RL) 2.14 MTT không gian rõ ( cã kÝch th−íc n) sÏ cã |K| = n! Công thức Stirling cho ớc lợng sau n: n ≈ 2πn (n / e) n a/ Dïng c«ng thức Stirling, đa khoảng ớc lợng cho khoảng nhÊt cđa MTT b/ Cho m ≥1 lµ mét số nguyên MTT m hệ m thay không gian rõ ( m ) chứa tất 26m m H y đánh giá khoảng MTT m RL = 0,75 2.15 H y chøng minh r»ng MDV luỹ đẳng 2.16 Giả sử S1 MDV ( với khoá đồng xác suất) S2 MDV khoá đợc chọn theo phân bố xác suất pK ( không đồng xác suất) H y chứng tỏ S1ìS2 = S1 2.17 Giả sử S1 S2 hệ m Vigenère có độ dài từ khoá tơng ứng m1 m2 ®ã m1 ≥ m2 a/ NÕu m1 | m2 th× chØ r»ng S1 × S2 = S1 b/ Ta thử tổng quát hoá kết giả định S2ìS1 = S3, S3 hệ m Vigenère có độ dài từ khoá BCNN(m1,m2) ( BCNN - béi chung nhá nhÊt) H y chøng tá r»ng gi¶ định không Chỉ dẫn: Nếu m1 mod m2 số khoá hệ m tích S1ìS nhỏ số khoá S3 ... lập K2 có phân bố pK2(K2) Sau ví dụ đơn giản để minh hoạ khái niệm hệ mật tích Giả sử định nghĩa hệ mật m nhân nh hình 2. 2 sau Hình 2. 2 M nhân Giử sử P = C = Z26 giả sử: K = {a Z26: UCLN(a ,26 )... xác suất tơng ứng m rõ VÝ dô 2. 1: (tiÕp) Ta cã: H(P) = -1/4log21/4 - 3/4log23/4 = -1/4( -2) - 3/4(log23 -2) =2 - 3/4log23 ≈0,81 b»ng tính toán tơng tự, ta có H(K) = 1,5 H(C) 1,85 2. 2.1 M huffman... hoán S1 S2 luỹ đẳng Điều rút từ phép toán đại số sau: (S1 ì S2) ì(S1 ì S2) = S1 × (S2 × S1) × S2 =S1 × (S1 × S2) × S2 =(S1 × S1) × (S2 × S2) = S1 × S2 ( Chó ý dïng tính chất kết hợp chứng minh