Tài liệu Mật mã cổ điển- Chương 2 docx

Chương Lý thuyết shannon Năm 1949, Claude shannon cơng bố báo có nhan đề " Lý thuyết thơng tin hệ mật" tạp chí " The Bell System Technical Journal" Bài báo có ảnh hưởng lớn đến việc nghiên cứu khoa học mật mã Trong chương ta thảo luận vài ý tưởng lý thuyết Shannan 2.1 độ mật hồn thiện Có hai quan điểm độ an tồn hệ mật Độ an tồn tính toán: Đo độ liên quan đến nỗ lực tính tốn cần thiết để phá hệ mật Một hệ mật an tồn mặt tính tốn có thuật tốn tốt để phá cần N phép toán, N số lớn Vấn đề chỗ, khơng có hệ mật thực tế biết chứng tỏ an toàn theo định nghĩa Trên thực tế, người ta gọi hệ mật "an tồn mặt tính tốn" có phương pháp tốt phá hệ yêu cầu thời gian lớn đến mức không chấp nhận được.(Điều tất nhiên khác với việc chứng minh độ an toàn) Một quan điểm chứng minh độ an toàn tính tốn quy độ an tồn hệ mật toán nghiên cứu kỹ tốn coi khó Ví dụ, ta chứng minh khẳng định có dạng " Một hệ mật cho an toàn khơng thể phân tích thừa số số ngun n cho trước" Các hệ mật loại gọi " an toàn chứng minh được" Tuy nhiên cần phải hiểu rằng, quan điểm cung cấp chứng minh độ an tồn có liên quan đế tốn khác khơng phải chứng minh hồn chỉnh ọ an tồn ( Tình hình tương tự việc chứng minh tốn NP đầy đủ: Có thể chứng tỏ tốn cho chí khó tốn NP đầy đủ khác , song khơng phải chứng minh hồn chỉnh độ khó tính tốn tốn) Độ an tồn khơng điều kiện Độ đo liện quan đến độ an toàn hệ mật khơng có hạn chế đặt khối lượng tính tốn mà Oscar phép thực Một hệ mật gọi an tồn khơng điều kiện khơng thể bị phá chí với khả tính tốn khơng hạn chế Khi thảo luận độ an toàn mật, ta phải kiểu công xem xét Trong chương cho thấy rằng, không hệ mật hệ mã dịch vòng, mã thay mã Vigenère coi an tồn mặt tính tốn với phương pháp công với mã ( Với khối lượng mã thích hợp) Điều mà ta làm phần để phát triển lý thuyết hệ mật có độ an tồn khơng điều kiện với phương pháp công với mã Nhận thấy rằng, ba hệ mật nêu hệ mật an tồn vơ điều kiện pkần tử rõ mã hoá khố cho trước! Rõ ràng độ an tồn khơng điều kiện hệ mật nghiên cứu theo quan điểm độ phức tạp tính tốn thời gian tính tốn cho phép khơng hạn chế lý thuyết xác suất tảng thích hợp để nghiên cứu độ an tồn khơng điều kiện Tuy nhiên ta cần số kiến thức sơ đẳng xác suất; định nghĩa nêu Định nghĩa 2.1 Giả sử X Y biến ngẫu nhiên Kí hiệu xác suất để X nhận giá trị x p(x) để Y nhận giá trị y p(y) Xác suất đồng thời p(x,y) xác suất để X nhận giá trị x Y nhận giá trị y Xác suất có điều kiện p(x  y) xác suất để X nhận giá trị với điều kiện Y nhận giá trị y Các biến ngẫu nhiên X Y gọi độc lập p(x,y) = p(x) p(y) với giá trị x X y Y Quan hệ xác suất đồng thời xác suất có điều kiện biểu thị theo cơng thức: p(x,y) = p(x  y) p(y) Đổi chỗ x y ta có : p(x,y) = p(y  x) p(x) Từ hai biểu thức ta rút kết sau:(được gọi định lý Bayes) Định lý 2.1: (Định lý Bayes) Nếu p(y)  thì: p(x  y) = p(x) p(y  x) p(y) Hệ 2.2 X Y biến độc lập khi: p(x  y) = p(x) với x,y Trong phần ta giả sử rằng, khoá cụ thể dùng cho mã Giả sử có phân bố xác suất khơng gian rõ P Kí hiệu xác suất tiên nghiệm để rõ xuất pP (x) Cũng giả sử rằng, khóa K chọn ( Alice Bob ) theo phân bố xác suất xác định ( Thơng thường khố chọn ngẫu nhiên, tất khoá đồng khả năng, nhiên khơng phải điều bắt buộc) Kí hiệu xác suất để khóa K chọn pK(K) Cần nhớ khóa chọn trước Alice biết rõ Bởi giả định khố K rõ x kiện độclập Hai phân bố xác suất P K tạo phân bố xác suất C Thật vậy, dễ dàng tính xác suất pP(y) với y mã gửi Với khoá K  K, ta xác định: C(K) = { eK (x) : x P } C(K) biểu thị tập mã K khóa Khi với y  C, ta có : pC (y) =  pK(K) pP(dK (y)) {K:yC(K)} Nhận thấy rằng, với y  C x  P, tính xác suất có điều kiện pC(y  x).(Tức xác suất để y mã với điều kiện rõ x): pC (y  x ) =  pK(K) {K:x= dK(y)} Bây ta tính xác suất có điều kiện pP (x  y ) ( tức xác suất để x rõ với điều kiện y mã) cách dùng định lý Bayes Ta thu công thức sau: pP (x) =  pK(K) {K:x= dK(y)} pP(y  x ) =  pK(K) pP(dK (y)) {k,U:yc(k)} Các phép tính thực biết phân bố xác suất Sau trình bày ví dụ đơn giản để minh hoạ việc tính tốn phân bố xác suất Ví dụ 2.1 Giả sử P = {a,b} với pP(a) = 1/4, pP(b) = 3/4 Cho K = { K1, K2, K3} với pK(K1) = 1/2, pK(K2) = pK(K3) = 1/4 Giả sử C = {1,2,3,4} hàm mã xác định eK1(a) = 1, eK2(b) = 2, eK2(a) = 2, eK2(b) = 3, eK3(a) = 3, eK3(a) = Hệ mật biểu thị ma trận mã hoá sau: K1 K2 K3 a 2 b Tính phân bố xác suất pC ta có: pC (1) = 1/8 pC (2) = 3/8 + 1/16 = 7/16 pC (3) = 3/16 + 1/16 = 1/4 pC (4) = 3/16 Bây ta phân bố xác suất có điều kiện rõ với điều kiện biết mã Ta có : pP(a | 1) = pP(b | 1) = pP(a | 2) = 1/7 pP(b | 2) = 6/7 pP(a | 3) = 1/4 pP(b | 3) = 3/4 pP(a | 4) = pP(b | 4) = Bây ta có đủ điều kiện để xác định khái niệm độ mật hoàn thiện Một cách khơng hình thức, độ mật hồn thiện có nghiã Oscar với mã tay thu thơng tin rõ ý tưởng làm xác cách phát biểu theo thuật ngữ phân bố xác suất định nghĩa sau: Định nghĩa 2.2 Một hệ mật có độ mật hồn thiện pP(x | y) = pP(x) với x  P , y  C Tức xác suất hậu nghệm để rõ x với điều kiện đả thu mã y đồng với xác suất tiên nghiệm để rõ x Trong ví dụ 2.1 có mã thoả mãn tính chất độ mật hồn thiện, mã khác khơng có tính chất Sau chứng tỏ rằng, MDV có độ mật hồn thiện Về mặt trực giác, điều dường hiển nhiên Với mã dịch vòng, biết phần tử mã y  Z26, phần tử rõ x  Z26 mã đả giải y tuỳ thuộc vào giá trị khoá Định lý sau cho khẳng định hình thức hố chứng minh theo phân bố xác suất Định lý 2.3 Giả sử 26 khố MDV có xác suất bằng1/26 MDV có độ mật hồn thiện với phân bố xác suất rõ Chứng minh: Ta có P = C = K = Z26 với  K  25, quy tắc mã hoá eKlà eK(x) =x +K mod 26 (x  26) Trước tiên tính phân bố PC Giả sử y  Z26, đó: pC (y) =  pK(K) pP(dK (y)) K Z26 =  1/26 pP(y -K) K Z26 = 1/26  pP(y -K) K Z26 Xét thấy với y cố định, giá trị y -K mod 26 tạo thành hoán vị Z26 pP phân bố xác suất Bởi ta có:  pP(y -K) =  pP(y) K Z26 y Z26 =1 pC (y) = 1/26 Do với y  Z26 Tiếp theo ta có: pC (y|x) = pK(y -x mod 26) = 1/26 Vơi x,y với cặp x,y, khóa K (khố đảm bảo eK(x) = y ) khoá K = y-x mod 26 Bây sử dụng định lý Bayes, ta dễ dàng tính: pP(x|y) = = pP(x) pC (y|x) pC (y) pP(x) (1/26) (1/26) = pP(x) Bởi vậy, MDV có độ mật hồn thiện Như vậy, mã dịch vịng hệ mật khơng phá miễn dùng khoá ngẫu nhiên để mã hoá ký tự rõ Sau ngiên cứu độ mật hoàn thiện trường hợp chung Trước tiên thấy rằng,(sử dụng định lý Bayes) điều kiện để pP (x | y) = pP (x) với xP , yP tương đương với pC (y | x) = pC (y) với xP , yP Giả sử pC (y)  với yC (pC (y) = mã khơng dùng loại khỏi C ) Cố định giá trị xP Với yC ta có pC (y | x) = pC (y)  Bởi vậy, với yC phải có khố K cho eK(x) = y Điều dẫn đến K    C  Trong hệ mật ta phải có C    P  quy tắc mã hố đơn ánh Trong trường hợp giới hạn, K  =  C  =  P , ta có định lý sau (Theo Shannon) Định lý 2.4 Giả sử (P,C, K, E, D) hệ mật , K  =  C  =  P  Khi đó, hệ mật có độ mật hồn thiện khoá K dùng với xác suất 1/K  , x P,mỗi y C có khố K cho eK(x) = y Chứng minh Giả sử hệ mật cho có độ mật hồn thiện Như thấy trên, với x P y C , phải có khoá K cho eK(x) = y Bởi ta có bất đẳng thức:  C  = {eK(x) :K C }   K  Tuy nhiên, ta giả sử  C  = K  Bởi ta phải có: {eK(x) :K C } =  K  Tức không tồn hai khoá K1 K2 khác để eK1(x) = eK2(x) = y Như ta chứng tỏ rằng, với x P y C có khố K để eK(x)=y Ký hiệu n =  K  Giả sử P = { xi:  i  n } cố định giá trị y C Ta ký hiệu khoá K1,K2, .,Kn cho eKi (xi ) = yi,  i  n Sử dụng định lý Bayes ta có: pP(xi|y) = = pC(y| xi) pP (xi) pC (y) pK(K1) (pP (xi)) pC (y) Xét điều kiện độ mật hoàn thiện p P(xi|y) = pP (xi) Điều kiện kéo theo pK(Ki) = pC (y) với  i  n Tức khoá dùng với xác suất (chính pC(y)) Tuy nhiên số khố  K  nên ta có pK(K) =1/ K  với K K Ngược lại, giả sử hai điều giả định thảo mãn Khi dễ dàng thấy hệ mật có độ mật hồn thiện với phân bố xác suất rõ ( tương tự chướng minh định lý 2.3) Các chi tiết dành cho bạn đọc xem xét Mật mã khoá sử dụng lần Vernam (One-Time-Pad:OTP) ví dụ quen thuộc hệ mật có độ mật hồn thiện Gillbert Verman lần mô tả hệ mật vào năm 1917 Hệ OTP dùng để mã giải mã tự động tin điện báo Điều thú vị nhiều năm OTP coi hệ mật bị phá chướng minh Shannon xây dựng khái niệm độ mật hồn thiện 30 năm sau Mơ tả hệ mật dùng lần nêu hình 2.1 Sử dụng định lý 2.4, dễ dàng thấy OTP có độ mật hồn thiện Hệ thống hấp dẫn dễ thực mã giải mã Vernam đăng ký phát minh với hy vọng có ứng dụng thương mại rộng rãi Đáng tiếc có nhưỡng nhược điểm quan trọng hệ mật an tồn khơng điều kiện, chẳng hạn OTP Điều kiện K    P  có nghĩa lượng khóa (cần thơng báo cách bí mật) lớn rõ Ví dụ , trường hợp hệ OTP, ta cần n bit khoá để mã hoá n bit rõ Vấn đề khơng quan trọng dùng khoá để mã hoá tin khác nhau; nhiên, độ an toàn hệ mật an tồn khơng điều kiện lại phụ thuộc vào thực tế khoá dùng cho lần mã Ví dụ OTP khơng thể đứng vững trước công với rõ biết ta tính K băngf phép loại trừ xâu bít x eK(x) Bởi vậy, cần phải tạo khóa thơng báo kênh bảo mật tin trước gửi Điều nàytạo khó khăn cho vấn đề quản lý khoá gây hạn chế cho việc sử dụng rộng rãi OTP Tuy nhiên OTP áp dụng lĩnh vực quân ngoại giao, lĩnh vực độ an toàn khơng điều kiện có tầm quan trọng lớn Hình 2.1 Hệ mật sử dụng khoá lần (OTP) Giả sử n sử n n 1 số nguyên số nguyên nguyên số nguyên P = C = K = (Z2)n Với K (Zi K (Z2)n , ta xác định enh eK(x) số nguyên tổng véc tơ theo modulo K x (hay tương đương ng véc tơ theo modulo K x (hay tương đương theo modulo K x (hay tương đương a K số nguyên x (hay tươ theo modulo K x (hay tương đương ng đươ theo modulo K x (hay tương đương ng với K (Zi phép loại trừ hai dãy bit tương ứng) Như vậy, x = c loại trừ hai dãy bit tương ứng) Như vậy, x = i trừ hai dãy bit tương ứng) Như vậy, x = K x (hay tương đương a hai dãy bit tươ theo modulo K x (hay tương đương ng ứng) Như vậy, x = ng) Như vậy, x = y, x = u x = (x1, , xn ) số nguyên K = (K1, , Kn ) thì: eK(x) = (x1 + K1, , xn + Kn) mod Phép mã hoá số nguyên đồng với phép giải mã Nếu y = (yng với phép giải mã Nếu y = (yt với K (Zi phép giả sử n i mã Nếu x = u y = (y1, , yn ) thì: dK(y) = (y1 + K1, , yn + Kn) mod Lịch sử phát triển mật mã học trình cố gắng tạo hệ mật dùng khố để tạo xâu mã tương đối dài (tức dung khố để mã nhiều tin) chí cịn độ an tồn tính tốn Chuẩn mã liệu (DES) hệ mật thuộc loại (ta nghiên cứu vấn đề chương 2) 2.2 ENTROPI Trong phần trước ta thảo luận khái niệm độ mật hoàn thiện đặt mối quan tâm vào trường hợp đặc biệt, khoá dùng cho lần mã Bây ta xét điều xẩy có nhiều rõ mã khố cách mà thám mã thực có kết phép cơng chỉ với mã thời gian đủ lớn Công cụ nghiên cứu toán khái niệm entropi Đây khái niệm lý thuyết thông tin Shannon đưu vào năm 1948 Có thể coi entropi đại lượng đo thông tin hay cịn gọi độ bất định Nó tính hàm phân bố xác suất Giả sử ta có biến ngẫu nhiên X nhận giá trị tập hữu hạn theo phân bố xác suất p(X) Thông tin thu nhận kiện xảy tuân theo phân bố p(X) gì? Tương tự, kiện cịn chưa xảy độ bất định kết quả? Đại lượng gọi entropi X kí hiệu H(X) Các ý tưởng trìu tượng, ta xét ví dụ cụ thể Giả sử biến ngẫu nhiên X biểu thị phép tung đồng xu Phân bố xác suất là: p(mặt xấp) = p(mặt ngữa) = 1/2 Có thể nói rằng, thơng tin (hay entropi) phép tung đồng xu bit ta mã hoá mặt xấp mặt ngữa Tương tự entropi n phép tung đồng tiền mã hố xâu bít có độ dài n Xét ví dụ phức tạp chút Giả sử ta có biến ngẫu nhiên X có giá trị x1, x2, x3 với xác suất tương ứng 1/2, 1/4, 1/4 Cách mã hiệu biến cố mã hoá x1 0, mã x2 10 mã x3 11 Khi số bít trung bình phép mã hố là: 1/2  +1/4  + 1/4  = 3/2 Các ví dụ cho thấy rằng, biến cố xảy với xác suất 2-n mã hố xâu bít có độ dài n Tổng qt hơn, coi rằng, biến cố xảy với xác suất p mã hố xâu bít có độ dài xấp xỉ -log2 p Nếu cho trước phân bố xác suất tuỳ ý p1, p2, ., pn biến ngẫu nhiên X, độ đo thơng tin trọng số trung bình lượng -log2pi Điều dẫn tới định nghĩa hình thức hoá sau Định nghĩa 2.3 Giả sử X biến ngẫu nhiên lấy giá trị tập hữu hạn theo phân bố xác suất p(X) Khi entropy phân bố xác suất định nghĩa lượng: n H(X) = -  pi log2 pi i=1 Nếu giá trị X xi ,1  i  n ta có: n H(X) = -  p(X=xi )log2 p(X= xi) i=1 Nhận xét Nhận thấy rằng, log2 pi không xác định pi =0 Bởi entropy định nghĩa tổng tương ứng tất xác suất khác Vì limx0xlog2x = nên thực tế khơng có trở ngại cho p i = với giá trị i Tuy nhiên ta tuân theo giả định tính entropy phân bố xác suất pi , tổng lấy số i cho pi0 Ta thấy việc chọn số logarit tuỳ ý; số không thiết phải Một số khác làm thay đổi giá trị entropy số Chú ý rằng, pi = 1/n với  i  n H(X) = log2n Cũng dễ dàng thấy H(X)  H(X) = p i = với giá trị i pj = với j  i Xét entropy thành phần khác hệ mật Ta coi khoá biến ngẫu nhiên K nhận giá trị tuân theo phân bố xác suất pK tính H(K) Tương tự ta tính entropy H(P) H(C) theo phân bố xác suất tương ứng mã rõ Ví dụ 2.1: (tiếp) Ta có: H(P) = -1/4log21/4 - 3/4log23/4 = -1/4(-2) - 3/4(log23-2) =2 - 3/4log23 0,81 tính tốn tương tự, ta có H(K) = 1,5 H(C) 1,85 2.2.1 Mã huffman entropy Trong phần ta thảo luận sơ qua quan hệ entropy mã Huffman Vì kết phần không liên quan đến ứng dụng mật mã entropy nên ta bỏ qua mà khơng làm tính liên tục Tuy nhiên hệ dùng để nghiên cứu sâu khái niệm entropy đưa entropy bối cảnh mã hoá biến cố ngẫu nhiên xảy theo phân bố xác suất định Trước tiên ta xác hố thêm ý tưởng Cũng trên, coi X biến ngẫu nhiên nhận giá trị tập hữu hạn p(X) phân bố xác suất tương ứng A b c d e 0,05 0,10 0,12 0,13 0,60 0,12 0,13 0,60 0,15 0,15 0,25 0,40 0.60 0,60 1,0 Điều dẫn đến phép mã hoá sau: x f(x) a b c d e 000 001 010 011 Bởi độ dài trung bình phép mã hố là: l(f) = 0,05  + 0,10  + 0,12  + 0,13  + 0,60  = 1,8 So sánh giá trị với entropy: H(X) = 0,2161 + 0,3322 + 0,3671 + 0,3842 + 0,4422 = 1,7402 2.3 Các tính chất entropi Trong phần chứng minh số kết quan trọng liên quan đến entropi Trước tiên ta phát biểu bất đẳng thức Jensen Đây kết hữu ích Bất đẳng thức Jensen có liên quan đến hàm lồi có định nghĩa sau Định nghĩa 2.4 Một hàm có giá trị thực f lồi khoảng I nếu:  x  y  f ( x)  f ( y ) f    với x,y I f hàm lồi thực khoảng I nếu:  x  y  f ( x)  f ( y ) f    với x,y  I,x  y Sau ta phát biểu mà không chứng minh bất đẳng thức Jensen Định lý 2.5.(Bất đẳng thức Jensen) Giả sử h hàm lồi thực liên tục khoảng l, n a i 1 i 1 >0,1  i  n Khi đó: n  n  f ( xi )  f   xi   i 1  i 1  xi  I,1  i  n Ngồi dấu "="chỉ xảy x1= = xn Bây ta đưa số kết entropi Trong định lý sau sử dụng khẳng định: hàm log2x hàm lồi thực khoảng (0, ) (Điều dễ dàng thấy từ tính tốn sơ cấp đạo hàm cấp hàm logarith âm khoảng (0, )) Định lý 2.6 Giả sử X biến ngẫu nhiên có phân bố xác suất p 1, p2, , pn, pi >0,1  i  n Khi H(X)  log2n Dờu "="chỉ xảy pi = 1/n,  i  n Chứng minh: áp dụng bất đẳng thức Jensen, ta có: n n i 1 i 1 H ( X )    pi log pi  pi log (1 / pi ) n log  ( pi 1 / pi ) i 1 = log2n Ngoài ra, dấu "=" xảy pi = 1/n,  i  n Định lý 2.7 H(X,Y)  H(X) +H(Y) Đẳng thức (dấu "=") xảy X Y biến cố độc lập Chứng minh Giả sử X nhận giá trị xi,1  i  m;Y nhận giá trị yj,1 j  n Kí hiệu: pi = p(X= xi),  i  m qj = p(Y = yj ), 1 j  n Kí hiệu ri j = p(X = xi ,Y = yj ),  i  m,  j  n (Đây phân bố xác suất hợp) Nhận thấy n pi   rij j 1 (1  i  m) m q j   rij i 1 (1  j  n) Ta có m n i 1 j 1 H ( X )  H (Y )   ( pi log pi   q j log q j ) m n n m   (  rij log pi   rij log q j ) i 1 j 1 m n     rij log pi q j i 1 j 1 j 1 i 1 Mặt khác m n H ( X , Y )    rij log rij i 1 j 1 Kết hợp lại ta thu kết sau: m n m n H ( X , Y )  H ( X )  H (Y )   rij log (1 / rij )   rij log2 pi q j i 1 j 1 m i 1 j 1 n   rij log ( pi q j / rij ) i 1 j 1 m n  log   pi q j i 1 j 1  log 0 (ở áp dụng bất đẳng thức Jensen biết r jj tạo nên phân bố xác suất ) Khi đẳng thức xảy ra, thấy phải có số c cho pjj / rjj = c với i,j Sử dụng đẳng thức sau: n m n m  rij  pi q j 1 j 1 i 1 j 1 i 1 Điều dẫn đến c=1 Bởi đâửng thức (dấu "=") xảy rjj = pjqj, nghĩa là: p(X = xj, Y = yj ) = p(X = xj )p(Y = yj ) với  i  m,  j  n Điều có nghĩa X Y độc lập Tiếp theo ta đưa khái niệm entropi có điều kiện Định nghĩa 2.5 Giả sử X Y hai biến ngẫu nhiên Khi với giá trị xác định y Y, ta có phân bố xác suất có điều kiện p(X|y) Rõ ràng : H ( X | y )    p( x | y ) log p( x | y ) x Ta định nghĩa entropi có điều kiện H(X|Y) trung bình trọng số (ứng với xác suất p(y) entropi H(X|y) giá trị y H(X|y) tính bằng: H ( X | Y )   y  p( y ) p( x | y ) log p( x | y) x Entropi có điều kiện đo lượng thơng tin trung bình X Y mang lại Sau hai kết trực tiếp ( Bạn đọc tự chứng minh) Định lý 2.8 H(X,Y) = H(Y) + H(X | Y) Hệ 2.9 H(X |Y)  H(X) Dấu xảy X Y độc lập 2.4 Các khoá giả khoảng Trong phần áp dụng kết entropi cho hệ mật Trước tiên quan hệ entropi thành phần hệ mật Entropi có điều kiện H(K|C) gọi độ bất định khố Nó cho ta biết lượng thơng tin khoá thu từ mã Định lý 2.10 Giả sử(P, C, K, E, D) hệ mật Khi đó: H(K|C) = H(K) + H(P) - H(C) Chứng minh: Trước tiên ta thấy H(K,P,C) = H(C | K,P) + H(K,P) Do y = e K(x) nên khoá rõ xác định mã Điều có nghĩa H(C| K,C) = Bởi H(K,P,C) = H(K,P) Nhưng K P độc lập nên H(K,P) = H(K) + H(P) Vì thế: H(K,P,C) + H(K,P) = H(K) + H(P) Tương khố mã xác định rõ (tức x = d K(y)) nên ta có H(P | K,C) = H(K,P,C) = H(K,P) Bây ta tính sau: H(K | C) = H(K,C) - H(C) = H(K,P,C) - H(C) = H(K) + H(P) - H(C) Đây nội dung định lý Ta quay lại ví dụ 2.1 để minh hoạ kết Ví dụ 2.1 (tiếp) Ta tính H(P)  0,81, H(K) = 1,5 H(C) 1,85 Theo định lý 2.10 ta có H(K | C)  1,5 + 0,85 - 1,85  0,46 Có thể kiểm tra lại kết cách áp dụng định nghĩa entropi có điều kiện sau Trước tiên cần phải tính xác suất xuất p(Kj | j),  i  3,  j  Để thực điều áp dụng định lý Bayes nhận kết sau: ` P(K1 | 1) = P(K1 | 2) = 6/7 P(K1 | 3) = P(K1 | 4) = p(K2 | 1) p(K2 | 2) p(K2 | 3) p(K2 | 4) =0 = 1/7 = 3/4 =0 p(K3 | 1) = p(K3 | 2) = p(K3 | 3) = 1/4 p(K3 | 4) = Bây ta tính: H(K | C) = 1/8  +7/16  0,59 + 1/4  0,81 + 3/16  = 0,46 Giá trị giá trị tính theo định lý 2.10 Giả sử (P, C, K, E, D ) hệ mật sử dụng Một xâu rõ x1x2 xn mã hoá khoá để tạo mã y1y2 yn Nhớ lại rằng, mục đích thám mã phải xác định khoá Ta xem xét phương pháp công với mã coi Oscar có khả tính tốn vơ hạn Ta giả sử Oscar biết rõ văn theo ngôn ngữ tự nhiên (chẳng hạn văn tiếng Anh) Nói chung Oscar có khả rút số khoá định ( khoá hay khố chấp nhận được) có khố đúng, khố cịn lại (các khố khơng đúng) gọi khố giả Ví dụ, giả sử Oscar thu xâu mã WNAJW mã phương pháp mã dịch vịng Dễ dàng thấy rằng, có hai xâu rõ có ý nghĩa river arena tương ứng với khoá F( = 5) W( = 22) Trong hai khố có khố đúng, khố cịn lại khố giả (Trên thực tế, việc tìm mã MDV có độ dài giải mã có nghĩa khơng phải q khó khăn, bạn đọc tìm nhiều ví dụ khác) Mục đích ta phải tìm giới hạn cho số trung bình khố giả Trước tiên, phải xác định giá trị theo entropi (cho kí tự) ngơn ngữ tự nhiên L ( kí hiệu HL ) HL lượng thơng tin trung bình kí tự xâu có nghĩa rõ (Chú ý rằng, xâu ngẫu nhiên kí tự bảng chữ có entropi kí tự log 26  4,76) Ta lấy H(P) xấp xỉ bậc cho HL Trong trường hợp L Anh ngữ, sử dụng phân bố xác suất bảng 1.1, ta tính H(P)  4,19 Dĩ nhiên kí tự liên tiếp ngôn ngữ không độc lập với tương quan kí tự liên tiếp làm giảm entropi Ví dụ, Anh ngữ, chữ Q kéo theo sau chữ U Để làm xấp xỉ bậc hai, tính entropi phân bố xác suất tất đôi chia cho Một cách tông quát, ta định nghĩa Pn biến ngẫu nhiên có phân bố xác suất tất n rõ Ta sử dụng tất định nghĩa sau: Định nghĩa 2.6 Giả sử L ngôn ngữ tự nhiên Entropi L xác định lượng sau: H (Pn ) H L lim n n  Độ dư L là: RL =l - (HL / log2 | P | ) Nhận xét: HL đo entropi kí tự ngơn ngữ L Một ngơn ngữ ngẫu nhiên có entropi log2 |P | Bởi đại lượng R L đo phần "kí tự vượt trội" phần dư Trong trường hợp Anh ngữ, dựa bảng chứa số lớn đôi tần số, ta tính H(P2) Ước lượng theo cách này, ta tính H(P2) 3,90 Cứ tiếp tục cách lập bảng ba v.v ta thu ước lượng cho HL Trên thực tế, nhiều thực nghiệm khác nhau, ta tới kết sau 1,0  HL 1,5 Tức lượng thơng tin trung bình tiếng Anh vào khoảng bít tới 1,5 bít kí tự! Giả sử lấy 1,25 giá trị ước lượng giá trị H L Khi độ dư vào khoảng 0,75 Tức tiếng Anh có độ dư vào khoảng 75%! (Điều khơng có nghĩa loại bỏ tuỳ ý kíb tự văn tiếng Anh mà có khả đọc Nó có nghĩa tìm phép mã Huffman cho n với n đủ lớn, phép mã nén văn tiếng Anh xuống 1/4 độ dài gốc) Với phân bố xác suất cho K Pn Có thể xác định phân bố xác suất Cn tập n mã (Ta làm điều trường hợp n =1) Ta xác định Pn biến ngẫu nhiên biểu diễn n rõ Tương tự Cn biến ngẫu nhiên biểu thị n mã Với y  Cn, định nghĩa: K(y) = { K  K:  x  Pn, pPn(x)  0, eK(x) =y} nghĩa K(y) tập khoá K cho y mã xâu rõ độ dài n có nghĩa, tức tập khố "có thể" với y mã cho Nếu y dãy quan sát mã số khố giả | K(y) | -1 có khố khố số khố Số trung bình khố giả (trên tất xâu mã độ dài n) kí hiệu s n tính sau: s n   yC n p ( y )(| K ( y ) |  1)   yC n p ( y ) | K ( y ) |   yC n p ( y )   yC n p ( y ) | K ( y ) |  Từ định lý 2.10 ta có: H(K| Cn) =H(K) + H(Pn) - H(Cn) Có thể dùng ước lượng sau: H(Pn)  nHL =n(1 - RL)log2| P | với điều kiện n đủ lớn Hiển nhiên là: H(Cn )  nlog2| C | Khi | P | = | C | thì: H(K| Cn)  H(K) - nRLlog2 | P | (2.1) n Tiếp theo xét quan hệ lượng H(K | C ) với số khố giả sn Ta có: H ( K | C n )   yC n p ( y )H ( K | y )   yC n p ( y ) log | K ( y ) |  log  yC n p ( y ) | K ( y ) | (2.2)  log ( sn  1) ta áp dụng bất đâửng thức Jensen (định lý 2.5) với f(x) = log 2x Bởi ta có bất đẳng thức sau: H ( K | C n ) log ( sn  1) Kết hợp hai bất đẳng thức (2.1) (2.2), ta có : log ( sn  1)  H ( K )  nRL log | P | ... suất tương ứng mã rõ Ví dụ 2. 1: (tiếp) Ta có: H(P) = -1/4log21/4 - 3/4log23/4 = -1/4( -2) - 3/4(log23 -2) =2 - 3/4log23 0,81 tính tốn tương tự, ta có H(K) = 1,5 H(C) 1,85 2. 2.1 Mã huffman entropy... dụ 2. 1 Giả sử P = {a,b} với pP(a) = 1/4, pP(b) = 3/4 Cho K = { K1, K2, K3} với pK(K1) = 1 /2, pK(K2) = pK(K3) = 1/4 Giả sử C = {1 ,2, 3,4} hàm mã xác định eK1(a) = 1, eK2(b) = 2, eK2(a) = 2, eK2(b)... X có giá trị x1, x2, x3 với xác suất tương ứng 1 /2, 1/4, 1/4 Cách mã hiệu biến cố mã hoá x1 0, mã x2 10 mã x3 11 Khi số bít trung bình phép mã hố là: 1 /2  +1/4  + 1/4  = 3 /2 Các ví dụ cho thấy