Có nhiều thuật toán mã hóa có thể được sử dụng cho bảo mật mã hóa trao đổi khóa và mã hóa dữ liệu khi truyền tải. Các thuật toán này bao gồm trong lớp con an ninh trong chuẩn IEEE 802.16. Các thuật toán mã hóa là:
- RSA (Rivest Shamir Adleman). RSA là một mật mã khóa công khai được định nghĩa bởi Rivest, Shamir và Adleman vào năm 1977. Mã hóa khóa công khai là không đối xứng, thuật toán này được sử dụng khi BS dùng khoá công khai của SS mã hoá thông điệp trả lời (Reply) yêu cầu ủy quyền của SS. Thông điệp trả lời (Reply) ủy quyền chứa các khóa (AK). Lược đồ mã hóa công khai RSA cũng có thể được sử dụng cho việc mã hóa các khoá dùng để mã hoá lưu lượng khi các khóa này được truyền đi từ BS đến SS. Thuật toán này dựa trên lũy thừa trong số học modul. Đây là một trong những thuật toán phổ biến thường được chấp nhận trong thực tế và an toàn với mã hóa khoá công khai.
- DES (Data Encryption Standard)-chuẩn mã hóa dữ liệu. DES và 3- DES là những thuật toán mã hóa có khoá chia sẻ. Thuật toán DES có thể được sử dụng cho mã hóa dữ liệu đường truyền. Đó là điều bắt buộc cho các thiết bị IEEE 802.16. Thuật toán 3-DES có thể được sử dụng để mã hóa các khóa mã hóa lưu lượng đường truyền. Trong DES, một khối bit rõ có chiều dài cố định được đưa vào mã hoá và sinh ra một khối bit mật mã có cùng một chiều dài ở đầu ra. Chuyển đổi này diễn ra bởi một loạt các hoạt động phức tạp. Với DES, kích thước khối là 64 bit. Trong mã DES, cùng một khoá dùng để mã hoá và giải mã nên muốn giải mã người nhận phải được thông báo về khóa.
- 3-DES là chỉ đơn giản là một phương thức hoạt động của DES. Nó có ba khoá 64-bit, chiều dài tổng thể của khóa là 192 bit. Thủ tục cho việc mã hóa là phải chính xác giống như DES thông thường, nhưng nó được lặp đi lặp lại ba lần. Do đó có tên ba DES hay 3-DES. Dữ liệu được mã hóa với khóa đầu tiên, giải mã với khóa thứ hai và cuối cùng là mã hóa một lần nữa với khóa thứ ba. Hình 3.2 hiển thị thủ tục làm việc của thuật toán ba DES.
Hình 3.2: Thuật toán ba DES [18]
- AES (Advanced Encryption Standard) tiêu chuẩn mã hóa tiên tiến. Thuật toán AES là thuật toán mã hóa khóa chia sẻ (bí mật). Đầu vào và đầu ra của thuật toán AES bao gồm khối 128 bít. AES làm việc với khối dữ liệu 128 bít và khóa có độ dài 128, 192 hoặc 256 bít. Thuật toán này được sử dụng để mã hóa lưu lượng dữ liệu và cũng có thể được sử dụng để mã hóa các khóa mã hóa lưu lượng truyền. AES là tuỳ chọn, không bắt buộc.
Tiêu chuẩn IEEE 802.16 cũng bao gồm một số thuật toán mã hóa khác.
- HMAC (băm mã xác thực thông điệp) và CMAC (Cơ bản mã hóa thông điệp mã xác thực). Một thuật toán cụ thể liên quan đến một hàm băm mật mã kết hợp với khóa bí mật được sử dụng để tính toán băm mã xác thực thông điệp trong mật mã, cơ chế này có thể được sử dụng để xác minh sự toàn vẹn dữ liệu và tính xác thực của một thông điệp với bất kỳ MAC. Hàm băm mật mã như MD5 (MeSSage-Digest algorithm 5) hoặc SHA-1 (Secure Hash Algorithm-1) có thể được sử dụng trong tính toán một hàm băm HMAC. CMAC là thuật toán dựa vào mật mã khối. HMAC và CMAC được sử dụng cho xác thực và kiểm soát toàn vẹn của thông điệp.