Theo định nghĩa nguyên thủy trong ISAKMP thì IKE hoạt động hai giai đoạn. Giai đoạn một thiết lập một đường hầm bảo mật cho các hoạt động ISAKMP diễn ra trên đó. Giai đoạn hai là tiến trình đàm phán các mục đích SA.
Oakley đưa ra ba chế độ chuyển khóa và cài đặt các ISAKMP SA:
- Chế độ chính (Main mode): Hoàn thành giai đoạn một của SAKMP sau khi đã thiết lập một kênh bảo mật
- Chế độ năng động (Aggressive mode): Một cách khác để hoàn thành giai đoạn một của ISAKMP. Nó đơn giản hơn và nhanh hơn chế độ chính, nhưng không bảo nhận dạng cho việc đàm phán giữa các node, bởi vì chúng truyền nhận dạng của chúng trước khi đàm phán được một kênh bảo mật.
- Chế độ nhanh (Quick mode): Hoàn thành giai đoạn hai của ISAKM bằng cách đàm phán một SA cho mục đích của việc truyền thông.
IKE cũng còn một chế độ khác đó là chế độ nhóm mới, chế độ này không thật sự là của giai đoạn một hay giai đoạn hai. Chế độ nhóm mới theo sau đàm phán của giai đoạn và đưa ra một cơ chế định nghĩa nhóm riêng cho chuyển giao Diffie-Hellman
Để thiết lập một bảo mật IKE cho một node, một host hay một cổng nối cần ít nhất bốn yếu tố:
- Một giải thuật mã hóa để bảo mật dữ liệu.
- Một giải thuật băm để giảm dữ liệu cho báo hiệu. - Một phương thức xác thực cho báo hiệu dữ liệu. - Thông tin về nhóm làm việc qua tổng đài.
Yếu tố thức năm có thể được đưa ra trong SA, hàm giả ngẫu nhiên (pseudo- random function) sử dụng để băm giá trị hiện tại xuống quá trình chuyển khóa cho mục
đích kiểm tra. Nếu trong SA không bao gồm nó thì HMAC của giải thuật băm (yếu tố thứ hai) được sử dụng.
Chế độ chính:
Chế độ chính đưa ra cơ chế để thiết lập giai đoạn một của ISAKMP SA, bao gồm các bước sau:
- Sử dụng chế độ chính để khởi động một ISAKMP SA cho kết nối tạm. - Sử dụng chế độ nhanh để đàm phán một SA.
- Sử dụng SA được tạo ra ở trên để truyền thông cho đến khi nó hết hạn.
Hình 2.8: Chế độ chính ISAKMP
Bước thứ nhất, sử dụng chế độ chính để bảo mật một ISAKMP SA, diễn ra theo ba bước trao đổi hai chiều giữa SA gửi và SA nhận (hình 2.8). Bước trao đổi đầu tiên thỏa thuận về giải thuật băm. Bước trao đổi thứ hai chuyển giao khóa chung và các nonce của nhau (là những con số ngẫu nhiên mà một bên ghi và trả lại để chứng minh
danh định của nó). Bước thứ ba, hai bên sẽ kiểm tra danh định của nhau và tiến trình trao đổi hoàn tất.
Hai bên có thể sử dụng khóa dùng chung khi chúng nhận được. Hai bên phải băm chúng ba lần: Đầu tiên tạo ra một khóa gốc (để sử dụng tạo khóa phụ trong chế độ nhanh sau này), sau đó là khóa xác thực và cuối cùng là khóa mã để sử dụng cho ISAKMP SA.
Chế độ chính bảo mật danh định của các đối tượng truyền thông. Nếu như không cần việc bảo mật, để cho việc trao đổi nhanh hơn, thì chế độ năng động được sử dụng.
Chế độ năng động:
Chế độ năng động (Aggressive mode) đưa ra dịch vụ cũng tương tự như chế độ chính là thiết lập một ISAKMP SA nguyên thủy. Chế độ năng động trông cũng giống như chế độ chính ngoại trừ chỉ có hai bước trao đổi thay vì ba bước như chế độ chính.
Trong chế độ năng động khi bắt đầu chuyển đổi bên phát sẽ tạo ra một đôi Diffie-Hellman, đưa ra một SA, chuyển đi giá trị Diffie-Hellman công cộng, gửi một nonce cho đầu kia ghi nhận và gửi một gói ID để bên đáp ứng có thể sử dụng để kiểm tra danh định. Phía đáp ứng có thể gửi trả về mọi thứ cần thiết để hoàn tất quá trình chuyển đổi. Việc đáp ứng này tổ hợp ba bước đáp ứng trong chế độ chính thành một do đó bên khởi đầu chỉ cần xác thực việc chuyển đổi (hình 2.9)
Hình 2.9: Chế độ năng động ISAKMP
Do chế độ năng động không đưa ra một cách bảo mật danh định cho các bên tham gia truyền thông nên cần phải trao đổi thông tin danh định trước khi thiết lập một
SA bảo mật. Ai đó theo dõi việc chuyển đổi theo chế độ năng động có thể nhận diện ai đã thiết lập một SA mới. Ưu điểm của chế độ năng động là tốc độ.
Chế độ nhanh:
Sau khi hai đối tượng đã thiết lập một ISAKMP SA bằng chế độ chính hay chế độ năng động thì tiếp đến là sử dụng chế độ nhanh (Quick Mode).
Chế độ nhanh có hai mục đích là: Đàm phán về dịch vụ bảo mật IPSec và tạo ra vật liệu khóa tươi (fresh keying material). Chế độ nhanh được coi là đơn giản hơn chế độ chính và chế độ năng động. Bởi vì nó đã có sẵn một đường hầm bên trong (tất cả các gói đều được mã hóa). Các gói chế độ nhanh đều được mã hóa và được khởi tạo với một tải băm. Tải băm được tạo ra bằng cách dùng một hàm tạo giả ngẫu nhiên đã được đồng ý trước và một khóa xác thực nhận được. Tải băm dùng để xác thực phần còn lại của gói dữ liệu. Chế độ nhanh định nghĩa những phần nào của gói dữ liệu nằm trong phần băm.
Khóa có thể được làm tươi bằng một trong hai cách: Nếu như không cần chuyển tiếp một cách bí mật hoàn toàn thì chế độ nhanh chỉ làm tươi khóa trong chế độ chính hay chế độ năng động với băm thêm. Hai đối tượng truyền thông có thể gửi các nonce qua đường hầm bảo mật và dùng chúng để băm khóa đang tồn tại. Nếu như cần chuyển tiếp một cách bí mật hoàn toàn thì có thể yêu cầu thêm một chuyển đổi Diffie-Hellman thông qua SA đang tồn tại và đổi giá trị của khóa.