IPsec bao gồm ba giao thức chính để giúp thực hiện các kiến trúc IPsec tổng thể, ba giao thức IPsec cung cấp các tính năng khác nhau. Mỗi IPsec VPN sử dụng một số sự kết hợp của các giao thức này để cung cấp các tính năng mong muốn cho VPN.
Trao đổi khóa Internet (IKE): Giúp cho các thiết bị tham gia VPN trao đổi với
nhau về thông tin bảo mật như mã hóa thế nào? Mã hóa bằng thuật toán gì? Bao lâumã hóa một lần. IKE có tác dụng tự động thỏa thuận các chính sách bảo mật giữa các thiết bị tham gia VPN.
Trong quá trình trao đổi khoá, IKE dùng thuật toán mã hóa đối xứng (symmetrical encrytion) để bảo vệ việc trao đổi khoá giữa các thiết bị tham gia VPN. Đây là đặc tínhrất hay của IKE, giúp hạn chế trình trạng bẻ khóa của các attacker.So với các thuật toán mã hóa khác, thuật toán đối xứng có xu hướng hiệu quả hơn và dễ dàng hơn để thực hiện trong phần cứng. Việc sử dụng các thuật toán như vậy đòi hỏi phải sử dụng các khoá phù hợp, và IKE cung cấp cơ chế để trao đổi các khoá.
Đóng gói bảo mật tải (ESP): Có tác dụng xác thực (authentication), mã hóa
(encrytion) và đảm bảo tính trọn vẹn dữ liệu (securing of data). Đây là giao thức được dùng phổ biến trong việc thiết lập IPSec.
Các phương pháp mã hóa sau đây được sử dụng cho ESP:
o Data Encryption Standard (DES): Một phương pháp cũ của mã hóa
thông tin đã từng được sử dụng rộng rãi.
o Triple Data Encryption Standard (3DES): Một thuật toán mã hóa khối
có sử dụng DES ba lần.
o Advanced Encryption Standard (AES): Một trong những thuật toán
khóa đối xứng được sử dụng phổ biến nhất hiện nay.
o Xác thực mào đầu (AH): giao thức AH chỉ làm công việc xác thực và
bảo đảm tính trọn vẹn dữ liệu. Giao thức AH không có chức năng mã hóa dữ liệu. Do đó AH ít được dùng trong IPSec vì nó không đảm bảo tính bảo mật.