IPSec (IP Security) khác với các giao thức khác ở chỗ nó không tác động lên lớp ứng dụng. Trong khi SSL, TLS và WTLS để đảm bảo thông tin an ninh trên các mạng không an ninh, IPSec nhằm làm cho chính Internet trở lên an ninh. Nó đảm bảo nhận thực, tính toàn vẹn và các dịch vụ riêng tại lớp datagram của IP. Trong khi chủ yếu IPSec nhằm vào các máy client của các máy tính xách tay trong vô tuyến di động, thì các sản phẩm mạng riêng ảo dựa trên IPSec đã bắt đầu xuất hiện cho các PDA. IPSec ngày càng trở thành một giải pháp nổi trỗi khi các thiết bị di động bắt đầu hỗ trợ IPv6, vì IPv6 chứa cả IPSec như là bộ phận của tiêu chuẩn. Cần nhấn mạnh rằng IPSec hỗ trợ TCP/IP chứ không hỗ trợ WAP.
AH đảm bảo nhận thực số liệu và chống phát lại. Nhiệm vụ trước hết của AH là nhận thực nguồn gốc và kiểm tra rằng số liệu là của người phát. AH không đảm bảo bất kỳ mật mã hóa nào. Chức năng này cũng ngăn được cướp phiên.
Hình 1.7. Khuôn dạng gói sử dụng AH trong chế độ truyền tải vàđường hầm (tunnel) của IPSec
Hình 1.7 và 1.8 cho thấy AH’ và ESP được sử dụng và đảm bảo chế độ truyền tải IPSec, nhưng theo tiêu chuẩn cũng có thể kết hợp AH với ESP.
Hình 1.8. Khuôn dạng gói sử dụng ESP
Các phần tử cơ bản của IPSec là SPD (Security Policy Database: Cơ sở dữ liệu chính sách an ninh) và SAD (Security Association Database: cơ sở dữ liệu liên kết an ninh). Mọi giao diện IP có sử dụng IPSec phải được trang bị cơ sở dữ liệu các quy tắc phân loại an ninh và các hành động an ninh. Mỗi cặp quy tắc và hành động được gọi là chính sách an ninh (SP: Security Policy). SA (Security Association: liên kết an ninh) định nghĩa một xử lý gói đơn hướng liên quan đến các hành động thi hành chính sách an ninh. Các hành động định nghĩa việc cần áp dụng các tiêu đề IPSec nào, cần sử dụng các giải thuật nhận thực nào và các khóa nào được sử dụng để thực hiện các giải thuật này. Mỗi giao diện IP có một cặp cơ sở dữ liệu nói trên: một cho lưu lượng vào và một cho lưu lượng ra. Nếu gói không theo quy tắc, giao diện sẽ được lập cấu hình để loại bỏ nó.
Để hiểu rõ hơn các quy tắc nói trên, ta có thể sử dụng thí dụ sau về một mục ghi trong một cặp IPSec SPD và SAD đầu ra. Một chính sách an ninh có thể được xác định bởi mục ghi sau trong SPD của một giao diện IP:
“Đối với tất cả gói liên quan đến địa chỉ IP nhận (191.44.56.82) và số cửa 8080, áp dụng liên kết an ninh ALFFA”.
Liên kết an ninh ALFA là một mục ghi trong SAD của cùng giao diện IP được định nghĩa trên cơ sở chế độ IPSec tunnel với ESP và giải thuật mật mã 3DES (Data Encryption Standard: Tiêu chuẩn mật mã số liệu) với một khóa mật mã được trao đổi nhân công và được trang bị tại các điểm cuối. SA được gọi là khóa đối xứng dựa trên SA.
Các khóa an ninh có thể đối xứng hoặc không đối xứng. Các khóa đối xứng hay khóa riêng được phân phát cho cả hai phía tham dự thông tin an ninh. Các khóa không đối xứng dựa trên mẫu mật mã của các khóa công khai do RSA Data Security sáng chế cũng được sử dụng rộng rãi để thực hiện cả nhận thực lẫn mật mã. Trong thiết lập này, một phía muốn tham gia thông tin an ninh với các phía khác sẽ làm cho một khóa công khai khả dụng để có thể nhận được tại một kho khóa công khai phổ biến. Phương pháp này được gọi là dựa trên khóa không đối xứng vì nó sử dụng một cặp khóa: một khóa công khai được phân phối rộng rãi và một khóa khác đợc giữ bí mật không bao giờ để lộ. Tư liệu được mật mã bằng khóa công khai có thể được giải mã bằng cách sử dụng khóa riêng liên kết. Ngược lại chỉ có thể sử dụng khóa công khai để giải mã tư liệu được mật mã bằng khóa riêng.