IPsec định nghĩa hai phương thức xác định mức độ bảo vệ được cung cấp cho các gói tin IP. Hai chế độ này là phương thức đường hầm (tunnel mode) và phương thức vận tải (transport mode). Trong transport mode, AH và ESP sẽ được đặt sau IP header ban đầu. Vì vậy chỉ có tải (IP payload) là được mã hóa và IP header ban đầu là được giữ nguyên vẹn. Transport mode có thể được dùng khi cả hai host hỗ trợ IPSec. Chế độ transport này có thuận lợi là chỉ thêm vào vài bytes cho mỗi gói tin và nó cũng cho phép các thiết bị trên mạng thấy được địa chỉ đích cuối cùng của gói. Khả năng này cho phép các tác vụ xử lý đặc biệt trên các mạng trung gian (ví dụ như QoS) dựa trên các thông tin trong IP header. Tuy nhiên các thông tin Layer 4 sẽ bị mã hóa, làm giới hạn khả năng kiểm tra của gói. Trong tunnel mode, toàn bộ gói IP ban đầu sẽ bị đóng gói bởi AH hoặc ESP và một IP header mới sẽ được bao bọc xung quanh gói dữ liệu. Toàn bộ các gói IP sẽ được mã hóa và trở thành dữ liệu mới của gói IP mới. Chế độ này cho phép những thiết bị mạng, chẳng hạn như router, hoạt động như một IPSec proxy thực hiện chức năng mã hóa thay cho host. Router nguồn sẽ mã hóa các gói tin và chuyển chúng dọc theo đường hầm (tunnel). Router đích sẽ giải mã gói IP ban đầu và chuyển nó về hệ thống cuối. Vì vậy header mới sẽ có địa chỉ nguồn chính là gateway. Hình dưới cho thấy hai phương thức IPsec so với một gói IP "bình thường".
Trần Ngọc Khải – CCMM03A – Nhóm 3 Trang 51
Hình 2.15 – So sánh giữa 2 phương thức IPSec và IP thường
Như đã đề cập trước đó, các thiết bị đầu cuối của đường hầm IPsec có thể là thiết bị bất kỳ. Hình 1.2 cho thấy các router là thiết bị đầu cuối, có thể được sử dụng cho VPN site to site. Các khái niệm về một đường hầm VPN được sử dụng với cả hai loại tunnel mode và transport mode. Trong transport mode, nội dung gói tin được bảo vệ giữa thiết bị đầu cuối VPN, trong khi ở tunnel mode, toàn bộ gói tin IP ban đầu được bảo vệ.