Kiến trúc PKI rất đa dạng, tương ứng theo mô hình hoạt động của mỗi tổ chức. Do vậy, hiện chưa có một kiến trúc PKI chuẩn. Mỗi tổ chức có thể chọn mô hình PKI phù hợp nhất với mình, kiến trúc đó phải đảm bảo sự tin cậy. Bản tin muốn xác nhận được gửi từ người dùng nào thì phải kiểm tra bằng khóa công khai của người đó. Độ tin cậy thể hiện ở chỗ khóa công khai phải thực sự là của người gửi. PKI thực hiện việc phân phối khóa công khai và chứng nhận khóa công khai dưới hình thức các chứng thư số. Trong chứng thư số có thông tin định danh về một người
dùng kèm theo khóa công khai của người đó. Toàn bộ nội dung chứng thư số được đảm bảo tính toàn vẹn bằng chữ ký số của CA. Người dùng cần lấy khóa công khai của CA để kiểm tra tính đúng đắn của chứng thư số. Để đảm bảo không bị giả mạo, CA phải phân phối khóa công khai của mình thông qua một kênh mật sao cho người dùng có thể tin cậy được. Một CA có thể được chứng nhận bởi một CA khác. Do đó việc phân phối khóa công khai diễn ra đơn giản hơn. Các CA được chứng nhận này lại chứng nhận CA khác, tạo nên chuỗi các chứng nhận của CA. Chuỗi này được gọi là một đường dẫn chứng nhận (certificate path). Số lượng các CA trong một đường dẫn chứng nhận và tổ chức của các CA cho biết các kiến trúc PKI khác nhau.[11]
Các kiến trúc PKI sau được phân loại dựa trên số lượng CA, tổ chức và mối quan hệ giữa chúng:
• Kiến trúc PKI đơn có một CA (Single CA Architecture).
• Kiến trúc PKI xí nghiệp (Enterprise PKI)
• Kiến trúc PKI lai (Hybrid PKI)