Ngày nay, PKI được triển khai bởi nhiều tổ chức như là công cụ để bảo vệ những tài nguyên tập thể nhạy cảm. Tuy nhiên, với những nhu cầu, quy trình và sự phức tạp khác nhau trong mỗi công việc, chỉ một mô hình được chuẩn hóa cho PKI hoàn toàn không linh hoạt. Vì lý do đó, có nhiều kiến trúc PKI khác nhau mà mỗi tổ chức có thể triển khai để phù hợp nhất với nhu cầu của họ. Tuy vậy, cho dù kiến trúc PKI nào được triển khai, một thứ quan trọng trong cốt lõi của mỗi kiến trúc đó chính là sự tín nhiệm.
CA giúp thiết lập cho việc nhận dạng của các thực thể giao tiếp với nhau được đúng đắn. CA không chỉ chứng nhận cho người sử dụng, mà còn cho những CA khác bằng cách phát hành chứng nhận số đến chúng. Những CA đã được chứng nhận lần lượt có thể chứng nhận cho những CA khác và chuỗi mắc xích này sẽ tiếp tục cho đến khi có thể chứng nhận cho khóa công khai của thực thể cuối. Chuỗi mắc xích này được gọi là “chuỗi tín nhiệm” (chain of trust) hay “đường dẫn chứng nhận” (certification path).
Ngược lại, khi thực thể cuối xác nhận chính mình cho một ứng dụng điện tử (như thương mại điện tử hay chính phủ điện tử), phần mềm mã hóa của ứng dụng sẽ kiểm tra chữ ký trong chứng nhận của thực thể cuối bằng việc sử dụng khóa công khai của CA tạo ra chứng nhận đó. Nếu khóa của CA này không phải là khóa “gốc” (là khóa của CA gốc được mọi người tin cậy) thì chứng nhận chứa nó cũng sẽ được xác thực với khóa công khai của CA ký chứng nhận đó, và cứ như vậy đến khi chứng nhận trong chuỗi tín nhiệm có thể được kiểm tra với một khóa gốc được tin cậy. Chuỗi được xác nhận đó lúc này hàm ý tính chất xác thực của tất cả chứng nhận, bao gồm cả chứng nhận của người dùng cuối.
Dưới đây là một số kiến trúc PKI phổ biến có thể được sử dụng để thiết lập chuỗi tín nhiệm như vậy và mỗi kiến trúc đều có những lý lẽ tán thành và phản đối khi được triển khai thực tế. Sự khác biệt giữa chúng dựa trên số lượng CA, sự sắp xếp và mối quan hệ giữa chúng [19, tr.39-57], [27].
Kiến trúc PKI đơn giản:
Kiến trúc CA đơn (Single CA).
Kiến trúc danh sách tín nhiệm cơ bản (Basic Trust-List).
Kiến trúc PKI trong tổ chức:
Kiến trúc phân cấp (Hierarchical).
Kiến trúc lưới (Mesh).
Kiến trúc lai:
Kiến trúc danh sách tín nhiệm mở rộng (Extended Trust-List).
Kiến trúc chứng nhận chéo (Cross-certified)
Kiến trúc CA cầu nối (Bridge CA).