Nhiều hệ mã công khai phổ biến hiện nay dựa trên các bài toán số học nhƣ bài toán phân tích số nguyên hay bài toán logarit rời rạc. Cấu trúc đại số nền tảng của các bài toán này thƣờng là nhóm giao hoán (abelian group). Tuy nhiên, do khả năng tính toán của các thiết bị phần cứng giờ đây ngày càng mạnh, độ dài khóa
(key length) cần thiết để đảm bảo an ninh phải tăng theo. Vì thế, xu hƣớng mới là phải tìm ra các kỹ thuật trong các cấu trúc đại số phức tạp hơn.
Đã có nhiều nghiên cứu dựa trên nhóm không giao hoán (non-abelian) cho các hệ mã công khai. Ứng dụng của nhóm bện (braid group) đƣợc nghiên cứu bởi Anshel (1999) và Ko (2000). Nhóm bện cho phép cài đặt hiệu quả và có nhiều bài toán khó trên cấu trúc này, chẳng hạn bài toán liên hợp (conjugacy) quen thuộc. Hiện tại, một số cách tấn trên hệ mã dựa vào nhóm bện đã đƣợc công bố.
Một hƣớng tiếp cận khác của Paeng và cộng sự (2001) dựa trên bài toán logarit rời rạc trong nhóm tự đẳng cấu trong (inner automorphism group)
( ) { ( ) | }
Inn G Inn g gG , trong đó G là một nhóm không giao hoán và Inn(g)(x) =
gxg-1. Họ đề ra thuật toán trao đổi khóa mật cùng với sơ đồ chữ ký số. Ƣu điểm của phƣơng pháp này là việc mã hóa có thể áp dụng thậm chí trên các bài toán logarit rời rạc và liên hợp không khó trong nhóm G. Tuy nhiên việc cài đặt dƣờng nhƣ phức tạp hơn và khó hơn các phƣơng pháp trƣớc.
Hệ mã công khai dựa trên các vành (ring) đƣợc nghiên cứu bởi Hoffstein và cộng sự (1998). Ở đây, sự mã hóa bao gồm một yếu tố ngẫu nhiên, dựa trên đại số
đa thức (polynomial algebra) và sự rút gọn modulo hai số p và q. Hƣớng tiếp cận này không dựa trên bài toán logarit rời rạc. Có nhiều cách tấn công khác nhau trên hệ mã này đã đƣợc công bố (năm 2001, 2002).
Các vành ma trận (matrix ring) đƣợc nghiên cứu bởi Varadharajan và Odoni
(1984). Cách tiếp cận này là một cài đặt cụ thể của mô hình Diffie-Hellman trên các vành ma trận, sử dụng nhóm con cyclic sinh bởi các lũy thừa của một ma trận trong các vành này. Phƣơng pháp này dễ bị tấn công bằng trị riêng và vector riêng.