Nhiều hệ mã công khai phổ biến hiện nay dựa trên các bài toán số học như bài toán phân tích số nguyên hay bài toán logarit rời rạc. Cấu trúc đại số nền tảng của các bài toán này thường là nhóm giao hoán (abelian group). Tuy nhiên, do khả năng tính toán của các thiết bị phần cứng giờ đây ngày càng mạnh, độ dài khóa (key length) cần thiết để đảm bảo an ninh phải tăng theo. Vì thế, xu hướng mới là phải tìm ra các kỹ thuật trong các cấu trúc đại số phức tạp hơn.
Đã có nhiều nghiên cứu dựa trên nhóm không giao hoán (non-abelian) cho các hệ mã công khai. Ứng dụng của nhóm bện (braid group) được nghiên cứu bởi Anshel (1999) và Ko (2000). Nhóm bện cho phép cài đặt hiệu quả và có nhiều bài toán khó trên cấu trúc này, chẳng hạn bài toán liên hợp (conjugacy) quen thuộc. Hiện tại, một số cách tấn trên hệ mã dựa vào nhóm bện đã được công bố.
Một hướng tiếp cận khác của Paeng và cộng sự (2001) dựa trên bài toán logarit rời rạc trong nhóm tự đẳng cấu trong (inner automorphism group)
( ) { ( ) | }
Inn G = Inn g g G∈ , trong đó G là một nhóm không giao hoán và Inn(g)(x) =
gxg-1. Họ đề ra thuật toán trao đổi khóa mật cùng với sơ đồ chữ ký số. Ưu điểm của phương pháp này là việc mã hóa có thể áp dụng thậm chí trên các bài toán logarit rời rạc và liên hợp không khó trong nhóm G. Tuy nhiên việc cài đặt dường như phức tạp hơn và khó hơn các phương pháp trước.
Hệ mã công khai dựa trên các vành (ring) được nghiên cứu bởi Hoffstein và cộng sự (1998). Ở đây, sự mã hóa bao gồm một yếu tố ngẫu nhiên, dựa trên đại số đa thức (polynomial algebra) và sự rút gọn modulo hai số p và q. Hướng tiếp cận
này không dựa trên bài toán logarit rời rạc. Có nhiều cách tấn công khác nhau trên hệ mã này đã được công bố (năm 2001, 2002).
Các vành ma trận (matrix ring) được nghiên cứu bởi Varadharajan và Odoni
(1984). Cách tiếp cận này là một cài đặt cụ thể của mô hình Diffie-Hellman trên các vành ma trận, sử dụng nhóm con cyclic sinh bởi các lũy thừa của một ma trận trong các vành này. Phương pháp này dễ bị tấn công bằng trị riêng và vector riêng.