Xác thực các thuê bao sử dụng trong mạng là việc hết sức quan trọng, nhờ đó mà mạng GSM xác định đƣợc thuê bao hợp lệ của mạng và phòng chống đƣợc những thuê bao sử dụng trái phép nhƣ tin tặc hay các thuê bao từ thẻ SIM nhân bản. Tham gia giao thức xác thực giữa mạng GSM và thuê bao di động có 2 thành phần đó là thẻ SIM của thuê bao di động và thành phần xác thực AuC (Authentication Center) thuộc bộ ghi địa chỉ thƣờng trú HLR của mạng GSM.
Giao thức xác thực giữa mạng GSM và thuê bao đƣợc thực hiện theo minh họa ở hình 2.3 gồm các buớc sau:
Thiết bị di động MS yêu cầu kết nối tới mạng
MSC nhận đƣợc yêu cầu kết nối thông qua trạm BTS nó quản lý, MSC
sẽ gửi yêu cầu xác thực tới HLR
Thành phần xác thực AuC của HLR sẽ sinh ra số ngẫu nhiên RAND,
đồng thời tính ra mã xác thực SRES, khóa phiên Kc và gửi lại cho MSC
MSC gửi lại cho MS số ngẫu nhiên RAND
MS dựa vào khóa chia sẻ Ku trong thẻ SIM để tính ra mã xác thực SRES
và khóa phiên Kc. Sau đó MS sẽ gửi cho MSC mã xác thực SRES.
MSC nhận đƣợc mã xác thực SRES do MS gửi lên sẽ so sanh với mã SRES trƣớc dấy HLR gửi. Nếu 2 mã trùng nhau, thì thuê bao đƣợc xác thực và ngƣợc lại.
Nếu có một địch thủ nghe lén đƣợc đƣờng truyền, anh ta có thể xây dựng đƣợc bộ từ điển (RAND, SRES) chứa các ánh xạ tƣơng ứng giữa RAND và SRES, các giá trị này đƣợc thu lại từ các phiên xác thực trƣớc đó của thuê bao và mạng GSM. Tuy nhiên, ngay cả khi bộ tử điển này của địch thủ đủ lớn thì địch thủ cũng rất khó để có thể giả mạo và qua mặt đƣợc AuC. Bởi vì 2 nguyên nhân, thứ nhất là do
không gian số RAND là rất lớn (Có 2128
số RAND), do vậy địch thủ sẽ có rất ít cơ hội để AuC gửi lại số ngẫu nhiên RAND trƣớc đó đã đƣợc sử dụng và nằm trong từ
điển của địch thủ. Thứ hai là AuC thực hiện việc xác thực liên tục đối với các thuê bao sử dụng dịch vụ, do vậy địch thủ có thể may mắn vƣợt qua lần xác thực thứ nhất, nhƣng xác xuất để vƣợt qua lần xác thức thứ hai, thứ ba một cách liên tiếp là nhỏ. Ngay cả khi địch thủ vƣợt qua đƣợc bƣớc xác thực của AuC, nếu không có
khóa phiên Ks thì địch thủ cũng không thể giao tiếp đƣợc với mạng GSM, bởi sau
khi xác thực đƣợc với thuê bao, mạng GSM sẽ giao tiếp với thuê bao qua kênh
truyền đƣợc mã hóa bởi khóa phiên Ks. Nhƣng khóa Ks chỉ đƣợc tính độc lập từ trên
thẻ SIM và trên AuC dựa vào số ngẫu nhiên RAND và khóa chia sẻ Ku thông qua
thuật toán A8.