Phương trình 6 đòi hỏi việc tính xác suất P(W) cho mỗi chuỗi từ W. Trong lĩnh vực nhận dạng tiếng nói, P(W) được gọi là mô hình ngôn ngữ. Đúng như tên gọi của nó, LM cung cấp thông tin về cú pháp, ngữ nghĩa và phỏng đoán qua giá trị xác suất
P(W) đối với chuỗi từ W. Xác suất P(W) có thể được biểu diễn bởi:
(14) (15)
(16)
Trong đó hi = w1,…,wi-1 là chuỗi từ đứng ngay trước wihay còn gọi là ngữ cảnh của wi. Mức độ khó trong việc ước lượng các xác suất P(wi|hi) tỉ lệ với chiều dài của chuỗi từ hi. Do đó người ta thường giả thiết rằng chuỗi từ này tuân theo tiến trình Markov bậc (n −1) như trong phương trình 16. Các LM tương ứng trong trường hợp
này được gọi là n-gram LM. Hiện nay, n = 2, n = 3 tương ứng với bigram LM và
trigram LM được sử dụng trong hầu hết các hệ thống nhận dạng tiếng nói. Phần sau
trình bày một số chi tiết về trigram LM. Trong trường hợp n = 2, xác suất của chuỗi từ trong phương trình 14 sẽ có dạng:
(17) Để ước lượng các xác suất trigram, ta sử dụng một tập lớn dữ liệu văn bản huấn luyện (training corpus) để ước lượng các tần số trigram:
(18) Trong đó c123, c12là số lần xuất hiện của cụm từ {w1, w2, w3} và {w1, w2} trong tập dữ liệu huấn luyện. Đối với tập từ vựng có kích thước V, sẽ có tất cả V3các trigram khác nhau. Do đó sẽ có rất nhiều những trigram trong số này không xuất hiện trong tập dữ liệu huấn luyện; cũng có nghĩa là chúng sẽ có giá trị xác suất bằng không. Giá trị xác suất bằng không sẽ làm cho tích xác suất trong phương trình 6 bằng không, dẫn đến những kết quả nhận dạng không mong muốn. Để giải quyết vấn đề này, ta cần một phương pháp ước lượng “trơn” cho xác suất của những cụm từ không xuất hiện. Một trong số những phương pháp đó là phép nội suy tuyến tính cho các tần số của unigram, bigram, trigram và một hàm phân bố đồng nhất trên tập từ vựng, như được mô tả trong phương trình 19 sau:
(19) Trong đó f1(.), f2(.) là giá trị tần số của unigram và bigram tương ứng và các hệ số λi được xác định bằng thực nghiệm. Ngoài phép nội suy nói trên, còn một số phương pháp khác cũng thường được sử dụng như back-off LM, Good-Turing