Mục đích của chúng ta là xây dựng một mô hình thống kê mà đã sinh ra các mẫu huấn luyện. Phần xây dựng của mô hình này sẽ chứa các thống kê của mẫu huấn luyện ví dụ như tần suất từ “in” trong tiếng anh được dịch thành dans hoặc
en là 3/10, và tần suất được dịch thành dans hoặc au cours de là ½… Tuy nhiên, các thống kê cá biệt này không phụ thuộc vào văn cảnh. Ta mong muốn đưa thêm thông tin văn cảnh vào các thống kê này. Ví dụ như sau, trong mẫu huấn luyện, nếu April là từ đi ngay sau từ in thì tần suất dịch từ in thành từ en là 9/10.
Để biểu diễn thông tin này, chúng ta sử dụng hàm nhị phân, gọi là các hàm chỉ thị (Indicator function) hay hàm đặc trưng (feature function):
Giá trị kỳ vọng của f đối với phân phối thực nghiệm là (mô hình mẫu):
Chúng ta có thể biểu diễn thống kê mẫu bằng giá trị kỳ vọng của một hàm chỉ thị thích hợp. Với mỗi đặc trưng ngôn ngữ mà ta thấy rằng nó cần thiết cho việc dịch đúng thì chúng ta sẽ yêu cầu mô hình thống nhất với nó. Điều này được thực hiện bằng cách ràng buộc giá trị kỳ vọng mà mô hình gán cho đặc trưng tương ứng. Giá trị kỳ vọng của f đối với p(y|x) (mô hình xây dựng):
ở đây (x) là phân phối thực nghiệm của x trong mẫu huấn luyện. Ta ràng buộc hai giá trị kỳ vọng này là bằng nhau (mô hình xây dựng và mô hình mẫu):
p(ƒ) = (ƒ)
Hay:
Ta gọi đây là phương trình ràng buộc.
Đến đây, tổng kết lại ta đã có phương tiện để biểu diễn các thống kê có trong mẫu dữ huấn luyện (cụ thể là(ƒ)) và phương tiện để yêu cầu mô hình của quá trình biểu diễn hiện tượng này (cụ thể là phương trình ràng buộc