Trong tiếng Anh, từ thường được coi là đơn vị nhỏ nhất mang ý nghĩa và có thể sử dụng độc lập. Là đơn vị tự nhiên nhất của tiếng nói, mô hình toàn từ đã được sử dụng rộng rãi cho nhiều hệ thống nhận dạng tiếng nói. Một lợi thế của việc sử dụng mô hình từ là ta có thể nắm bắt cách phát âm vốn có trong những từ này. Khi bộ từ vựng nhỏ, ta có thể tạo các mô hình từ phụ thuộc ngữ cảnh.
Trong khi từ là đơn vị phù hợp cho nhận dạng tiếng nói trên bộ từ vựng nhỏ, chúng lại không phải là lựa chọn tốt đối với nhận dạng tiếng nói liên tục trên
bộ từ vựng lớn vì những lý do sau:
-Mỗi từ phải được xử lý riêng lẻ, và dữ liệu không thể được chia sẻ với nhau trong mô hình từ. Điều này khiến cho số lượng dữ liệu huấn luyện cần thiết là rất lớn.
-Đối với một số tác vụ, các từ vựng nhận dạng có thể bao gồm các từ không xuất hiện trong tập huấn luyện.
-Rất khó để làm thích nghi một mô hình từ sẵn có cho một người nói mới, một kênh mới hay một ngữ cảnh mới.
Thay vào đó, chỉ có khoảng 50 âm tố trong tiếng Anh và chúng có thể được huấn luyện đầy đủ chỉ với vài trăm câu. Không như mô hình từ, mô hình ngữ âm không phát sinh nhiều vấn đề trong việc huấn luyện. Hơn nữa, chúng độc lập với từ vựng và có thể được huấn luyện trên tác vụ này và kiểm tra trên tác vụ khác. Do đó, các âm tố có khả năng huấn luyện cao hơn và tổng quát hơn. Tuy nhiên, mô hình ngữ âm không thỏa đáng vì nó giả định rằng một âm vị trong mọi ngữ cảnh là giống nhau. Dù ta có thể cố gắng nói mỗi từ như là một chuỗi móc nối với nhau của các âm vị độc lập, các âm vị này không được phát sinh một cách độc lập vì khớp răng của ta không thể di chuyển ngay lập tức từ vị trí này đến vị trí khác. Do đó, hiện thực của một âm vị bị ảnh hưởng mạnh mẽ bởi các âm vị kề sát nó. Trong khi mô hình từ không tổng quát, mô hình ngữ âm lại quá tổng quát, và dẫn đến mô hình kém chính xác.
Một sự kết hợp giữa mô hình từ và mô hình ngữ âm là sử dụng một đơn vị âm tiết. Các đơn vị này bao gồm các bó âm tố chứa đựng hầu hết các tác động thay đổi ngữ cảnh. Tuy nhiên trong khi phần giữa của đơn vị này không phụ thuộc ngữ cảnh, phần bắt đầu và phần cuối vẫn bị tác động bởi một vài tác động ngữ cảnh.