Chúng ta cĩ thể nhận thấy những dấu hiệu thể hiện yếu tố thời gian trong hầu hết các ngơn ngữ như thời của động từ, các trạng từ chỉ thời gian (hơm qua, ngày mai, 2 ngày sau,…). Chúng cĩ vai trị rất quan trọng để hiểu được nội dung của một câu đưa ra [12]. Ví dụ trong tiếng anh, so sánh 2 câu: “He was crossing the street”
và “He crossed the street” thì chỉ cĩ câu thứ 2 là được hiểu rằng người này đã băng qua bên kia con đường. Như vậy, cần phải xác định được giá trị thời gian (thời điểm) một cách chính xác của câu lệnh trong giao tiếp đa phương thức.
Để thể hiện tầm quan trọng của yếu tố thời gian trong tương tác giữa người và một hệ thống điều khiển chúng ta sẽ minh họa bằng 2 ngữ cảnh của hệ thống nhận dạng đa phương thức tiếng nĩi và cử chỉ cùng cĩ 3 sự kiện (X, Y, Z) giống nhau về thời gian xảy ra mỗi sự kiện và thứ tự thời gian xuất hiện của chúng nhưng kết quả cuối quá trình ở 2 ngữ cảnh lại khác nhau [9].
Hình 2.13 : Hai ngữ cảnh cĩ cùng thứ tự và thời gian xuất hiện nhưng kết quả khác nhau
Chương 2: Tổng quan về bài tốn thơng minh hĩa robot
- 40 -
Hai ngữ cảnh tuy cĩ cùng số lượng các sự kiện, thời gian xuất hiện mỗi sự kiện và thứ tự xuất hiện nhưng khoảng cách thời gian xuất hiện các sự kiện kề nhau là khơng giống nhau. Điều này đã dẫn tới kết quả ở 2 ngữ cảnh là khác nhau. Trong ngữ cảnh 1, sự kiện X xuất hiện tách rời so với 2 sự kiện Y, Z do đĩ nĩ được xử lý như là một sự kiện đơn, hai sự kiện Y và Z sẽ được xử lý như là sự kiện đa phương thức (cùng được xử lý). Trong ngữ cảnh 2, hai sự kiện X, Y xuất hiện liền nhau và được coi là một sự kiện đa phương thức, sự kiện Z xuất hiện độc lập cuối cùng nên được xử lý như một sự kiện đơn. Để minh họa cụ thể ảnh hưởng của khoảng cách thời gian xuất hiện các sự kiện này ta giả định rằng sự kiện X là lệnh đọc
“pressure” hiển thị áp suất của hệ thống, sự kiện Y là “plus two” để tăng giá trị lên 2 đơn vị, sự kiện Z là “pointing at the temperature icon” để hiển thị nhiệt độ hiện tại của hệ thống. Như vậy trong ngữ cảnh 1, sự kiện X xảy ra hệ thống sẽ hiển thị giá trị áp suất hiện tại của hệ thống, sự kiện Y và Z xuất hiện hệ thống sẽ tăng nhiệt độ hiện tại lên 2 độ sau đĩ hiển thị giá trị nhiệt độ này. Trong ngữ cảnh 2, sự kiện X và Y xảy ra hệ thống sẽ tăng áp suất lên 2 đơn vị và sau đĩ hiển thị giá trị nhiệt độ hiện tại khi sự kiện Z xuất hiện.
Một yếu tố nữa cần chú ý khi giải quyết vấn đề thời gian trong giao tiếp đa phương thức là yếu tố thời gian thực xảy ra sự kiện và thời gian sự kiện được đưa vào bộ xử lý. Vấn đề này nảy sinh xuất phát từ bản thân các phương thức truyền thơng của hệ thống, mỗi phương thức cĩ thời gian xử lý là khác nhau. Ví dụ như thời gian xử lý hành động chạm vào là nhanh hơn nhiều so với thời gian nhận dạng tiếng nĩi, hình ảnh và diễn gải thơng tin.