Giao diện đa thể thức
Học viện cơng nghệ bưu viễn thơng Khoa cơng nghệ thông tin Bài tập lớn môn: Tương tác người máy Chủ đề : Giao diện đa thể thức Giảng viên:Vũ Thị Hương Giang Nhóm Mục lục I Giới thiệu chung: Hệ thống đa thể thức Các loại giao diện đa thể thức có, lịch sử phát triển Mục tiêu lợi ích hệ thống đa thể thức II Hệ tương tác có đầu vào, đầu đa thể thức Ưu điểm giao diện đa thể thức: III Sự khác giữa giao diện đa thể thức với giao diện người dùng đồ họa IV.Nguyên tắc thiết kế giao diện đa thể thức Phân chia cơng việc Nguyễn Thiên Văn (I, II) Phạm Hồng Linh (III, IV) I Giới thiệu chung Trong giới ngành cơng nghiệp máy tính truyền thông đẩy mạnh tốc độ đa dạng hình thức thơng tin cung cấp cho người dùng toàn giới Nhân có vấn đề liên quan đến quản lý tương tác với nhiều lên liệu thơng tin, kết hợp âm hình ảnh văn có sẵn máy tính đa phương tiện công ty sản xuất thấy mục tiêu phải thúc đẩy việc cung cấp thông tin cho người dùng Tuy việc truy nhập giao tiếp với cịn nhiều hạn chế, khơng việc trao đổi thông tin người với người hỗ trợ nhiều yếu tố khác việc giao tiếp máy tính người cịn nhiều hạn chế Những thiết bị đầu vào tương đối nguyên thủy chuột bàn phím đa phần chiếm ưu giao diện Hệ thống đa thể thức là gì, tại lại cần xây dựng chúng? Hệ thống đa thể thức là quá trình kết hợp hai hay nhiều chế độ đầu vào cho người sử dụng lời nói, màn hình cảm ứng, các cử động của thể… Điều này đại diện cho một hướng mới của hệ thớng máy tính, là một sự cải tiến từ giao diện WIMP Kể từ lần trình diễn hệ thống “Put That There” của Bolt (1980), bài diễn thuyết về hệ thống kết hợp với tương tác cảm ứng, một loạt các hệ thống đa phương tiện đã xuất hiện Thế hệ giao diện mới với mục đích nhận diện các ngôn ngữ và hành động tự nhiên của người dần dần được phát triển và cải tiến Báo cáo này sẽ xem xét lại các loại chính của giao diện đa thể thức, lợi thế, nền tảng khoa học, tính và đặc điểm kiến trúc, những nghiên cứu chung lĩnh vực tương tác đa thể thức và thiết kế giao diện Thiết kế giao diện đa thể thức ngày càng được quan tâm hỗ trợ tốt hơn, linh hoạt hơn, hiệu quả và người tương tác với máy tính dễ dàng Giao diện đa thể thức dễ sử dụng và sẽ được người dùng lựa chọn nhiều Chúng có khả thực hiện những ứng dụng tính toán khó và có thể phù hợp với bất kỳ điểu kiện sử dụng nào Sự đời giao diện đa thể thức dựa giọng nói, ánh mắt, hành động tự nhiên khởi đầu phát triển với giao diện tính tốn có khả nhận thức cảm giác giống người Giao diện sau không hiển thị số lượng thông tin khác thị giác, thính giác, cảm xúc mà tham gia trực tiếp vào hoạt động người Chúng kết hợp thông tin thu thập qua cảm biến từ môi trường xung quanh để hỗ trợ cho người sử dụng Tương lai giao diện đa thể thức tích hợp chức mới, cấu trúc chưa có linh hoạt hệ thống di động cá nhân Các loại giao diện đa thể thức có, lịch sử phát triển: Hệ thống đa thể thức phát triển nhanh chóng suốt thập kỷ qua với tiến xây dựng hệ thống tính thân thiện giao diện với người Những tiến lớn phần cứng phần mềm hỗ trợ tốt hệ thống đa thể thức Hệ thống ngày đa dạng với kết hợp nhiều phương thức lời nói, cử động mơi, thiết bị hỗ trợ bên Ngoài ra, thành phần ứng dụng đa thể thức mở rộng nhanh chóng, phạm vi hệ thống có hệ thống mơ đào tạo, nhận dạng/xác minh hệ thống cho mục đích an ninh, y tế, hệ thống giao dịch web Trong buổi trình chiếu khái niệm đa thể thức đầu tiên, Bolt để người sử dụng ngồi phía trước phịng chiếu, sử dụng giao diện “Put That There” điều khiển thuyết trình dựa bảng điều khiển cảm ứng nhỏ tay Ví dụ người sử dụng lệnh “tạo hình vng”, hình có trỏ 2D xử lý bên hệ thống Trong số hệ thống đa thể thức đầu tiên, giao diện cịn thơ sơ sử dụng chuột với bàn phím làm tiêu chuẩn đầu vào Các giao diện đa thể thức giao diện đồ họa, ban đầu tập trung hỗ trợ xử lý ngôn ngữ tự nhiên để hỗ trợ người dùng tốt thao tác với hình ảnh phức tạp Khi cơng nghệ giọng nói bắt đầu phát triển năm 1980 1990 hệ thống bắt đầu thêm đầu vào giọng nói thay cho nhập văn thơng qua bàn phím Như vậy, ngơn ngữ tự nhiên giọng nói đại diện tham gia ban đầu công nghệ phát triện giao diện đa thể thức Có nhiều giao diện sử dụng hình thức như: CUBRICON, Georal, Galaxy, XTRA, Shoptalk Miltalk Một số hệ thống đa phương tiện ban đầu hệ thống đồ nói chuyện, trích xuất thơng tin du lịch đánh giá tình hình quân cách sử dụng chuột Ví dụ, người sử dụng hệ thống CUBRICON trỏ đến đối tượng đồ hỏi: có phải khơng quân? CUBRICON hệ thống chuyên nghiệp có kiến thức rộng có khả xử lý ngôn ngữ tự nhiên bao gồm theo dõi đối thoại Còn với hệ thống Geonal, người sử dụng truy vấn hệ thống thơng tin du lịch để lên kế hoạch tuyến đường thơng qua hình cảm ứng Với hệ thống Shoptalk, người sử dụng dùng trỏ đến máy cụ thể phần bố trí lệnh: Hiện tất lần máy không hoạt động Hệ thống hiển thị danh sách câu trả lời, người dùng đặt câu hỏi theo mẫu tự nhập nội dung khác Hệ thống đa phương thức chuyển sang dùng chuột cảm ứng bắt đầu có hệ thống dựa đầu vào có khả truyền đạt thơng tin ngữ nghĩa phong phú Các hệ thống đa thể thức nhận biết hai hình thức tự nhiên ngôn ngữ hành vi người Đến nay, hệ thống kết hợp hai đầu vào phát biểu bút, lời nói cử động mơi phổ biến hầu hết lĩnh vực Trong trường hợp, bàn phím chuột bị bỏ qua Đối với hệ thống phát biểu bút, ngôn ngữ xử lý kết hợp với đầu vào phức tạp bút Cịn với hệ thống chuyển động lời nói mơi, ngôn ngữ xử lý với cử động mơi tương ứng người suốt q trình diễn thuyết Trong trường hợp, đặc tính định lượng tích hợp động hóa, kiến trúc sáng tạo thời gian nhạy cảm phát triển để xử lý cách mạnh mẽ Hệ thống đa thể thức nhận lời nói cử thiết kế nghiên cứu năm 1990, mẫu thử nghiệm QuickSet ban đầu xây dựng vào năm 1994 Hệ thống QuickSet sở thông minh đa phương thức chạy máy tính cầm tay Với QuickSet, người dùng lệnh đa thể thức với câu phức tạp Các hệ thống đại điện cho loạt tính hệ thống, ứng dụng, kỹ thuật xử lý ngơn ngữ khác Bảng 1: Ví dụ chức năng, kiến trúc ứng dụng đa thể thức Mục tiêu lợi ích hệ thống đa thể thức gì? Qua thập niên trước, nhiều lợi ích hệ thống đa thể thức dẫn chứng Không giống thể thức bàn phím chuột truyền thống hay thể thức tảng nhận biết, hệ thống đa thể thức cho phép sử dụng hiệu cách thức đầu vào Điều bao gồm lựa chọn cách thức sử dụng để truyền tải dạng thông tin khác nhau, để sử dụng kết hợp phương thức đầu vào, hay biến đổi phương thức vào thời điẻm Từ phương thức đầu vào cá nhân phù hợp vài hồn cảnh, dù có ý tưởng hay không phù hợp với người khác, phương thức lựa chọn phương thức quan trọng đưa hệ thống đa chế độ Giống hệ thống ngày phức tạp đa năng, thể thức cá nhân đơn giản không cho phép tất người dùng tương tác qua lại hiệu tất nhiệm vụ tài nguyên với Từ có thể thức cá nhân rộng khác hữu dụng ưa chuộng để sử dụng phương thức khác truyền thông, thể đa thức cho phép nhóm người dùng khác thực lựa chọn kiểm soát việc tương tác với máy tính (Fell, tác giả khác năm 1994; Karshmer & Blattner, 1998) Trong phương diện này, hệ thống đa thể thức có tiềm điểu tiết phạm vi người dùng rộng so với thể thức truyền thống – bao gồm người dùng độ tuổi, trình độ, ngơn ngữ, cách nhận thức khác nhau,người có suy yếu cảm giác, hay ốm đau tạm thời hay tàn tật Ví dụ, người bị suy giảm thị giác hay bị căng thẳng kéo dài thích nói đầu vào văn theo lời nói đầu Ngược lại, người dùng bị suy giảm khả nghe hay giọng nói nhấn mạnh thích tiếp xúc, hành động hay dùng bút đầu vào Sự xen kẽ tự nhiên cách thức cho phép hệ thống đa thể thức có hiệu ngăn ngừa lạm dụng thiệt hại vật lý cho phương thức đơn lẻ nào, đặc biệt suốt thời kỳ nâng cấp máy tính (Markinson, thơng tin cá nhân, 1993) Ngồi lý người dùng làm trung tâm để tránh lỗi tốt độ phân giải,đó lý hệ thống làm trung tâm để xử lý lỗi tốt hơn.Một thiết kế đa phương thức kiến trúc với hai chế độ đầu vào ngữ nghĩa phong phú hỗ trợ định hướnglẫn tín hiệu đầu vào.Ví dụ, người sử dụng nói "mương" nhưngbài phát biểu khẳng định từ "rãnh" đoán tốt nó, sau cơng nhận số nhãn hiệu đồ họa song song dẫn đến phục hồi việc giải thích số nhiều xác.Phục hồi xảy kiến trúc đa phương thức recognizer phát biểu xếp hạng giải thích số nhiều "hào" làmột lựa chọn ưa thích danh sách n tốt mình.Định hướng lẫn nhauliên quan đến việc phục hồi từ lỗi nhận unimodal kiến trúc đa phương thức, thơng tin ngữ nghĩa từ chế độ đầu vào cung cấp định hướng phầncủa chế độ khác, từ dẫn đến hiệu suất hệ thống tổng thể ổn định mạnh mẽ(Oviatt, 1999a, 2000a).Một ví dụ khác định hướng lẫn thể hình 3.Để đạt xử lý lỗi tối ưu, giao diện đa phương thức lý tưởng nên thiết kế để bao gồm chế độ đầu vào bổ sung, đó, phương thức đầu vàothay cung cấp chức trùng lặp mà người dùng hồn thành mục tiêu họ cách sử dụng hai chế độ Hình 2: Đa thể thức lệnh "pan" đồ, minh họa định hướng lẫn xảy phát biểu thông tin đến cử chỉ, chẳng hạn giả thuyết từ vựng kéo lên hai danh sách tốt để sản xuất đa phương thức xác cuốicùnggiải thích II Hệ tương tác có đầu vào, đầu đa thể thức Ưu điểm giao diện đa thể thức: Tương tác ngôn ngữ tự nhiên Tương tác cử Tương tác nét mặt Tương tác ý nghĩ Giao diện tương tác ngôn ngữ tự nhiên 1.1 Đặc trưng: • Tương tác trực quan với máy tính thơng qua đối thoại • Giao diện sử dụng tự nhiên • Máy tính hiểu đáp trả lại thông tin mà người muốn 1.2 Các thiết bị vào cần có Thiết bị đầu vào thiết bị thu giọng nói như: Micro… Thiết bị đầu là: loa, hình… 1.3 Ưu điểm nhược điểm Ưu điểm : • Người dùng nhanh chóng sử dụng ứng dụng, soạn tin nhắn, mở nhạc mà không cần dùng tay chạm vào hình • Tương tác giọng nói khiến cho người sử dụng thấy thoải mái thích thú so với hinh thức tương tác thơng thường • Giao diện tương tác gần gũi với người Nhược điểm: • Với cơng nghệ xử lý ngôn ngữ tự nhiên chưa phát triển, việc xây dựng ứng dụng giao tiếp qua đối thoại nhiều hạn chế • Ngơn ngữ cong người đa dạng phong phú, nên việc xử lý ngôn ngữ tự nhiên khó khăn • Mỗi người có cách phát âm ngữ điệu khác nên máy tính khó xử lý • Cơng nghệ cho việc tương tác qua giọng nói chưa thực phát triển khiến cho người sử dụng cảm thấy khó chịu Giao diện tương tác cử 2.1 Đặc trưng: Giao diện sử dụng tự nhiên Kết hợp điểm mạnh hệ tương tác : remote cảm ứng Mang tính trực quan hệ tương tác khác, nên người dùng tương tác dễ dàng với sản phẩm điện tử 2.2 Các thiết bị vào cần có để hỗ trợ: • Camera: để tiếp nhận hình ảnh đầu vào • Bộ cảm biến • Màn hình: hiển thị kết đầu • Hệ thống 3D Ưu điểm: • Tương tác dựa cử đem lại giao diện người dùng đơn giản, dễ sử dụng, thú vị đáp ứng nhu cầu tự mô trường tương tác máy tính người • Cung cấp cho người sử dụng kinh nghiệm niềm vui tuyệt vời mà tương tác truyền thống (chuột, bàn phím) khơng thể cung cấp Nó làm cho tương tác người với máy tính tự nhiên hơn, cải thiện sống người áp dụng cách đắn Nhược điểm: • Giống chơi trị chơi Xbox, tương tác dựa cử làm cho người dùng cảm thấy mệt mỏi sử dụng thời gian dài Trong tương tác truyền thống, người dùng cần di chuyển bàn tayhoặc ngón tay nhẹ bàn phím chuột, người dành ngày ngồi trước máy tính • Giao diện tương tác cử đòi hỏi mức độ cao chí ý, tương tác truyền thống giúp cho người sử dụng làm nhiều việc khác tương tác với máy tính ( ví dụ ăn uống nói chuyện với bạn bè lướt web) Giao diện Tương tác nét mặt 3.1 Đặc trưng: • Kết hợp remote cảm ứng • Cần thiết bị đầu vào có khả thu nhận hình ảnh • Giao diện sử dụng tự nhiên • Khơng cần đến điều khiển • Hữu ích người tàn tật 3.2 Các thiết bị vào/ra cần thiết: • Thiết bị đầu vào: Camera webcam • Thiết bị đầu ra: Màn hình – hiển thị kết • Bộ cảm biến, phần mềm tương tác Ưu điểm: • Tương tác dựa nét mặt đem lại giao diện người dùng đơn giản, thú vị đáp ứng nhu cầu tự mơ trường tương tác máy tính người Nhược điểm: 10 • Người dùng gặp nhiều bất tiện cách tương tác này, dẫn đến khả thao tác khơng xác khơng theo mong muốn • Chi phí cao • Cần có tham gia thiết bị phụ trợ camera, webcam, cảm nhận… Tương tác ý nghĩ 4.1 Đặc trưng: • Các xung não sử dụng để kiểm sốt máy móc máy tính, robot xe lăn… • Giao tiếp dựa vào tín hiệu não • Giao tiếp ý nghĩ không thông qua kênh giao tiếp thơng thường lời nói, cử mà ý nghĩ không gây âm thanh, hành động, khơng nhìn thấy mắt thường • Giao tiếp ý nghĩ mở rộng giới hạn việc giao tiếp đơn cho thấy việc truyền thông từ não đến não 4.2 Các thiết bị hỗ trợ: Đầu ra: mệnh lệnh sau tín hiệu não giải mã tạo lệnh cho hệ thống khác thực hành động Đầu vào thiết bị thu nhận xung thần kinh hay tín hiệu não Ưu điểm: Giao diện dễ sử dụng theo ý muốn người dùng Nhược điểm: • Vì não người hệ thống phức tạp nên việc nghiên cứu phát triển công nghệ rộng rãi gặp nhiều khó khăn • Giao diện phức tạp • Các thiết bị hỗ trợ phức tạp, đòi hỏi công nghệ cao nên giá thành cao không phổ biến rộng rãi III Sự khác giữa giao diện đa thể thức với giao diện người dùng đồ họa Giao diện người dùng đồ họa thường cho rằngcó dòng kiện điều khiển vòng lặp kiện bản, với xử lý tự nhiên Ngược lại, giao diện đa thể thức thường xử lý đầu vào liên tục đồng thời Giao diện người dùng chorằng hành động giao diện bản, chẳng hạn lựa chọn mục, kiện rõ ràng.Ngược lại,hệ thống đa thể 11 thức xử lý các chế độ đầu sử dụng công nghệ dựatrên sự thừa nhận, thiết kế để xử lýkhông chắn kéo theo đó xác suất xử lý Giao diện người dùng thường xây dựng để phân chia từngứng dụng phần mềm mà họ kiểm soát, thành phần giao diện thường tập trung máy.Ngược lại, giao diện người dùng u cầu tính tốn nhớ lớn Giao diện đa thể thức trình hai hay nhiều công nhận dựa yêu cầu thời gian đầu vào, phát triển hạn chế các hoạt động IV Nguyên tắc thiết kế giao diện đa thể thức: Khi người tương tác với máy tính, thơng tin liên lạc chia thành bốn trạng thái khác Trạng thái trạng thái định, thơng tin liên lạc nội dung tin nhắn chuẩn bị cho ý định, vô thức cho nội dung có ý thức Trạng thái thứ hai trạng thái hành động, nơi mà thơng tin liên lạc có nghĩa để truyền tải thơng điệp lựa chọn, chẳng hạn lời nói, cử biểu khuôn mặt Các máy, lần lượt, làm cho việc sử dụng số lượng khác mô-đun để nắm bắt thông tin từ người sử dụng, có tương tự bốn trạng thái (Hình 1) 12 Lúc đầu, thơng điệp giải thích trạng thái nhận thức, nơi mà hệ thống đa phương thức nhận thông tin từ nhiều cảm biến, mức nhiều biểu Trong trạng thái giải thích, hệ thống đa phương thức cố gắng để cung cấp cho số ý nghĩa để thông tin khác thu thập trạng thái nhận thức Điều thường hợp tin nhắn đa phương thức diễn Hơn nữa, trạng thái tính tốn, hành động thực theo quy tắc kinh doanh quản lý logic đối thoại xác định nhà phát triển.Tùy thuộc vào ý nghĩa đúc kết trạng thái giải thích, câu trả lời tạo truyền trạng thái hành động, cơng cụ phân hạch xác định phương thức liên quan đến trả lại tin nhắn, tùy thuộc vào ngữ cảnh sử dụng (ví dụ xe hơi, văn phòng, vv) hồ sơ cá nhân người dùng (người sử dụng người khiếm thị, người già, vv) Những quy tắc thiết kế giao diện đa thể thức dựa theo nhận thức người dùng phổ biến: •Đơn giản hóa thiết kết giao diện Các thiết kế giao diện phải cố gắng đạt đến đơn giản hóa người sử dụng dễ dụng tốt •Sự quán giao diện 13 Có số lập luận việc thiết kế giao diện có cần phải cố gắng “trực quan” khiến người xem phải tư Tuy nhiên chắn phải có thống – gắn kết với •Giao diện ngắn gọn đầy đủ dễ hiểu Một thiết kế giao diện cần phải có ngắn gọn phải đầy đủ phải “dễ hiểu” người sử dụng •u cầu người dùng với hành động giao diện Trong thiết kế giao diện người dùng đòi hỏi chủ đề (đối tượng ) động từ (hành động đối tượng ).Nó phản ánh hành động giao diện người dùng phải tạo thành hành động tự nhiên mà họ dễ dàng nắm bắt hiểu •Giao diện dựa cửa sổ frame - Phần giao diện cửa sổ.Nó chứa điều khiển chuẩn hóc bên bên phải phóng to,thu nhỏ, đóng cửa sổ phần liệu hiển thị bên cửa sổ •Giao diện dựa menu - Chiến lược đối thoại phổ biến Menu.Có nhiều loại menu người dùng thường chọn hành động từ menu: - Menu kéo thả, menu xếp tầng,menu pop-up - Thanh công cụ menu icon - Menu siêu lien kết.Thanh menu bar •Giao diện dựa dịng lệnh Thay cho menu dụng tệp lệnh.Người dùng phải học cú pháp cho tập lệnh nên giao diện phù hợp với người dùng chuyên gia •Các nguyên tắc Trợ giúp người dùng Hiểu Trợ giúp mà người dùng cần •1 Định hướng mục tiêu “Tơi làm với chương trình này?” •2 Mơ tả “Cái gì? Thế nào? Làm sao?” •3 Thủ tục “Làm để làm điều này” •4 Diễn giải “Tại điều xảy ra” •5 Định hướng “Tôi đâu?” Đối với thiết kế giao diện, sản phẩm cần ẩn chứa “trợ giúp” người dùng cần dễ dàng nhận biết họ có sản phẩm gì, để làm gì, sử dụng nào, phù hợp với văn hóa họ 14 •Ngun tắc an tồn Trong thiết kế coi điều xác định nhận thức khác hàng, cung cấp thiết kế vượt khỏi nhận định thẩm mỹ họ, họ cảm thấy không tin tưởng, họ không tin tưởng thấy thiết kế theo họ tệ Nó phải nằm mức độ nhận thức họ.Hãy người dùng tự tin cách tạo dựng hệ thống an tồn •Quy tắc thẩm mỹ Tạo chương trình đẹp mắt Khơng thiết chương trình tác phẩm nghệ thuật Nhưng tốt xấu xí Có nhiều quy tắc thiết kế đồ họa học dễ dàng Một nguyên tắc họa sĩ nhà viết tiểu thuyết viễn tưởng William Rotsler khuyên: “Đừng làm mà người nghĩ giống sai lầm” Một lĩnh vực liên quan tới thẩm mỹ quan trọng thời gian Người dùng khơng thích chương trình, trang web chậm chạp Hãy sử dụng thủ thuật tốt để làm tất chạy nhanh •Nguyên tắc thử nghiệm người dùng Kêu gọi giúp đỡ từ người khác để khắc phục sai sót thiết kế bạn Trong nhiều trường hợp, nhà thiết kế tốt phát khiếm khuyết giao diện người dùng Tuy nhiên, có loại khiếm khuyết khó phát hiện, thực tế nhà thiết kế bỏ qua nhiều lỗi mà nhiều người bình thường phát Trong trường hợp khác lỗi xảy người sử dụng chương trình Thử nghiệm người dùng đề nghị chạy thử chương trình với người dùng cuối phương pháp hiệu để phát lỗi thiết kế Tuy nhiên có vài kỹ thuật cụ thể để tối đa hóa thử nghiệm với end user •Thiết lập quan sát Tạo nhiệm vụ thực tế cho người dùng, sau đề nghị người dùng cuối có kinh nghiệm sử dụng, sử dụng sản phẩm (tránh người quen thuộc với sản phẩm mình) •Mô tả cho người dùng công việc Cho họ biết bạn kiểm tra sản phẩm Hãy nói với họ có lỗi, khơng phải họ, bạn phải giải •Thảo luận cách sử dụng •Lắng nghe phát biểu lời người dùng, họ nghĩ sản phẩm •Mơ tả tính giới thiệu sản phẩm 15 •Kết luận quan sát •Sử dụng kết Sử dụng người dùng thử nghiệm xảy thời điểm việc thiết kế giao diện, nhiên, thường hiệu để xây dựng mơ hình mẫu thử nghiệm trước xây dựng mơ hình thực tế Dễ dàng để đối phó với lỗi thiết kế phát trước Kĩ thuật thiết kế giao diện đa thể thức: Các thành phần chung cho xử lý tích hợp đa phương thức: động nhiệt hạch, mô-đun phân hạch, hộp thoại quản lý quản lý bối cảnh, mà tất tạo thành gọi "ủy ban hội nhập" Hình minh họa luồng xử lý thành phần này, phương thức đầu vào đầu ra, ứng dụng khách hàng tiềm Như minh họa hình, phương thức đầu vào lần cảm nhận khác nhau, mà kết họ để động nhiệt hạch, chịu trách nhiệm đưa giải thích phổ biến yếu tố đầu vào Các cấp độ khác mà xin nhận kết hợp mô tả phần tiếp theo, với hợp chế khác Khi động nhiệt hạch để giải thích, giao tiếp quản lý thoại, chịu trách nhiệm xác định trạng thái thoại, chuyển tiếp để thực hành động để giao tiếp với ứng dụng định, / tin nhắn để trở lại thông qua thành phần phân hạch Các công cụ phân hạch cuối chịu trách nhiệm trả lại thông điệp tới người dùng thơng qua phương thức thích hợp kết hợp phương thức, tùy thuộc vào hồ sơ cá nhân người dùng ngữ cảnh sử dụng Vì lý này, người quản lý bối cảnh, chịu trách nhiệm theo dõi hồ sơ địa điểm, bối cảnh người sử dụng, chặt chẽ truyền thông thay đổi môi trường để thành phần khác, để họ thích ứng với giải thích họ 16 Kết hợp thể thức đầu vào: Sự kết hợp phương thức đầu vào tính phân biệt giao diện đa phương thức từ giao diện thể thức.Mục tiêu hợp để trích xuất ý nghĩa từ tập hợp phương thức đầu vào vượt qua để người quản lý hộp thoại người-máy.Sự kết hợp phương thức khác nhiệm vụ khó, thực ba mức độ: mức độ liệu, mức độ tính mức độ định.Ba loại kiến trúc khác biến quản lý cấp định hợp nhất: kiến trúc dựa khung hình, thống dựa kiến trúc kiến trúc hợp lai, tượng trưng / thống kê 17 - Kết hợp cấp liệu sử dụng giao dịch với nhiều tín hiệu đến từ nguồn phương thức tương tự (ví dụ, hai webcam ghi âm cảnh từ quan điểm khác nhau) Với kế hoạch nhiệt hạch, khơng có mát thơng tin xảy ra, tín hiệu xử lý trực tiếp Quyền lợi thiếu sót cấp liệu nhiệt hạch Do vắng mặt tiền xử lý, nhạy cảm với tiếng ồn thất bại - Kết hợp cấp tính loại phổ biến kết hợp chặt chẽ phương thức đồng thời gian hợp Ví dụ tiêu chuẩn hợp lời nói cử động mơi Nhiệt hạch cấp tính dễ bị thơng tin mức độ thấp, xử lý tiếng ồn tốt Các kiến trúc cổ điển sử dụng cho loại hình hợp hệ thống thích nghi mạng thần kinh nhân tạo, mơ hình hỗn hợp Gaussian, mơ hình Markov ẩn Việc sử dụng loại kiến trúc thích nghi có nghĩa hệ thống nhiệt hạch cấp tính cần đào tạo nhiều liệu thiết lập trước họ đạt hiệu suất thỏa đáng - Kết hợp cấp định loại phổ biến hợp đa phương thức ứng dụng Lý khả quản lý lỏng lẻo, phương thức thế, bút, ví dụ tương tác giọng nói Nhạy cảm thất bại tiếng ồn thấp với tính cấp định, kể từ liệu xử lý lại Một mặt, điều có nghĩa kết hợp cấp định dựa vào chất lượng xử lý trước Mặt khác, thống trạng thái định dựa mức độ hợp có lợi ích việc cải thiện độ tin cậy độ xác giải thích ngữ nghĩa, cách kết hợp phần thông tin ngữ nghĩa đến từ chế độ đầu vào mang lại "định hướng lẫn nhau" Bảng tóm tắt mức nhiệt hạch, đặc điểm chúng, tính nhạy cảm, bối cảnh sử dụng 18 Kiến trúc tiêu biểu cho kết hợp cấp định khung dựa hòa hợp, thống trạng thái, dựa kết hợp kết hợp tượng trưng / thống kê lai • Khung kết hợp sử dụng cấu trúc liệu gọi khung tính có nghĩa đại diện liệu đến từ nhiều nguồn khác phương thức Những cấu trúc đại diện cho đối tượng cặp giá trị thuộc tính • Thống dựa kết hợp đệ quy hợp thuộc tính giá trị cấu trúc để có đại diện có nghĩa tồn hợp lý • Kết hợp thống kê / biểu tượng tiến hóa phương pháp tiếp cận tiêu chuẩn dựa biểu tượng thống nhất, có thêm kỹ thuật xử lý thống kê để hợp kỹ thuật mô tả Các loại kỹ thuật kết hợp "lai" chứng minh để đạt kết mạnh mẽ đáng tin cậy Kết hợp thể thức đầu ra: Khi phương thức text-to-speech tổng hợp, tín hiệu âm thanh, tín hiệu hình ảnh, thơng tin phản hồi có sẵn, đầu lựa chọn trở thành nhiệm vụ để thích ứng với bối cảnh sử dụng (ví dụ xe hơi, nhà, cơng việc), loạinhiệm vụ (ví dụ, tìm kiếm thơng tin, giải trí) loại người sử dụng (ví dụ khiếm thị, người già).Kỹ thuật phân hạch cho phép ứng dụng đa thể thức để tạo thông điệp đưa hình thức thích hợp theo bối cảnh hồ sơ người dùng.Về mặt kỹ thuật, phân hạch bao gồm ba nhiệm vụ: - Thông điệp xây dựng, nơi mà thông tin truyền đến người sử dụng tạo ra, cách tiếp cận để lựa chọn nội dung cấu trúc chủ yếu xoay quanh 19 hai phương pháp tiếp cận dựa lược đồ kế hoạch dựa cách tiếp cận - Đầu kênh lựa chọn, giao diện lựa chọn theo bối cảnh người sử dụng hồ sơ cá nhân để truyền đạt tất liệu hiệu tình định.Các đặc điểm phương thức đầu có sẵn, thơng tin trình bày, mục tiêu giao tiếp người thuyết trình, đặc điểm người sử dụng nhiệm vụ thực hình thức kiến thức sử dụng để lựa chọn kênh đầu - Xây dựng kết thống đồng bộ: kênh đầu nhiều sử dụng, bố trí phối hợp thời gian đưa vào tài khoản Hơn nữa, số hệ thống sản xuất đa thể thức biểu qua phương thức đề cập, phải phối hợp Tài Liệu tham khảo: [1] Bruno Dumas, Denis Lalanne, Sharon Oviatt, Multimodal Interfaces: A Survey of Principles, Models and Frameworks [2] Multimodal Interfaces Chapter to appear in Handbook of Human-Computer Interaction, (ed by J Jacko & A Sears), Lawrence Erlbaum: New Jersey, 2002 [3]Lương Mạnh Bá Tương tác người máy 20 21