Xây dựng mô hình các giao diện người dùng thân thiện dựa trên agent thông minh đề tài NCKH QG 07 47 pdf

ĐẠI HỌC QU ÓC GIA HÀ NỘI X ây d ự n g mơ hình giao diện ngư ịi dùng thân thiện dựa agent thông minh Ọ G 07.47 M ã số: Chu nhiệm đẽ tài: I TS Bùi Thế Duy O A I H Ọ C Q U Õ C G IA H À N Ó ! I T R U N G T Ẩ M T H Ò N G TIN THU V ÉN OT / ^ Ha N ội - 2009 MỤC LỤC Giới thiệu hệ thống hội thoại dựa agent 2 Nội dung hội th o i 3 Biểu lộ cảm xúc hội thoạitrên khuôn mặt D Cử chi hội thoại 15 4.1 Ngôn ngừ đánh dấu cư c h i 16 4.2 Tông hợp neôn ngữ chi tiêng Việt trono agent hội thoại D 19 Nhập liệu hộithoại thông qua nhận dạne chừ viết tay trực tu yế n 22 5.1 Thuật toán lấy điểm m ẫu 26 5.2 Hệ thống nhận dạng 28 5.3 Thựcnghiệm 29 Kết lu ậ n 32 Tài liệu tham k h a o 33 Các phối họp nghiên cứu Chủ trì đề tài: TS Bùi Thế Duy, Phịng Thí nghiệm Tương tác Người-Máy, Trườna Dại học Công nghệ, Đại học Quốc gia Hà Nội Cán tham gia: o TS Nguyễn V iệt Hà Bộ môn Công nghệ phần mềm Trườne Đại học Công nghệ, Đại học Quốc gia Hà Nội o TS Lê Anh Cường, Bộ mơn Khoa học Má)' tính Trườne Đại học Cône nghệ Đại học Ọuốc aia Hà Nội o Ths Ma Thị Châu, Bộ mơn Khoa học Máy tính Trường Dại học Côns nghệ, Đại học Quốc gia Hà Nội o Ths Nguyễn Thị Nhật Thanh Phịne Thí nghiệm Tương tác Người-Máv Trường Đại học Cône nghệ, Đại học Quốc Ía Hà Nội o NCS Lê Thị Hợi, Phịng Thí nghiệm Tương tác Người-Máy, Trườne Đại học Cơng nghệ Đại học Quốc gia Hà Nội o NCS Nsô Thị Dun Phịng Thí nghiệm Tương tác Người-Máy Trường Đại học Cône nghệ, Đại học Quôc gia I Nội o Nguyễn Duy Khương Phịng Thí nghiệm Tương tác Naười-Máy Trường Đại học Công nghệ Đại học Quốc gia I Nội o Ngơ Tiến Đạt Pliịne Thí nehiệm Tươne tác Người-Máy Trườne Đại học Công nghệ Đại học Quôc gia Hà Nội DANH MỤC HINH VẼ Hình M ô hình giao diện naười dùng dựa aaent hội thoại Hình Mầu file A M L Hình Mơ hình mặt theo C A N D ID E G R E T A Hình Khn mặt biểu lộ cảm x ú c 10 Hình Mơ hình tương tác với hệ thốne I lình Giao diện tươim tác hệ thong 15 Hình Bảng chừ ngơn ngừ cử chi tiếng V iệ t 16 Hình Các khớp nối H-anim chúng tơi sư dụns trone aaent 3D đê tôns hợp naôn 10 ngừ cử tiếng V iệ t 20 I lình Tống hợp ngôn ngừ cử tiếng Việt agent hội thoại 3D .21 I lình 10 Aucnt 3D thể câu "Sáng di học” trons neôn ngừ cứchitiêns V iệ t 21 I lình 1 Agent 3D đánh vân từ "PEACH" trona ngôn ngừ cư ch i 21 Hỉnh 12 Các thiêt bị câm tay hình cam ứng 22 I lình 13 Thể xấp xi nét băn 16 diêm sau dược biên dơingượcnhờ 16 tham số 25 1lình 14 Sơ dồ thuật tốn tính sổ điêm mồi n é t 26 I lình 15 Thế điểm tương đương sai sô cua diêm 27 I lình 16 Thể lây mẫu 16 điêm tham sô xâp xi cuabiênđôi Cosine 27 I lình 17 Sơ đồ bước thuật toán độ phức tạp tirơns ứn2 với bước 28 I lình 18 I lệ thốnu nhận dạns chữ viết tay tiếns V iệ t 29 I I inh 19 M ô hình chương trình nhộn dạna chữ viết tay tiếng Việt trực truyền I lình 20 Ví dự nhộn dạng chữ viết tay tiếng V iệ t 11 TĨM TẢT NHŨNG KÉT QUẢ CHÍNH CỦA ĐÈ TÀI NCKH Tên đề tài: “ Xây dựng mơ hình Ìao diện người dùng thân thiện dựa aeent thơne m inh" Mã số: QC.07.47 Chủ trì đề tài: TS Bùi Thế Duy Nhũng kết chính: 3.1 Kêt vê khoa học (những đóns góp đề tài công trinh khoa học công bố): Đê tài dã đưa mơ hình giao diện người dùne thân thiện dựa agent thône minh Đây hệ thơng agent hội thoại minh với mơ hình suy nehĩ, tính cách, cảm xúc, với kha giao tiêp với người sứ dụng thông qua văn ban tôna hợp tiêp nói biêu lộ cảm xúc khn mặt 3D thông qua cư chi nhận dừ liệu vào thơns qua bàn phím nhận dạng chừ viêt tay trực tuyên Cụ thê dè tài dưa tập trune, vào phương pháp tích hợp hội thoại với biêu lộ cám xúc sinh cư ch irons hội thoại phương pháp nhận dạne chừ tiêne Việt trục tuyến tiẻne Việt Các kết qua nghiên cứu cua đê tài thê qua báo dang k> yếu hội nghị quốc tế báo cáo hội nghị qc tê • 03 báo đăng kỷ u hội nehị quôc tê (đăng bơi IEEE CS) rhe Duy Bui Duy Khuone Nguyen Tien Dat N«o "Supervising an unsupervised neural netw ork" Asian Conference on Intelligent Inform ation and Database Systems Quanii Binh Vietnam IEEE Computer Society Press Nmiyen Duy Khuong The Duy Bui "On the Problem o f Classifying Vietnamese Online Handwritten Characters" ỈC A R C Ỉ' 2008: IEEE Computer Society 2008 Du\ Khuoim Nguyen I he l)u \ Bui "Recoani/ina Vietnamese Online Handwritten Separated Characters" A LP ÍT 200H: IF.F.H Computer Society 2008 • 02 báo cáo hội nahị quôc tè Da Phuc Phan, Thi Nhat Thanh Nguverh The Duy Bui , "A 3D Conversational Agent for Presenting D igital Information for Deaf People" PRIMA2007 Thi Duyen Ngo, The Duy Bui , "When and How to Smile: Emotional Expression for 3D Conversational Aeents", PRIMA2007 3.2 Ket phục vụ thực tế : M ột hệ thông giao diện người dùne thư nehiệm dựa aaent thôna minh 3.3 Kêt đào tạo (sô lượna sinh viên, học viên cao học nahiên cứu sinh làm việc trone dề tài): - 02 cử nhân tốt nghiệp: • Đào Thanh Tuan, A SIFT-based Face Recognition Method, khỏa luận lịt nghiệp trường Đại học Cơng Nghệ, 2008 • Nguyễn Duv Khương, Các phương pháp nhận dạng chữ viết tay tiêng Việt trực tuyến Khóa luận tôt nghiệp Trườna Đại học Công nahệ 2008 - 02 thạc sĩ dã bảo vệ thành cơng: • Vũ Quốc Huy Xây dụng hệ thông agent hội thoại thôn cho tirơMỊ tác người-máy Đại học Cơng nghệ 2009 • Đặng Tuân Anh Nghiên cứu nhân ban chuyên động khuôn mặt mơ hình khn mặt 3D khác Đại học 3.4 Kết Cơng n«hệ 2009 q Iiâng cao tiềm lực khoa học (nâne cao trình độ cán tăng cường, trana thiết bị cho dơn vị): - Nâng cao lực chun mơn cua cán phịna thí nghiệm vè lĩnh vực tro na tirơne tác người máy agent thông minh BÁO CÁO TỔNG KÉT Hiện trình tương tác người máy tính chủ yếu thịna qua thiết bị chuột, bàn phím, hình, nhừne thiết bị cách thức truyền thốns dê "nói chuyện" với máy tính Chúno ta cố gắne học cách di chun chuột thành thạo, gõ phím nhanh tạo nhừna hình có kha năn2 cam írno để đẩy nhanh q trình tươne tác với máy, SOI12 tất ca nồ lực thiện dó khơng làm cho “ trị chuyện" naười máy tự nhiên Những trình tương tác eiừa người máy vần mans tính chất chiêu, máy chờ đợi liệu từ phía người dùng rơi phan lại cách cứne nhăc khơns dáng diệu cử chi khơne có biêu lộ cam xúc Cùníỉ với phát triên công nghệ thành công lĩnh vực nahiên cứu nhiều năm qua, chúne ta tiếp cận dược nhừna hội thoại siừa người máy tự nhiên Cụ thể với nhừne thành trons lình vực khoa học ngơn ngừ học phân tích cấu trúc câu phân tích tiên lì nói nhận dạns tiêna nói nhận dạng chừ viết, nhận đạrm mà chime ta dã đana xây dựne nhĩnm hệ thống hội thoại tươne tác người máy giôrm siừa im rờ i neười Những hệ thốim hội thoại vậv làm cho trình giao tiêp gi lìa người máv trở nên hiệu cách tự nhiên Máy tính khơnu chi dơn ihn don nhận thơng tin từ naười qua thiết bị bàn phím, chuột, hình mà cịn cỏ chấp nhận dừ liệu từ nhiều cách thức khác âm thanh, hình anh thiết bị khác Con neười có thè giao tiếp với máy tính bàng giọng nói băng cư chi bàna chữ viết Neược lại máy tính hồi đáp lại nsười băng hội thoại íiiốim n irị'i với người, bằna khn mặt 3D biêu lộ cam xúc cư chi điệu ha\ có thè tồng hợp tiếns nói đề đối thoại lại với nsirời Nhờ dặc diêm da cách thức dầu vào càns làm cho trình tươne tác người máy trở nên thân thiện, dề dàng / \ Hình ỉ Mơ hình giao diện người dùng dựa agent hội thoại Hệ thống giao diện người dùne dựa agent thône minh xây dựng trone đề tài nàv dược thiết kế đê có kha tươne tác với neười SŨ' đụna thơrm qua nhiều hình thức khác (xem Hình 1) Đây asent hội thoại thơng minh với mơ hình SII\ iiíỉhĩ cảm xúc tính cách Agent có thê nhận thơng tin từ neười sư dụnu thôna qua chừ viết từ bàn phím, chừ viêt tay trực tuyên, nhận dạng tiêns nói \ nhận dạno CU' chi Agent có thè truyên tai thông thôna tin dẻn nsười sử dụna thỏna qua \ăn ban tiêim nói tơng hợp biêu lộ cảm xúc chuyên độn mỏi khuôn mặt 3D cư ch diệu mơ hình nmrời 3D I rone khuôn khô đê tài khôno tiên hành phàn nhận dạns tiêna nói nhận dạne chi Giới thiệu hệ thống hội thoại dựa agent • ■ N> máy tính naười sử dụna n»à\ càna nhiêu khòna chi nơi lãm \ iệc mà nhà \ậ> môi trưừna thân thiện cho việc tươnu tác Siiừa người máy trở nhu cẩu cẩn thiết Nếu nsười tươns tác với máy tính cách tự nhiên cơng việc thực nhanh nhiêu Trong đa sô trường hợp người tươna tác với thơna qua lời nói chừ viêt cách thức phi ngơn ngừ chí nét mặt dáne điệu Trong tươne lai máy tính cân có khả hiêu ngôn nsữ để tươna tác tự nhiên thực với người Không hiểu ngôn ngừ mà cịn đưa phan hồi cách tự nhiên với người dùng thông qua ngôn từ Nhùng nhu cầu tất yếu dộng lực cho đời aaent hội thoại Agent hội thoại agent thơna minh có thêm chức hội thoại hièu dược naôn ngữ tự nhiên có kha nãno dáp ứng cách thơng minh với yêu cầu người dùng Aíient hội thoại dược ứng dụng rộng rãi trona nhiều lĩnh vực chăm sóc khách hàng, trị chơi điện tư giai trí chăm sóc sức khoe nhiêu lĩnh vực khác Agent hội thoại tận dụng ngôn ngừ tự nhiên nhừns kỹ thuật ngơn nmì sư dụ nu máy tính, cho máy tính giốne naười Chủng có thè hồ trợ loạt írim dụng đời sông kinh doanh, uiáo dục phu \ tê vui chơi giai trí: • Dịch vụ khách hàng: Đáp ứng lại câu hỏi chung chung cua khách hànu sản phẩm dịch vụ ví dụ tra lời câu hởi việc áp dụns cho việc mua xe ô tô trả góp việc thê châp nhà cưa • Cơng việc giấy tò' (H elp desk): Đáp ứng với nhừne câu hịi cua nội nhân viên, ví dụ tra lời câu hoi nhân • H ng dẫn duyệt \veb: chi dẫn khách hàna đên phân có nội duns thích hợp trans web phức tạp • H iróng dẫn bán hàng: Cun cắp siai đáp va hướng dần trona trinh bán hàna đặc biệt sản phẩm phức tạp bán cho khỏch hnô mi ã H tr k thut: ỏp na với vấn đề kỹ thuật, chũns hạn nhu chân đoan vẩn dè san phàm hay điện thoại Nội dung hội thoại ■ ■ ■ Các hệ thống hội thoại thường, dược thiết kế dê có thê hièu dược dâu váo cua ninrời tlùns đạim văn ban nhirns hàu hêt chi hình thức hoi đáp thơnii qua việc qt tù' khóa trono dừ liệu dược dưa vào cho tra lời phù hợp nhát với tư j -> khóa từ sớ dừ liệu Các kỹ thuật để xây dựr)2 nội duns hội thoại bao ồm: tìm mầu (pattern matching), tìm từ khóa (keyword matching), phân tích nn naữ tự nhiên (natural language parsing) hay kỹ thuật khác Trono đề tài chúna sư dụns hệ thống hội thoại tiếng Anh, sư dụng sờ dừ liệu dạna tệp A IM L (A rtific ia l Intelligence Markup Language) Trong hệ thống sư dụng thư viện A IM L B o t [2] hay cịn có tên Program# thư viện nhò thực thi nhanh dễ dạne bổ sung biến tương thích với chuẩn A IM L A IM L B o t dược sứ dụne trone chương trinh Chatterbot viết băng c# A IM L B o t cũns đãđượckiêm thử cá hai môi trường M icrosoft runtime Mono trẽn Linux A IM L B o t có đặc điểm: • Tương thích tốt nhiều tảng ứng dụng Hồ trợ NET 1.1 2.0 X N A dự án mã nguôn mớ MONO • Kiến trúc mơdun hồn tồn dễ dạne cho nhà phát triên đê mờ thôna thêm tính năna • Cuníì cấp AIM dơn giản hợp lý • I iồ trợ định dạng A IM L chuấn với tùy chọn cho the • Kích thước nhị (khồne 56k) • Tốc độ thực thi nhanh (xư lý 30.000 chu đề chưa đốn giây) • Dược kiêm thứ tồn diện dựa nUnit • "B ộ não" cua bot lưu trừ dạng tệp nhị phân (Graphmaster.dat) Phiên ban cua A IM L B o t xây dựng NET 2.0 cua M icrosoft có bốn lớp: • Bot - Gỏi aọn thao tác chatterbot • User - Dỏnu nói thơna tin lịch SƯ cua người hội thoại • Request - M ta tat ca loại thòng tin yêu cầu dược gưi tới chatterbot xử lý • Result - Đóns i thịna tin két qua tra vẽ cua chatterbot Quá trình xử 1Ý vèu càu mõ ta O' mức cao sau: đạj h ọ c q u ó c g ia h n ộ i ĐẺ CƯƠNG ĐẺ TÀI NGHIÊN cứu KHOA HỌC ĐẶC BIỆT CÁP ĐẠI HỌC QUÓC GIA HÀ NỘI NĂM 2008 Ten đề tài Tiêng Việc Xây dựng mơ hình giao diện ngii'0'i dùng thân thiện dựa agent thơng Ttẻng A nh: lìuiding Friendly Intelligent-Agent-baseđ User Interfaces Thòi gian thực hiện: 24 tháng Từ 1/2008 đến 12/2009 Đc tài thuộc lĩnh vực ưu tiên Cơne nghệ thơng tin Đồ tài có trùng vói đề tài đuọc tiến hành khơng? Khơng Chủ trì đề tài - Họ lén: - Năm sinh: 1978 Chuyên môn đào tạo: Công nghệ - Học hàm học vị: Chức vụ: Dun vị công tác: Tiên sĩ Giảng viên Khoa Công nghệ thông tin, Trường Đại học - Bùi Thế Duy Công nghệ D id ch ỉ liên liệ: - Diện thoại: - Fax: - 1'iììciil' Nam /N ữ □ thơng E3 144 Xuân Thúy Cáu Giây Hà Nội 0904 222 844 duvbtw vnu.edu.vn tin í ọni tăt hoạt động nghiên cứu chủ trì đơng chủ trì đê tài c ác chương trình, đề tà i nghiên cím khoci học tham gia (Xin xem lý lịch khoa học kèm theo đề cương này) ?ác cơng trình cơng bố liên quan tới phương hướng đề tài The Duy Bui and Long Thang Nguyen (2007) Recognizing postures in Vietnamese Sign Language with MEMS accelerometers IEEE Journal of Sensors Long Thang Nguyen and The Duy Bui (2006), A mobile sign language iccognition system for vocally disabled people IEEE Conference in System Integration and Reliability Improvements Hong Khietn Vu, The Duy Bui (2006) A PDA-based Traveling Assistant Agent In: Proceedings u fic M O C cA 2006 August 2006, Korea The Duy Bill (2005) Probabilistic Multi-agent Planning In: Proceedings o f ( ỈRAS 2005 Third Internalioiìítl Conference on Computational Intelligence Robotics and Autonomous Systems, Singapore I he Dliy Bui & Long rhang Nguyen (2005) Recognition o f Vietnamese sign language using MEMS accelerometers In: Proceedings ICST 2005, I s' Inlernalionul Conference on Sensing Technology, New Zealand 1he Duy Bui, D Heylen, A Nijholt & M Poel (2005) On combining the facial movements o f a talking head In: Proceedings Measuring Behavior 2U05, 5fh International Conference on Methods and Techniques in Behavioral Research, L.P.J.J Noldus, F Grieco L.w s Loijens & P.H Zimmerman (lids.) Wageningen, The Netherlands The Duy Bui (2004), Emotion and Facial Expressions in Creating Embodied Agents, Neslia Paniculata, Enschede, ISBN 90-75296- 10-X Tóm tắl hoạt động đào tạo sau đại học chủ tri đồng chủ trì đề tài năm trỏ lại Tên nghiên cứu sinh Năm Sô học viên cao học Lẽ Thị Hợi (cùng hướng dần với PGS TS Hồ Sĩ Đàm) 2006 Nsô Thị Duyên (cùng hướng dẫn với PGS I S Ho Sĩ Đàm) N suyễn Thị Nhật Thanh (cùng hirớne dần với PGS Ngun Qc Tốn) 2005 2004 n J Co quan phối họp cơng tác vicn đề tài (ghi rõ đơn vị cá nhan mời nhận lời mời tham gia đê tài) TT Cơ quan phối hợp TS Nguyễn Việt Hà Nhận dạng I Bộ môn Công nghệ Phan mềm Trường Dại học Công nghệ NCS Nguyễn Thị Nhật Thanh Nhận dạns Bộ mơn Khoa học máy tính, Trường Đại học Cơim nghệ TS Bùi Thế Duy Tương tác ngưịi máy TS Lê Anh Cườne, X L NN tự nhiên NCS Lê Thị Hợi Nhận dạng NCS Ngô Thị Duyên Tương tác người máy Ths NCS Ma Thị Châu Tương Lác người máy NCS Lẻ Huy Bình Tươno tác nRirời máy Ths Đào Minh Thư Đơ họa máy tính Bộ môn Mạne, Truyên thông máy tinh, '1 rường Đại học Cơne nghệ Cộng tác viên Chun ngành Thuyêt minh cẩn thiêt hình thànli dụ án Tơnạ quan cỏnv trình nghiên cứu ngồi nước liên quan tới vân đé nqhiẽn cừu âẻ tài (trích dân tị i liệu nhát ngồi nước) No ày ngày có nhiều lỉnh vực phụ thuộc nhiêu vào công nghệ thông tin truyền thông Sự tăng trưởng phát triên công nghệ thông tin truyền thông aiúp nhữne công nghệ truyên bá ứng dụng rộng rãi, dơ dó tăng anh hưởng vê mặt kinh tê xã hội Mạng Internet ti vi thiết bị máy tính, điện thoại di động dạng khác công thông till dung phái triên vứi tơc độ chóng mặt Năm 2001, nhom co van vẻ côn li no cho Cô nJịỊ đôn tin học CLici Chũi! A ll (Ih s EC information Society Technologies Advisory Group - I STAG) đưa hướng nghiên cửu chiến lược với tên "M ô i trường thông minh - Ambient Intelligence A n il" nhằm kcl họp nhìnm lĩnh vực thủnh cong nhnt cua Cong nghẹ thong tin truyền lliỏnti 1rong “ mỏi trường thông minh nguoi se dược bao quanh lũ ao diện thân thiện thông minh IX* niurời k h ô n g nhận ih ấ \ sụ- diện cua m \ nà) phai tính, giao diện lự nhiên k h ô n g phui thõng qua ban phim, chuột vu hmli C ul loai hĩnh lương tác là: nhận dạng tiêng nói hình anh tone hợp tiếna nói hình ánh cám xúc, Lúc đó, đại diện cho máy tinh agent với khả tư duy, tình cảm, biêu lộ cảm xúc qua khuôn mặt 3D không dịng chữ khơ khan I ill thơi điem luẹn hâu hẻi tương tác ciĩra ntìirời vả máy tính thực thơng qua chừ viêt hình, chuột bán phím Với phát triển nhanh chóng cửa công nghệ cảm ứng công nghệ đồ họa máy tính, cơng nehệ nhận dạng tơng hợp ảnh tiêng nói nhà khoa học tập trung nghiên cứu đê làm cho tưưng tác người-máy uyển chuyển tự nhiên Một sô phương pháp đê đạt mục tiêu dime camera số để nhận dạng nhân vật nhận dạna cử hành động, dùng cơng nghệ nhận dạng liêng nói nhận dạng chữ viêl hay sứ dụng khn mặt biết nói đê giúp người tương tác với máy tính tương tác với người khác Trên giới, phương pháp claim dược tích hợp vào ứng dụng khác nhau, ví dụ ứng dụng giáo dục, kinh doanh giải trí I liện ó' Việt Nam, chưa có nơi tập trung nghiên cứu giao diện thân thiện dựa Irên agent thơng minh ngồi khoa Cơng nghệ thơng tin irườna Đại học Công rmhệ Tại giảns viên nghiên cứu đê bước đầu tạo nên sở lý thuyết công nghệ vê giao diện người dùng dựa agent thông minh Các nghiên cứu bao gồm: Xây dựng mơ hình agcnl thơng minh với khả tư tình cảm biểu lộ cảm xúc, Nhận dạniì cử chi hành độns, M ột số kết nghiên cứu đăng tái trcn nhiêu kỷ yêu hội nghị tạp chí qc tê Lý du chọn đẻ tài - Tính thời cùa ăê tài Các ui ao diện thân thiện dựa agent thơng minh có y nghĩa to lón viẹc nâng cao chất lượng tương tác ứng dụng máy tính ngưịi su dụng Đày bước quan trọng đê xây dựng ứng dụng điện tư giao dục diện tư (e-eđucation), thương mại điện tư (e-commerce), v.v Đây phần tron 2, lĩnh vực nshiẻn cứu ‘ M ôi trường thong minh Tinh cắp thiết đáp ừng nhu call phát tnén kinh tẻ - xã hội Dẻ tái cỏ tinh cấp thiết cao, bới kêt đạt co the ap dụng vao thục tiền noil dầu tư hiệu q Xây dựng thành cơng mo hình cac giao chẹn niurời dime thán ihiện thơng minh có thê giúp cho việc giao tiêp n°ưò'i máv lính trỏ' nẻn hiệu C|ILí1 hon tăng tính thu luit cua tcic ưng dụng, dặc hiệt ứim duns’ ti'0112 lìiáo dục diện tư thương mại điện tu I)ị:i hàn n g h iê n cửu (xã, luiyộn, tín h , Ý 11” ) Đệ tài thực Hà Nội Tinh dại diện cua địa bàn nghiên củu Mục ticu đề tài • Nghiên cứu lý thuyết đế phát triển giao diện người dùng thân thiện dựa agent thông minh giúp cho việc tương tác RĨừa người máy tính trở nên uyên cluiyen, dễ dàng hiệu • Triền khai hoạt động nghiên cửu dựa thiết bị đẩu tư cho phịng thí nghiệm trọng điêm cho Trường Đại học Cơng nghệ 10 Tóm tăí nội dung nghicn cúu đề tài Nghiên cứu giao diện thân thiện dựa agent thơna minh để giúp đõ' người dùng tirong tác cách tự nhiên với ứng dụng Các giao diện cỏ thê có aeent (con người áo) trang bị khả nâng tư tinh cảm tơng hợp tiếne nói, biểu lộ cam xúc qua khuôn mặt đồ họa kha nhận dạng Mục tiêu đặt vừa nghiên cứu lý thuyết vừa áp dụng còng, nghệ đế có giao diện dựa nhận dạng tiếng nói, tổng hợp tiêng nói, nhận dạne, cử hành động, aeent thông minh (intelligent agent) 11 Các chuyên đề clụ kicn đê tài Chuyên để l.N o h iê n cứu tống quan giao diện người dùng dựa aeent thôns minh Chun đề Nghiên cứu đề xt mơ hình kiên trúc cho agent thông minh đê tạo eiao diện người dung Chuyên đề Xây dựng thử nehiệm giao diện người dùng thân thiện dựa aacnt thông minh 12 Cấu (rú c dll' kiến báo cáo kct q cua tài Nội cỉunìì báo cáo kêt bao gôm điêm chinh sau đay: a) CiitVi t h i ệ u d ẻ túi v b n vê l ín h c a p th iel c u a đ e till b) lo n g hợp phân tích vả phc phíin Octc kct CỊiicì del co vc moi trương thôn° m inh" sino diện dựn ticn íigciit thong, minh c) Mơ hình lìiaci diện dựa irên agent thơng minh d) Xây dựng thír nghiệm giao diện thân thiện dựa agent thông m in h e) Đánh eiá kêt luận l ính da Iig n li licn nịỊiHili CIKI dc tai Đê i liên quan đến ngành/chuỵên ngành nào? Đê tài kêl hợp chuyên ngành sau đây: - Công nghệ phần mềm Tương tác người - máy 'I rí tuệ nhân tạo Tính đa/liên ngành thê nhu nội dung trình triển khai cua dẻ lài? Dê thực đê tài cần có kết họp hai chuyên ngành Cơng nghệ phân mèm, Trí tuệ nhân tạo Tương tác người máy Năm táng giao diện thông m inh nhăm phát người dùng, phục vụ nhu cẩu người dùng cho phép người dùng sử dựng hệ thốne cách tự nhiên 14 Phuong pháp luận phuong pháp khoa học sử dụng đề tài - Tông họp tât kêt mà nhà nghiên cứu khác thu hoạch Xây dựng sớ lý thuyết hình thức tương tác thơng minh Xây dựng thử nghiệm mơ hình để đánh giá Tố chức xêmina để trao đối thông tin khoa học Tham dự hội nghị nước quốc tế để trao đổi thông tin khoa học 15 Khá sử dụng co sỏ vật chất, thiết bị Sư dụns sớ vật chất trana thiết bị cùa Đại học Công nghệ, đặc biệt phịng thí nghiệm trọng điếm ‘T íc h hợp hệ thống thõng m inh” thiêt bị cùa phỏrm thí nghiệm cùa khoa Cơng nghệ thông tin 16 K h n ă n g h ọ p tác C|IIÔC tc Hợp tác có (tên tỏ chức ván âẻ hợp tác) - Phối hợp với trường Đại học 1wente, Hà Lan, trường Đại học W ollongong, ú c Viện nghiên cửu JAIST Nhật Bản đê năm băt nhanh chóng kết qua phương pháp xây dựng môi tnrờng thông minh giới 17 Các hoạt động nghiên cứu cùa đề tài - Nghiên cửu lý thuyết E3 - Diều tra kháo sát Xà\ d ll'lla mơ hình tlur nghiệm ® C, li rèn soạn tài liệu Vict báo cáo khoa học ( - Hội tháo khoa học Tập huấn 0 - Các hoạt động khác 18 Kct dự kiến / năm 2007 J t - THỬ TRƯ Ớ NG ĐƠN V Ị T L G IÁ M Đ Ô C RƯỎNG BA.N K.H0A HỌC-CÂNG NI KT.TRƯƠNG PHÒNG NCKH V a đồ ' tháng /fOiăm 2007 PHÊ D U Y Ệ T CỬA ĐHQGHN (Ký tên, đóng dấu) Ằ J - L năm 2007 A? REPORT ON MAIN RESULTS OF PROJECT QC.07.47 Name of the project: B uilding Friendly Intelligent-Agent-based User Interfaces Project serial num ber: QC.07.47 Project leader: Dr The Duy Bui Main results: 3.1 Scientific results: In this project, we have proposed a friendly user interface based on intelligent agent This is an intelligent conversational agent with cognitive, emotion and personality models, w ith the capability o f communication via text, speech synthesis, facial expressions in 3D face, gestures, and receiving input via keyboard and online hand w riting recognition Particularly, we concentrate on methods for inteeratine dialog system w ith emotion expression system, generating Gestures durine dialoíỉ and online Vietnamese handwriting recognition The results o f the project have been published in proceedings on international conference > Published paper: The Duy Bui Duy Khuone Neuyen Tien Dat Neo "Supenisinu an unsupervised neural network" Asian Conference on Intelligent Information and Database Systems, Quang Binh Vietnam IEEE Computer Society Press 2009 Nguyen Duy Khuona The Duy Bui "On the Problem o f Classil} inn Vietnamese Online Handwritten Characters" ỈC A R C I' 2008: IEEH Computer Society 2008 Duy Khuong Nguyen The Dun Bui "Recognizing Vietnamese Online Handwritten Separated Characters" ALP IT 2008: IEEE Computer Societx 2008 Da Phuc Phan I hi Nhat Thanh Nguyen The Du> Bui "A 3D Conversational Agent for Presenting D igital Information for Deaf People P R ỈM A 0 I hi Duven Nao The Duy Bui "When and How to Smile: Emotional Expression for 3D Conversational Agents" PRIMA2007 3.2 Applications: > A Pilot System o f FriendK Intel liaent-Agent-based I ser Interlaces 3.3 Training results: ^ 02 students from K49C has finished their Bachelor theses and conferred the degree s 02 master students has finished their Master o f Science theses and conferred the degree 3.4 Enhancement: s To advance professional knowledge in human machine interaction and intelligent agents PHIẾU ĐĂNG KÝ KẾT QUẢ NGHIÊN cứu KH - CN Tên đề tài: Xây dựng mô hình giao diện người dùng thân thiện dựa agent thông I minh Mã số: ỌG.07.47 Cơquan quản lý đê tà i: Đại học Quôc gia Hà Nội Địa chỉ: 144, đường Xuân Thuỷ, cầu Giấy - Hà Nội Điện thoại: 38340564 Co'quan chủ trì đề tà i: Trường Đại học Công nghệ Đại học Quốc gia Hà Nội Địa chi: 144, đường Xuân Thuý cầu Giấy - Hà Nội Điện thoại: 37547810 Tơng chi phí thực chi: 60.000.000 VND (từ ngân sách nghiên cứu khoa học nhà nước cấp cho ĐHỌ G HN) Thòi gian nghiên cứu: 24 thánc Thòi gian bắt đầu: 01/1 1/2007 Thòi gian kết thúc: /1 /2 0 ỉên cán phơi họp nghiên cứu: •Chủ trì đề tài: Ts Bùi Thế Duy Phịng Thí nghiệm Tươns tác Neười-Máy I rường Dại học Cong nghệ, Đại học Quốc eia Hà Nội Cán tham gia: o Ths Ma Thị Châu Bộ mơn Khoa học Máy tính I rường Đại học Công nghệ Dại học Quôc gia I N ội Ths Nguyễn Thị Nhật Thanh Phòng Thí nghiệm Tương tác Người-Má> Trường Đại học Cơns nshệ Đại học Ọuôc gia Hà Nội o NCS Lê Thị Hợi Phịntỉ Thí imhiệm Tương tác Ngưcri-Má) I rương Dai học Cơna Iiíihệ Dại học Quỏc gia 1lủ NỘI NCS Níiơ Thị Dun Phịnu Thi nghiệm I Ương lác Người-\lá> 1nrịng Dại học Cơng Iiíihộ- I-K1' họ1- ^ Nọi CN Nouyền l)u v Khưưna IMiòng I 111 nghịộni lương tac Ngirới-Ma> Inrirnu Dại học Cons nuiiệ Dại học Ọuổc gia I Nội o CN N °ô Tiến Đạt Phòng Thi nghiệm Tương tác Ngươi-M á} I rương Dụi học Công nghệ Dại học Quốc g i a j ỉa N ội. Số đăng ký đề tài Số chứng nhận đăng k ý KQNC Bảo mât < ^A^Phổ biến rộne B Phổ biến hạn chế c Bảo mật Ngày Ngày róm tắt kết nghiên cứu ì Kết vê khoa học (những đóng góp đề tài cơng trình khoa học cơna bố) Đề tài đưa mơ hình giao diện người ciùna thân thiện dưa agent thông minh Dây hệ thống agent hội thoại minh với mơ hình suy nghĩ, tính cách, cam xúc với khả giao tiếp với người sứ dụng thông qua văn bán tổng hợp tiếp nói biểu lộ cảm xúc khn mặt 3D thông qua cử nhận liệu vào thơne qua bàn phím nhận dạng chừ viết tay trực tuyến Cụ thể đề tài đưa tập trung vào phương pháp tích hợp hội thoại với bicu lộ cảm xúc sinh cư chi hội thoại I phương pháp nhận dạng chữ tiếng Việt trực tuyến tiếng Việt Các kết nghiên cứu cùa dê tài thê qua báo ký yêu hội nahị quốc tế báo cáo hội nghị quốc tế • 03 báo đăng kỷ yếu hội nghị quốc tế (đăns bới IEEE CS) The Duv Bui Duy Khuoim Nguyen, Tien Dat Ngo "Supervising an unsupen ised neural ne twork", A sian Conference on In te llig e n t In fo rm a tio n and Daiaha.se System* Quang Binh Vietnam IEEE Computer Society Press Nguyen Du y K h u o n g T h e D u v Bui "On the Pr o b le m o f C’lassityinu V i e tn a m es e Online Handwritten Characters" ICARCV2008' IEEE Computer Societ} 2008 Duy Khuong Nguyen The Duv Bui "Recognizing Vietnamese Online Handwritten Separated Characters" ALPIT 2008: IEEE Computer Society 2008 • 02 báo cáo hội II ah ị quôc tê Da Phuc Phan Thi N h a i T h a n h N g u y e n The Duy Bui "A D Conversational Agent for Presenting Diuital Information tor Deaf People PRIMA2D0 Thi Dliven N«*o The Du\ Bui "When and I low to Smile: [-motional repression for 3D C on ve rs ati on al A u d i t s " PR1MA200 b Kết qua phục vụ thực tố (các san phàm còng nghệ, khu áp dụng thực tị) • Một hệ thống giao diện người dùng thư nghiệm dựa agent thông minh c K ết qua tạo (sỗ lượng sinh v iên, học viõn cao học nghicn cửu sinh lam \ ICC tron2 dề t i ) • 02 luận văn cao học C NTT Vũ Quốc Huy, Xây dựng hệ thống agent hội thoại thán cho tương tác người-máy, Đại học Công nghệ 2009 Đặng Tuấn Anh, Nghiên cún nhân ban chuyến động khuôn mặt mỏ hình khn mặt 3D khác Đại học Cơne nghệ 2009 02 khóa luận cử nhân C N TT Nguyễn Duy Khương Các phương pháp nhận dạng chữ viết tay tiếng Việt trực tuyên Khóa luận tốt nghiệp Trường Đại học Cônu nahộ 2008 Đào ĩhanh 1uân A SIFT-based Face Recognition Method, graduation thesis, College o f Technology 2008 d Ket nâng cao tiềm lực khoa học (nâng cao trình độ cán tăng cườna trang thiết bị cho đơn vị) Nâng cao lực chun mơn cua cán hộ mơn YC lình vực nrơim tác người máy agent thông minh Kiến nghị q u y m ô đối tirọ n g áp d ụ n g kết nghiên cửu: Đe nghị dược hồ trợ tiếp dê triển khai nahicn cửu tiếp hướne đề tài Chức vụ Họ tên Chú nhiệm dè Thu Irướng quan Chu tịch 1lội dôim 1hu inrơniỉ quan tài chu tri đê tài đánh liiá thức quan l\ dê tai Bùi Thế Duy M ĩ ỉ ỹ ^ L.GIÁM ĐỔC áiíuỏNci WNKH0A MỌC -CƠN