Nghiên cứu thiết kế và chế tạo robot đầu người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU THIẾT KẾ VÀ CHẾ TẠO ROBOT ĐẦU NGƯỜI S K C 0 9 MÃ SỐ: SV2021 - 17 S KC 0 Tp Hồ Chí Minh, tháng 10/2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU THIẾT KẾ CHẾ TẠO ROBOT ĐẦU NGƯỜI SV2021 - 17 Thuộc nhóm ngành khoa học: Kỹ thuật công nghệ SV thực MSSV Nam/nữ Dân tộc Lớp Nguyễn Khắc Tồn 18146388 Nam Kinh 181461A Trưởng nhóm Lê Đức Thuận 18146383 Nam Kinh 181461A Lê Bảo Long 18146328 Nam Kinh 181461A Khoa Cơ khí Chế tạo máy Năm thứ: /Số năm đào tạo: Ngành học: Công nghệ Kỹ thuật Cơ điện tử Người hướng dẫn: PGS.TS Nguyễn Trường Thịnh TP Hồ Chí Minh, 10/2021 LỜI CẢM ƠN Lời chúng em xin gửi lời cảm ơn sâu sắc đến Ban giám hiệu trường Đại Học Sư Phạm Kỹ Thuật TP.HCM quý thầy cô trường Đại Học Sư Phạm Kỹ Thuật TP.HCM nói chung giảng viên Khoa Cơ khí chế tạo máy, môn Công nghệ kỹ thuật Cơ điện tử nói riêng tận tình giúp đỡ truyền đạt kinh nghiệm quý báu cho chúng em suốt thời gian vừa qua Đặc biệt chúng em xin phép gửi lời cảm ơn chân thành đến PGS.TS Nguyễn Trường Thịnh, người tận tình giúp đỡ trực tiếp hướng dẫn chúng em suốt thời gian vừa qua Trong trình nghiên cứu, thiết kế chế tạo sản phẩm, chúng em nhận hướng dẫn thầy, nhờ mà chúng em giải khó khăn Thơng qua đó, chúng em học tập tinh thần trách nhiệm thái độ làm việc nghiêm túc thầy Do kiến thức cịn hạn hẹp sở lý luận có hạn chế nên trình thực đồ án báo cáo chắn tránh khỏi sai sót Chúng em mong nhận ý kiến đóng góp chân thành từ phía thầy để từ tiếp thu thêm nhiều kinh nghiệm quý báu đồng thời hoàn thiện đồ án i MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH SÁCH BẢNG BIỂU vi DANH SÁCH HÌNH ẢNH .vii CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu đầu robot 1.2 Nghiên cứu liên quan 1.3 Đặt vấn đề .4 1.4 Mục đích nghiên cứu .5 1.5 Đối tượng phạm vi nghiên cứu 1.6 Phương pháp nghiên cứu .6 1.7 Cấu trúc nghiên cứu CHƯƠNG 2: NỀN TẢNG GIẢI PHẪU HỌC 2.1 Giới thiệu 2.2 Giải phẫu cổ 2.3 Giải phẫu hàm .10 2.4 Giải phẫu môi 11 2.5 Giải phẫu mắt 13 CHƯƠNG 3: THIẾT KẾ CƠ KHÍ 16 3.1 Giới thiệu 16 3.2 Thiết kế cấu cổ robot 16 3.2.1 Phân tích lựa chọn cấu cổ 16 3.2.2 Nguyên lý hoạt động cấu cổ 17 3.2.3 Tính toán chuyển động cấu cổ 17 3.2.4 Tính tốn động lực học cho cấu cổ 24 3.2.5 Lựa chọn vật liệu cho cấu cổ 24 3.3 Thiết kế cấu hàm robot .26 3.3.1 Phân tích lựa chọn cấu 26 3.3.2 Nguyên lý hoạt động cấu hàm 27 3.3.3 Tính tốn chuyển động cấu hàm 27 3.3.4 Lựa chọn động vật liệu cho chi tiết cấu hàm 30 3.4 Thiết kế cấu môi robot .31 ii 3.4.1 Phân tích lựa chọn cấu 31 3.4.2 Nguyên lý hoạt động cấu môi 32 3.4.3 Tính tốn chuyển động cấu môi 33 3.4.4 Chọn động vật liệu cho cấu môi 34 3.5 Thiết kế cấu mắt robot 35 3.5.1 Phân tích lựa chọn cấu 35 3.5.2 Nguyên lý hoạt động cấu mắt mi mắt 37 3.5.3 Tính tốn chuyển động cấu mắt 37 3.5.4 Lựa chọn động vật liệu cho cấu mắt 39 3.6 Robot head model - Mơ hình đầu robot 40 CHƯƠNG 4: DA NHÂN TẠO 41 4.1 Giới thiệu 41 4.2 Nền tảng giải phẫu da 41 4.2.1 Cấu trúc da người 41 4.2.2 Biểu bì 42 4.2.3 Chân bì 43 4.2.4 Hạ bì 43 4.2.5 Thông số da người 44 4.3 Lý thuyết da nhân tạo .44 4.3.1 Tổng quan cao su silicone 44 4.3.2 Tính chất chung cao su silicone 47 4.3.3 Ứng dụng cao su silicone 48 4.4 Quy trình làm da nhân tạo .49 4.4.1 Thiết kế hình dạng khuôn mặt 49 4.4.2 Thiết kế khuôn đúc 51 4.4.3 Tiến hành chế tạo da 52 4.5 Đánh giá chất lượng da 54 4.5.1 Chuẩn bị mẫu 54 4.5.2 Quy trình thử nghiệm 54 CHƯƠNG 5: HỆ THỐNG ĐIỆN ĐIỀU KHIỂN 56 5.1 Giới thiệu 56 5.2 Cấu trúc hệ thống điện-điều khiển 56 5.3 Hệ thống thiết bị 57 iii 5.3.1 Thiết bị đầu vào 57 5.3.2 Thiết bị xử lý điều khiển 59 5.3.3 Thiết bị đầu 63 5.4 Hệ thống giao tiếp 65 5.5 Thiết kế điểm điều khiển 66 5.6 Phương pháp điều khiển 66 5.6.1 Phương pháp điều khiển động 66 5.6.2 Xác định tính tốn điều xung PWM 67 5.7 Hệ thống biểu cảm hình 68 CHƯƠNG 6: HỆ THỐNG TƯƠNG TÁC NGƯỜI-ROBOT 72 6.1 Introduction – Giới thiệu .72 6.2 Structure of the human-robot interaction system - Cấu trúc hệ thống tương tác ngườirobot 72 6.3 Text classification processing –Xử lý phân loại văn 74 6.3.1 Combined LSTM model – Mơ hình Combined LSTM 74 6.3.2 Speech to text – Giọng nói thành văn 76 6.3.3 Emotion recognition and text classification – Nhận diện cảm xúc phân loại văn 78 6.4 Search text processing – Xử lý văn tìm kiếm 80 6.4.1 Transformer model – Mơ hình transformer 80 6.4.2 Tìm kiếm internet 83 6.4.3 Huấn luyện mơ hình phản hồi tìm kiếm 84 6.5 Conversational text processing – Xử lý văn hội thoại 85 6.5.1 Identity Confirmation – Xác nhận danh tính 85 6.5.2 Data saving – Lưu trữ liệu 87 6.5.3 Huấn luyện mơ hình phản hồi hội thoại 88 6.6 Responding result of system – Kết phản hồi hệ thống 88 6.6.1 Text to speech - Văn thành giọng nói 88 6.6.2 Responding result of system – Kết phản hồi hệ thống 89 CHƯƠNG 7: THỰC NGHIỆM 90 7.1 Giới thiệu 90 7.2 Thiết lập thực nghiệm 90 7.3 Thực nghiệm phạm vi hoạt động cấu .91 7.4 Thực nghiệm nhận dạng cảm xúc robot 93 iv 7.5 Thực nghiệm tương tác 95 7.5.1 Quá trình thực nghiệm 95 7.5.2 Kết 96 KẾT LUẬN 99 TÀI LIỆU THAM KHẢO PHỤ LỤC PHỤ LỤC 11 PHỤ LỤC 15 PHỤ LỤC 19 v DANH MỤC BẢNG BIỂU Bảng Các thông số truyền bánh cấu cổ 22 Bảng Các thông số yêu cầu cấu cổ người xoay quanh trục Ox Oy 25 Bảng Các thông số động cho cấu cổ người xoay quanh trục Oz 26 Bảng Các thông số yêu cầu cấu hàm .30 Bảng Các thông số động cho cấu môi .34 Bảng Bảng thông số cần thiết cho cấu mắt 39 Bảng Kết lựa chọn da 51 Bảng So sánh tính chất da người da nhân tạo 55 Bảng Các thông số cho động xoay quanh trục Ox Oy cấu cổ 64 Bảng 10 Các thông số động cho cấu hàm mắt 64 Bảng 11: Kết khảo sát kích thước thiết kế đầu robot .91 Bảng 12: Kết thực nghiệm góc hoạt động cấu 92 Bảng 14 Kết thực nghiệm nhận dạng cảm xúc robot 95 vi DANH MỤC HÌNH ẢNH Hình 1.1: a) Robot KISMET, b) Robot WE-04 Hình 1.2: a) Robot Albert Hudo, b) Robot Sophia Hình 1.3: Robot Trí Nhân Hình 1.4: Hiroshi Ishiguro (bên trái) Robot Geminoid HI (bên phải) .4 Hình 2.1: Các cổ ảnh hưởng đến trình chuyển động phần đầu người a) Cổ thực chuyển động nghiêng đầu, b) Cổ thực chuyển động quay đầu c) Cổ thực chuyển động ngửa sau, d) Cổ thực chuyển động cúi xuống .9 Hình 2.2: Các nhóm tạo chuyển động cho hàm a) nhai, b) thái dương, c) chân bướm ngoài, d) chân bướm trong, e) hàm chuyển động phía trước, f) hàm chuyển động phía sau 10 Hình 2.3: Cơ nâng mơi cánh mũi, nâng mơi trên, nâng góc miệng, gị má bé gò má lớn .12 Hình 2.4: Cơ cười, hạ góc miệng hạ mơi .12 Hình 2.5: Cơ cằm vòng miệng .13 Hình 2.6: Các nhóm mắt người, a) hướng nhìn từ trước tới, b) hướng nhìn từ bên phải 13 Hình 2.7: Cơ mí mắt .15 Hình 3.1: Sơ đồ động học cổ người 16 Hình 3.2: Sơ đồ động học cấu cổ .17 Hình 3.3: Sơ đồ phân tích chuyển động sơ cấu cổ 17 Hình 3.4: Góc nghiêng cấu đầu người theo phương Ox 18 Hình 3.5: Sơ đồ phân bố lực tác dụng cấu cổ 20 Hình 3.6: Mơ hình thiết kế hệ truyền động bánh cho cấu cổ 21 Hình 3.7: Mơ hình hóa hệ bánh tạo chuyển động xoay quanh trục Oz 22 Hình 3.8: Mơ hình động lực học cấu cổ 24 Hình 3.9: Sơ đồ động học hàm người 26 Hình 3.10: Các cấu mơ chuyển động hàm người a) cấu hàm 1-DOF, b) cấu hàm 2-DOF 26 Hình 3.11: Sơ đồ động học cấu hàm chọn 27 Hình 3.12: Mơ hình tốn vị trí cấu hàm 28 Hình 3.13: Giản đồ phân bố lực cấu hàm 29 Hình 3.14: Sơ đồ động học cấu môi người .31 Hình 3.15: Cơ cấu mơi robot Kismet 31 Hình 3.16: Cơ cấu mơi cải tiến .32 Hình 3.17: Sơ đồ động cấu môi 32 Hình 3.18: Mơ hình hóa chuyển động cấu mơi 33 Hình 3.19: Mơ hình hóa lực tác dụng cấu môi 34 Hình 3.20: Sơ đồ động học mắt người 35 vii Hình 3.21: Các cấu đề xuất cho chuyển động mắt a) Cơ cấu mắt phân tách b) Cơ cấu mắt đồng .35 Hình 3.22: Sơ đồ động học mi mắt người .36 Hình 3.23: a) Cơ cấu mi mắt đồng nhất, b) Cơ cấu mi mắt phân tách 36 Hình 3.24: Cơ cấu mắt cấu mi mắt 37 Hình 3.25: Mơ hình hóa cấu đảo mắt lên xuống 38 Hình 3.26: Mơ hình hóa cấu đảo mắt trái phải 38 Hình 3.27: Mơ hình đầu robot 40 Hình 4.1: Cấu trúc da người 41 Hình 4.2: Cấu trúc biểu bì 43 Hình 4.3: Cao su silicone 44 Hình 4.4: Các mẫu thử mẫu in 3D khuôn mặt 50 Hình 4.5: Khn dương, khn âm khuôn âm cố định .52 Hình 4.6: Mặt cắt hộp khn da thành phẩm 53 Hình 4.7: Mẫu thử nghiệm 54 Hình 5.1: Sơ đồ khối hệ thống 56 Hình 5.2: Camera pi zero 57 Hình 5.3: Mạch nguyên lý cảm biến chạm 58 Hình 5.4: Vi điều khiển Atmega328p 59 Hình 5.5: Nguyên lý chuẩn giao tiếp I2C .60 Hình 5.6: Xung PWM 61 Hình 5.7: Mạch điều khiển Servo 16 kênh 62 Hình 5.8: Cấu tạo Servo 63 Hình 5.9: Vị trí cảm biến chạm đầu robot 65 Hình 5.10: Phương pháp điều khiển nối tiếp phương pháp điều khiển song song 66 Hình 5.11: Thứ tự động 69 Hình 5.12: Sự tương đồng hình miệng phoneme 70 Hình 5.13: Hình dạng mơi phoneme khác 70 Hình 6.1: Cấu trúc hệ thống tương tác người robot 73 Hình 6.2: BiLSTM encoder LSTM encoder 75 Hình 6.3: Mơ hình LSTM .75 Hình 6.4: Quy trình chuyển đổi speech to text 77 Hình 6.5: Sơ đồ khối trình phân tách từ 78 Hình 6.6: Sơ đồ khối mơ hình nhận diện cảm xúc phân loại văn 79 Hình 6.7: Cấu trúc mơ hình Transformer .81 Hình 6.8: Kết sau mask 83 Hình 6.9: Cross entropy 85 Hình 6.10: Sơ đồ khối xác nhận danh tính 86 Hình 6.11: Mơ hình xác nhận cập nhập danh tính 87 Hình 6.12: Mơ hình kết hợ BiLSTM CRF 88 viii Với cánh tay đòn moment quay điểm định lực tổng hợp tính tốn tác dụng theo phương vng góc với , ta xác thời điểm theo công thức: FAs  Đối với điểm (0.32) M A FxB y B1  F yB x B1  AB1 AB1 tính tốn tương tự điểm quanh điểm , tọa độ điểm xác định sau: D1  ED1 sin , (0.33) ,  ED1 cos Thực phép dời lực từ vị trí điểm quay góc đến vị trí điểm ta lực thành phần có độ lớn FxD  Fx F yD  F y đồng thời sinh moment quay điểm với độ lớn xác định công thức đây: (0.34) M E  FyD y D1  FxD xD1 Với cánh tay đòn định lực tổng hợp moment quay điểm tính tốn tác dụng theo phương vng góc với , ta xác thời điểm theo công thức: FEs  M E FyD yD1  FxD xD1  ED1 ED1 (0.35) PHỤ LỤC Bài tốn động học thuận cấu mơi Khi ta cho động ′ hệ trục tọa độ ′ ′ ′ hình 3.18 với sau: ( ), − = 0, quay góc ( ) ; , vị trí điểm ′ hướng xác định ( ), = (0, − Khi tọa độ điểm B D thay đổi thành tọa độ điểm ((0.1) ( )) ′ tọa độ điểm C đồng thời thay đổi thành ′ Dựa vào thông số độ dài BC DC không đổi, tọa độ điểm thời điểm xác định hệ phương trình sau:  zC2 ' (4c12  4a12 )  zC ' (8 y B ' a1c1  4b1c1  8a12 z B ' )  b12  4a1b1 yB '  4a12 y B2 '  (0.2) 4a12 z B2 '  4a12 BC Với = = − − ; = − − Bài toán động học nghịch cấu môi Giả sử tọa độ điểm ′ = ( , + thức sau: = 0, + − ; (0.3) ) xác định, vị trí điểm ′ ′ xác định dựa phương pháp sau Ta có góc vị trí + góc quay động Tọa độ điểm ′ ′ theo góc xác định thơng qua biểu ( ), − ( ) ; ( ), = (0, − Sử dụng hệ phương trình (0.1) phụ lục ta có: − ( ) + + Sử dựng lượng giác phổ thơng cos( )  vào phương trình ta được: ( ) = ( )) (0.4) (0.5) 1 u2 2u , u  tan   thay sin( )  1 u2  u2 2 Gu  K 0 u2 1 (0.6) Trong đó: G  AB  AByC '  ABzC '  BC  yC2 '  zC2 ' ; K  AB  AByC '  BC  yC2 '  zC2 ' Giải phương trình ta tìm được: (0.7)  K  arctan   G K  G u (0.8)    Tính tốn vận tốc cho chuyển động cấu mơi Hệ phương trình (70) tương đương: − ( ) ̇ = [ ̇ + ( ) + ( ) + + ( ) − Đạo hàm phương trình, ta đưa dạng: A ̇ = − Với ̇ = ̇ ̇ ̇ ] Ta tìm ma trận A B sau:  df1 d A  df d  df1  d   df  d   df1  dy C' B  df   dyC ' ̇ (0.9) = = (0.10) (0.11) df1  dz C '   df   dz C '  (0.12) Từ ta tìm : A = [2 ( )+2 …− ( )−2 … B= 2 −2 +2 cos( ) cos( ) + ( ) ( )−2 cos( ) sin( ) − 2 +2 −2 ( ) ( ) Ma trận Jacobi kết phép toán: = − a1b4   bb b b J   a1b3  b b  b b  a4b2  b1b4  b2b3   a4b1  b1b4  b2b3   ( cos( ) sin( )  b1 a J 1    b3 a  … ( )] (0.13) ( )) − … (0.14) b2  a1   b4  a4  (0.15) Với =2 = −2 =2 =2 −2 +2 ( )+2 ( )−2 cos( ) cos( ) + ( ) ( )−2 cos( ) sin( ) − =2 −2 =2 Tính tốn lực sức bền cho cấu môi cos( ) +2 ( − cos( ) cos( ) sin( ) ( )) Khi động đặt điểm A E quay góc moment lực điểm sinh điểm và ( ) (0.16) sinh Dựa theo toán vận tốc tính phần 2.5.3.3, lực thể hiển sau [6]: FB  A AB FD  B (0.17) ED Dựa vào phương trình đưa tốn vị trí, tọa độ điểm B, C D dễ dàng xác định Thông qua ta xác định góc phương trình sau:  CD  ED  CE   arccos   2CD.ED   (0.18) Sử dụng phương pháp tương tự để xác định góc lực  Đồng thời dời từ vị trí điểm D đến vị trí điểm C hợp với phương BC góc    2 Tương tự    (0.19) hợp với phương BC góc   Các lực tác dụng dọc theo BC bao gồm FC1  FD cos (0.20) FB1  FB cos Từ ta tính ứng xuất nén BC:  FB1  FC1 FB cos  S  FD cos m.n (0.21) Trong m, n kích thước chiều dài chiều rộng mặt cắt ngang BC  Trong FCD  FD1 FB cos  S      FD cos (0.22) pq ,  chiều dài chiều rộng mặt cắt ngang CD  , kích thước (0.23) Lựa chọn vật liệu cho cấu môi Để giảm thiểu khối lượng cho cấu đảo mắt lên xuống, ưu tiên lựa chọn vật liệu nhựa PLA phần 2.4.3 phân tích Sử dụng phương trình (0.21) phụ lục ta có kết sau:  FB cos  FD cos m n 1 (0.24) Tuy nhiên để giảm thiểu bước tính tốn q trình tìm giá trị lớn ứng suất kéo (nén) BC, giả sử giá trị cos( ) cos( ) tồn giá trị lớn trình hoạt động với giá trị cos( ) = cos( ) = Từ phương trình (0.17) phụ lục giá trị vận tốc động A B mục 3.4.4.1 tính giá trị ứng suất kéo nén BC:  AB   DE  (60  AB  43 DE)   37MPa m n 180 m n  m n  0.71(mm2 )  (0.25) Lựa chọn kích thước 1 mm2 để đảm bảo độ bền cho BC Sử dụng phép xấp xỉ trên, tìm giá trị ứng suất kéo (nén) CD sau:   AB   DE  (60  AB  43 DE )   37MPa pq 180  p  q  p  q  0.71(mm2 ) Lựa chọn kích thước 1.5  mm2 để đảm bảo độ bền cho (0.26) PHỤ LỤC Bài toán động học thuận cho cấu đảo mắt lên xuống Cơ cấu thực chuyển động đảo mắt lên xuống gồm liên kết với Ở trạng thái tĩnh ban đầu, vị trí điểm , , , thể hình 3.25 Trong đó, động đặt điểm D để truyền động đến điểm A tạo chuyển động cho mắt Giả sử động làm , điểm dịch chuyển từ vị trí ban đầu đến vị trí hình cấu với gốc tọa độ Gắn hệ trục tọa độ ≡ , ta xác định vị trí điểm xC  AD  CD sin Ta có độ dài ; yC  CD cos quay góc vào mơ sau: (0.1) hình bình   hành Dựa vào tính chất song song hình bình hành, ta có AB1  DC1 = = ,  ( x A  xB1 )  ( xC  xD )   ( y A  y B1 )  ( y C  y D ) (0.2) Trong y A  yD x A  xD  AD Bài toán động học nghịch cho cấu đảo mắt lên xuống Sử dụng phương pháp tương tự phần 4.3.1, mắt đảo lên, AB quay góc , điểm điểm dịch chuyển từ vị trí ban đầu đến vị trí Ta xác định vị trí sau: x B1  AB1 sin ; y B1  AB1 cos (0.3) Ta có hình bình hành chứng minh phần 4.3.1 Dựa vào tính   chất song song hình bình hành, ta có AB1  DC1  ( x A  xB1 )  ( xC  xD )   ( y A  y B1 )  ( y C  y D ) (0.4) Trong y A  yD x A  xD  AD Tính toán lực sức bền cho cấu mắt Cơ cấu đảo mắt lên xuống điều khiển nhãn cầu mắt với tổng trọng lượng 53gram tương đương 0.53 , lực tác dụng lên cấu nhỏ Giả sử toàn lực tác dụng lên tiết diện cắt nhỏ cấu hình chữ nhật có kích thước × ( ), ta có thông số sau [6]: Ứng suất kéo (nén) thanh: Ứng suất cắt thanh:   P 0.53  ( N / mm2 ) A mn (0.5) P 0.53  ( N / mm2 ) A mn (0.6) Cơ cấu đảo mắt trái phải có cấu trúc tương tự, giả sử toàn lực tác dụng lên tiết diện cắt nhỏ cấu hình chữ nhật có kích thước có thơng số sau: Ứng suất kéo (nén) thanh: Ứng suất cắt thanh:   P 0.53  ( N / mm ) A pq P 0.53  ( N / mm ) A pq × ( ), ta (0.7) (0.8) Lựa chọn vật liệu cho cấu mắt Để giảm thiểu khối lượng cho cấu đảo mắt lên xuống, ưu tiên lựa chọn vật liệu nhựa PLA phân tích Sử dụng phương trình (0.5) (0.6) phụ lục ta có kết sau:  0.53  37 MPa  m  n  0.15( mm ) m n (0.9) 0.53  40MPa  m  n  0.14(mm2 ) mn (0.10)  Tương tự cấu đảo mắt trái phải, sử dụng phương trình (0.7) (0.8) phụ lục để có kết tương tự:   0.53  37 MPa  p  q  0.15(mm ) pq (0.11) 0.53  40MPa  p  q  0.14(mm ) pq (0.12) 2021 The 21st International Conference on Control, Automation and Systems (ICCAS 2021) Ramada Plaza Hotel, Jeju, Korea, Oct 12~15, 2021 Mechanical Design of Robot Head with Human-like Emotions Nguyen Khac Toan, Le Duc Thuan, Le Bao Long and Nguyen Truong Thinh* Department of Mechatronics, Ho Chi Minh City University of Technology and Education, Vietnam {khactoan240, leducthuan0987, lebaolong169}@gmail.com, thinhnt@hcmute.edu.vn Abstract: One of the fields that has detonated lately dependent on the AI platform is humanoid robots The facial expressions of robots, then again, are getting less and less attention The design of a robot head that communicates a wide range of human-like expressions is described in this paper The eye-eyelid, lip-jaw, and neck were the three main parts of the robot head under investigation Mechanical structure of human head such as number of degrees of freedom, size, ability of joints, and major muscle groups to create movements in each part are determined based on anatomy Then, facial expressions are analyzed dependent on AUs to find out reasonable control points The mechanical structures of each part were designed to try to replicate the movement and expression as closely as expected Additionally, proportions, sizes, distances of the designs, such as CoP-CoP, tr-n, n-sn, and so on, must closely resemble those of a human head The robot head in this article is designed and modeled on an Asian human head The result of the design, the head section is made up of three mechanisms connected by a shaft that runs through the entire head Through the experimental process, the robot head can perform of the basic expressions and movements like a real human head Keywords: Humanoid robot, Robot head, Robot head mechanism, Emotion robot INTRODUCTION Recent advances in science and technology, especially in the field of artificial intelligence, have dramatically changed the growth rate of the robotics industry Many types of robots have been developed such as robot in the shape of an animal [1,2], interaction robot [1] A humanoid robot is another sort of robot with an anthropomorphic design that can emulate or replicate human movements The head is considered the most important part of a humanoid robot Most emotions can be expressed on the face, making it easier for the robot to interact and communicate with humans Humanoid robot heads are becoming increasingly popular in the service industry due to their friendliness and high reliability A robot has just been used in the process of caring for people in isolation at Kanagawa Hospital in Japan [2] Pepper is the name of the robot, the head of this robot has a shape that closely resembles to that of a human Pepper's expressions are highly valued by both the patients and the hospital staffs Robots with human face have also been used extensively in education to teach biomedical and surgical knowledge Humanoid robots are frequently used to assist teachers in the classroom at universities Students will gain a better understanding about the emotions of the patients during diagnosis and treatment by interacting with the robot's head, which has a realistic human appearance In 2010, Flobi robot [3] with a human head shape was created Flobi has a total of 18 degrees of freedom and is designed to be deliberately simplistic and cartoonish to make humans more comfortable Erica robot [4] understands natural language, has a synthesized human-like voice and can express various facial expression However, physical attractiveness has no longer been a critical factor of robot developers in recent years They want to enhance the brain of the robot by focusing mainly on artificial intelligence A typical example can be mentioned is the Pepper robot, which can only express emotions through a small display screen [2] This may give great unfriendlyness to the ones who interact with the robot Therefore, we want to develop a humanoid robot head with the ability to create the most human-like facial expressions METHOD OF GENERATING FACIAL EXPRESSIONS FACS (Facial Action Coding System) is the main technique, which was applied for creating facial expressions FACS presents movements that the face can perform, which is known as AUs or Action Units [5] Movements of individual facial muscles are encoded by FACS from slightly different instant changes in facial appearance [6] It is a common standard to systematically categorize the physical expression of emotions, and it has proven useful to psychologists and animators Fig The positions of control point By applying the FACS method to the robot head, mechanical structures were designed to be able to perform AUs For the sake of making the process of creating facial AUs easier, selecting points on the face to perform control is necessary Based on the function and activity of the facial muscles, as described in [7], we chose 26 points for controlling and they are shown in Fig 22 AUs will be created by using single or combined motion control between points as shown in Table From a combination of those AUs, basic facial expressions can be created include: happy, sad, angry, surprise, disgust, fear as shown in Table Table AUs that required for basics facial expressions and control points AU Apperance changes 10 12 13 14 15 16 18 25 26 27 29 43 45 46 61 62 63 64 Inner Brow Raiser Outer Brow Raiser Brow Lowerer Upper Lid Raiser Cheek Raiser Lid Tightener Nose Wrinkler Upper Lip Raiser Lip Corner Puller Cheek Puffer Dimpler Lip Corner Depressor Lower Lip Depressor Lip Puckerer Lips Part Jaw Drop Mouth Stretch Jaw Thrust Eyes Closed Blink Wink Eyes Turn Left Eyes Turn Right Eyes Up Eyes Down Control point Right Left 20 19 22 21 22, 20 21, 19 18 17 12 11 18, 14 17, 13 10 5, 12 1, 11 5, 12 1, 11 5 6, 7, 1, 2, 3, 4, 5, 6, 7, 1, 5, 6, 7, 23 24 23 24 25 26 18 17 18, 14 17, 13 18, 14 17, 13 16 15 16 15 16 15 16 15 logram shape, AB = CD and AD = BC α is the the rotation angle of AB around A β is the rotation angle of CD around D By applying velocity analysis for bars planar mechanism, it can be deduced that:  (1) Fig Kinematic diagram of eye-pitch mechanism The eye-yaw mechanism is designed in the form of a 4-bar planar mechanism as shown in Fig The motor is placed at point N, two points A and D are the center of the eyeballs Points B, C, and M describe the mechanism's initial state Points B1, M1 and C1 describe the final state of the mechanism For the sake of making the control process easier, ABCD will be designed in a parallelogram shape, which means AB = CD = MN and AD = BC α is the rotation angle of MN around N, β is the rotation angle of AB around A, γ is the rotation angle of CD around D It can easily be seen that β and γ are dependent upon α By applying velocity analysis for bars planar mechanism, it can be deduced that:   (2) Table Six typical facial expressions organized by AUs Expressions AUs Happy + 12 Sad + + 15 Surprise + + + + + 20 + 16 Angry + + + + 10 Disgust + 15 + 16 Fear + + + 26 MECHANISMS BUILT ROBOT HEAD 3.1 Eyes and eyelids mechanism According to Blechinger [8] the radius of the eyeball is about 11.5 mm, and the size of a person's eyeball changes as they get older By the age of 13, the eyeball has grown to a full 24mm diameter The pupil distance (IPD) ranges from 56 to 72mm on average The eye performs approximately a range of motion of 35° up-anddown, left-and-right, and rotation However, according to Jack [10], there is no human expression related to the rotational activity of eye The main goal of the study is to reproduce the human facial expressions through mechanisms Therefore, we remove one degree of freedom of the eye, which is rotation The eye-pitch mechanism and eyelids mechanism are both designed in the form of a 4-bar planar mechanism as shown in Fig points A, B, C, and D describe the mechanism's initial state The B1, B2 describe the final state of the mechanism The center of eyeball is placed at point A, the motor is placed at point D To simplify the control process, ABCD will be designed in a paralle- Fig Kinematic diagram of eye-yaw mechanism 3.2 Lip mechanism The lip and nasal muscle groups, which are important muscle groups in creating facial expressions, surround the mandible area [9] Eleven major muscle groups control lip expression, including: Levator nasolabialis, Levator labii superior, Levator anguli oris, Levator anguli oris, Zygomaticus minor, Zygomaticus major, Risorius, Depressor anguli oris, Depressor labii inferioris, Mentalis, Buccinator and Orbicularis oris Control points were selected based on those muscle groups to generate AUs Fig Lip mechanisms Fig Kinematic diagram of lip corner mechanism To imitate lip motions, we chose the mechanism shown in Fig The 4-bar mechanisms are constructed in parallelogram to simplify the control operation, so the amount of movement of the motors is equal to the amount of movement of the moving points Points 2, 3, 4, 6, 7, and are all controlled by a 4-bar mechanism, making the calculation relatively simple (Fig 1~4) Points and are controlled by two 5-bar planar structures, which makes the calculation more compli-cated The inverse and forward kinematics of the 5-bar planar mechanism will be calculated primarily in this section 3.2.1 Forward Kinematics of lip mechanism Fig describe the kinematic diagram of the mechanism that control points and α is the rotation angle of the motor at A, β is the rotation angle of the motor at E When points B and D change into points B’ and D’, the coordinates of point C will also change to C’ The lengths of BC and DC are constant, the coordinates of point C’ are determined by the following equations:  ( yC '  y B ' )  ( z C '  z B ' )  BC  2 ( yC '  yD ' )  ( zC '  z D ' )  DC (3) Solve equation (4): zC  yC   ( yB  z D )(K  4.K BC.CD)(1/2)  M  N 2( AB2  AE (2 yB  AE)  H ) y B2  ( AE  ED cos( ))  BC  CD 2 AE  y B  ED cos( ) ( zC  z B )  ( zC  z D ) 2 AE  y B  ED cos( ) (4) The equation of angle β is: yC '  ED cos   zC '  ED sin  H  2arctan   F  DC    (11) (12) Where: F  ED2  2EDyC '  EDzC '  DC  yC2 '  zC2 ' H  ED2  EDyC '  DC  yC2 '  zC2 ' (13) 3.3 Jaw mechanism According to Neumann [7], the skull has approximately 22 distinct sections in adults, 21 of which are immovable The jawbone, the last bone of the skull, is the only part that can move In 22 parts of the skull there is part called temporal bones, this is where mandible attaches On the outer surface of the temporal bone there is an oval concave located just before the outer ear, called the mandibular fossa The jaw is connected to the skull through that position, the joint between the skull and the jaw is called the temporomandibular joint It is this joint that creates the motion for the mandible (5) Where: K  AB2  AEyB  AB.ED cos(  )  AE 2 AE.ED cos( )  BC  2BC.CD  CD2  ED2 Fig Workspace and kinematic diagram of jaw mechanism M  AB (  z B  AE sin(2 )  cos(2 ) z D  ED cos( ) sin(2 ))  ED (  z D  AE sin(2 )  cos(2 ) z B  y B sin(2 )) (6)  AE AB sin( )  AE ED cos( ) z B N  (BC2  CD2 )( zB  zD )  AE2 zD  2AE.yB.zD H  ED(2 AB cos(  )  AE cos( )  ED) 3.2.2 Inverse Kinematics of lip mechanism Assume that the coordinates of point C’=(xC’,yC’) are already known, α and β are the motor's rotation angles at the A and E Write (4) as: yC '  AB cos  zC '  AB sin Applying equation cos  Gu  K u2 1  BC2  u2  u2 (7) on equation (9): 0 (8) Where: G  AB  AByC '  ABzC '  BC  yC2 '  zC2 ' K  AB2  AByC '  BC  yC2 '  zC2 ' (9) The result is:  K  2arctan   G    (10) The maximum jaw opening angle that a person can is 39.1±5.9o for men and 36.3±4.3o for women [11] The human jaw can move at a maximum speed of 286 millimeters per second [12] A person has five AUs involved jaw muscle In fact, most human expressions involve Aus (Jaw Drop, Mouth Stretch, and Jaw Thrust [13]) so we omitted the other control points were given to create these AUs, and the direction of their movement was determined in Table When speaking or expressing emotions, jaw is the primary mechanism used to generate movement Therefore, it is necessary to analyze the dynamics of the mechanism to serve as the foundation for motor control 3.3.1 Forward Kinematic of jaw mechanism Fig describe the jaw mechanism as a 5-bar planar mechanism The solid lines represent the initial state of the mechanism, the dashed lines represent the posterior state of the mechanism We have θB is the angle between AB and Oy’ θD is the angle between DE and Oy’, α is the angle between AB and AB’, β is the angle between ED and ED’ Assume that the coordinates of point C’ are C’ = (x C’, yC’), the lengths of C’B’ and C’D’ are determined by the following equations:  ( yC '  y B ' )  ( z C '  z B ' )2  BC  2  ( yC '  y D ' )  ( z C '  z D ' )  DC (14) Solve the above equations: zC  yC  J  ( yD  yB )( L2  4L.BC.CD)(1/2)  Q 2( AB2  2z B AE  AE  P) yB2  yD2  BC2  CD2  (zC  zB )2  (zC  zD )2 2yB  2yD (15) (16) Where: L  AB2  AEzB  AB.ED cos(  )  AE 2 AE.ED cos( )  BC2  2BC.CD  CD2  ED2 J   ( AE ( AE  3z D ED cos( )  AEz B  y B2 )  ED3 cos( )  AB zB  (CD  BC )( zD  zB ) (17) RSSR is the one that has the potential to be used Link (1) and (2) in the rssr mechanism have the same function and position as the Sternocleidomastoid muscle on the human neck This is quite suitable for simulating human neck motion To evaluate the moving ability of the rssr structure, the forward kinematic problem was analyzed The moving platform and the base platform are the two components of the neck mechanism Points A 1, M and N are fixed point, point A is the lower end of the shaft connecting two platforms, points M and N are the positions of two motors, A2M and A3N is the length of the motor’s arms A universal joint will be set at B1, points B2, B3, A2 and A3 are spherical joint, which are able to move in relation to each other Q   z B2 AE  yD2 AE  AB ED cos(2  )  ED AB sin(2  )  AB AE.ED sin(  )) Three points M’, C’, D' are collinear, and k  MD point M is determined by the equations below:    OM  k DC  OD CD (18) 3.3.2 Inverse Kinematic of jaw mechanism The correlation between C’ and M’ is:  yC '  kyD '  (1  k ) yM '   zC '  kz D '  (1  k ) z M ' Fig Kinematic diagram Fig Workspace of neck of neck mechanism mechanism (19) This section applies the same principle as the Inverse Kinematic of lip mechanism, so it can be deduced that:  G  arctan   H    (20)  J   arctan    K  (21) Where: 2 H  DE  2DEyM '  4DEzM '  MD2  yM '  zM ' 2 G  DE  2DEyM '  MD  yM '  zM ' 2 K  AB2  AByM '  ABzM '  BC2  yM '  zM ' 2 J  AB  AByM '  BC  yM ' (22)  zM ' 3.4 Neck mechanism The neck controls head equilibrium since it is fixed to the highest point of the spine The Sternocleidomastoid, the Splenius capitis, the Semispinalis capitis, and the Longissimus capitis are the four major muscle groups that control the neck DoFs of the human neck can be derived from the muscle groups and the movements studied above The first degree of freedom allows the neck to tilt head forward and backward The second degree of freedom allows the neck to tilt head to the side Finally, the human neck's third degree of freedom allows it to rotate the head According to Alfayad [12], the roll, pitch, yaw angle of a human head is 45, 57.5, and 70 degrees, respectively The human neck's flexibility allows it to move the head as well as combine with the muscles of the face to produce various expressions such as shame, embarrassment, pride, and so on [14] In Fig 7, we take A1M = A1N = b1, A2M = A3N = c, MN = a1, A2B2 = A3B3 = e, B1B2 = B1B3 = b, B2B3 = a, A1B1 = d The coordinate system B1X’Y’Z’ of the upper platform is set at B1 For the lower platform (base), the global coordinate system A 1XYZ is placed at the lower end of the shaft Supposed that α is the angle of rotation around the X’ axis of the moving platform in the coordinate system B1X’Y’Z’, β is the angle of rotation around the Y’ axis of the moving platform in the coordinate system B1X’Y’Z’ In the global coordinate system, α1 and β1 are the angle between the A1XY plane and the motor’s arms placed at A and A3 respectively The homogeneous transformation matrix of the coordinate system B1X’Y’Z’ is showed as follows: sin sin sin cos 0  cos   cos  sin 0 T  (23)   sin cos cos cos cos 0   0 1  Initial coordinates of points B1, B2 and B3 on the moving platform is determined by the equation below: 0 b2  a2 / b2  a2 /    [B1 B2 B3 ]  0 a / a/  (24)   0   After finishing rotating around Y’ and X’ axis, coordinates of the above points become points P1, P2, P3:  P  B 1  T 1 (25)     Where: P  [ P1 P2 P3 ] and B  [ B1 B2 B3 ] The coordinates of points P1, P2 and P3 in the global coordinate system A1XYZ can be deduced:  P1  [0, 0, d ]  2  P2  [ b  a / cos  a sin sin / 2,  a cos / 2,  2   b  a / sin  a cos sin /  d ]  2  P3  [ b  a / cos  a sin sin / 2, a cos / 2,  2   b  a / sin  a cos sin /  d ] (26) Table Result of recognition test %match Happy Sad Anger Disgust Fear Surprise Happy 93 1 Sad 91 Anger 1 77 10 Disgust 87 2 Fear 80 Surprise 83 The coordinates of points A 1, A2, A3 in the global coordinate system A1XYZ was shown below:  A1  [0,0,0]  2  A2  [ b1  a1 /  c cos ,  a1 / 2, c sin ] (27)  2  A3  [ b1  a1 /  c cos , a1 / 2, c sin ] Based on the coordinates of above points and the relationship A2B2 = A3B3, it can be deduced that:   A2 B  A3 B  e (28) Equation (31) has variables α1, β1, α and β When α1 and β1 are previously know, the value of angles α and β can be derived Simmilarly, when α and β are previously know, the value of angles α1 and β1 can also be derived In Fig 9, set a = 50.82mm, b = 53.14mm, a1 = 64mm, b1 = 48.54mm, c = 24mm, d = 115.65mm, e = 114mm Fig above shows the workspace of point S, which is a fixed point on the moving platform The initial coordinates of point S in coordinate system B1X’Y’Z’ is S = (46.67, 0, 20) When the neck mechanism works, point S moves relatively Workspace of point S will be a sphere with the center placed at point B1 and radius equal to 50.77mm EXPERIMENT Based on the survey data of 200 people aged from 18 to 25, we got the average parameters tr-n = 7.28cm, n-sn = 4.93cm, sn-sg = 6.36cm corresponding to the size on Fig The robot's head has the same number of degrees of freedom and range of motion as a human's head RC servos are used as actuators in all mechanism Results of the research were evaluated through the first experiment with a group of 100 volunteers (18-25 years old) with diverse genders and facial features The following is an experimental procedure: the robot head will randomly display expressions (Fig 10), ensuring that each expression appears exactly once The control points which create expressions are the results of a survey participated by 15 local people The coordinates of the points when moving are defined relative to their position in the neutral expression The motor rotation angle is determined based on the position of points in different facial expressions The volunteers will be asked to select one of the six expressions listed on the survey form (happy, sad, anger, surprise, disgust, fear) The volunteers must select the most appropriate expression for each expression of the robot head (recognition) and evaluate the similitude between the expression of the robot head contrast with what they selected on the 100-point scale (similarity) Fig 3D model of robot head Fig 10 Expressions of robot head in first experiment The results of the recognition test showed that the rate of recognition of emotions perform by the robot head is the lowest 77% and the highest up to 93% (Table 3) These figures show acknowledgment from the local area for the expressions of the robot head Another result is that the expressions combined from many AUs were harder to identify The happy (93%) comprised of AUs and sad (91%) comprised of AUs are perceived more accurate than the others expression is comprised of more AUs The explanation for this is expected to be because the simpler the expressions, the easier it is to recognize Simultaneously, happy and sad are also two of the most expression popular in daily life The similarity experiment demonstrates the similarity between expression of the robot head and the human expression The statistics only taken into account survey sheets, which correctly classify expressions in the recognization part Therefore, the level section allows us to assess expressive performance quality of the robot head from a different aspect, avoiding misidentification Tables shown that the anger, fear, and surprise expressions tend to be more difficult to identify in the recognization test, but several findings from similarity tests show that the tests are quite inconsistent Fig 11 shown that the happy, sad, fear, and surprise expressions are highly appreciated (77%, 75%, 72%, 78%) Significant inconsistencies were appeared in the surprise expression, although the recognition rate was not high (83%), it was evaluated as the most similar to the human expression The hypothesis proposed to explain is that volunteers tend to confuse expressions similarities A resurvey was performed to test our hypothesis As a result, up to 72% of those who gave incorrect answers in the recognition experiment thought that the three expressions anger, fear, and surprise were confusing because they were similar They also suggested that if the head robot was covered in leather, it would be easier to recognize Fig 11 Result of similarity test In the second experiment, the ability to move is evalued by measurement methods The robot head is controlled to move from minimum to maximum angle of each moving ability Manually measuring parameters with clinometers was done ten times by five different professionals To ensure reliability, the results of each measurement are reevaluated through variance The average of the accepted results is used to calculate the final parameter of each measurement Parameters are then measured to compare with actual parameters that have been researched in humans The second experimental results are shown in Table of motion of the robot neck is up to 80% simmilarity The experimental process demonstrated the reality of the robot's expressions under the view of human In the future, to add more reality to the expressions, a silicone skin will be created to cover the robot's head The number of control points will be studied to increase the number of robot expressions Thereby, the robot head can perform more realistic expressions and improve the recognition rate and expression level in the experiment REFERENCES [1] [2] [3] [4] Table The result of second experiment Angle Eyes Jaw Neck Human (degree) Roll Pitch None 35 None 41 45 57.5 Yaw 35 None 70 Head Robot (degree) Roll Pitch Yaw None 35.6 38.2 None 41.4 None 42.8 49.5 360 [5] [6] The results of the second experiment showed that the robot's eye and jaw were capable of generating humanlike motion Two parameters of the neck mechanism include roll angle and pitch angle not meet the motion requirements, but the difference between the human and the mechanical structure is not significant, roll (2.2 degrees) and pitch (8 degrees) This is obvious and acceptable given that mechanical structures are difficult to be as sophisticated as those of humans Overall rating of motion, the robot head is capable of performing up to 96.86% of the basic movements of the human head [7] CONCLUSION AND FUTURE WORK [11] The purpose of the paper is to present the design of the main parts of the robot head's neck, mouth, eyes, eyebrows, and eyelids Robot head is made up of three mechanisms that correspond to the human eye, mouth, and neck The main muscle groups performing movement, expression, and the number of degrees of freedom for each area have been analyzed using anatomical basis The required control points for the robot head are then given by the expressions in each of the areas listed Based on the above information and the average Asian head size, a blueprint for the Open robot head has been completed Experiments have shown that the Open robot head can perform all six proposed expressions as well as basic human neck movements like roll, pitch, and yaw In comparison to humans, the range [8] [9] [10] [12] [13] [14] Kanda, Takayuki, et al “Development and evaluation of an interactive humanoid robot "Robovie",” in Proc International Conference on Robotics and Automation, Vol 2, pp 1848-1855, 2002 Pandey, A K., & Gelin, R (2018) “A mass-produced sociable humanoid robot: Pepper: The first machine of its kind,” in Proc Robotics & Automation Magazine, 40-48 Lütkebohle, Ingo, et al "The Bielefeld anthropomorphic robot head “Flobi”," in Proc 2010 IEEE International Conference on Robotics and Automation, pp 3384-3391, 2010 Glas, Dylan F., et al “Erica: The erato intelligent conversational android,” in Proc 2016 25th IEEE International symposium on robot and human interactive communication, pp 22-29, 2016 Ekman, P., & Friesen, W V., Unmasking the face: A guide to recognizing emotions from facial clues, Vol 10, 2003 Hamm, Jihun, et al “Automated facial action coding system for dynamic analysis of facial expressions in neuropsychiatric disorders,” Journal of neuroscience methods, pp 237-256, 2011 Neumann, D A., Kinesiology of the musculoskeletal system-e-book: foundations for rehabilitation, Elsevier Health Sciences, 2013 Blechinger, F., & Achtner, B., Handbook of optical systems, volume 4: Survey of Optical Instruments (Vol 4) Wiley-VCH, 2005 Saladin, K S., & Miller, L., Anatomy & physiology, New York: WCB/McGraw-Hill, 1998 Jack, Rachael E., Roberto Caldara, and Philippe G Schyns, "Internal representations reveal cultural diversity in expectations of facial expressions of emotion," Journal of Experimental Psychology: General, 2012 Muto, T., & Kanazawa, M., “Linear and angular measurements of the mandible during maximal mouth opening,” Journal of oral and maxillofacial surgery, pp 970-974, 1996 Alfayad, Samer, et al., “Hydroïd humanoid robot head with perception and emotion capabilities: Modeling, design, and experimental results,” Frontiers in Robotics and AI, 2016 Ekman, R., What the face reveals: Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS), Oxford University Press, USA, 1997 Halmesvaara, Otto, et al, “How bodily expressions of emotion after norm violation influence perceivers’ moral judgments and prevent social exclusion: A sociofunctional approach to nonverbal shame display,” PloS one, 2020 Nhóm tạo chuyển động hàm Nhóm tạo chuyển động mơi Nhóm tạo chuyển động cổ Cơ cấu khí da nhân tạo Nội dung nghiên cứu Nhóm tạo chuyển động mắt • • Phương pháp nghiên cứu - Áp dụng tảng giải phẫu người để đưa thiết kế, tính tốn cấu cho đầu robot - Dựa tảng trí tuệ nhân tạo để tạo tương tác robot người - Chế tạo cấu khí tiến hành điều khiển hệ thống - Thực nghiệm sản phẩm với tham gia tình nguyện viên CỨU II PHƯƠNG PHÁP VÀ NỘI DUNG NGHIÊN I ĐẶT VẤN ĐỀ Ở Việt Nam ứng dụng nhiều công nghệ robot sản xuất đời sống Vẫn có cơng trình nghiên cứu biểu cảm xúc tương tác cho robot Các công việc tư vấn, tiếp tân, hướng dẫn thủ tục sử dụng robot để thay mà cảm giác thân thiện người Keywords: Đầu robot, tương tác người máy Tóm tắt: Đề tài hướng đến thiết kế chế tạo đầu robot tương tác với người kết hợp thể biểu cảm khuôn mặt trí tuệ nhận tạo 𝑂 ≡𝐷 A1 A2 C1 VC B V E B1 Cảm biến Động Analog to Analog to digital digital xt σ 𝐶 x σ ot xt MFCC MFCC RNN model RNN x Output gate Mơ hình LTSM σ it + Input gate Sàng lọc Sàng lọc Sàng lọc từ 44âm Sàng lọc từ từ 42âm âm tiết từ âm tiết tiết tiết Sàng lọc Sàng lọc Sàng lọc từ 44âm Sàng lọc từ từ 41âm âm tiết từ âm tiết tiết tiết Y x Mi mắt Mắt y y Mi mắt z x O z Mắt 0.42  0.85 MPa 4.6  20 MPa 0.05  0.15 MPa Da người 0.31 MPa 18.74 MPa 0.71 MPa Da silicone So sánh thông số da silicon da người Mô đun đàn hồi (xoắn) Mô đun đàn hồi (kéo) Mô đun đàn hồi (hút) Phát khuôn mặt Cơ sở liệu Căn chỉnh khn mặt So sánh đặc trưng Trích xuất đặc trưng Kết C init CRF X1 CRF X2 BiLSTM CRF X n1 CRF Xn C init  Kết phản hồi hệ thống - Văn thành lời nói: Mơ hình tacotron2 sử dụng để chuyển đổi từ spectrogram sang waveform.Gộp waveform âm vị lại thu âm từ, câu - Kết phản hồi hệ thống : cảm xúc người đối thoại phản hồi Mơ hình nhận diện thực thể - Huấn luyện mơ hình phản hồi hội thoại: 2000 câu đối thoại thuộc nhiều lĩnh vực khác thu thập từ trước kết hợp với thông tin truy xuất từ lưu trữ liệu kết nhận diện cảm xúc tạo thành chuỗi đầu vào Sơ đồ khối xác nhận danh tính Hình ảnh  Xử lý văn hội thoại - Nhận dạng khn mặt lưu liệu: - Mơ hình Transformer mơ hình học sâu áp dụng chế self attention, có khả nhận biết mối liên quan phần tử với phần tử lại liệu đầu vào - Tìm kiếm internet: thu thập lưu trữ kiến thức sau đào tạo mơ hình để sử dụng chúng - Huấn luyện mơ hình phản hồi tìm kiếm: Kết đào tạo mơ hình với hàm loss cross entropy  Xử lý văn tìm kiếm Mơi y Động Hàm Động Phân tách từ nhận dạng cảm xúc câu Sàng lọc Sàng lọc Sàng lọc từ 44âm Sàng lọc từ từ 43âm âm tiết từ âm tiết tiết tiết Text ht Ct Động Xử lý giọng nói thành văn Sàng lọc Sàng lọc Sàng lọc từ 44âm Sàng lọc từ từ 44âm âm tiết từ âm tiết tiết tiết Speech ht-1 ft x Forget gate Ct-1 O Loa Động z Tương tác người robot  Xử lý văn hội thoại ht Vi điều khiển Camera x Z Comput er Micro B2 Y Sơ đồ hệ thống điện Cổ X Q Z Cơ cấu khí da nhân tạo Đơn vị: Khoa Cơ khí Chế tạo máy Email: khactoan240@gmail.com Sinh viên thực hiện: Nguyễn Khắc Toàn, Lê Đức Thuận, Lê Bảo Long Giáo viên hướng dẫn: PGS.TS Nguyễn Trường Thịnh TÊN ĐỀ TÀI: NGHIÊN CỨU, THIẾT KẾ, CHẾ TẠO ROBOT ĐẦU NGƯỜI 115 140 Pitch Yaw Jaw-lip Neck 180 99.6 62.7 49.2 42.1 72.6 Robot 180 80 45 Không 40 30 Romeo 110 90 90 Không 70 80 Ciprian 88 Ngạc nhiên Vui Ghê tởm Buồn Giận Sợ hãi Error 97 0 Vui 86 Ghê tởm 94 0 Buồn 0 93 Giận 81 Sợ hãi parallel manipulator from an algebraic viewpoint”, 2013 [4] J Schadlbauer, D.R Walter, M.L Husty, “The 3-RPS [1] J Gordon Betts et al, “Anatomy & Physiology”, 2013 TÀI LIỆU THAM KHẢO III KẾT LUẬN - Đã nghiên cứu, thiết kế chế tạo cấu mô lại phận đầu người thật - Đã phát triển hệ thống biểu thị cảm xúc cho đầu robot tương tác, đặc biệt khả mô biểu cảm - Robot có khả tự học, thu tập thơng tin từ người tương tác Thực nghiệm nhận dạng cảm xúc Ngạc nhiên % khớp Thực nghiệm góc hoạt động cấu 70 41 45 70 Human Yaw Pitch Roll Eye Pitch Parameter Mơ hình 3D đầu robot III KẾT QUẢ NGHIÊN CỨU S K L 0 ... Chương 3: Thiết kế khí Giới thiệu Thiết kế cấu cổ robot Thiết kế cấu hàm robot Thiết kế cấu môi robot Thiết kế cấu mắt robot Thiết kế điểm điều khiển Mơ hình đầu robot Chương 4: Da nhân tạo robot. .. mang tính người giao tiếp Kết nghiên cứu: Đã nghiên cứu, thiết kế chế tạo robot đầu người với khả tương tác, giao tiếp với người tạo biểu cảm với độ chân thực cao dựa chuyển động da nhân tạo xi... tượng phạm vi nghiên cứu Đối tượng nghiên cứu: Đầu robot có khả tương tác với người thông qua giao tiếp ngôn ngữ biểu cảm khuôn mặt Phạm vi nghiên cứu: Nghiên cứu, thiết kế cấu đầu robot dựa tảng