Hcmute nghiên cứu, thiết kế và chế tạo robot hỗ trợ khám bệnh từ xa

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO ROBOT HỖ TRỢ KHÁM BỆNH TỪ XA MÃ SỐ:SV2019-10 SKC006823 Tp Hồ Chí Minh, tháng 06/2019 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO ROBOT HỖ TRỢ KHÁM BỆNH TỪ XA SV2019-10 Thuộc nhóm ngành khoa học: TP Hồ Chí Minh, 6/2019 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO ROBOT HỖ TRỢ KHÁM BỆNH TỪ XA Thuộc nhóm ngành khoa học: SV thực hiện: Nguyễn Đào Xuân Hải, Lương Hữu Thanh Nam Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: Đào tạo chất lượng cao Năm thứ: 4/Số năm đào tạo: Ngành học: Công Nghệ Kỹ Thuật Chế tạo máy , Công nghệ Kỹ Thuật Cơ Điện Tử (Ghi rõ họ tên SV chịu trách nhiệm thực đề tài) Chủ nhiệm đề tài: Nguyễn Đào Xuân Hải Giảng viên hướng dẫn: PGS.TS NGUYỄN TRƯỜNG THỊNH TP.HCM, tháng 06 năm 2019 Luan van MỤC LỤC Trang MỤC LỤC DANH MỤC HÌNH VẼ GIỚI THIỆU TỔNG QUAN 1.1 1.2 1.3 Nghiên cứu tổng quan nước Nghiên cứu tổng quan nước Kết luận 11 THIẾT KẾ CƠ KHÍ - TÍNH TỐN ĐỘNG HỌC 11 2.1 2.2 2.3 2.4 2.5 2.6 2.7 Giới thiệu 11 Thiết kế phần bệ robot 14 Thiết kế bệ, tính động học chọn động 15 Tính tốn độ bền bệ robot 20 Hệ truyền động bánh xe 22 Thiết kế sạc tự động cho robot 23 Thiết kế đường dẫn tín hiệu robot 26 XỬ LÝ ẢNH - NHẬN DẠNG GIỌNG NÓI 27 3.1 3.1 3.2 Giới thiệu 27 Thiết kế phần mềm xử lý ảnh nhận dạng khuôn mặt người dùng 31 Phương pháp Haar Cascades 32 THIẾT KẾ PHẦN MỀM NHẬN DẠNG GIỌNG NÓI 38 4.1 Giới thiệu 38 4.2 Phân tích giọng nói thiết kế phần mềm nhận dạng giọng nói - giao tiếp với người dùng 38 ĐIỀU KHIỂN VÀ TRUYỀN THÔNG 42 5.1 5.2 5.3 5.4 5.5 5.6 Giới thiệu 42 Cấu trúc phần điều khiển 43 Cấu trúc phần điều khiển 45 Di chuyển định vị 46 Quản lý thông tin đồ phục vụ việc định vị 47 Tương tác người robot 50 THỰC NGHIỆM VÀ ĐÁNH GIÁ 54 6.1 Kết đạt 55 TÀI LIỆU THAM KHẢO 57 Luan van DANH MỤC HÌNH VẼ Trang Hình Số lượng robot phục vụ cho mục đích chuyên nghiệp bán năm 2013 2014 (Nguồn International Federation of Robotics Industrial Robot Statistics tháng 10/2015) Hình Một mobile robot hãng BlueBotics sân bay quốc tế Geneva Hình Một mobile robot mang tên Beam Pro sản phẩm thương mại hóa tập đồn ANA Hình Phác thảo thiết kế sau vẽ render 12 Hình Kích thước robot hỗ trợ khám bệnh từ xa 13 Hình Các chi tiết phần đế robot 15 Hình Sơ đồ truyền động 16 Hình Mơ hình hóa bệ động robot phần mềm đồ họa 17 Hình 10 Các lực tác động lên trên bệ robot 17 Hình 11 Kích thước động PD4266 – 24 – 144 – BFEC 19 Hình 12 Bệ robot cách bố trí vị trí pin 20 Hình 13 Kết mô chuyển vị phần đế dưới 21 Hình 14 Kết mô ứng suất phần đế dưới 21 Hình 15 Nguyên lý truyền động bánh xe 22 Hình 16 Mơ hình hóa robot telemedicine thiết kế 23 Hình 17 Dock sạc robot 26 Hình 18 Sơ đồ kết nối 26 Hình 19 mối quan hệ thành phần hệ thống 28 Hình 20 Cấu trúc hệ thống phần mềm robot 30 Hình 21 Tương tác robot người sử dụng 31 Hình 22 Lưu đồ thuật tốn tính đặc trưng 32 Hình 23 Lưu đồ nhận dạng khuôn mặt 32 Hình 24 Đặc tính Haar 33 Hình 25 Các đặc trưng Haar-Like 33 Hình 26 Hai đặc tính tốt sử dụng 34 Hình 27 Chức hệ thống nhận diện gương mặt 36 Hình 28 Phát gương mặt sử dụng EmguCV 36 Hình 29 Lưu đồ giải thuật nhận dạng gương mặt 37 Hình 30 Mạch xác định qua 39 Hình 31 Sơ đồ giải thuật nhận diện giọng nói 40 Hình 32 Nhận diện giọng nói sử dụng học sâu 41 Hình 33 The robot controller system 42 Hình 34 Sơ đồ điều khiển thơng qua máy tính robot 43 Hình 34 Hệ thống điều khiển robot 44 Hình 35 Sơ đồ khối tương tác robot người 45 Hình 36 Sơ đồ cấu trúc điều khiển theo tầng robot 46 Hình 37 Các giai đoạn xử lý di chuyển 46 Hình 38 Bản đồ mơi trường hoạt động nhà (a) đồ hình học (b) 48 Hình 39 Chia lưới không gian xét 48 Hình 40 Di chuyển không gian hoạt động robot 49 Hình 41a Giao diện tương tác với người dùng thị hình cảm ứng 51 Hình 41b Giao diện thiết kế để quản lý hồ sơ khám bệnh bệnh nhân đăng nhập tài khoản cá nhân mã QR-CODE thị hình cảm ứng có chức hỗ trợ gọi điện thoại cho bác sĩ, người thân, 52 Hình 42 Hệ thống định vị dành cho robot di động 53 Hình 43 Module giao tiếp nhận dạng đối tượng 53 Hình 44 Sơ đồ chức 55 Luan van GIỚI THIỆU TỔNG QUAN Ngành robot hỗ trợ y sinh đối tượng khoa học kỷ nguyên số, kỷ nguyên đón đầu công nghệ mạng không dây, công nghiệp 4.0 Người tiên phong lĩnh vực robot giới đặt tảng cho công ty robot công nghiệp Unimation Joe Engelberger vào năm 1950 Sau Engelberger thành lập công ty robot y sinhđầu tiên giới HelpMate Robotics vào thập niên 1980 cho mục đích robot phân phối thuốc lấy bệnh phẩm, Engelberger phát cần phải tập trung nghiên cứu robot lĩnh vực chăm sóc, trợ giúp người già người bệnh, tàn tật Liên đoàn quốc tế robot (IFR) đưa kết điều tra tăng hàng năm khoảng 11,5% dự án lĩnh vực tăng 20% hàng năm ngành công nghiệp robot y sinh Nhưng lĩnh vực đặc biệt phát triển mạnh 150% dành cho bệ di động 650% công nghệ trợ giúp năm 2015 Thị trường dành cho robot chuyên dụng quân sự, không gian hoạt động lớn (nơng nghiệp kiểm tra/kiểm định), logistics, robot ứng dụng mạnh mẽ y tế chăm sóc sức khỏe (Hình 1) Luan van Hình Số lượng robot phục vụ cho y tế cho mục đích chuyên nghiệp bán năm 2013 2014 (Nguồn International Federation of Robotics Industrial Robot Statistics tháng 10/2015) Robot thiết bị lập trình thực tác vụ lặp lặp lại phức tạp cách tự động Hiện khái niệm robot hỗ trợ khám chữa từ xa(Tele-medical Robots) nghiên cứu phát triển mạnh giới Các robot hỗ trợ khám chữa bệnh từ xa mang lại giá trị lớn cho xã hội người hứa hẹn nhiều phát triển cho xã hội nói chung ngành y tế nói riêng Thông qua việc triển khai robot việc ứng dụng vào lĩnh vực y tế tăng giá trị đáng kể thông qua tương tác người-robot Robot người học cách làm việc bổ sung cho thông qua trí tuệ thơng minh nhân tạo AI, robot chăm sóc người cao tuổi khuyến khích người sử dụng liên tục vận động thăm bạn bè, tạo hoạt động có lợi cho sức khỏe cách lành mạnh Ngoài ra, từ sở liệu lớn (Big Data) tình trạng bệnh nhân hình ảnh y sinh thu thập từ nhiều năm trở lại lập thành thư viện riêng, từ robot tiên đốn cho xác bệnh triệu chứng mắc người phương pháp học máy (Machine Learning), đồng thời đưa lời khuyên từ bác sĩ thiết bị trung gian để bác sĩ đối chứng kết từ cho phương pháp, liệu pháp điều trị ngắn hiệu Robot hỗ trợ khám bệnh từ xa gì? Robot sử dụng nhiều bệnh viện sở y tế nước ngoài, khả ứng dụng phát triển robot y sinh, đặc biệt robot ứng dụng y tế tiếp tục ứng dụng rộng rãi giới Hiện nay, robot thay tốt người hoạt động Với việc sử dụng trí tuệ nhân tạo (AI), công nghệ cảm biến công nghệ lượng, robot ứng dụng cơng nghiệp, gia đình lĩnh vực phục vụ cơng cộng Các robot hỗ trợ y tế máy di chuyển tự hành thiết kế để tương tác với người môi trường xung quanh thể hành vi xã hội nhận diện, theo dõi, chuẩn đoán hỗ trợ chủ sở hữu họ tham gia vào trò chuyện 1.1 Nghiên cứu tổng quan nước Luan van Hiện có nhiều cơng ty cung cấp thương mại sản phẩm robot y sinh Công ty Savioke cung cấp phục vụ khách sạn làm công việc chăm sóc người già Cơng ty Intuitive Surgical mang lại cho nhân loại mẫu robot phẫu thuật xác gần tuyệt đối Cơng ty Adept cung cấp bệ di động cho nhiệm vụ tổng quát sử dụng nhiều vị trí tùy theo cài đặt, cài đặt làm quản lý nhà hàng Giá robot y sinh chưa có dấu hiệu giảm đi, nhận thấy robot y sinh diện ứng dụng phẫu thuật, chuẩn đốn hình ảnh y sinh trợ lý đắc lực bác sĩ ứng dụng vào việc hỗ trợ khám bệnh cho bệnh nhân từ xa thông qua phần mềm tương tác chuyên biệt Robot y sinh phục vụ cho cá nhân tới nhiều thị trường hội thị trường tăng lên cải thiện liên tục an toàn tự hiệu chỉnh robot với giao diện thân thiện với người sử dụng Những robot y sinh hỗ trợ bệnh nhân, người lớn tuổi, trẻ em, liệu pháp điều trị tốt từ bác sĩ, khả vận hành, làm việc tốt hơn, nhanh hơn, tiện lợi an tồn Hình Một mobile robot hãng BlueBotics sân bay quốc tế Geneva Tại Thụy Sỹ Geneva Airport gần thử nghiệm robot khách hàng khu vực giao trả hành lý Các robot hành khách đón nhận (Hình 2) Ngồi ứng dụng sân bay họ cịn nghiên cứu cho robot làm việc Luan van nơi khác Hành khách sân bay Geneva đơn giản chạm vào hình robot, chọn hành lý mà họ muốn tìm sau việc theo robot Robot y sinh vấn đề quan tâm giới nói chung nguồn cảm hứng chuyên gia đầu ngành nhắc tới phương pháp chăm sóc y tế từ xa, đặc biệt thời đại công nghệ 4.0, thứ tự động kết nối với nhau, giao tiếp với thơng qua mạng khơng dây Hình Một mobile robot mang tên Beam Pro sản phẩm thương mại hóa tập đồn ANA Tại Mỹ tháng năm 2018, tập đoàn ANA tiết lộ robot telepresence hệ dạng BeamPro 2, trang bị hai camera HD 12 megapixel siêu rộng siêu tốc độ cải tiến với zoom kỹ thuật số 12x Cùng với hình cảm ứng lớn 24 inch bao gồm cảm biến độ sâu 3D tùy chọn bổ sung robot Beam gốc.(Hình 3) giúp người dùng giao tiếp từ xa Luan van Ngồi ra, robot chăm sóc sức khỏe từ xa cá nhân hóa nhà riêng, hộ mang lại nhiều tiện ích khả chăm sóc sức khỏe 24/7 tích hợp trang thiết bị y tế kiểm định bán rộng rãi thị trường máy trợ tim, tai nghe, máy đo huyết áp, cặp nhiệt kế Khơng chăm sóc sức khỏe bệnh nhân từ xa, telebot cịn có khả thơng báo tình trạng khẩn cấp người già gia đình gặp tai nạn té cầu thang, vấp ngã với vật cao, Telebot gửi tín hiệu cảnh báo SMS cho người thân, đồng thời phát tín hiệu báo động trợ giúp để người xung quanh nghe thấy, chng báo tắt có người dùng xác nhận bệnh nhân an toàn 1.2 Nghiên cứu tổng quan nước Vào năm 2010, TS Nguyễn Đức Thành thuộc khoa Điện- Điện tử, ĐH Bách Khoa TP HCM chế tạo robot nhận dạng cảm xúc gương mặt người đối diện-(Hình 4) Robot hoạt động tự động gồm ba phần, phần đầu điều khiển hai camera động điều khiển góc quay cho trục camera Phần thân gồm ba tầng đặt máy mạch điều khiển, cịn phần bệ có ba động di chuyển Hình Robot phân tích cảm xúc khn mặt người Từ ảnh robot xử lý, phân tích hệ thống máy tính bên đưa kết luận người ảnh vui hay buồn, ngạc nhiên hay giận Tiếp đó, robot phản ứng theo cảm xúc Khi người buồn, robot tiến đến an ủi Ngược lại, lùi xa người vui Tuy nhiên biểu cảm xúc robot hạn Luan van Vật trung gian Robot Màn hình cảm ứng Tương tác * Lựa chọn hình * Phát người sử dụng * Bám theo người sử dụng Nhận dạng giọng nói Nhận dạng hình ảnh Cử Âm … Định vị * Bản đồ * Vật mốc * Odometry Người sử dụng Tương tác * Chạm * Thiết bị cầm tay * Cơ thể Người sử dụng Người sử dụng Hình 35 Sơ đồ khối tương tác robot người 5.3 Cấu trúc phần điều khiển Vấn đề nghiên cứu đề tài dành cho robot tự hành định vị môi trường nhà, xây dựng đồ di chuyển theo định vị vị trí Thêm vào robot phát chướng ngại vật xác định trước, đốn vị trí mơi trường tích hợp cập nhật vào đồ Vì robot có khả định vị vẽ đồ tức thời (Simultaneous Localization And Mapping - SLAM) phát hiện/nhận dạng vật thể môi trường Trong hầu hết SLAM xây dựng đồ sử dụng dành cho việc định vị robot Nhiều đồ dựa lưới đặctính điểm đường mô tả Bộ điều khiển lớp thấp chuyển đường di chuyển thành lệnh di chuyển thực thi Trong trình điều khiển robot, hệ thống điều khiển tầng thiết kế để điều khiển bệ di động Lớp điều khiển mức cao dựa vào điều khiển logic mờ dựa việc thu thập liệu cảm biến so sánh với quỹ đạo tham chiếu để tạo lệnh di chuyển theo yêu cầu Lớp cấp độ thấp sử dụng điều khiển động PID cổ điển nhận lệnh điều khiển động bánh xe chủ động từ tín hiệu lớp cao điều khiển động đạt đến vị trí yêu cầu Cấu trúc tầng (lớp) gọi cấu trúc điều khiển theo tầng (cascade control) Sơ đồ điều khiển theo tầng đặc biệt thích hợp cho robot di động, có khoảng thời gian trễ đáng kể biến tác động biến điều khiển Trong trường hợp sử dụng tín hiệu đo tức thời đáp ứng nhanh so với tín hiệu điều Luan van khiển Trong sơ đồ thấy có vịng điều khiển hình 36 Một vịng biết vịng thứ cấp vịng ngồi vịng sơ cấp Với vòng điều khiển sơ cấp xác định vị trí bánh lái cần đạt vịng điều khiển thứ cấp bám theo chuyển động xoay động để hướng tới vị trí cần đạt Quỹ đạo yêu cầu Vị trí vị trí, hướng Bộ điều khiển yêu cầu robot Bộ điều khiển PWM Động DC PID Vị trí hướng Vận tốc Robot tự hành Bánh xe Vịng điều khiển Vịng điều khiển ngồi Hình 36 Sơ đồ cấu trúc điều khiển theo tầng robot Vịng điều khiển ngồi sử dụng điều khiển mờ để điều khiển vị trí hướng robot Mục đích điều khiển thu thập liệu sau xử lý thơng tin để tạo vị trí tham chiếu để robot hướng đến Tín hiệu vào cảm biến từ nhận camera, siêu âm xác định vị trí robot vùng giám sát với tốc độ lấy mẫu 10 Hz 5.4 Di chuyển định vị Giai đoạn Yêu cầu vận tốc người điều khiển Dữ liệu Tốc độ yêu cầu Giai đoạn Dữ liệu cảm biến laser Module giao tiếp với điều khiển Bản đồ VFH tránh vật cản Vị trí đến Logic mờ Vị trí vật cản Giai đoạn Tốc độ bánh xe trái Mơ hình động học Tốc độ bánh xe phải Tốc độ/ vận tốc quay Giải thuật bám theo đường Giai đoạn Hình 37 Các giai đoạn xử lý di chuyển Robot ứng dụng môi trường hoạt động nhà (indoor) với nhều loại robot khác từ môi trường điều kiện giới hạn phân xưởng nơi robot công nghiệp ứng dụng ứng dụng hoạt động dân dụng mà môi trường không xác định trước Một nghiên cứu robot di động Luan van việc định vị robot di chuyển đến mục tiêu cách xác Hiện hầu hết robot di chuyển theo đồ cố định có sẵn, nhiên vấn đề khó khăn gặp phải mơi trường động, mà quản lý thông tin theo thay đổi môi trường phức tạp Để việc điều khiển robot tốt linh hoạt môi trường nhà việc quản lý thơng tin mơi trường cần phải quan tâm Định vị thông minh, robot cần kiểu thơng tin mơi trường thơng tin tĩnh tồn cục, mơ tả đồ hình học phẳng mà có sẵn mối quan hệ vị trí từ điểm bắt đầu đến vị trí điểm đến cách lập đường thông tin cục địa phương đồ trích, chướng ngại vật, thơng tin giao thơng dành cho việc điều khiển robot môi trường động Robot có thơng tin đường di chuyển đơn giản tới mục tiêu hệ thống trợ giúp thông tin (IA - Information Assistant), IA thiết bị truyền thông loại nhỏ lắp môi trường giúp quản lý thông tin môi trường thực cục 5.5 Quản lý thông tin đồ phục vụ việc định vị Trong nghiên cứu này, mơi trường nhà bao kín với tường với vật cản cố định (bàn ghế, chậu hoa, cột ) vật cản di động (người di chuyển) Để định vị robot linh hoạt, phân loại kiểu thông tin môi trường Một kiểu thơng tin tồn cục để lập đường thô cho robot Một loại thông tin cục khác cho biết thông tin chi tiết phụ thuộc vào môi trường thời gian thực Phương pháp quản lý thông tin mô tả phần Trong hình 38, đồ hình học mơi trường hình (a) biểu diễn hình (b) cách sử dụng đường di chuyển thẳng Trong đồ này, độ xác thơng tin mơi trường khoảng cách, vị trí khơng đề cập Goal Goal Begin Begin Luan van Hình 38 Bản đồ mơi trường hoạt động nhà (a) đồ hình học (b) Mặc dù đường di chuyển thô đưa đồ mơi trường tồn cục, cần xác định quỹ đạo chuyển động robot di chuyển thật Ví dụ, robot dễ dàng di chuyển dọc theo bờ tường, nhiên robot di chuyển dễ dàng tới giao lộ Khi dạng giao lộ khơng đồng nhất, khó đưa quỹ đạo trước Tuy nhiên cần điều phối chuyển động có chuyển động robot, người tham gia chuyển động băng qua giao lộ Thêm vào đó, tường không tồn giao lộ này, điều khiển vị trí chuyển động phải kết hợp với việc tự xác định vị trí robot khó khăn Để định vị tốt giao lộ, robot cần phải biết trạng thái thông tin Để mà thực công việc di chuyển, robot y sinh yêu cầu có khả điều khiển servo tới vị trí hướng khác mơi trường Với cấu hình robot y sinh dựa mơ hình bánh vi sai Với robot y sinh cịn làm thiết bị hỗ trợ cho người tàn tật, giúp cho họ tập vật lý trị liệu, dẫn hướng di chuyển Nếu dùng điểm mốc rời rạc khơng có quy luật thời gian cho việc lựa chọn điểm mốc khó xác định điểm mốc Để đơn giản cho xử lý ta chia nhỏ không gian khảo sát thành ô vuông với chiều dài quy ước sẵn hình 39 Lý chọn vng khối hình học đơn giản xem tương tự điểm ảnh Ta hồn tồn dùng khối hình học khác lục giác, đa giác, tứ giác,… Hình 39 Chia lưới khơng gian xét Luan van Chương trình tránh vật cản robot hoạt động mô tả phần sau Khi bắt đầu di chuyển theo quỹ đạo, robot sử dụng cảm biến siêu âm để xác định vật thể, cảm biến trả có vật cản phía trước, robot so sánh với đồ có sẵn Khi vật cản phát khơng có đồ, lúc chương trình tránh vật cản bắt đầu hoạt động Robot ngắt tạm thời chương trình hoạt động, bắt đầu xác định loại vật cản Bằng cách sử dụng cảm biến siêu âm trái phải, robot xác định hướng di chuyển, tốc độ di chuyển vật cản Nếu vật cản di động, robot bật đếm 10 giây, sau 10 giây, vật cản còn, robot lập quỹ đạo di chuyển song song ngược chiều chuyển động vật cản đứng lại Khi robot di chuyển hết chiều dài vật cản, lập quỹ đạo để di chuyển đến điểm đích Kết thúc chương trình tránh vật cản Q trình xử lý thơng tin điều kiển robot thực sau: Thứ hai, robot phải có khả cảm nhận vẻ bên ngồi khác người sử dụng từ khoảng cách từ 0,5 đến 1,0 m Robot tiến đến tương tác với người Robot phải nhận dạng tồn người vị trí họ chướng ngại vật cách sử dụng cảm biến siêu âm camera Thêm vào hướng nhìn người sử dụng, đặc tính di chuyển người sử dụng, nhận dạng người sử dụng thông qua nhận dạng gương mặt để thị nội dung tương tác Không gian hoạt động Không gian hoạt động Robot Robot Di chuyển Hình 40 Di chuyển khơng gian hoạt động robot Luan van 5.6 Tương tác người robot Xử lý ảnh sử dụng cho mục đích nhận dạng đối tượng người, nhận dạng người quen mà robot cung cấp liệu nhận dạng trước Ngoài việc nhận dạng người, việc xử lý ảnh cung cấp thông tin cảm xúc khuôn mặt người tương tác giúp robot đưa biểu cảm hình khn mặt phù hợp với tình tăng khả thân thiện với người dùng Phương pháp dùng để nhận dạng người quen sử dụng công cụ Face API Microsoft kết hợp Internet để gửi liệu hình ảnh nhận kết trả cho phép biết danh tính, thơng tin người nhận dạng Việc sử dụng cơng cụ có sẵn nhà phát triển giúp việc giảm tải khối lượng xử lý thông tin trực tiếp robot, qua giảm thời gian xử lý, tăng khả đáp ứng robot Trong trình tương tác robot sử dụng phương pháp tiếp nhận thông tin hình ảnh để giải vấn đề sau: phản ứng chào hỏi phát đối tượng người, thay đổi cảm xúc hình khn mặt robot Xử lý âm giọng nói: định vị nguồn âm để xác định nguồn thông tin cần xử lý Tuy nhiên, đơn giản sử dụng hay microphone đa hướng robot không đủ, khó khăn để lọc âm nhiễu nơi công cộng Sử dụng mảng microphone giải pháp tốt để định vị, xác định nhiệm vụ tách nguồn âm Để giảm độ phức tạp xử lý nhận dạng âm phương pháp đề tài sử dụng cơng cụ sẵn có Speech to Text (API) nhà phát triển Google thông qua Internet để gửi liệu âm cần nhận dạng nhận kết trả từ câu chuyển thành dạng ký tự Với khả xử lý âm trình bày robot đáp ứng yêu cầu đề như: phản ứng người tương tác chào robot giọng nói, tiếp nhận câu hỏi khả robot Thơng qua đưa câu trả lời, thông tin, hành động phù hợp với yêu cầu người tương tác Luan van Tương tác qua hình cảm ứng: với cách sử dụng hình cảm ứng robot có khả vừa tiếp nhận thơng tin từ người sử dụng vừa cung cấp thông tin hồi tiếp ký tự hình ảnh phương pháp trao đổi thơng tin tối ưu xác mà robot trang bị Người dùng cung cấp yêu cầu cách chạm vào câu hỏi đề xuất, cách sử dụng menu tương tác hình để tìm kiếm thơng tin (Hình 41) Các ứng dụng, trị chơi cho trẻ em dựa hình cảm ứng để mang lại thích thú thơng qua phim ảnh trình chiếu tương tác chạm trình chơi trị chơi Robot cịn sử dụng hình vào việc trình chiếu đoạn phim, hình ảnh giới thiệu nơi robot hoạt động, biểu thị cảm xúc cách sử dụng gương mặt ảo Hình 41a Giao diện tương tác với người dùng thị hình cảm ứng Luan van Hình 41b Giao diện thiết kế để quản lý hồ sơ khám bệnh bệnh nhân đăng nhập tài khoản cá nhân mã QR-CODE thị hình cảm ứng có chức hỗ trợ gọi điện thoại cho bác sĩ, người thân, Vấn đề quan trọng thứ ba hình tương tác, robot phải hướng hình theo hướng người sử dụng để dễ dàng tương tác Khả robot có bánh xe hướng tới vị trí mục tiêu với định vị nhanh ổn định Theo cách truyền thống, định vị xác định trình xác định đảm bảo quỹ đạo di chuyển tới mục tiêu Điều xác định kết hợp hoạt động như: Truy xuất đồ (Map Accessing), định vị (Localization) lập đường di chuyển (Path Planning) hình 42 Luan van Vị trí Truy xuất đổ Bản đồ tồn cục Nhận biết Đường di chuyển Mơ hình mơi trường Đường di chuyển Bản đồ cục Trích xuất biên dịch thông tin Thực thi đường di chuyển Dữ liệu thô Lệnh tới cấu chấp hành Cảm biến Môi trường thực Hành động Hình 42 Hệ thống định vị dành cho robot di động Có thách thức định vị robot di động tự hành môi trường không xác định trước Đầu tiên robot định điểm mục tiêu theo liệu cảm biến mục đích robot Thứ hai, robot tìm đường di chuyển tới sử dụng vị trí robot, đồ tạo bao gồm chướng ngại vật vị trí mục tiêu Cuối cùng, robot điều khiển theo đường di chuyển đưa Ở giả sử robot biết vị trí đối tượng cách tương đối Sau di chuyển robot tìm đối tượng cách sử dụng camera Nếu robot tìm đối tượng, di chuyển tới vị trí mà đối tượng nằm khơng gian hoạt động cánh tay robot Đó lý cần thiết camera qt để tìm vị trí đối tượng Robot thực chức giao tiếp với người thơng qua việc thu nhận hình ảnh âm từ đối tượng giao tiếp từ xuất tín hiệu phản hồi thơng qua loa phát âm màng hình LCD trình bày hình 41 Camera Computer Micro Encoder MCU Client - Face recognition - Environment - Camera Screen - Statues - Emotions Drives of motor Hình 43 Module giao tiếp nhận dạng đối tượng Luan van THỰC NGHIỆM VÀ ĐÁNH GIÁ Khi đánh giá hoàn thành tổng thể robot y sinh có vấn đề quan trọng cần ý: - Robot y sinh phải có hồn chỉnh khả tự hành - Robot phải tương tác tự nhiên có ý nghĩa với người sử dụng - Robot phải hồn thiện tác vụ Để thực nhiệm vụ tốt, vấn đề nhóm lại với chủ yếu sử dụng giải thuật định vị cho ứng dụng Mặc dù trình chế tạo lập trình hệ thống robot y sinh thời gian thực môi trường động, nhận thấy vài nguyên lý thiết kế cần đề lập trình dành cho ứng dụng robot thành cơng Từ tham khảo ngồi nước lĩnh vực robot y sinh trợ giúp nguyên lý chia thành nhóm chủ đề Các phần nguyên lý thiết kế yếu tố quan trọng việc chế tạo robot y sinh đặc biệt hệ thống tương tác người robot Để đạt hệ thống tương tác tốt robot người sử dụng hệ thống giao diện thị đồ họa thiết kế Việc thiết kế giao diện người sử dụng chức hỗ trợ robot cho phép ứng dụng tác động tốt lên môi trường thực tế Cấu trúc hoạt động tổng quan robot bao gồm phần giao tiếp tương tác đối tượng, sau nhận biết có đối tượng tiếp xúc thơng qua camera màng hình LCD xử lý trung tâm tiếp nhận thơng tin từ hình ảnh camera truyển hệ thống cảm biến định vị làm cho robot dừng lại tiếp nhận thông tin từ đối tượng giao tiếp bao gồm âm hình ảnh Sau đó, xử lý xuất tính hiệu trả lời tương ứng qua phương diện âm lẫn hình ảnh cho đối tượng giao tiếp, trường hợp robot không hiểu yêu cầu đối tượng giao tiếp robot từ chối trả lời Luan van Hình 44 Sơ đồ chức Telemedicine cần phải hồn thiện thêm dáng vẻ bên để thân thiện với người dùng để thương mại hóa sản phẩm, 6.1 Kết đạt được Bảng Thơng số kỹ thuật robot Telemedicine STT Đặc tính Thông số đề xuất Thông số thức Chiều cao 900 - 1200 mm 500 - 1000 Vật liệu vỏ 40 kg 30 kg Khung robot Composite Composite sợi thủy tinh Luan van Màn hình tương tác LCD Touchscreen 14.5 LCD inch Độ phân giải 1080 x1920 Touchscreen 14.5 inch 1080 x1920 hình Cảm biến IR Sensor, FS Sensor, IR Sensor, Kinect, Bumper Sensor, FS Hệ điều hành Win 10 OS, Android Năng lượng Acquy 50Ah x - Sạc Pin 50Ah x - Sạc tự động tự động Win 10 OS, Android Tốc độ di chuyển 0.25 m/s (0.9 km/h) tối đa Max km/h Động học chuyển bánh vi sai bánh vi sai động bệ Bộ xử lý Core i5 HDD- 500GB- Core i5 HDDRAM 8GB 500GB-RAM 8GB bậc tự bậc tự 11 Khớp xoay lắc điều chỉnh hình tương tác 12 Speaker 3W-2AE 3W-2AE 13 Đường kính bánh D=145mm xe chủ động D=145mm 14 CPU I5, 4460 I5, 4460 15 HDD 500Gb 500Gb 16 RAM Gb Gb 17 Wifi Wireless LAN card Wireless LAN card, 10 Luan van on-borad 18 19 20 21 22 Cảm biến Thời gian 10 cảm biến siêu âm, 10 cảm biến siêu âm, bumpers bumpers hoạt giờ(45Ah) (45Ah) động robot Thời gian sạc giờ Hồ sơ bệnh nhân Lưu trữ Host server Lưu trữ Host server Ứng dụng Video Trên realtime Phụ thuộc vào tốc độ call mạng để đánh giá chất lượng tương tác TÀI LIỆU THAM KHẢO Theodoros, D and Russell, T., 2008, Tele-rehabilitation: current perspectives, Studies in Health Technology and informatics, 131: 191-209 Tsai, T.C., Hsu, Y.L., M., A.I., King,, T and Wu, C.H., 2007, Developing a telepresence robot for interpersonal communication with the elderly in a home environment, Telemedicine and e-Health, 13(4): 407-24 G Kortuem, F Kawsar, D Fitton, and V Sundramoorthy, "Smart objects as building blocks for the internet of things," Internet Computing, IEEE, vol 14, pp 44-51, 2010 Graf, B and Hägele, M., 2001, Dependable interaction with an intelligent home care robot, in Proc IEEE Int Conf on Robotics and Automation Montemerlo, M., Roy, N and Thrun, S., 2003, Perspectives on standardization in mobile robot programming: The Carnegie Mellon Navigation (CARMEN) toolkit, in Proc IEEE/RSJ Int Conf on Intelligent Robots and Systems Prinz, L., Cramer, M and Englund, A., 2008 Telehealth: a policy analysis for quality, impact on patient outcomes, and political feasibility, Nursing Outlook, 56(4): 152-158 Luan van Tsai, T.C., Hsu, Y.L., M., A.I., King,, T and Wu, C.H., 2007, Developing a telepresence robot for interpersonal communication with the elderly in a home environment, Telemedicine and e-Health, 13(4): 407-24 G Eason, B Noble, and I N Sneddon, “On certain integrals of Lipschitz-Hankel type involving products of Bessel functions,” Phil Trans Roy Soc London, vol A247, pp 529–551, April 1955 (references) Saseed B Niku, Introduction to Robotics Analysis, Systems, Applications 10 Dowling, K., (1996) Robotics Frequently Asked Questions List 11 Engelhart, K.G., and Edwards, R.A (1992) Human-robot integration for service robotics In Rahimi, M & Karwowski (eds.) Human-Robot Interaction London:Taylor & Francis Ltd 12 Lim,W Y., (1991) Self-awareness in Mobile robots In SPIE Vol 1613 Mobile Robots VI 13 Steven Bethard, Philip Ogren, and Lee Becker 2014 ClearTK 2.0: Design patterns for machine learning in UIMA In LREC 2014 Tiếng Việt 14 Dương Tuấn Anh (2011), “Tổng quan tìm kiếm tương tự liệu chuỗi thời gian”, Tạp chí phát triển KH&CN, Tập 14 số K2-2011, pp 71-79 15 PGS.TS Nguyễn Hữu Lộc (2004), “Cơ sở thiết kế máy”, Nhà xuất đại học Quốc gia TPHCM 16 Thịnh Nguyễn Trường, Kỹ Thuật Robot, Ho Chi Minh University of Technology and Education, Ho Chi Minh city, Viet Nam 17 Nguyễn Trần Minh, Hệ thống điều khiển tự động, Ho Chi Minh University of Technology and Education, Ho Chi Minh city, Viet Nam Luan van Luan van ... chức nghiên cứu, thiết kế chế tạo robot loại phù hợp với yêu cầu đặc thù nước Do nói: vấn đề thiết kế, chế tạo robot TeleBot lạ Việt Nam Vì việc thiết kế chế tạo TeleBot cần thiết THIẾT KẾ CƠ... BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO ROBOT HỖ TRỢ KHÁM BỆNH TỪ XA Thuộc nhóm...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO ROBOT HỖ TRỢ KHÁM BỆNH TỪ XA SV2019-10 Thuộc