Nghiên cứu phương thức giao tiếp giữa người và máy dựa trên công nghệ điện toán đám mây, sử dụng trong robot dịch vụ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ SKC007483 Tp Hồ Chí Minh, tháng 10/2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Tp Hồ Chí Minh, tháng 10/2017 d BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Hướng dẫn khoa học: PGS.TS NGUYỄN TRƯỜNG THỊNH Tp Hồ Chí Minh, tháng 10/2017 %Ӝ*,È2'Ө&9¬ĈҤ27Ҥ2 75ѬӠ1*ĈҤ,+Ӑ&6Ѭ3+Ҥ0.Ӻ7+8Ұ7 7+¬1+3+Ӕ+Ӗ&+Ë0,1+ 3+,ӂ81+Ұ1;e7/8Ұ19Ă17+Ҥ&6Ӻ 'jQKFKRJLҧQJYLrQSKҧQELӋQ 7rQÿӅWjLOXұQYăQWKҥFVӻ 1JKLrQFӭXSKѭѫQJWKӭFJLDRWLӃSJLӳDQJѭӡLYjPi\GӵDWUrQF{QJQJKӋÿLӋQ WRiQÿiPPk\VӱGөQJWURQJURERWGӏFKYө 7rQWiFJLҧ /Ѭ80Ҥ1+6Ѫ1 MSHV: 1620905 Ngành: ӻWKXұW&ѫÿLӋQWӱ Khóa: 2016-2018 Ĉӏnh Kѭӟng: ӬQJGөQJ +ӑYjWrQQJѭӡLSKҧQELӋQ 3*676ĈһQJ9ăQ1JKuQ &ѫTXDQF{QJWiF ĈLӋQWKRҥLOLrQKӋ ,é.,ӂ11+Ұ1;e7 9ӅKuQKWKӭF NӃWFҩXOXұQYăQ &ҩXWU~FFӫDOXұQYăQKӧSOêKuQKWKӭFSKKӧS 9ӅQӝLGXQJ 2.1 Nh̵n xét v͉–ÀŠŠ‘ƒŠб…ǡ”Ù”‰ǡЛ…ŠŽЛ…ǡŠï……Š‹Ъ––”‘‰OX̵QYăQ 7UuQKEj\FiFYҩQÿӅU}UjQJYjSKKӧS 2.2 Nh̵š±–¯žŠ‰‹ž˜‹Ю…•у†о‰Š‘Ц…–”À…Š†РЪ–“—М…пƒ‰рк‹Šž……ׯ“—‹¯аŠ Š‹ЮŠŠ…пƒ’Šž’Ž—С–•лŠф—–”À–—Ю &yWUtFKGүQWjLOLӋXWKDPNKҧR 2.3 Nh̵š±–˜Ыͭc tiêu nghiên cͱu, ph˱˯ng pháp nghiên cͱu s͵ dͭng LVTN ĈmWUuQKEj\PөFWLrXQJKLrQFӭXWX\QKLrQFzQGjLGzQJĈmJLӟLWKLӋXFiFQӝLGXQJQJKLrQFӭX 2.4 Nh̵n xét T͝ng quan cͯƒ¯͉ tài &yWUuQKEj\WәQJTXDQWjLOLӋX 2.5 ŠСš±–¯žŠ‰‹ž˜͉ n͡‹†—‰Ƭ…ŠН–Žрн‰…пƒ 1ӝLGXQJYjFKҩWOѭӧQJÿҥW\rXFҫX 2.6 ŠСš±–¯žŠ‰‹ž˜͉ kh̫£‰ͱng dͭ‰ǡ‰‹ž–”а–Šх…–‹Э…ͯƒ¯͉ tài &ҫQKRjQWKLӋQQJKLrQFӭX 2.7 Lu̵˜£…О…ŠЯŠ•уƒǡ„е•—‰Šф‰з‹†—‰‰¿ȋ–Š‹͇t sót t͛n t̩i): &ҫQKRjQWKLӋQQJKLrQFӭX II CÁC VҨ0ӄ CҪN LÀM RÕ &iFFkXK͗LFͯDJL̫QJYLrQSK̫QEL͏Q +m\VRViQKFiFSKѭѫQJSKiSJLDRWLӃSJLӳDQJѭӡLYjURERWGӏFKYө Độ sáng thấp Histogram Hình 2-23: Giảm độ sáng giản đồ histogram Độ tương phản cao Histogram Hình 2-24: Tăng độ tương phản giản đồ histogram Độ tương phản thấp Histogram Hình 2-25: Giảm độ tương phản giản đồ histogram 35 Dựa vào biểu đồ histogram, ta nhận thấy thay đổi độ sáng giá trị biểu đồ histogram dịch sang trái sang phải, thay đổi độ tương phản giá trị biểu đồ giản biên co  Phát biên: Biên ảnh đường biên giới hay đường bao (contour) mà xuất thay đổi đáng kể vài tính chất vật lý ảnh.Thay đổi tính chất vật lý biểu nhiều cách, bao gồm thay đổi cường độ, màu sắc, kết cấu bề mặt Phát biên có việc nhận dạng, phân vùng ảnh… Có số phương pháp phát biên phương pháp Gradient, Roberts, Sobel, Canny… Trong đó, phương pháp sobel canny sử dụng phổ biến Ảnh gốc Sobel Canny Hình 2-26: Tách biên phương pháp Sobel Canny Phương pháp Canny thực qua bước: 1- Tìm gradient: Làm mờ ảnh để loại nhiễu Sử dụng lọc Gaussian để loại bỏ nhiễu tần số cao mặt nạ cuộn 5x5 = = ⎡4 ⎢ ⎢5 ⎢4 ⎣2 ∗ 12 ( , ) 12 15 12 = 12 4⎤ ⎥ 5⎥ 4⎥ 2⎦ (2.26) ∗ (2.27) 36 = Với ( , ) ∗ =− = ∗ (2.28) ( , ), =− ( , ) (2.29) Trong đó, ảnh xét, ( , ) hàm gaussian với mặt nạ cuộn 2- Tính độ lớn gradient: Biên phát thông qua thay đổi lớn gradient ∇ = , = , , ‖∇ ‖ = ( ) + (2.30) 3- Xác định hướng điểm biên: = (2.31) 4- Phát điểm cực đại địa phương 5- Liên kết điểm biên 2.6.5 Các ứng dụng công nghệ xử lý ảnh số  Trong y học: Sử dụng phổ biến chụp cộng hưởng từ MRI, quét biên dạng, làm rõ nét biên dạng, ảnh X quang…  Nhận dạng: Công nghệ xử lý ảnh sử dụng rộng rải việc nhận dạng dấu vân tay, nhận dạng chữ viết, nhận dạng khuôn mặt…  Trong công nghiệp sản xuất: Phân loại sản phẩm, theo dõi sản phẩm, hệ thống…với độ tin cậy cao  Robot: Công nghệ xử lý ứng dụng cho robot nhằm tạo hệ thống có khả tương tác với mơi trừng xung quanh cách linh hoạt hơn, đảm nhận nhiệm vụ thị giác người 2.6.6 Camera calibration Mô hình pinhole Về mặt hình học, mơ hình bao gồm mặt phẳng ảnh C nằm mặt phẳng tiêu cự 37 tâm điểm Hình 2-27: Mơ hình Pinhole Một đặc điểm mơ hình tất điểm ảnh phẳng ảnh , , thẳng tạo thành điểm qua thẳng hàng với nằm đường thẳng Điểm vng góc với và mặt , có nghĩa gọi tâm quang, đường gọi trục quang, gọi điểm Lý thuyết camera calibration sử dụng mơ hình pinhole Gọi ( , , , ) hệ tọa độ camera, ( , , , ) hệ tọa độ điểm ảnh Ta có = Thay mặt phẳng = (2.32) mặt phẳng khác nằm phía bên mặt phẳng , tính chất hình học khơng đổi Trong hệ tọa độ này, điểm ( , ) có tọa độ 3D ( , , ) Hình 2-28: Hình biểu diễn mặt phẳng khác mặt phẳng ảnh 38 Trong phép chiếu hình học, tất điểm nằm đường thẳng vng góc với mặt phẳng chiếu chiếu xuống mặt phẳng thu điểm nhất, với điểm( , , ) tỷ lệ ( , , ) (với bất kỳ) chiếu qua điểm ta thu điểm ( , ) Từ lập luận (3.1) ta có: = = ; = = (2.33) Phương trình (3.2) viết lại sau: = 0 0 0 0 0 (2.34) Ma trận: = 0 (2.35) gọi ma trận chiếu phối cảnh Như với điểm ( , , )và điểm ảnh tương ứng ( , )ta viết lại : , , , = ( , , 1) (2.36) , ( , , , 1) Trong thực tế đối tượng thật biểu diễn hệ tọa độ 3D mà tọa độ camera ta giả sử Để tính tốn hệ tọa độ này, cách đơn giản ta chuyển hệ tọa độ camera Giả sử điểm hệ tọa độ đó, chuyển = bất kỳ, một điểm hệ tọa độ camera Khi phép quay + phép tịnh tiến (2.37) 39 Hay tổng quát hơn, , , = (2.38) đó: = Ma trận = 0 (2.39) vector mô tả hướng, vị trí tương đối hệ tọa độ camera hệ chứa phép quay (theo , , ) vector tọa độ thực tế Ma trận tịnh tiến Những thông số chứa chứa phép gọi thơng số ngoại camera Hình 2-29: Phép quay vectơ Từ (2.36) (2.37) ta có: , = , = , (2.40) Trong thực tế, tâm ảnh khơng phải lúc điểm CI tỷ lệ theo trục u, v lúc Người ta sử dụng ma trận K để diễn tả sai lệch cuối mối quan hệ điểm thực tế MW điểm ảnh MI diễn tả từ công thức sau: , , = (2.41) hay cụ thể : ~ 0 0 0 (2.42) 40 Với: = 0 Trong , (2.43) tỷ lệ dọc theo hai trục ảnh độ ảnh (gốc tọa độ, thay cho trên) Góc , điểm hệ tọa thể độ méo hai trục , ảnh lý tưởng ( , ) vng góc với góc Hình 2-30: Tương quan ảnh lý tưởng thực tế Có mối quan hệ điểm ảnh điểm thực tế đồng nghĩa với việc ta tái tạo lại điểm thực tế 3D dựa ảnh thu được, nhiên việc quan trọng ta phải tìm thơng số camera Có thông số nội thông số ngoại cần phải tìm Việc tìm thơng số gọi q trình calibrate camera Vì camera có ống kính, khác nhau, vị trí khác nhau… nên khơng có thông số chung cho tất loại camera, ta phải làm cho camera khác 41 2.6.7 Nhận diện hình ảnh Google Hình 2-31: Nhận diện hình ảnh chữ viết Google vision Google phát hành phiên beta có giao diện cho ứng dụng họ cloud, phát khuôn mặt, dấu hiệu, mốc, đối tượng, văn chí cảm xúc ảnh Google Cloud Vision API hỗ trợ phần lớn công nghệ tương tự dành cho cơng cụ tìm kiếm tiếng giới Google Google Cloud Vision API cho phép nhà phát triển người dùng xếp thơng qua hình ảnh cách sử dụng nhiều tiêu chí Vision API chọn đối tượng tranh, từ văn bảng hiệu thức ăn đĩa khuôn mặt đám đơng Sử dụng cơng nghệ tìm kiếm an tồn Google, API lập trình để xác định hình ảnh có nội dung khơng phù hợp, lọc hình ảnh khác dựa chủ đề API có tính nhận diện khn mặt, cho phép tìm hình ảnh hiển thị cảm xúc định Điều có nghĩa tảng điện tốn đám mây Google mặt kỹ thuật phát sợ hãi, dễ dàng xác định bánh 42 taco cá vàng Các API Google sử dụng chủ yếu dành cho việc phát triển sản phẩm Chúng ta tưởng tượng cách mà ứng dụng sử dụng cơng nghệ để tìm kiếm hình ảnh: tưởng tượng ứng dụng mà xác định thương hiệu quần áo cách chụp ảnh người nộm, liệt kê xác mơ hình xe máy tính bạn bán rao vặt cách tải lên hình ảnh Google số ứng dụng tiềm khác cho Vision API, chẳng hạn giúp trang web lưu trữ hình ảnh gắn cờ quyền hình ảnh phản cảm, máy tính xác định đối tượng khn mặt xuất hình Các nhà phát triển bắt đầu làm việc với Google Cloud Vision API đầu năm 2016, với 1.000 ứng dụng tính miễn phí tháng Những người tìm cho chọn lọc hình ảnh nâng cao phải trả từ $0,60 đến $5 tháng cho tính năng, tùy thuộc vào cách sử dụng 43 TÍNH TỐN VÀ THIẾT KẾ 3.1 Ngun lý hoạt động hệ thống Hệ thống phục vụ khu vực biết trước với nhiệm vụ cung cấp thông tin cho khách, khách đến yêu cầu hỗ trợ Hệ thống gồm có hình hiển thị, camera micro để nhận thông tin cần hỗ trợ khách Người dùng nói trực tiếp ghi giấy địa muốn đến Sau xử lý thông tin thi hệ thống bắt đầu đáp ứng yêu cầu người dùng thông tin thời tiết, thời gian, địa điểm Hình 3-1: Minh họa người dùng giao tiếp với robot 3.2 Phương thức hoạt động xử lý trung tâm Sau đón tiếp khách nhận thông tin yêu cầu hỗ trợ có hai phương thức xử lý thơng tin sau: Xử lý ngoại tuyến Hệ thống gồm robot độc lập với xử lý ngoại tuyến, không sử dụng điện toán đám mây 44 Ưu điểm: - Do không phụ thuộc vào tốc độ kết nối với máy chủ, nên xứ lý thông tin nhanh - Khả tùy biến hệ thống cao, người lập trình định Nhược điểm: - Do phải xử lý thông tin ngoại tuyến, liệu lưu trữ trực tiếp robot, nên địi hỏi robot phải có khả lưu trữ lớn tốc độ xử lý cao - Cở sở liệu hệ thống người dùng riêng lẽ phát triển, không kết nối với nên khả cập nhật hạn chế Hình 3-2: Robot phục vụ quán ăn Xử lý trực tuyến Hệ thống xử lý robot kết nối trực tuyến, chức robot thiết bị ngoại vi, chức thu thập tiền xử lý đóng vai trị trọng tâm Các thơng tin thu thập gửi điện toán đám mây xử lý 45 Hình 3-3: minh họa cho trạm robot phục vụ khách Ưu điểm: - Hệ thống xử lý robot giảm nhẹ nhiều thu thập thông tin phản hồi thông tin đến người dùng - Cơ sở liệu điện toán đám mây đa dạng phong phú, nên xử lý nhiều đối tượng khác - Cơ sở liệu phát triển kế thừa nên khả mở rộng cao Hệ thống cải tiến theo thời gian - Với điện toán đám mây khả phát triển theo mạng robot dễ dàng trao đổi thông tin robot với Nhược điểm: - Nhược điểm lớn hệ thộng xử lý trực tuyến phụ thuộc nhiều vào đường truyền Internet nơi lắp đặt - Do phát triển bên thứ ba nên khả tùy biến hạn chế, phụ thuộc vào giao thức bên nhà cung cấp 3.3 Bộ xử lý nhúng Điện toán đám mây phát triển Google nên thiết bị di động chạy hệ điều hành android hỗ trợ mạnh, dễ dàng với thiết bị di động 46 thiết kế sản phẩm hoàn chỉnh Các nhà phát triển tập trung phát triển phần mềm ứng dụng Bên cạnh thuận lợi cịn tồn khó khăn cho việc thiết kế cho hệ thống đặc thù, không can thiệp phần cứng Một thuận lợi khác công nghệ chế tạo mạch điện cho phép dễ dàng tìm xây dựng hệ thống giao tiếp chạy mạch xử lứ nhúng Các mạch nhúng có tốc độ xử lý cao, hỗ trợ phương thước giao tiếp đa dạng Với hệ thống nhúng làm chủ phần cứng, linh hoạt tích hợp vào hệ thống 3.4 Sơ đồ tổng quát hệ thống Với phương thức chọn hệ thống nhúng phương thức xử lý trực tuyến nên hệ thống tổng quát sau Điện toán đám mây Google Hiển thị Nguồn Camera Mạch chủ Micro Thân robot GPS Hình 3-4: Sơ đồ khối tổng quát hệ thống - Khối nguồn gồm nguồn cấp cho tồn hệ thống - Mạch chủ gồm có mạch nhúng Rasperry có chức nhận thơng tin từ camera, micro, gps, cảm biến khác, sau xử lý thơng tin liệu điện tốn đám mây Google cuối hiển thị hình - Khối hiển thị hình LCD 7inch led hiển thị khác, dùng để hiển thị thông giao tiếp với người dùng 47 - Khối camera, micro tích hợp chung camera logitech C270, dùng để nhận giọng nói hình ảnh người dùng để đưa mạch chủ - Khối GPS cảm biến định vị toàn cầu, giúp robot xác định vị trí 3.5 Lưu đồ giải thuật Q trình giao tiếp hỗ trợ người dùng mơ tả theo lưu đồ sau Hình 3-5: Lưu đồ giải thuật xử lý hệ thống 48 3.6 Hệ điều hành nhân Linux Tổng quan Linux Nhìn bề ngồi, Linux hệ điều hành Linux gồm có nhân kernel (mà cốt lõi quản lý tài nguyên phần cứng phần mềm) sưu tập ứng dụng người dùng (các thư viện, trình quản lý cửa sổ ứng dụng) Hình 3-6: Cấu trúc tổng quát hệ thống Linux [4] Sơ đồ thành phần quan trọng Tầng cuối tập hợp mã kiến trúc giúp Linux hỗ trợ đa tảng phần cứng (ARM, PowerPC,…) Hình 3-7: Giao diện hệ điều hành Ubuntu Desktop 10.04 nhân Linux 49 ... LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Hướng dẫn... DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG... chương trình điện thoại Mục tiêu đề tài Với mục tiêu nghiên cứu phương thức giao tiếp người máy sử dụng cơng nghệ điện tốn đám mây, cụ thể dùng để giao tiếp với robot đường, robot giúp người dùng