(Luận văn thạc sĩ hcmute) nghiên cứu phương thức giao tiếp giữa người và máy dựa trên công nghệ điện toán đám mây, sử dụng trong robot dịch vụ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ SKC007483 Tp Hồ Chí Minh, tháng 10/2017 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Tp Hồ Chí Minh, tháng 10/2017 Luan van d BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Hướng dẫn khoa học: PGS.TS NGUYỄN TRƯỜNG THỊNH Tp Hồ Chí Minh, tháng 10/2017 Luan van Luan van Luan van %Ӝ*,È2'Ө&9¬ĈҤ27Ҥ2 75ѬӠ1*ĈҤ,+Ӑ&6Ѭ3+Ҥ0.Ӻ7+8Ұ7 7+¬1+3+Ӕ+Ӗ&+Ë0,1+ 3+,ӂ81+Ұ1;e7/8Ұ19Ă17+Ҥ&6Ӻ 'jQKFKRJLҧQJYLrQSKҧQELӋQ 7rQÿӅWjLOXұQYăQWKҥFVӻ 1JKLrQFӭXSKѭѫQJWKӭFJLDRWLӃSJLӳDQJѭӡLYjPi\GӵDWUrQF{QJQJKӋÿLӋQ WRiQÿiPPk\VӱGөQJWURQJURERWGӏFKYө 7rQWiFJLҧ /Ѭ80Ҥ1+6Ѫ1 MSHV: 1620905 Ngành: ӻWKXұW&ѫÿLӋQWӱ Khóa: 2016-2018 Ĉӏnh Kѭӟng: ӬQJGөQJ +ӑYjWrQQJѭӡLSKҧQELӋQ 3*676ĈһQJ9ăQ1JKuQ &ѫTXDQF{QJWiF ĈLӋQWKRҥLOLrQKӋ ,é.,ӂ11+Ұ1;e7 9ӅKuQKWKӭF NӃWFҩXOXұQYăQ &ҩXWU~FFӫDOXұQYăQKӧSOêKuQKWKӭFSKKӧS 9ӅQӝLGXQJ 2.1 Nh̵n xét v͉–ÀŠŠ‘ƒŠб…ǡ”Ù”‰ǡЛ…ŠŽЛ…ǡŠï……Š‹Ъ––”‘‰OX̵QYăQ 7UuQKEj\FiFYҩQÿӅU}UjQJYjSKKӧS 2.2 Nh̵š±–¯žŠ‰‹ž˜‹Ю…•у†о‰Š‘Ц…–”À…Š†РЪ–“—М…пƒ‰рк‹Šž……ׯ“—‹¯аŠ Š‹ЮŠŠ…пƒ’Šž’Ž—С–•лŠф—–”À–—Ю &yWUtFKGүQWjLOLӋXWKDPNKҧR 2.3 Nh̵š±–˜Ыͭc tiêu nghiên cͱu, ph˱˯ng pháp nghiên cͱu s͵ dͭng LVTN ĈmWUuQKEj\PөFWLrXQJKLrQFӭXWX\QKLrQFzQGjLGzQJĈmJLӟLWKLӋXFiFQӝLGXQJQJKLrQFӭX 2.4 Nh̵n xét T͝ng quan cͯƒ¯͉ tài &yWUuQKEj\WәQJTXDQWjLOLӋX 2.5 ŠСš±–¯žŠ‰‹ž˜͉ n͡‹†—‰Ƭ…ŠН–Žрн‰…пƒ 1ӝLGXQJYjFKҩWOѭӧQJÿҥW\rXFҫX 2.6 ŠСš±–¯žŠ‰‹ž˜͉ kh̫£‰ͱng dͭ‰ǡ‰‹ž–”а–Šх…–‹Э…ͯƒ¯͉ tài &ҫQKRjQWKLӋQQJKLrQFӭX 2.7 Lu̵˜£…О…ŠЯŠ•уƒǡ„е•—‰Šф‰з‹†—‰‰¿ȋ–Š‹͇t sót t͛n t̩i): &ҫQKRjQWKLӋQQJKLrQFӭX II CÁC VҨ0ӄ CҪN LÀM RÕ &iFFkXK͗LFͯDJL̫QJYLrQSK̫QEL͏Q +m\VRViQKFiFSKѭѫQJSKiSJLDRWLӃSJLӳDQJѭӡLYjURERWGӏFKYө Độ sáng thấp Histogram Hình 2-23: Giảm độ sáng giản đồ histogram Độ tương phản cao Histogram Hình 2-24: Tăng độ tương phản giản đồ histogram Độ tương phản thấp Histogram Hình 2-25: Giảm độ tương phản giản đồ histogram 35 Luan van Dựa vào biểu đồ histogram, ta nhận thấy thay đổi độ sáng giá trị biểu đồ histogram dịch sang trái sang phải, thay đổi độ tương phản giá trị biểu đồ giản biên co  Phát biên: Biên ảnh đường biên giới hay đường bao (contour) mà xuất thay đổi đáng kể vài tính chất vật lý ảnh.Thay đổi tính chất vật lý biểu nhiều cách, bao gồm thay đổi cường độ, màu sắc, kết cấu bề mặt Phát biên có việc nhận dạng, phân vùng ảnh… Có số phương pháp phát biên phương pháp Gradient, Roberts, Sobel, Canny… Trong đó, phương pháp sobel canny sử dụng phổ biến Ảnh gốc Sobel Canny Hình 2-26: Tách biên phương pháp Sobel Canny Phương pháp Canny thực qua bước: 1- Tìm gradient: Làm mờ ảnh để loại nhiễu Sử dụng lọc Gaussian để loại bỏ nhiễu tần số cao mặt nạ cuộn 5x5 = = ⎡4 ⎢ ⎢5 ⎢4 ⎣2 ∗ 12 ( , ) 12 15 12 = 12 4⎤ ⎥ 5⎥ 4⎥ 2⎦ (2.26) ∗ (2.27) 36 Luan van = Với ( , ) ∗ =− = ∗ (2.28) ( , ), =− ( , ) (2.29) Trong đó, ảnh xét, ( , ) hàm gaussian với mặt nạ cuộn 2- Tính độ lớn gradient: Biên phát thông qua thay đổi lớn gradient ∇ = , = , , ‖∇ ‖ = ( ) + (2.30) 3- Xác định hướng điểm biên: = (2.31) 4- Phát điểm cực đại địa phương 5- Liên kết điểm biên 2.6.5 Các ứng dụng công nghệ xử lý ảnh số  Trong y học: Sử dụng phổ biến chụp cộng hưởng từ MRI, quét biên dạng, làm rõ nét biên dạng, ảnh X quang…  Nhận dạng: Công nghệ xử lý ảnh sử dụng rộng rải việc nhận dạng dấu vân tay, nhận dạng chữ viết, nhận dạng khuôn mặt…  Trong công nghiệp sản xuất: Phân loại sản phẩm, theo dõi sản phẩm, hệ thống…với độ tin cậy cao  Robot: Công nghệ xử lý ứng dụng cho robot nhằm tạo hệ thống có khả tương tác với mơi trừng xung quanh cách linh hoạt hơn, đảm nhận nhiệm vụ thị giác người 2.6.6 Camera calibration Mơ hình pinhole Về mặt hình học, mơ hình bao gồm mặt phẳng ảnh C nằm mặt phẳng tiêu cự 37 Luan van tâm điểm Hình 2-27: Mơ hình Pinhole Một đặc điểm mơ hình tất điểm ảnh phẳng ảnh , , thẳng tạo thành điểm qua thẳng hàng với nằm đường thẳng Điểm vng góc với và mặt , có nghĩa cịn gọi tâm quang, đường gọi trục quang, gọi điểm Lý thuyết camera calibration sử dụng mơ hình pinhole Gọi ( , , , ) hệ tọa độ camera, ( , , , ) hệ tọa độ điểm ảnh Ta có = Thay mặt phẳng = (2.32) mặt phẳng khác nằm phía bên mặt phẳng , tính chất hình học không đổi Trong hệ tọa độ này, điểm ( , ) có tọa độ 3D ( , , ) Hình 2-28: Hình biểu diễn mặt phẳng khác mặt phẳng ảnh 38 Luan van Trong phép chiếu hình học, tất điểm nằm đường thẳng vng góc với mặt phẳng chiếu chiếu xuống mặt phẳng thu điểm nhất, với điểm( , , ) tỷ lệ ( , , ) (với bất kỳ) chiếu qua điểm ta thu điểm ( , ) Từ lập luận (3.1) ta có: = = ; = = (2.33) Phương trình (3.2) viết lại sau: = 0 0 0 0 0 (2.34) Ma trận: = 0 (2.35) gọi ma trận chiếu phối cảnh Như với điểm ( , , )và điểm ảnh tương ứng ( , )ta viết lại : , , , = ( , , 1) (2.36) , ( , , , 1) Trong thực tế đối tượng thật biểu diễn hệ tọa độ 3D mà tọa độ camera ta giả sử Để tính tốn hệ tọa độ này, cách đơn giản ta chuyển hệ tọa độ camera Giả sử điểm hệ tọa độ đó, chuyển = bất kỳ, một điểm hệ tọa độ camera Khi phép quay + phép tịnh tiến (2.37) 39 Luan van Hay tổng quát hơn, , , = (2.38) đó: = Ma trận = 0 (2.39) vector mô tả hướng, vị trí tương đối hệ tọa độ camera hệ chứa phép quay (theo , , ) vector tọa độ thực tế Ma trận tịnh tiến Những thông số chứa chứa phép gọi thơng số ngoại camera Hình 2-29: Phép quay vectơ Từ (2.36) (2.37) ta có: , , = = , (2.40) Trong thực tế, tâm ảnh lúc điểm CI tỷ lệ theo trục u, v lúc Người ta sử dụng ma trận K để diễn tả sai lệch cuối mối quan hệ điểm thực tế MW điểm ảnh MI diễn tả từ công thức sau: , , = (2.41) hay cụ thể : ~ 0 0 0 (2.42) 40 Luan van Với: = 0 Trong , (2.43) tỷ lệ dọc theo hai trục ảnh độ ảnh (gốc tọa độ, thay cho , điểm hệ tọa thể độ méo hai trục , trên) Góc ảnh lý tưởng ( , ) vng góc với góc Hình 2-30: Tương quan ảnh lý tưởng thực tế Có mối quan hệ điểm ảnh điểm thực tế đồng nghĩa với việc ta tái tạo lại điểm thực tế 3D dựa ảnh thu được, nhiên việc quan trọng ta phải tìm thơng số camera Có thông số nội thông số ngoại cần phải tìm Việc tìm thơng số gọi q trình calibrate camera Vì camera có ống kính, khác nhau, vị trí khác nhau… nên khơng có thơng số chung cho tất loại camera, ta phải làm cho camera khác 41 Luan van 2.6.7 Nhận diện hình ảnh Google Hình 2-31: Nhận diện hình ảnh chữ viết Google vision Google phát hành phiên beta có giao diện cho ứng dụng họ cloud, phát khn mặt, dấu hiệu, mốc, đối tượng, văn chí cảm xúc ảnh Google Cloud Vision API hỗ trợ phần lớn công nghệ tương tự dành cho cơng cụ tìm kiếm tiếng giới Google Google Cloud Vision API cho phép nhà phát triển người dùng xếp thơng qua hình ảnh cách sử dụng nhiều tiêu chí Vision API chọn đối tượng tranh, từ văn bảng hiệu thức ăn đĩa khuôn mặt đám đông Sử dụng công nghệ tìm kiếm an tồn Google, API lập trình để xác định hình ảnh có nội dung khơng phù hợp, lọc hình ảnh khác dựa chủ đề API có tính nhận diện khn mặt, cho phép tìm hình ảnh hiển thị cảm xúc định Điều có nghĩa tảng điện toán đám mây Google mặt kỹ thuật phát sợ hãi, dễ dàng xác định bánh 42 Luan van taco cá vàng Các API Google sử dụng chủ yếu dành cho việc phát triển sản phẩm Chúng ta tưởng tượng cách mà ứng dụng sử dụng công nghệ để tìm kiếm hình ảnh: tưởng tượng ứng dụng mà xác định thương hiệu quần áo cách chụp ảnh người nộm, liệt kê xác mơ hình xe máy tính bạn bán rao vặt cách tải lên hình ảnh Google số ứng dụng tiềm khác cho Vision API, chẳng hạn giúp trang web lưu trữ hình ảnh gắn cờ quyền hình ảnh phản cảm, máy tính xác định đối tượng khn mặt xuất hình Các nhà phát triển bắt đầu làm việc với Google Cloud Vision API đầu năm 2016, với 1.000 ứng dụng tính miễn phí tháng Những người tìm cho chọn lọc hình ảnh nâng cao phải trả từ $0,60 đến $5 tháng cho tính năng, tùy thuộc vào cách sử dụng 43 Luan van TÍNH TỐN VÀ THIẾT KẾ 3.1 Nguyên lý hoạt động hệ thống Hệ thống phục vụ khu vực biết trước với nhiệm vụ cung cấp thông tin cho khách, khách đến yêu cầu hỗ trợ Hệ thống gồm có hình hiển thị, camera micro để nhận thơng tin cần hỗ trợ khách Người dùng nói trực tiếp ghi giấy địa muốn đến Sau xử lý thông tin thi hệ thống bắt đầu đáp ứng yêu cầu người dùng thông tin thời tiết, thời gian, địa điểm Hình 3-1: Minh họa người dùng giao tiếp với robot 3.2 Phương thức hoạt động xử lý trung tâm Sau đón tiếp khách nhận thơng tin u cầu hỗ trợ có hai phương thức xử lý thông tin sau: Xử lý ngoại tuyến Hệ thống gồm robot độc lập với xử lý ngoại tuyến, không sử dụng điện toán đám mây 44 Luan van Ưu điểm: - Do không phụ thuộc vào tốc độ kết nối với máy chủ, nên xứ lý thông tin nhanh - Khả tùy biến hệ thống cao, người lập trình định Nhược điểm: - Do phải xử lý thông tin ngoại tuyến, liệu lưu trữ trực tiếp robot, nên địi hỏi robot phải có khả lưu trữ lớn tốc độ xử lý cao - Cở sở liệu hệ thống người dùng riêng lẽ phát triển, không kết nối với nên khả cập nhật hạn chế Hình 3-2: Robot phục vụ quán ăn Xử lý trực tuyến Hệ thống xử lý robot kết nối trực tuyến, chức robot thiết bị ngoại vi, chức thu thập tiền xử lý đóng vai trị trọng tâm Các thơng tin thu thập gửi điện toán đám mây xử lý 45 Luan van Hình 3-3: minh họa cho trạm robot phục vụ khách Ưu điểm: - Hệ thống xử lý robot giảm nhẹ nhiều thu thập thông tin phản hồi thông tin đến người dùng - Cơ sở liệu điện toán đám mây đa dạng phong phú, nên xử lý nhiều đối tượng khác - Cơ sở liệu phát triển kế thừa nên khả mở rộng cao Hệ thống cải tiến theo thời gian - Với điện toán đám mây khả phát triển theo mạng robot dễ dàng trao đổi thông tin robot với Nhược điểm: - Nhược điểm lớn hệ thộng xử lý trực tuyến phụ thuộc nhiều vào đường truyền Internet nơi lắp đặt - Do phát triển bên thứ ba nên khả tùy biến hạn chế, phụ thuộc vào giao thức bên nhà cung cấp 3.3 Bộ xử lý nhúng Điện toán đám mây phát triển Google nên thiết bị di động chạy hệ điều hành android hỗ trợ mạnh, dễ dàng với thiết bị di động 46 Luan van thiết kế sản phẩm hoàn chỉnh Các nhà phát triển tập trung phát triển phần mềm ứng dụng Bên cạnh thuận lợi cịn tồn khó khăn cho việc thiết kế cho hệ thống đặc thù, không can thiệp phần cứng Một thuận lợi khác công nghệ chế tạo mạch điện cho phép dễ dàng tìm xây dựng hệ thống giao tiếp chạy mạch xử lứ nhúng Các mạch nhúng có tốc độ xử lý cao, hỗ trợ phương thước giao tiếp đa dạng Với hệ thống nhúng làm chủ phần cứng, linh hoạt tích hợp vào hệ thống 3.4 Sơ đồ tổng quát hệ thống Với phương thức chọn hệ thống nhúng phương thức xử lý trực tuyến nên hệ thống tổng quát sau Điện toán đám mây Google Hiển thị Nguồn Camera Mạch chủ Micro Thân robot GPS Hình 3-4: Sơ đồ khối tổng quát hệ thống - Khối nguồn gồm nguồn cấp cho toàn hệ thống - Mạch chủ gồm có mạch nhúng Rasperry có chức nhận thông tin từ camera, micro, gps, cảm biến khác, sau xử lý thơng tin liệu điện toán đám mây Google cuối hiển thị hình - Khối hiển thị hình LCD 7inch led hiển thị khác, dùng để hiển thị thông giao tiếp với người dùng 47 Luan van - Khối camera, micro tích hợp chung camera logitech C270, dùng để nhận giọng nói hình ảnh người dùng để đưa mạch chủ - Khối GPS cảm biến định vị toàn cầu, giúp robot xác định vị trí 3.5 Lưu đồ giải thuật Quá trình giao tiếp hỗ trợ người dùng mô tả theo lưu đồ sau Hình 3-5: Lưu đồ giải thuật xử lý hệ thống 48 Luan van 3.6 Hệ điều hành nhân Linux Tổng quan Linux Nhìn bề ngồi, Linux hệ điều hành Linux gồm có nhân kernel (mà cốt lõi quản lý tài nguyên phần cứng phần mềm) sưu tập ứng dụng người dùng (các thư viện, trình quản lý cửa sổ ứng dụng) Hình 3-6: Cấu trúc tổng quát hệ thống Linux [4] Sơ đồ thành phần quan trọng Tầng cuối tập hợp mã kiến trúc giúp Linux hỗ trợ đa tảng phần cứng (ARM, PowerPC,…) Hình 3-7: Giao diện hệ điều hành Ubuntu Desktop 10.04 nhân Linux 49 Luan van ... DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY, SỬ DỤNG... LUẬN VĂN THẠC SĨ LƯU MẠNH SƠN NGHIÊN CỨU PHƯƠNG THỨC GIAO TIẾP GIỮA NGƯỜI VÀ MÁY DỰA TRÊN CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY, SỬ DỤNG TRONG ROBOT DỊCH VỤ NGÀNH: KỸ THUẬT CƠ ĐIỆN TỬ - 60520114 Hướng dẫn... chương trình điện thoại Mục tiêu đề tài Với mục tiêu nghiên cứu phương thức giao tiếp người máy sử dụng cơng nghệ điện tốn đám mây, cụ thể dùng để giao tiếp với robot đường, robot giúp người dùng