ĐIỀU KHIỂN ROBOT BẰNG GIỌNG nói để DI CHUYỂN đến vị TRÍ dựa TRÊN màu sắc của vật THỂ

TRƯỜNG ĐẠI HỌC DUY TÂN KHOA: ĐIỆN – ĐIỆN TỬ  - TRƯƠNG MINH TÀI ĐIỀU KHIỂN ROBOT BẰNG GIỌNG NĨI ĐỂ DI CHUYỂN ĐẾN VỊ TRÍ DỰA TRÊN MÀU SẮC CỦA VẬT THỂ TÓM TẮT ĐỒ ÁN TỐT NGHIỆP ĐÀ NẴNG: NĂM 2017 TRƯỜNG ĐẠI HỌC DUY TÂN KHOA: ĐIỆN – ĐIỆN TỬ  - NGHIÊN CỨU KHOA HỌC Đề tài: ĐIỀU KHIỂN ROBOT BẰNG GIỌNG NĨI ĐỂ DI CHUYỂN ĐẾN VỊ TRÍ DỰA TRÊN MÀU SẮC CỦA VẬT THỂ GVHD SVTH LỚP MSSV : Th.S NGUYỄN LÊ MAI DUYÊN : TRƯƠNG MINH TÀI : K19EVT : 1921163770 ĐÀ NẴNG: NĂM 2017 LỜI CẢM ƠN Lời xin gởi lời cảm ơn chân thành tới quý Thầy, Cô Trường Đại Học Duy Tân giảng dạy truyền đạt kiến thức bổ ích kinh nghiệm cho suốt năm học tập trường Những kiến thức quý báu giúp ích sống cơng việc sau Và đặc biệt, xin gởi lời cảm ơn đến cô Nguyễn Lê Mai Duyên, cô tận tình hướng dẫn giúp đỡ tơi hồn thành khóa luận Qua đây, tơi xin gởi lời cảm ơn đến Ban giám hiệu Nhà trường tạo điều kiện mặt, cung cấp tài liệu cần thiết để tơi hồn thành khóa luận Tuy vậy, hạn chế kiến thức kinh nghiệm nên khơng tránh khỏi thiếu sót Rất mong góp ý kiến từ thầy Tơi mong nhận ý kiến đóng góp chân thành! Một lần xin gửi lời chúc sức khỏe, hạnh phúc thành đạt đến quý Thầy Cô Trường Đại Học Duy Tân! Tôi xin chân thành cảm ơn! Sinh viên thực MỤC LỤC DANH MỤC HÌNH Hình 1.2.1 Voxel grid khơng gian ba chiều Hình 1.2.2 Thay điểm voxel điểm trung bình Hình 1.2.3 Trước sau loại bỏ điểm nhiễu Hình 1.2.4 Ví dụ phân đoạn đám mây điểm Các mặt phẳng đánh dấu màu khác Hình 1.2.5 Thuật tốn RANSAC ước lượng mơ hình đường thẳng Hình 1.2.6 Các cụm điểm thành nhóm riêng biệt Hình 1.3.1 Cây k-d khơng gian hai chiều Hình 1.3.2 Phân chia điểm vào k-d tree Hình 1.3.3 Tìm kiếm điểm lân cận gần k-d tree Hình 1.3.4 Hai phương pháp xác định véc tơ pháp tuyến Hình 1.3.5 Ước lượng véc tơ pháp tuyến đám mây điểm Hình 1.3.6 Tham số hóa mối liên hệ hai véc tơ pháp tuyến Hình 1.3.7 Điểm khảo sát pq điểm lân cận Hình 1.3.8 PFH cho bề mặt hình học khác Hình 1.3.9 PFH cho mặt phẳng khơng nhiễu (hình trên) có nhiễu (hình dưới) Hình.3.1 Kinect Xbox 360 Hình 3.2 Sơ đồ khối Hình 3.3 Phạm vi độ sâu kinect Hình 3.3.1 Cảm biến đo chiều sâu (depth sensor) Hình 3.3.2 Vùng hoạt động cảm biến theo chiều dọc ngang Hình 3.3.3 Kết vật thể với chiều sâu khác Hình 3.4.1 Hình ảnh (RGB-D) Hình 3.4.2 Hệ thống quan sát tính tốn độ sâu đối tượng Hình 4.1 Hiển thị dòng màu đỏ nói Red Hình 4.2 Kết tách đối tượng màu (ảnh nhị phân ) Hình 4.3 Kết hiển thị tọa độ khoảng cách Hình 4.4 Mơ hình Robot LỜI MỞ ĐẦU Trong năm gần đây, mở đầu cho mạng công nghiệp 4.0 ứng dụng trí tuệ nhân tạo ngày phát triển đánh giá cao Một lĩnh vực quan tâm trí tuệ nhân tạo nhằm tạo ứng dụng thơng minh, mang tính tri thức người nhận dạng Với phát triển mạnh mẽ công nghệ nhu cầu người ngày cao Một toán đặt là: Làm điều khiển máy tính, thiết bị giải trí, robot…bằng cử chỉ, hành động lời nói người? Nhận dạng hình ảnh âm giải pháp để giải toán này, phần nhỏ lĩnh vực “ Điều khiển robot giọng nói để di chuyển đến vị trí dựa màu sắc vật thể ” Đề tài dựa thuật tốn nhận dạng giọng nói kết hợp xử lý ảnh camera kết hợp cảm biến hồng ngoại để đo chiều sâu tìm vị trí khơng gian 3D từ tạo mục đích nghiên cứu ứng dụng robot lĩnh vực phụ vụ người giúp công việc đơn giản lấy cốc nước … Trong nghiệp ứng dụng robot khâu nhận dạng phân loại sản phẩm cánh tay robot CHƯƠNG : XỬ LÝ ẢNH ĐỘ SÂU 1.1 Phát màu sắc Hệ màu RGB HSL: Mơ hình màu RGB sử dụng ánh sáng đỏ, xanh xanh lam để tổ hợp theo nhiều phương thức khác để tạo thành nhiều màu khác Ba màu độc lập tuyến tính với khơng thể tạo màu lại hai màu Ta có phương trình so màu : f ' F= r ' R + g 'G + b ' B Trong : f ' F nguồn sáng, đơn vị F f ' số lượng ánh sáng R, G, B đơn vị màu, r ', g ' b 'là số lượng màu R, G, B Tại điểm ảnh ta thu giá trị r ', g ' b ' , ta biết số lượng tương đối thành phần màu RGB : o o o r ', g ' b ' gọi tọa độ màu F = rR + gG + bB Mặt khác ta có: m = r’ + g’ + b’ gọi độ chói màu r+g+b = Sử dụng hệ màu RGB tương đối tiện lợi có số nhược điểm Trong ba tọa độ khơng có tọa độ cho ta biết trực tiếp độ chói Để tìm độ chói ta phải biết ba tọa độ màu r ', g ' b ' Ta quan tâm đến hệ màu khác hệ màu HSL, HSL không gian màu dựa số liệu: Vùng màu (H), Độ bão hòa (S), Độ sáng (L) Ta có cơng thức chuyển đổi điểm ảnh từ hệ màu RGB sang hệ màu HSL : Vmax ← max(R, G, B) ; Vmin ← min(R, G, B) Nếu H < H = H+360, điều kiện đầu ra: ≤ L ≤ 1, ≤ S ≤ 1, ≤ H ≤ 360 1.2 Tiền xử lý Việc lưu trữ xử lý đám mây điểm lớn với hàng trăm ngàn điểm dạng điểm không gian ba chiều tác vụ tiêu tốn tài nguyên phần cứng ngun nhân dẫn đến tình trạng thắt cổ chai hệ thống Trong đó, tập liệu đám mây điểm, cần liệu liên quan đến vật thể cần xác định bề mặt Chương trình bày kỹ thuật tiền xử lý đám mây điểm, qua giảm số lượng điểm cần tính tốn nhiều lần mà giữ đặc tính hình học cần thiết 1.2.1 Giảm mẫu Giảm mẫu có mục đích giảm số lượng điểm đám mây điểm mà không làm đặc trưng đám mây điểm Một đám mây điểm sau giảm mẫu có số điểm so với ban đầu, giúp giảm khối lượng tính tốn cho bước Phương pháp giảm mẫu dùng sử dụng lọc lưới voxel (voxel grid filter) Hình 1.2.1 Voxel grid khơng gian ba chiều Mỗi voxel hình hộp, biểu diễn giá trị điểm không gian Khái niệm voxel không gian ba chiều giống khái niệm điểm ảnh (pixel) mặt phẳng hai chiều Voxel sử dụng cách biểu diễn đồ họa 3D, hay cách biểu diễn liệu theo kiểu octree Thơng thường biểu diễn đồ họa voxel voxel đại diện cho điểm, tương đương với tọa độ màu điểm Bộ lọc lưới voxel phương pháp giảm mẫu cách đưa đám mây điểm vào không gian gồm lưới voxel, với kích thước lưới lớn so với khoảng cách điểm điểm gần Nói cách khác, độ phân giải đám mây điểm phải lớn độ phân giải lưới voxel Sau với voxel, giải thuật tính tốn tâm trung bình điểm bên thay điểm điểm tâm trung bình Hình 1.2.2 Thay điểm voxel điểm trung bình Phương pháp có thời gian thực lâu so với phương pháp đơn giản thay điểm nằm trung tâm voxel Tuy nhiên giảm mẫu đám mây điểm mà giữ lại nhiều đặc tính hình học Một ưu điểm khác phương pháp số trường hợp, giúp giảm nhiễu ngẫu nhiên tập liệu đầu vào nhờ vào nguyên tắc lấy trung bình mẫu 1.2.2 Loại bỏ điểm khơng liên quan Khi sử dụng thiết bị quét 3D camera RGB-D máy quét laser, liệu thu thường bị xuất điểm nằm lơ lửng, không nằm mặt phẳng Những điểm thường xuất gần nơi giao tiếp bề mặt, hay gần cạnh vật thể Khi tính tốn đặc trưng đám mây điểm, điểm nhiễu gây sai lệch lý thực chúng không tồn mà nhiễu tác động lên cảm biến Hơn nữa, việc gia tăng số điểm đám mây điểm làm tăng thời gian tính tốn Do trước tính tốn đặc trưng, ta cần loại bỏ điểm nhiễu không nằm bề mặt Hình 1.2.3 Trước sau loại bỏ điểm nhiễu Phương pháp sử dụng rộng rãi để loại bỏ điểm nhiễu ngồi bề mặt phương pháp phân tích thống kê Đây phương pháp tính tốn khoảng cách trung bình từ điểm đến lân cận để xác định điểm khơng nằm bề mặt Quá trình thực phương pháp sau: 10 - Đầu tiên, với điểm đám mây điểm, xác định k điểm lân cận tính giá trị khoảng cách trung bình d từ đến điểm lân cận Q trình thực với tất điểm đám mây điểm - Thiết lập phân phối theo khoảng cách trung bình từ điểm đến điểm lân cận Từ phân phối đó, tính tốn giá trị trung bình độ lệch chuẩn phân phối - Những điểm có khoảng cách trung bình d đến k điểm gần cao giá trị coi điểm nằm bề mặt bị loại bỏ khỏi đám mây điểm 1.2.3 Phân đoạn ghép nhóm Phần trình bày hai phương pháp xử lý đám mây điểm lớn với mục đích giảm khối lượng tính tốn cho bước tính tốn sau Hai phương pháp phân đoạn (segmentation) ghép nhóm (clustering) Phân đoạn trình ghép điểm đám mây điểm vào mơ hình hình học đơn giản mặt phẳng, mặt trụ, mặt cầu, … cho điểm đám mây điểm có khoảng cách đến mơ hình nằm khoảng cho phép Các điểm thuộc mơ hình sau đánh dấu để từ thay điểm mơ hình đơn giản Q trình có tác dụng đơn giản hóa liệu đám mây điểm, giúp nâng cao hiệu xử lý hệ thống Ghép nhóm phương pháp phân chia điểm đám mây điểm thành nhóm nhỏ, qua giảm đáng kể thời gian để xử lý toàn lượng liệu ban đầu 1.2.3.1 Phân đoạn Các phương pháp phân đoạn liệu đám mây điểm chủ đề nghiên cứu thời gian dài Một cảnh ảnh P thu thập từ cảm biến RGB- D thể vật thể quét qua dạng đám mây điểm Trong điều kiện lý tưởng, với mơ hình vật thể có sở liệu tập liệu P sau thu thập từ cảm biến đơn giản hóa đáng kể: Các điểm P thể mơ hình (hay phần mơ hình) thay mơ hình với thơng số thể vị trí, tư (hay góc nhìn) kích cỡ thực tế Điều thực với tất điểm tập liệu P sau dẫn đến kết thay lưu trữ đám mây điểm P ta cần lưu trữ thông số thể mơ hình xuất P với vị trí, góc nhìn kích cỡ chúng Tuy nhiên cảnh ảnh quét từ cảm biến (2.5D 3D) xuất nhiễu Nhiễu lượng tử tác động lên cảm biến khiến cho 39 Hình 3.2.1 Phạm vi độ sâu kinect Để cảm biến hoạt động tốt nên sử dụng khoảng cách từ 1,2m → 3,5m Hoạt động : Các tia hồng ngoại chiếu qua phát hồng ngoại đến đối tượng, sau camera hồng ngoại thu thập liệu bị phản chiếu 3.2.2 Camera RGB-D Chức camera nhận biết màu đỏ, xanh xanh da trời (Red-Green-Blue) Quá trình chụp bao gồm việc chụp ảnh màu (RGB) thực phép đo độ sâu (D) Cảm biến hình ảnh kết hợp với cảm biến chiều sâu nằm gần nhau, cho phép sáp nhập đồ, cho hình ảnh 3D Thơng tin ảnh RGB-D lưu trữ Với kích cỡ 1280x960 pixel, tốc độ 12 khung hình/giây Với kích cỡ 640x480 pixel, tốc độ chụp 30 khung hình/giây Từ cho thấy thiết lập độ phân giải thấp tốc độ chụp truyền hình ảnh cao hơn.Với liệu sâu thu được, tạo đồ xương người đứng trước cảm biến Và với xương đó, xác định cử chỉ,hành động người sử dụng 3.2.3 động cơ, máy đo gia tốc, micro Động : nằm đế cảm biến Kinect Nó có khả làm cho cảm biến hướng đầu lên cao hạ xuống thấp Với khả giúp cho cảm biến thu hình ảnh cao nhiều so với khơng có động Máy đo gia tốc : Kinect sử dụng để xác định người đứng trước, đứng sau đo Micro : bao gồm micro nhỏ, hoạt động 16 bit với tốc độ lấy mẫu 16kHz (số mẫu/giây) Sử dụng chip PrimeSensor Microsoft sản xuất 40 3.2.4 Phần mềm hỗ trợ : - OpenNI : sử dụng phổ biến - OpenKinect : hãng Microsoft sản xuất - Microsoft Kinect dành cho hệ điều hành Windows 3.3 Cảm biến đo chiều sâu (depth sensor) Hình 3.3 Cảm biến đo chiều sâu (depth sensor) Vùng hoạt động hệ thống 43 độ dọc, 57 độ theo chiều ngang 41 Hình 3.4 Vùng hoạt động cảm biến theo chiều dọc ngang Cơ chế hoạt động : Ban đầu máy phát tia hồng ngoại phát tia hồng ngoại vùng hoạt động nó, tạo cấu trúc điểm sáng vật thể, thơng qua phản chiếu hình ảnh, camera hồng ngoại thu thập cấu trúc này, cho kết hình ảnh vật thể với chiều sâu khác 42 Hình 3.5 Kết vật thể với chiều sâu khác 43 3.4 Cảm biến hình ảnh (RGB-D) Hình 3.6 Hình ảnh (RGB-D) Bao gồm việc chụp xử lý ảnh: Chụp ảnh : bao gồm việc chụp ảnh RGB qt 3D Camera chụp cho ảnh RGB có kích cỡ mặc định 640x480 pixel,tốc độ chụp 30fps Nhưng camera màu chụp với định dạng cao 1280x960 pixel,tốc độ chụp 12fps Khi chụp, kết hợp với camera đo độ sâu để tạo ảnh có độ sâu (3D) - Đo độ sâu thực cách sử dụng kỹ thuật ánh sáng có cấu trúc Ánh sáng có cấu trúc thực cách chiếu mơ hình điểm ảnh lên vùng hoạt động, điểm ảnh gặp bề mặt khác vật thể cho phép hệ thống quan sát tính tốn độ sâu đối tượng 44 Hình 3.7 Hệ thống quan sát tính toán độ sâu đối tượng Thứ : Phác thảo đồ → định hướng bề mặt Thứ hai : camera theo dõi Camera tính tốn tổng qt (vị trí hướng đối tượng) → kết hợp kiểm tra hướng kiểm tra đỉnh Tính tốn liên tục, xếp lặp lặp lại ảnh tốt Thứ ba : hội nhập Kết hợp liệu sâu từ cảm biến biết đưa biểu diễn diện tích khơng gian xung quanh máy ảnh Một cảm biến chuyển động quan sát bề mặt từ điểm khác nhau, nhiều khoảng trống hay lỗ, nơi liệu độ sâu khơng có hình ảnh Kinect ban đầu lấp đầy 45 (ví dụ di chuyển cảm biến xung quanh đối tượng để điền vào điểm trước chưa xác định phía sau đối tượng ) bề mặt liên tục cải tiến với liệu độ phân giải cao Thứ tư : dựng hình 3D Khối lượng tái tạo dò tia (Raycast) từ cảm biến, điều cho kết đám mây điểm tơ bóng hơn, kết hợp lại thành hình ảnh chiều 46 CHƯƠNG 4: KẾT QUẢ 4.1 Ý tưởng tốn Sử dụng giọng nói ngôn ngữ tiếng Anh để truy vấn đến đối tượng (màu sắc bản) từ đối tượng trả trả thông tin tọa độ khoảng cách từ giúp cho robot thực di chuyển đến vị trí 4.2 Cơng cụ ngơn ngữ lập trình u cầu cấu hình máy tính : 4.2.1 Về phần cứng - Máy tính phải có cấu hình từ CPU từ core – dual 2.66Ghz trở lên - Card hình hỗ trợ từ DirectX 9.0c - RAM tối thiểu 2GB - Thiết bị kinect 4.2.2 Về phần mềm - Máy tính chạy hệ điều hành Windows (hoặc phiên cao hơn) - Microsoft Visual Studio 2010 phiên cao - Microsoft NET Framwork 4.0 - Kinect NET SDK 1.8 - thư viện OpenCv 2.4.1 4.2.3 Cài đặt phần mềm Máy tính cài đặt sẵn hệ điều hành Windows trở lên (8,8.1,10 ).Cài đặt phần mềm lập trình Microsoft Visual Studio 2010 trở lên (2012,2013) Ở đây, chương trình viết phiên Visual Studio 2013 Tiếp theo, cài đặt Net Framework 4.0 sau cài đặt thư viện Kinect Net SDK 1.8 OpenCv 2.4.1 47 4.3 Kết thực :  Nhận dạng giọng nói : Hình 4.1 Hiển thị dòng màu đỏ nói Red Hình 4.2 Hiển thị dòng màu xanh nói Green Mô-đun cung cấp mẫu mã (code sample) sử dụng để chứng minh làm để thực nhận dạng giọng nói âm thu từ thiết bị Kinect, cách tích hợp chức KinectAudioSource với Microsoft Speech SDK Hình ảnh hướng sóng âm nguồn âm hiển thị dòng màu giao diện người dùng 48 Bảng 4.1 Đánh giá chung từ thu nhận giọng nói xử lý ảnh Xử Lý Red Giọng Green nói Blue Hình ảnh Vị trí Số lần thực 20 20 20 20 20 Thành Công (%) 95 95 85 100 80 Lỗi (%) 5 15 20  Nhận dạng ảnh : Hình 4.3 Chọn đối tượng màu (màu xanh ) Hình 4.4 Kết tách đối tượng màu (ảnh nhị phân ) Đầu vào ảnh màu RGB qua trình nhận dạng tách theo dõi đối tượng màu thành ảnh nhị phân 49 Hình 4.5 Kết hiển thị tọa độ khoảng cách Hình 4.3 có giá trị: X, Y, Z hệ tọa độ Descartes Tọa độ (0, 0, 0) vị trí điểm cảm biến Mỗi điểm khác so sánh với tọa độ gốc kinect để trả thông tin tọa độ khoảng cách cho robot Hình 4.4  Phần cứng Hình 4.6 Mơ hình Robot Bảng 4.2 Cấu tạo phần cứng : STT TÊN THIẾT BỊ SỐ LƯỢNG Ardunio Uno THÔNG SỐ Vi điều khiển ATmega328 họ 8bit, Điện áp 5V DC Dòng tiêu thụ khoảng 30mA Điện áp vào khuyên dùng 7-12V DC Số chân Digital I/O 14 (6 chân hardware PWM) - Số chân Analog (độ phân giải 10bit) - Dòng tối đa (3.3V) 50 mA - Dòng tối đa (5V) 500 mA - - Driver: L298N tích hợp hai mạch cầu L298N H - Điện áp điều khiển: +5 V ~ +12 V - Dòng tối đa cho cầu H là: 2A 50 - Điện áp tín hiệu điều khiển: +5 V ~ +7 V - Dòng tín hiệu điều khiển: ~ 36mA - Cơng suất hao phí: 20W - Điện hoạt động UART 3.3-5V - Dòng điện hoạt động: Pairing Bluetooth HC-05 Motor DC 5V 30 mA - Baudrate UART chọn được: 1200, 2400, 4800, 9600… - Dải tần sóng hoạt động: 2.4GHz - Bluetooth protocol: Bluetooth Specification v2.0+EDR - Điện áp làm việc:5VDC - Dòng điện tiêu thụ:400mA-500mA 51 4.4 Sơ đồ thuật toán Start End Khởi tạo giá trị lệnh nói No Robot thực di chuyển Yes Robot Tính tốn tìm khoảng cách Kiểm tra độ tin cậy > 0.8 Trả thông tin màu tọa độ x,y,z Thực trả kết nói lệnh No Kiếm tra màu nhận dạng Yes 52 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Ưu điểm mà đề tài đem lại điều khiển robot giọng nói để di chuyển đến vị trí dựa màu sắc vật thể dựa thuật toán nhận dạng giọng nói kết hợp xử lý ảnh camera kết hợp cảm biến hồng ngoại để đo chiều sâu tìm vị trí khơng gian 3D Đối với riêng khả nhận dạng xử lý, việc dùng thiết bị kinect đem lại cho hệ thống nhiều ưu điểm lớn độ nhạy cao bị ảnh hưởng điều kiện môi trường quan trọng camera kết hợp với cảm biến hồng ngoại để đo chiều sâu Giải pháp đề tài hoạt động tốt đem lại hiệu thiết thật có giải pháp hiệu Về phần cứng thay thành động Servo Dc với thuật tốn PID vị trí, thay kinect v1 phiên kinect v2 qua thư viện hỗ trợ tăng cường độ nhạy cho chất lượng hình ảnh cao Về mặt phần mềm xây dựng mối liên kết thuật toán thư viện OpenCv SDK visual để hỗ trợ xử lý, nghiên cứu thuật toán để tăng cường chức xử lý vật dụng thay xử lý màu sắc Hướng phát triển để tài kết hợp giọng nói cử để điều khiển robot mạng lại tính tương tác cao người robot xây dựng chương trình điều khiển robot từ xa áp dụng cho xe không người lái, xe lăn dành cho người khuyết tật robot bám theo dõi đối tượng kết hợp Kinect với robot vận hành nhà máy khâu kiểm tra hay phân loại sản phẩm 53 TÀI LIỆU THAM KHẢO [1] Dan Fernandez, Gavin Jancke (2011), “Programming The Kinect for Windows SDK Beta with Dan Fernandez & Gavin Jancke”, channel9 [2] Jarrett Webb, James Ashley (2012), “Beginning Kinect Programming with the Microsoft Kinect SDK”, Apress [3] Clemente Giorio, Massimo Fascinari (2013), “Kinect in Motion: Audio and Visual Tracking by Example “, Packt Publishing Một số trang web http://en.wikipedia.org/wiki/RANSAC http://en.wikipedia.org/wiki/Kinect http://kinectforwindows.org http://openkinect.org/wiki/Main_Page openni vs kinect sdk: http://www.brekel.com/?page_id=671 http://www.ros.org/wiki/kinect_calibration/technical http://nicolas.burrus.name/index.php/Research/KinectCalibration ... ĐIỆN TỬ  - NGHIÊN CỨU KHOA HỌC Đề tài: ĐIỀU KHIỂN ROBOT BẰNG GIỌNG NÓI ĐỂ DI CHUYỂN ĐẾN VỊ TRÍ DỰA TRÊN MÀU SẮC CỦA VẬT THỂ GVHD SVTH LỚP MSSV : Th.S NGUYỄN LÊ MAI DUYÊN : TRƯƠNG... Làm điều khiển máy tính, thiết bị giải trí, robot bằng cử chỉ, hành động lời nói người? Nhận dạng hình ảnh âm giải pháp để giải toán này, phần nhỏ lĩnh vực “ Điều khiển robot giọng nói để di chuyển. .. giọng nói để di chuyển đến vị trí dựa màu sắc vật thể ” Đề tài dựa thuật tốn nhận dạng giọng nói kết hợp xử lý ảnh camera kết hợp cảm biến hồng ngoại để đo chiều sâu tìm vị trí khơng gian 3D từ