Nghiên cứu và ứng dụng kinect vào việc trình chiếu tài liệu

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA CƠNG NGHỆ THƠNG TIN - - BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: NGHIÊN CỨU VÀ ỨNG DỤNG KINECT VÀO VIỆC TRÌNH CHIẾU TÀI LIỆU Giáo viên hướng dẫn: ThS Nguyễn Phát Nhựt Sinh viên thực hiện: Trần Việt Đức Trương Minh Hiếu BIÊN HỊA, THÁNG 06/2012 LỜI CẢM ƠN - - Lời đầu tiên, chúng em xin gửi đến Thầy ThS Nguyễn Phát Nhựt lời cảm ơn chân thành sâu sắc Nhờ có hướng dẫn giúp đỡ tận tình Thầy suốt thời gian qua, chúng em thực hồn thành Thực Tập Tốt Nghiệp Luận Văn Tốt Nghiệp Những lời nhận xét, góp ý hướng dẫn tận tình Thầy giúp chúng em có định hướng đắn suốt q trình thực Đề tài, giúp chúng em nhìn ưu khuyết điểm Đề tài bước hồn thiện Đồng thời, chúng em xin trân trọng cảm ơn Thầy Cơ Trường Đại Học Lạc Hồng nói chung khoa Cơng Nghệ Thơng Tin nói riêng dạy dỗ chúng em suốt qng thời gian ngồi ghế giảng đường Đại học Những lời giảng Thầy Cơ bục trang bị cho chúng em kiến thức, kỹ giúp chúng em tích lũy thêm kinh nghiệm Bên cạnh đó, chúng tơi xin cảm ơn hỗ trợ giúp đỡ bạn bè thời gian học tập Trường Đại Học Lạc Hồng q trình hồn trình hồn thành Luận Văn Tốt Nghiệp Cuối cùng, chúng chân thành cảm ơn động viên hỗ trợ gia đình cha mẹ suốt thời gian học tập Đặc biệt, chúng xin gửi lời cảm ơn trân trọng đến cha mẹ, người sinh ni dưỡng chúng nên người Sự quan tâm, lo lắng hy sinh lớn lao cha mẹ ln động lực cho chúng cố gắng phấn đấu đường học tập Một lần nữa, chúng xin gửi đến cha mẹ biết ơn sâu sắc BIÊN HỊA, ngày 04 tháng 06 năm 2012 TRẦN VIỆT ĐỨC TRƯƠNG MINH HIẾU MỤC LỤC  Trang Trang phụ bìa Lời cảm ơn Mục lục Danh mục từ viết tắt Danh mục hình ảnh, bảng biểu Lời nói đầu Chương : CƠ S 1.1 L TH T ựa chọn tin học 1.2 Tìm hiểu Kinect 1.2.1 Sự đời phát triển 1.2.2 Những thành phần Kinect 1.3 Thư viện hỗ trợ Kinect 10 1.3.1 Thư viện Libfreenect 10 1.3.2 Thư viện Code Laboratories 10 1.3.3 Thư viện OpenNI 10 1.3.4 Thư viện Kinect SDK 10 1.3.4.1 Kinect SDK Beta 11 1.3.4.2 Kinect SDK 1.0 11 1.4 Đặc điểm Kinect SDK 1.0 11 1.5 Kết luận 13 Chương : NG N L H ẠT Đ NG C IN CT 14 2.1 Giải pháp PrimeSensor 14 2.2 hân tích kỹ thuật đo lường chiều sâu 14 2.3.1 ỹ thuật Triangution 15 2.3.2 ỹ thuật tructure light 16 2.3.3 ỹ thuật Time - Of - Flight 16 2.3 Tính tốn độ sâu 17 2.4 Xác định vị trí khơng gian 21 2.5 Một số đặc tính khác Kinect 22 .1 Tiêu cự, góc m IR camera RG camera 22 2.5.2 Nguồn cơng suất tiêu thụ 22 .3 Mơi trường hoạt động 23 .4 ác thơng số độ tin cậy 23 Chương 3: CHƯƠNG T NH VÀ GIẢI TH T 24 3.1 Cấu hình chương trình 24 3.1.1 Về phần cứng 24 3.1.2 Về phần mềm 24 3.1.3 ài đặt phần mềm 24 3.2 hức chương trình 24 3.3 Tương tác sử dụng 25 3.3.1 ết nối thiết bị 26 3.3.2 Đồng thơng số hình ảnh 27 3.4 Giải thuật 27 3.4.1 ui trình xử lý chung 27 3.4.2 Xử lý liệu thơ 29 3.5 hương trình điều khiển b ng tay 32 .1 ự kiện nhấp chuột trái (Left click) 36 .2 ự kiện nhấp chuột phải (Righ clik) 37 ự kiện nhấp đúp chuột trái (Double click) 38 .2 ự kiện kéo thả đối tượng rag rop) 40 3.6 hương trình điều khiển slide po erpoint 42 3.7 hương trình điều khiển b ng giọng nói 44 Chương : GIẢI PH P VÀ H ÀN THIỆN 52 4.1 Nhận xét chung 52 4.2 Giải pháp hồn thiện 52 4.3 Hướng phát triển 53 Tài liệu tham khảo 54 Phụ ục : Hướng dẫn c i đ t chương tr nh ứng dụng 55 Phụ ục : Hướng dẫn dụng 57 nh mục từ viết tắt ADC Analog Digital Converter API Application Programming Interface AUV Autonomous Underwater Vehicles AUX AU Xiliary CL Code Laboratories CNC Computerized Numerical CPU Central Processing Unit IR Infrared JNA Java Native Access JNI Java Native Interface NI Natural Interaction NUI Natural User Interface RAM Ramdom Access Memory RGB Red, Green, Blue SDK Software Development Kit SoC System on chip TOF Tim Of Flight TTL Transistor – Transistor logic USB Universal Serial Bus Danh mục hình Hình 1.1: Thiết bị Kinect Hình 1.2: Nhận dạng hành động Game thủ điều khiển nhân vật game Hình 1.3: Các chức thường dùng Kinect Hình 1.4: Những thành phần Kinect Hình 1.5: chế hoạt động PrimeSense PS1080-A2 Hình 1.6: ác điểm chuyển động thể 12 Hình 1.7: Kiến trúc Kinect Net SDK 13 Hình 2.1: Giải pháp PrimeSense 14 Hình 2.2: Các kỹ thuật đo lường chiều sâu 15 Hình 2.3:Minh họa thành phần Triangulation 15 Hình 2.4: Mơ kỹ thuật Structured light 16 Hình 2.5: Mơ kỹ thuật Time – Of – Flight 17 Hình 2.6: Cấu tạo bên Kinect 17 Hình 2.7: Q trình thu đồ độ sâu 18 Hình 2.8: Mẫu hình chiếu từ IR camera Project 19 Hình 2.9: Tính tốn khoảng cách tới điểm chiếu từ Project 20 Hình 2.10: hân tích điểm M khơng gian 21 Hình 2.11: Adapter Kinect 23 Hình 3.1: Tổng quan cấu trúc chương trình 25 Hình 3.2: ui trình cài đặt xử lý thơng tin 26 H nh 3.3 iểm tra inect driver evice Manager 26 H nh 3.4 iểm tra inect driver sound, video game 26 Hình 3.5: Hệ thống ghi nhận cử 27 Hình 3.6: đồ xử lý chung 27 Hình 3.7: orm hiển thị chương trình 31 Hình 3.8: đồ xử lý chọn tay điều khiển trỏ Windows 33 Hình 3.9: ự di chuyển bàn tay 35 Hình 3.10: đồ xử lý kiện left click right click 36 Hình 3.11:Mơ kiện left click 37 Hình 3.12: Mơ kiện right click 38 Hình 3.13: đồ xử lý kiện double click 39 Hình 3.14: Sự kiện double click 39 Hình 3.15: đồ xử lý kiện rop rag 40 Hình 3.16: đồ xử lý chạy slide show 42 Hình 3.17: Hành động trình chiếu Slide powerpoint 42 Hình 3.18: đồ xử lý bắt đầu kết thúc trình chiếu slide 44 Danh mục bảng Bảng 2.1: Góc m tiêu cự RGB camera IR camera 22 Bảng 2.2: Cơng suất tiêu thụ Kinect 23 n Từ xưa, hệ máy tính đời người bắt đầu có ước mơ xa giới tương lai Trong tương lai ấy, người làm chủ thứ, tương tác với máy tính thơng qua hành động, cử giọng nói Và câu hỏi đặt là: Có thể thực ước mơ khơng? Nhưng ngày - kỷ 21, với phát triển nhanh ngành cơng nghệ số thiết bị số kỹ thuật cao, với đời thiết bị Microsoft Kinect, câu trả lời là: Có thể! Sự tương tác người sử dụng với máy tính ngày trở nên phong phú, đa dạng Trong thập niên 70, bàn phím cơng cụ để điều khiển máy tính Sau đến giao diện đồ họa phát triển, chuột máy tính phát minh hỗ trợ việc tương tác trở nên thuận tiện Cùng với phát triển cơng nghệ, thuật tốn, người giao tiếp với máy tính thơng qua hình chạm, hành vi, giọng nói Trong nghiên cứu này, chúng tơi thực phần ước mơ đó, việc hỗ trợ tương tác người với máy tính thơng qua thiết bị Kinect để điều khiển việc trình chiếu tài liệu Slide PowerPoint trỏ chuột Window mà khơng cần đến nhiều thiết bị hỗ trợ mà cần: thiết bị Kinect Sensor, máy tính sử dụng hệ điều hành Windows ( từ Windows trở lên) Giờ đây, khơng cần phải chạm tay vào bàn phím, chí khơng cần phải cầm chuột chạm tay vào hình mà cần đứng trước Kinect hành động giọng nói thực mà mong muốn Ngày nay, hầu hết biết đến xem qua buổi hội nghị, tọa đàm, hay buổi báo cáo, chí giáo viên giảng dạy đó,… người ta sử dụng nhiều Slide PowerPoint để thuyết trình tài liệu Nắm bắt nhu cầu phát triển trên, chúng em tìm giải pháp mới, phong cách nhằm hỗ trợ cho việc thuyết trình tạo nhiều hứng thú cơng việc cử động thể lệnh giọng nói Đề tài mà chúng em giới thiệu đây, viết Visual Studio 2010 ngơn ngữ C#, lâp trình phát triển thư viện Microsoft SDK Bên cạnh đó, chúng tơi giúp điều khiển số thao tác trỏ chuột Window thơng qua Kinect Microsoft Chúng em nói rõ vấn đề phần sau Kinect thật tạo sốt, khơng cộng đồng Game thủ mà giới nghiên cứu, lập trình viên nhà thiết kế giới Nhờ vào ưu điểm mà Kinect ứng dụng vào nhiều lĩnh vực đời sống giáo dục, điều khiển Window, y khoa, robot,… Trong y khoa: Hãng InfoStrat có sáng kiến ứng dụng Kinect cho hình khổ lớn cơng tác hội chẩn Ví dụ, với thao tác gõ nhẹ bàn tay vào “khơng khí” phía trước hình hiển thị khổ lớn, bác sỹ cuộn qua hình ảnh X-quang hình ảnh y khoa khác Khi sử dụng tay, bác sỹ phóng to hay thu nhỏ hình ảnh vùng hiển thị để quan sát rõ Trong đó, phòng thí nghiệm Red Hill đại học San Francisco (California, Mỹ) “sáng tạo” trò chơi giúp bệnh nhân Parkinson vừa thực vật lý trị liệu vừa giải trí để giảm ưu phiền Trong cơng nghệ Robot điều khiển tự động: Nghiên cứu đại học Berkeley (California, Mỹ) sử dụng camera Kinect cảm biến xác định độ sâu để giúp rơ-bốt có khả quan sát qua tự định hướng, phát vật cản Vài nghiên cứu trang bị Kinect xe nâng hàng nhà xưởng, kho bãi triển khai Mỹ kết bước đầu khả quan Theo Adept Technology, hãng sản xuất rơ-bốt cho nhà máy lợi Kinect khả quan sát chiều điều giúp rơ-bốt xe nâng quan sát tốt hơn, từ giảm thiểu tai nạn di chuyển Trong kinh doanh, bán hàng: Hãng FaceCake Marketing Technologies thành cơng việc vận hành phòng thử đồ tương tác với tên gọi Swivel Về bản, Swivel gương tương tác, cho phép người mua hàng xem hàng “ảo” xuất “manơcanh” (người nộm mẫu) có kích thước “sao chụp” từ người 46 public const string NEXT_NUMBER_TEN = "Next Number Ten"; public const string BACK_NUMBER_TEN = "Back Number Ten"; public const string NEXT_NUMBER_FIVE = "Next Number Five"; public const string BACK_NUMBER_FIVE = "Back Number Five"; public const string NEXT_NUMBER_TWO = "Next Number Two"; public const string BACK_NUMBER_TWO = "Back Number Two"; public const string MAXIMIZE = "Maximize"; public const string MINIMIZE = "Minimize"; public const string SELECT_ALL = "Select All"; public const string RIGHT_MENU = "Right Menu"; } Giá trị đưa vào dạng chuỗi (String) Sau đó, khai báo biến gammer để lưu lệnh người sử dụng vào chương trình hàm MicrosoftKinect.Library.Vocabulary.AddLibray(gammer) việc dùng hàm để đọc từ vựng MicrosoftKinect.SpeechRecognize.SpeechText Speech private void SreSpeechRecognized(object sender, SpeechRecognizedEventArgs e) { if (e.Result.Confidence < 0.3) return; this.Dispatcher.BeginInvoke((Action)delegate { Startlistening(e.Result.Text); MicrosoftKinect.SpeechRecognize.SpeechText _Speech SpeechRecognize.SpeechText(); _Speech.ProcessBasedOnSpeechText(e.Result.Text, listening); }); = new 47 } Sau hồn tất cơng việc nhận dạng hiểu từ vựng mà người sử dụng u cầu Chương trình dùng cấu trúc Switch case để thực thi u cầu dùng hàm Process.Start để khởi động u cầu người sử dụng public void ProcessBasedOnSpeechText(string sSpeechText, bool listening) { if (listening == true) { switch (sSpeechText) { case MicrosoftKinect.SpeechRecognize.SpeechText.OPEN_CHROME: Process.Start("chrome"); break; case MicrosoftKinect.SpeechRecognize.SpeechText.OPEN_FIREFOX: Process.Start("firefox"); break; case MicrosoftKinect.SpeechRecognize.SpeechText.OPEN_IE: Process.Start("iexplore"); break; case MicrosoftKinect.SpeechRecognize.SpeechText.GOTO_VNEXPRESS: Process.Start("chrome", "vnexpress.net"); break; case MicrosoftKinect.SpeechRecognize.SpeechText.CLOSED: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.MENU, new[] { VirtualKeyCode.F4 }); break; case MicrosoftKinect.SpeechRecognize.SpeechText._NEXT: InputSimulator.SimulateKeyPress(VirtualKeyCode.RIGHT); break; case MicrosoftKinect.SpeechRecognize.SpeechText._BACK: InputSimulator.SimulateKeyPress(VirtualKeyCode.LEFT); break; 48 case MicrosoftKinect.SpeechRecognize.SpeechText.SHOW: InputSimulator.SimulateKeyPress(VirtualKeyCode.F5); break; case MicrosoftKinect.SpeechRecognize.SpeechText.MY_COMPUTER: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LWIN, new[] { VirtualKeyCode.VK_E }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.OPEN: InputSimulator.SimulateKeyPress(VirtualKeyCode.RETURN); break; case MicrosoftKinect.SpeechRecognize.SpeechText.UP: InputSimulator.SimulateKeyPress(VirtualKeyCode.UP); break; case MicrosoftKinect.SpeechRecognize.SpeechText.DOWN: InputSimulator.SimulateKeyPress(VirtualKeyCode.DOWN); break; case MicrosoftKinect.SpeechRecognize.SpeechText.START: InputSimulator.SimulateKeyPress(VirtualKeyCode.LWIN); break; case MicrosoftKinect.SpeechRecognize.SpeechText.NEXT_TAB: InputSimulator.SimulateKeyPress(VirtualKeyCode.TAB); break; case MicrosoftKinect.SpeechRecognize.SpeechText.BACK_TAB: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LSHIFT, new[] VirtualKeyCode.TAB }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.SHOW_DESKTOP: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LWIN, new[] { VirtualKeyCode.VK_D }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.CANCEL: InputSimulator.SimulateKeyPress(VirtualKeyCode.ESCAPE); { 49 break; case MicrosoftKinect.SpeechRecognize.SpeechText.MAXIMIZE: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LWIN, new[] { VirtualKeyCode.UP }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.MINIMIZE: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LWIN, new[] { VirtualKeyCode.DOWN }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.SELECT_ALL: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LCONTROL, new[] { VirtualKeyCode.VK_A }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.RIGHT_MENU: InputSimulator.SimulateModifiedKeyStroke(VirtualKeyCode.LSHIFT, new[] VirtualKeyCode.F10 }); break; case MicrosoftKinect.SpeechRecognize.SpeechText.DOWN_NUMBER_TEN: for (int i = 0; i < 10; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.DOWN); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.UP_NUMBER_TEN: for (int i = 0; i < 10; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.UP); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.DOWN_NUMBER_FIVE: for (int i = 0; i < 5; i++) { 50 { InputSimulator.SimulateKeyPress(VirtualKeyCode.DOWN); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.UP_NUMBER_FIVE: for (int i = 0; i < 5; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.UP); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.DOWN_NUMBER_TWO: for (int i = 0; i < 2; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.DOWN); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.UP_NUMBER_TWO: for (int i = 0; i < 2; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.UP); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.NEXT_NUMBER_TEN: for (int i = 0; i < 10; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.RIGHT); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.BACK_NUMBER_TEN: for (int i = 0; i < 10; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.LEFT); 51 } break; case MicrosoftKinect.SpeechRecognize.SpeechText.NEXT_NUMBER_FIVE: for (int i = 0; i < 5; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.RIGHT); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.BACK_NUMBER_FIVE: for (int i = 0; i < 5; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.LEFT); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.NEXT_NUMBER_TWO: for (int i = 0; i < 2; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.RIGHT); } break; case MicrosoftKinect.SpeechRecognize.SpeechText.BACK_NUMBER_TWO: for (int i = 0; i < 2; i++) { InputSimulator.SimulateKeyPress(VirtualKeyCode.LEFT); } break; } } 52 x 4.1 Chương trình “ảo” thực, làm cho người sử dụng dễ dàng tương tác với máy tính Tuy chương trình đáp ứng u cầu nghiên cứu nhiều thiếu sót hạn chế định V u n nh n d ng b ng c chỉ: Chương trình chưa có độ nhạy cao, di chuyển chưa tốt người sử dụng phải đứng trước Kinect khoảng cách cho phép là: 0.8m – 3.5m Mơi trường ứng dụng có ánh sáng cao ảnh hưởng nhiều đến thu nhận hình ảnh từ Kinect V u n b ng gi ng nói: Tuy khơng cần phải đứng trước Kinect khơng bị ảnh hưởng ánh sánh Nhận dạng giọng nói bị nhiễu mơi trường ngồi ln có nhiều tạp âm tiếng động làm ảnh hưởng đến việc ghi nhận lời nói người sử dụng Do nghiên cứu Kinect SDK 1.0 nên việc hỗ trợ ngơn ngữ nhiều khó khăn Do sử dụng ngơn ngữ tiếng Anh nên cách phát âm thiếu độ chuẩn xác Chương trình mang đến cho người sử dụng giao diện hồn tồn cách thức tương tác người máy tính Giờ đây, người sử dụng bận rộn với cơng việc khơng có thời gian rảnh để trức tiếp điều khiển máy tính chương trình giúp người sử dụng đứng từ xa điều khiển máy tính theo ý thích mình, đem lại khơng gian “ảo” trước mặt Việc điều khiển giọng nói cử có ưu – khuyết điểm khác nên việc sử dụng có nhiều lỗi chưa thể kiểm sốt chặt chẽ 4.2 ả Chúng tơi cố gắng hồn thiện việc hỗ trợ cơng cụ chức việc trình chiếu để người sử dụng khai thác hết chức trình chiếu sử dụng điều khiển bàn phím trỏ 53 Chương trình giúp ích nhiều cơng việc trình chiếu tài liệu dành riêng cho trường hợp khơng thể trực tiếp sử dụng đến chuột bàn phím Chương trình tiếp tục nghiên cứu phát triển nhiều mơi trường hoạt động khác nhau, nhằm cao tính đa năng, đa dụng Bên cạnh đó, chương trình phát triển thêm nhiều ứng dụng cho Windows, biên dịch từ vựng từ ngơn ngữ tiếng Anh sang tiếng Việt để sử dụng giảng đường, trường học,… Việt Nam Chương trình phát triển thêm số chức điều khiển ứng dụng khác hệ điều hành Windows Bên cạnh đó, phát triển lập trình số game 3D khác để hỗ trợ người người chơi game, tạo nhiều hứng thú lạ việc điều khiển trò chơi Đề tài khơng ngưng việc hỗ trợ người sử dụng trình chiếu tài liệu, điều khiển trỏ Windows điều khiển giọng nói, mà chương trình phát triển thêm số ứng dụng khác Từ thiết bị kinect sử dụng nhiều chức so hướng ứng dụng ứng dụng đem lại hiệu thực tế cao so với thiết bị chun dùng khác 54 [1] Nguyễn Văn Đức Nguyễn ồng Đức, , Đại ọc Quốc Gia Thành phố Chí Minh, 2012, 99tr [2] Nguyễn ồng Minh Trương Ngọc Tn, , Đại học Khoa ọc Tự Nhiên, 2010, 85tr Tài li u website: [3] Các đặc điểm Kinect SDK thuật tốn Kinect, http://channel9.msdn.com/coding4fun/kinect/Special-Edition-Its-Kinect-day-TheKinect-For-Windows-SDK-v1-is-out [4] Các ứng dụng Kinect đời sống khoa học, http://vnexpress.net/gl/vi-tinh/2011/12/cac-ung-dung-dot-pha-voi-mat-than-kinect/ [5] Lịch sử đời phát triển Kinect ứng dụng, http://forums.gamevn.com/showthread.php?673733-Kinect-Center-Thong-tin-chitiet-cap-nhat-thao-luan-hoi-dap [6] Tìm hiểu Microsoft Kinect SDK 1.0, http://www.i-programmer.info/programming/hardware/2623-getting-started-withmicrosoft-kinect-sdk.html 55 l ẫ Bước 1: Chạy file setup.exe thư mục Kinect_Setup.exe Bước 2: Chọn Next Chọn thư mục lưu trữ chọn Next Bước 3: Chọn Next Next Chờ chương trình tiến hành cài đặt 56 Bước : Chọn Close để kết thúc việc cài đặt Khi cài dặt xong destop xuất icon chương trình Bây giờ, cần nhấp vào chương trình bắt đầu sử dụng 57 l ẫ ế ả l slide powerpoint ỉ ă Dễ ả - Bàn tay người sử Bắt đầu chạy chương dụng phải giơ lên cao khỏi đầu trình trình chiếu - Khi bắt đầu chạy chương trình trình chiếu powerpoint Chạy trở lại trang phía trước Khi người sử dụng muốn quay trở lại trang vừa trình bày mà vừa qua Chạy sang trang Khi người sử dụng muốn trình bày tiếp sang trang liền kề - Duỗi thẳng tay Thốt chương trình chéo trình chiếu - Khi người sử dụng muốn đóng trình chiếu trang powerpoint 58 ows ả ễ ỉ ă ả - Người sử dụng Di chuyển trỏ chế độ điều lên, xuống, qua trái, qua khiển trỏ phải chế độ kéo – thả đối tượng (item) - Người sử dụng điều khiển trỏ theo bất k hướng - Người sử dụng Sự kiện nhấp đúp chế độ chọn đối chuột trái (double click) tượng (select item) - Người sử dụng kéo tay từ xuống để tạo kiện nhấp đúp chuột trái - Người sử dụng chế độ chọn đối Sự kiện nhấp chuột phải (right click) tượng (select item) - Người sử dụng kéo tay bên phải để tạo kiện nhấp phải chuột 59 - Người sử dụng chế độ chọn đối Sự kiện nhấp chuột trái (left click) tượng (select item) - Người sử dụng kéo tay bên trái để tạo kiện nhấp trái chuột ă Kinect Listening Kích hoạt chức điều khiển giọng nói Kinect Stop Listening Ngưng chế độ điều khiển giọng nói Open Intenet Explore Chạy chương trình duyệt E Open Firefox Chạy chương trình duyệt Firefox Open Chrome Chạy chương trình duyệt Chrome Open vnexpress Chạy đến địa http://vnexpress.vn Show powerpoint Chạy slide trình chiếu tài liệu powerpoint My Computer Mở my computer Show desktop n sổ hiển thị desktop Open Mở đối tượng chọn Close Đóng chương trình hành mở Cancel Bỏ việc chọn đối tượng Slide powerpoint: chạy sang trang liền sau Next Windows: chạy sang chọn đối tượng liền sau Slide powerpoint: quay lại trang phía trước liền kề Back Windows: quay lại chọn đối tượng phía trước liền kề 60 Chạy lên trang Up Windows: chọn đối tượng phía đối tượng chọn Chạy xuống trang Down Windows: chọn đối tượng phía đối tượng chọn Up Number Ten Chạy lên đối tượng thứ 10 cách đối tượng chọn Up Number Five Chạy lên đối tượng thứ cách đối tượng chọn Up Number Two Chạy lên đối tượng thứ cách đối tượng chọn DownNumber Ten Chạy xuống đối tượng thứ 10 cách đối tượng chọn DownNumber Five Chạy xuống đối tượng thứ cách đối tượng chọn DownNumber Two Chạy xuống đối tượng thứ cách đối tượng chọn Next Number Ten Chạy sang phải 10 đối tượng Next Number Five Chạy sang phải đối tượng Next Number Two Chạy sang phải đối tượng Back Number Ten Chạy trái phải 10 đối tượng Back Number Five Chạy trái phải đối tượng Back Number Two Chạy trái phải đối tượng Maximize Phóng to cửa sổ hành Minimize Thu nhỏ cửa sổ hành Select All Chọn tất đối tượng Right Menu Nhấp phải chuột [...]... được đặt ra và giải quyết đó là làm thế nào để từ những hình ảnh số liệu thô nhận được từ thiết bị ghi nhận Kinect, để chuyển chúng vào chương trình và thực hiện lệnh theo yêu cầu? 26 Hình 3.2 – Qui trình cài đặt và xử lý thông tin 3.3.1 ế ố ế Để bắt đầu làm việc và xây dựng chương trình ứng dụng thì việc đầu tiên ta cần kết nối thiết bị Kinect với máy tính Do công trình nghiên cứu ứng dụng trên nền... của Kinect Chương 2: Nguyên l hoạt động của Kinect Cách tính toán độ sâu và nhận dạng giọng nói của Kinect, các giải pháp và phương thức lấy hình ảnh xử lý Chương 3: Chương trình và giải thuật Giới thiệu về chương trình nghiên cứu và các giải thuật, hướng ứng dụng chương trình Chương : Giải pháp và hoàn thiện Đưa ra những vấn đề đạt được và chưa đạt, cùng hướng giải quyết để hoàn thiện chương trình. .. cảm ứng nhưng không cần phải chạm vào màn hình hay bất cứ gì S CC TR C Đ T ời mở đầu Trình bày lý do chọn đề tài, tổng quan đề tài, mục tiêu, phương pháp nghiên cứu, tính mới của đề tài, giới hạn và sơ lược cấu trúc của đề tài Chương 1: Cơ sở l thuyết Lựa chọn tin học, giới thiệu về thiết bị Kinect, lịch sử phát triển của Kinect, các thư viện hỗ trợ Kinect, thư viện Microsoft SDK và những ứng dụng. .. trong 1” - hành động và giọng nói, để tạo ra một ứng dụng Nếu như việc trình chiếu tài liệu và điều khiển con trỏ cần phải dùng đến bàn phím và con chuột vi tính, thì giờ đây chương trình sẽ giúp người sử dụng không cần phải dùng đến những thiết bị trên, mà chỉ cần ứng trước “không gian” của Kinect 5 bằng hành động hoặc lời nói của mình để ra lệnh và bắt đầu điều khiển Chương trình sẽ tạo ra một thế... 2010 và thư viện hỗ trợ Kinect Microsoft SDK 1.0 Các đặc điểm cấu tạo và những ưu – khuyết điểm của thiết bị Kinect Sensor Trong quá trình ghi nhận từ Kinect cho đến việc điều khiển được ứng dụng phải trải qua nhiều giai đoạn nên chúng tôi đã chia ra từng giai đoạn và xử lý: ghi nhận lại hình ảnh theo nhiều chế độ và đưa vào dữ liệu Sau đó, dùng những giải thuật và hàm trong thư viện SDK 1.0 để xử lý và. .. nhận hình ảnh và nhận dạng giọng nói của Kinect từ môi trường bên ngoài Sử dụng giải thuật để xử lý hình ảnh dạng thô nhận được từ thiết bị đưa về và “chế biến” chúng thành những phương thức để máy có thể hiểu và đáp ứng được yêu cầu Trong thời gian đảm nhận đề tài, chúng tôi cố gắng nghiên cứu và tìm hiểu một số nội dung sau: Tìm hiểu phương pháp trình chiếu tài liệu bằng Slide PowerPoint và những thao... 100 trang tài liệu công nghệ chất lượng cao Ngoài việc có các thông tin trợ giúp tổ hợp sẵn, tài liệu còn bao gồm những hướng dẫn chi tiết cho hầu hết các mẫu tham khảo được cung cấp với SDK 13 Ngoài ra khi cài đặt SDK 1.0 xong, thư viện này có những Sample giúp người sử dụng Test thiết bị Kinect Sensor Từ đó, người sử dụng có thể phát triển thành những ứng dụng vào những mục đích nghiên cứu cụ thể... điểm nào trên cơ thể và cách lọc âm, giảm ồn để nhận dạng một cách chính xác nhất khẩu lệnh mà người sử dụng đưa ra Từ những Project xây dựng cho từng phần và những tính năng cụ thể, chúng tôi sẽ kết tất cả lại thành một chương trình logic hoàn chỉnh So với những nghiên cứu khác từ thiết bị Kinect Sensor và việc hỗ trợ trình chiếu tài liệu, phần lớn là dựa trên bộ cảm biến của Kinect để bắt cử chỉ... đồ xử lý chung 28 Chức năng và nhiệm vụ của từng phần: - User: Gửi yêu cầu bằng hành động tay hoặc giọng nói cho Kinect - Kinect Sensor: Ghi nhận những yêu cầu của người sử dụng để đưa vào chương trình theo trình tự để xử lý - : Khi những thông tin được Kinect đưa vào thì ở đây chương trình sẽ dùng những thuật toán tìm kiếm và mô tả theo đúng chức năng, yêu cầu của người sử dụng để xử lý Bằng những giải... thể người và bằng giọng nói để điều khiển ứng dụng trình chiếu tài liệu, con trỏ Window Từ việc bắt được những hình ảnh của những điểm trên cơ thể và giọng nói mà người dùng yêu cầu, chương trình sẽ xử lý chúng và chuyển thành những thao tác, sự kiện trên máy tính Để thực hiện được những vấn đề trên chúng tôi cần phải: 4 Tìm hiểu đặc điểm cấu tạo và những ưu cũng như nhược điểm của thiết bị Kinect Sensor ... người sử dụng Test thiết bị Kinect Sensor Từ đó, người sử dụng phát triển thành ứng dụng vào mục đích nghiên cứu cụ thể 1.5 ế l Qua thời gian nghiên cứu, rút nhận xét thư viện hỗ trợ cho công việc. .. 3.3.1 ế ố ế Để bắt đầu làm việc xây dựng chương trình ứng dụng việc ta cần kết nối thiết bị Kinect với máy tính Do công trình nghiên cứu ứng dụng Windows thư viện Kinect NET SDK 1.0 có sẵn Driver... Chúng em nói rõ vấn đề phần sau Kinect thật tạo sốt, không cộng đồng Game thủ mà giới nghiên cứu, lập trình viên nhà thiết kế giới Nhờ vào ưu điểm mà Kinect ứng dụng vào nhiều lĩnh vực đời sống giáo