Nghiên cứu và ứng dụng kinect vào việc trình chiếu tài liệu báo cáo nghiên cứu khoa học sinh viên

1  n T ng th h u có nh th gii s làm ch c mi th, có th i máy tính thông ng, c ch và ging nói ca mình. Và câu ht ra là: Có th thc hi   không? - th k 21, cùng vi s phát trin nhanh ca ngành công ngh s và các thit b s k thut cao, cùng vi s i ca thit b Microsoft Kinect, thì câu tr l! S i s dng vi máy tính ngày càng tr  dng. Trong nhng thp niên 70, bàn phím h duy nh u khin n khi giao di ha phát trin, con chuc phát minh và h tr vi nên thun tii s phát trin ca công ngh, và các thui có th giao tip vi máy tính thông qua các màn hình chng nói. Trong nghiên cu này, chúng tôi s thc hin mt ph, bng vic h tr s    i vi máy tính thông qua thit b   u khin vic trình chiu tài liu bng Slide PowerPoint và con tr chut trên nn Window mà không c n nhiu thit b h tr mà ch cn: mt thit b Kinect Sensor, mt máy tính s dng h u hành Windows ( t Windows 7 tr lên). Gi n phi chm tay vào bàn phím, thm chí không cn phi cm con chut hoc chm tay vào màn hình mà ch cng c Kinect bng và ging nói ca mình là có th thc hic nhng gì mà mình mong mun. Ngày nay, hu ht các u bin hoi hi ngh, t hay mt bui báo cáo, thm chí là mt giáo viên ging di ta s dng rt nhi thuyt trình tài liu ca mình. Nm bc nhu cu phát trin trên, chúng em t gii pháp mi, mt phong cách mi nhm h tr cho vic thuyt trình và to ra nhiu h ch là mt c ng c hoc ra lnh bng gi tài mà chúng em gii thiu  2 c vit trên Visual Studio 2010 bng ngôn ng C#, lâp trình phát trin trên nn n Microsoft SDK. Bên cu khin mt s thao tác trên con tr chut ca Window thông qua Kinect ca Microsoft. Chúng em s nói rõ v trên  nhng phn sau.  Kinect tht s tt, không ch trong cng Game th mà c trong gii nghiên cu, lp trình viên và nhà thit k trên th gii. Nh vào nhm cc ng dng vào nhii sng v giáo du khi Trong y khoa: Hãng InfoStrat  n ng dng Kinect cho các màn hình kh ln trong công tác hi chn. Ví d, vi thao tác gõ nh  c màn hình hin th kh ln, các bác s có th cun qua các hình nh X-quang và nhng hình nh y khoa khác. Khi s dng c 2 tay, bác s có th phóng to hay thu nh hình nh  tng vùng hin th   phòng thí nghim Red Hill ti hc San Francisco (California, M mnh nhân Parkinson va thc hin các bài vt lý tr liu va gii trí  gin. Trong công ngh u khin t ng: Nghiên cu ti hc Berkeley (California, M dng camera trên Kinect và các cm bi  giúp rô-bc kh  t ng, phát hin vt cn. Vài nghiên cu trang b   c trin khai ti M và kt qu  u khá kh quan. Theo Adept Technology, mt hãng sn xut rô-bt cho các nhà máy thì li th ca Kinect là kh u này giúp rô-b quan sát tt  m thiu tai nn khi di chuyn. Trong kinh doanh, bán hàng: Hãng FaceCake Marketing Technologies     c vn hành mt phòng th  i tên gi Swivel. V n, Swivel là mt t  xut hi nào trên mi nm m i 3 mua. Nói cho d hi i mua và ca hàng s nhìn thy nhau, và 2 bên s chn c món hàng cn th. Trong nhiu tình hung, Swivel có th  xut trang ph da trên hình c camera Kinect ghi nhn. Hãng AR Door cn khai thành công gi cho chui ca hàng bán l Topshop  i M, ti h thng ca hãng thi trang Nodstrom, bên cnh dch v th  o vi Swivel, khách hàng có th c các ca king li nhm chí  xut mu thit k mi.  Xây dng mu khin t xa thông qua mt s c ch ca các ph i nhm phc v trong vic trình chiu khin mt s thao tác con tr chut trên nn Window. To ra mt th gii - gi lp cm i s dng và cách nhìn mi v m  mà    i ch c   ng không và u khi i có th i máy tính mt cách d  Bên c tài s giúp ta rút ngn khong cách gia th thc và o, giao tip d dàng gi i s dng có nhiu bài ging, thuyt cm giác thoi mái, t nhiên trong khi trình bày.  Thông qua thit b  nhn dng nhng c ch th i và bng gi   u khin ng dng trình chiu tài liu, con tr Window. T vic bc nhng hình nh ca nh và ging nói mà i dùng yêu cu, ch x lý chúng và chuyn thành nhng thao tác, s kin trên máy tính.  thc hic nhng v trên chúng tôi cn phi: 4 Tìm hi  m cu to và nh     m ca thit b Kinect Sensor. Tìm hiu cách thc ghi nhn hình nh và nhn dng ging nói ca Kinect t ng bên ngoài. S dng gii thu x lý hình nh dng thô nhc t thit b   bi máy có th hic yêu cu.  Trong thm nh tài, chúng tôi c gng nghiên cu và tìm hiu mt s ni dung sau: Tìm hiu tài liu bng Slide PowerPoint và nhng thao tác ca con tr trên nn Windows. Tìm hiu v n h tr Kinect Microsoft SDK 1.0. m cu to và nh khuym ca thit b Kinect Sensor. Trong quá trình ghi nhn t n viu khic ng dng phi tri qua nhin và x lý: ghi nhn li hình nh theo nhiu ch   ling gii thut và hàm  x lý và thc hin yêu cng thi, cn gii quyt vn  nhn d và cách lc âm, gim  nhn dng mt cách chính xác nht khu li s d T nhng Project xây dng cho tng phn và nh th, chúng tôi s kt tt c li thành mnh.  So vi nhng nghiên cu khác t thit b Kinect Sensor và vic h tr trình chiu tài liu, phn ln là da trên b cm bin c bt c ch chuyng , mt phn rt ít còn lu khin bng ging nói. Thì   t h - ng và gi to ra mt ng dng. Nc trình chiu tài liu khin con tr cn ph , thì gi  i s dng không cn ph n nhng thit b trên, mà ch c   a Kinect 5 bng hoc li nói c ra lnh và bu khi s to ra mt th giu khing cm n phi chm vào màn hình hay bt c gì.   Trình bày lý do ch tài, t, m  cu, tính mi c tài, gii hc cu trúc c tài.  La chn tin hc, gii thiu v thit b Kinect, lch s phát trin ca Kinect, các n h tr n Microsoft SDK và nhng ng dng ca Kinect.      sâu và nhn dng ging nói ca Kinect, các gii pháp và c ly hình nh x lý.  Gii thiu v    u và các gii thu ng ng dng   ng v ng gii quy hoàn thin  6  1.1.  Có mt v phi mt trong nhng phòng hc hii ngày nay và nhng ng dng ca tin hi sng. D án mà nhóm chúng tôi u   n gi mt cuc s. Mt ng dng Kinect s là mt gii pháp tt . Thay vì ng ng sau mt màn hình máy tính hoc phi phi tn nhiu thi gian và công s u khin các Slide PowerPoint, thì gi i s dng có th ng t  u khin chúng. Chúng ta s cùng tìm hiu  nhp theo. 1.2.  1.2.1.   Kinect (hay còn bit vi mã là Project Natal) là 1 thit b thu nhn các cm bin chuyc phát trin bi Microsoft. Thu, Kinect là thit b chuyên dng ca h máy Xbox 360, phc v cho vi Các mc thi, phát trin ca kinect và các thành phn liên quan [4]: - 5/30/2007: Microsoft nung nng v 1 thit b dùng camera ghi nhn c u khin thay cho các thit b truyn thng. - 6/1/2009: Microsoft công b  hi ngh ng niên E3. - 6/13/2010: Trong sut hi ngh  thc là 1 thit b h tr cho Xbox 360. 7 - 11/4/2010: Microsoft chính thc tung ra th   k hoch phát trin Driver ngun m cho Kinect ca các t chu thc hin. - 11/10/2010: hacker tr tun thành công Driver cho Kinect. - 2/21/2011: Microsoft lên k hoch cho vic phát trin b SDK h tr cho n nay (6/2011), các API h tr t n này còn r Kinect s dng webcam, thit b thu phát sóng hng ngoi, và thit b thu nhn  ghi nhn tín hiu chuyng ca game th và nhn dng các lu khin thông qua ging nói, giúp cho các game th i Xbox 360 mà không cn chm vào bt kì thit b u khin nào. Trong hình 1.2, game th có th m bc t. Hình 1.2  Nhn ding game th u khin nhân vt trong game c bán rng rãi lu ti Bc M  Úc, New Zealand, Singapore, Nht Bn và nhanh chóng có mt trên khp các ca hàng   gii. Kinect là mt thit b gii trí tiên ti trong c thc t o, nên hip k lc là thit b t s c bán chy nht trên toàn th gii [5]. Kinect, h tr các ch - Ghi nhn chuyng tay (hand gesture), bao gng xoay vòng (circle), di chuyn tay (wave gesture), push, . - Ghi nhn chuy nh các v trí chính c u, vai, c - u khin bng ging nói. 8 - Nhn dng s  - Phân bing d sâu. Hình 1.3  Các chng dùng ca Kinect Kinect có cu to thon, dài, nm ngang bao gm 1 webcam có th ghi nhn c hình nh; 1 thit b phát tia hng ngoi, 1 thit b thu nhn tín hin hng ngoi 1 thit b ghi nhn âm thanh. Kinect dùng công ngh nh khong cách dùng camera kt hp thit b thu phát tia hng ngoi, phát trin bi các lp trình viên Israel thuc PrimeSense, có kh n thông tin 3D cng da trên các thông tin, cu trúc ca các tia hng ngoi nhc. Có th xem nt 3D scanner, xây dng cu trúc vt th 3D da trên thông tin nh và khon tm ca nh. 1.2.2.  Hình 1.4  Nhng thành phn chính ca Kinect 9               Sense PS1080-     - RGB camera: t  phân gii 640 x 480 vi t 30 khung hình/giây, 32 bit màu sc. - B cm bi sâu:  sâu s c ly v thông qua s kt hp ca 2 cm biu hng ngoi (IR light) và camera hng ngoi (Depth Sensor). - hone: gc b trí d c ng dng vào các ng dng bng ging nói, 16 bit, tn s 16 Hz. - u khin gc ngn: là lou khin camera lên xu m bo camera có góc nhìn tt nht. - PrimeSense PS1080-A2:  não ca Kinect  tt c các cm bic n x c khi truyc mt chiu sâu hình nh và nhn dc ging nói. Hình 1.5  C hong ca b cm bin Prime Sense PS1080-A2 Mt trong nhc tính quan trng nht c giá tr  sâu hay giá tr khong cách t camera ti vt th trong th gii thc và nhn dc ging nói. Phn tip theo s nói v nguyên lý hong ca Kinect trong vic tính toán giá tr và cách thc nhn dng ging nói này. 10 1.3.  Ngay khi mc quan tâm bi rt nhiu nhà phát trin phn mm, không ch trên mng phát trin game cho Xbox mà còn trên mng x lý nh ng dng trong y hc vit cho Kinect ra   n th m hin t          Laboratories Kinect, OpenNI và Kinect SDK. 1.3.1.      c phát trin bi OpenKinect, do mt c ng nh    n phn cng Kinect vit ra và chia s. C ng OpenKinect làm vic hoàn toàn t nguyn và không vì mi nhun, h phát trin Libfreenect thành mt mã ngun m cho các h u hành khác nhau Windows, Linux và OS X. Hin tc s dng trên Python, C, C++, C#, Java JNI, Java JNA, Javascript. 1.3.2.  Code Laboratories (CL) là mt công ty phn mm chuyên h tr các nhà phát trin, lp tr a các thit b x lý nh. Trong s  Kinect không phi là ngoi l, CL cung ci s dng nhn nht ca Kinect v camera, audio và motor. 1.3.3.  n mnh nhc s có mt ca Kinect n này h tr  trên nhiu platform khác nhau, giúp cho các lp trình viên có th vit các ng dng trên Kinect rt d    nhiên Natural Interaction (NI). Ma OpenNI là xây dng các hàm API chun, n có kh t hp vi các middleware nhc mng cho Kinect. 1.3.4. SDK    