(Luận văn) một số phương pháp giám sát vật thể và ứng dụng particle filter

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN NHỊ HÀ lu an n va MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ to p ie gh tn VÀ ỨNG DỤNG PARTICLE FILTER d oa nl w lu ll u nf va an LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh z m co l gm @ an Lu THÁI NGUYÊN - 2017 n va ac th si ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN NHỊ HÀ lu an MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ va n VÀ ỨNG DỤNG PARTICLE FILTER gh tn to p ie Chuyên ngành: Khoa học máy tính d oa nl w Mã số: 60.48.01.01 lu ll u nf va an LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh Người hướng dẫn khoa học: TS Nguyễn Toàn Thắng z m co l gm @ an Lu THÁI NGUYÊN - 2017 n va ac th si i LỜI CAM ĐOAN Tên là: Nguyễn Nhị Hà Sinh ngày: Học viên lớp cao học CHK13A - Trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên Hiện công tác tại: Xin cam đoan: Đề tài “Một số phương pháp giám sát vật thể ứng dụng lu Particle Filter” Thầy giáo TS Nguyễn Tồn Thắng hướng dẫn cơng trình an nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ va n ràng to tn Tác giả xin cam đoan tất nội dung luận văn nội dung ie gh đề cương yêu cầu thầy giáo hướng dẫn Nếu sai tơi hồn tồn chịu trách p nhiệm trước hội đồng khoa học trước pháp luật nl w Thái Nguyên, ngày tháng năm 2017 d oa Tác giả luận văn nf va an lu Nguyễn Nhị Hà z at nh oi lm ul z m co l gm @ an Lu n va ac th si ii LỜI CẢM ƠN Sau thời gian nghiên cứu làm việc nghiêm túc, động viên, giúp đỡ hướng dẫn tận tình Thầy giáo hướng dẫn TS Nguyễn Tồn Thắng, luận văn với đề tài “Một số phương pháp giám sát vật thể ứng dụng Particle Filter” hồn thành Tơi xin bày tỏ lịng biết ơn sâu sắc đến: Thầy giáo hướng dẫn TS Nguyễn Toàn Thắng tận tình dẫn, giúp đỡ tơi hồn thành luận văn lu an Khoa Sau đại học, Trường Đại học công nghệ thông tin truyền thông n va giúp đỡ tơi q trình học tập thực luận văn tn to Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình học tập, thực hoàn gh p ie thành luận văn Thái Nguyên, ngày tháng năm 2017 d oa nl w Tác giả luận văn an lu nf va Nguyễn Nhị Hà z at nh oi lm ul z m co l gm @ an Lu n va ac th si iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU viii MỞ ĐẦU 1 Tính khoa học cấp thiết đề tài lu Mục tiêu, đối tượng phạm vi nghiên cứu đề tài an Phương pháp luận nghiên cứu va n Nội dung bố cục luận văn tn to CHƯƠNG 1TỔNG QUAN VỀ GIÁM SÁT VẬT THỂ CHUYỂN ĐỘNG Bài toán giám sát vật thể chuyển động p ie gh Giới thiệu chương Hệ thống giám sát vật thể chuyển động w oa nl Phát đối tượng chuyển động .9 Các khái niệm video .9 1.4.2 Các hướng tiếp cận phát đối tượng chuyển động 11 d 1.4.1 an lu nf va Phân loại đối tượng chuyển động 18 Phân loại dựa hình dạng (Shape- based Classification) .18 1.5.2 Phân loại dựa chuyển động (Motion- based Classification) 19 z at nh oi lm ul 1.5.1 Theo vết đối tượng chuyển động 20 Chính xác hố đối tượng tương ứng (Object matching) .21 1.6.2 Xử lý nhập nhằng - Occlusion 22 1.6.3 Dự đoán chuyển động đối tượng 23 z 1.6.1 gm @ co l Ứng dụng toán giám sát vật thể 23 m Kết luận chương 27 an Lu CHƯƠNG MỘT SỐ PHƯƠNG PHÁP GIÁM SÁT VẬT THỂ CHUYỂN ĐỘNG 28 Giới thiệu chương 28 n va ac th si iv Một số phương pháp giám sát vật thể 28 2.2.1 Phương pháp so khớp mẫu (Template Matching) 28 2.2.2 Phương pháp Meanshift 29 2.2.3 Lọc Kalman 31 2.2.4 Particle Filter 33 Cơ sở toán học Particle Filter 35 lu an n va 2.3.1 Phương pháp Monte Carlo 37 2.3.2 Phương pháp hàm tích lũy xác suất nghịch đảo 39 2.3.3 Phương pháp lấy mẫu loại trừ .40 2.3.4 Phương pháp Metropolis-Hasting 42 2.3.5 Phương pháp lấy mẫu quan trọng 44 2.3.6 Phương pháp lấy mẫu quan trọng .47 to tn Vấn đề chọn hàm mật độ đề xuất 49 Các phương pháp quan sát (Observation Models) 57 p ie gh Tái chọn mẫu 52 Quan sát dựa vào hình dáng (Shape Information) 58 2.6.2 Quan sát dựa vào màu (Colour - histogram) 58 oa Quan sát dựa vào Mẫu (Template - based ) 61 d 2.6.3 nl w 2.6.1 lu nf va an Mơ hình ước lượng trạng thái .62 Thuật toán lọc Particle 63 lm ul Kết luận chương 64 z at nh oi CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM ỨNG DỤNG THUẬT TỐN PARTICLE FILTER 66 Giới thiệu chương 66 z Cài đặt thuật toán Particle Filter giám sát chuyển động tay người .67 @ gm Đánh giá so sánh kết với số phương pháp khác 68 l Xây dựng ứng dụng điều khiển máy tính chuyển động tay 70 m co Kết luận chương 72 an Lu KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .73 TÀI LIỆU THAM KHẢO 75 n va ac th si v DANH MỤC CÁC TỪ VIẾT TẮT Từ Từ tiếng Anh cụm từ Từ tiếng Việt lu Cumulative Distribution Function Hàm phân phối tích lũy HMM Hidden Markov Model Mơ hình Markov ẩn MCMC Markov Chain Monte Carlo Phương pháp chuỗi Markov Monte Carlo UKF Unscented Kalman Filter Lọc Kalman Unscented EKF Extended Kalman Filter Lọc Kalman mở rộng IS Importance Sampling Phương pháp lấy mẫu quan trọng Principal Component Analysis Phương pháp phân tích thành phần Root Mean Square Sai số tồn phương trung bình an CDF n va ie gh tn to p PCA oa nl w RMS Sequential Importance Sampling SMC Sequential Monte Carlo d SIS Thuật toán lấy mẫu quan trọng nf va an lu Phương pháp Monte Carlo z at nh oi lm ul z m co l gm @ an Lu n va ac th si vi DANH MỤC CÁC HÌNH ẢNH Hình 1.1 Mơ hình tốn cần giải hệ thống giám sát vật thể [3] Hình 1.2 Cấu trúc phân đoạn video Hình 1.3 Chuyển đổi Lia khung hình thứ thứ Hình 1.4 Bốn khung hình khác song có biểu đồ màu .10 Hình 1.5 Tổng quan khối xử lý toán phát đối tượng 11 Hình 1.6 Phát vùng ảnh .12 lu Hình 1.7 Mô tả nhược điểm phương pháp chênh lệch tạm thời 15 an Hình 1.8 Xử lý vùng ảnh (Foreground Processing) 15 va n Hình 1.9 Xử lý vùng ảnh .17 gh tn to Hình 1.10 Tổng quan khối xử lý toán theo vết đối tượng 20 p ie Hình 1.11 Minh hoạ xác hố đối tượng .21 w Hình 1.12 Một ví dụ theo vết có nhập nhằng 22 oa nl Hình 1.13 Giám sát giao thơng 24 d Hình 1.14 Theo dõi người .25 lu an Hình 1.15 Nhận diện khn mặt người 25 nf va Hình 1.16 Hệ thống camera điều khiển xe tự hành SCABOR 26 lm ul Hình 1.17 Tương tác người máy thông qua cử động 26 z at nh oi Hình 2.1 Biểu đồ xác định giá trị lớn hàm mật độ khoảng 29 Hình 2.2 Biểu đồ xác định giá trị lớn hàm mật độ khoảng z gm @ cách thay đổi y .30 co l Hình 2.3 Ví dụ phương pháp lấy mẫu loại trừ 41 Hình 2.4 Phương pháp lấy mẫu quan trọng 47 m an Lu Hình 2.5 Ví dụ trường hợp dẫn đến sai lầm chọn hàm mật độ .51 Hình 2.6 Ví dụ thuật toán tái chọn mẫu hệ thống .55 n va ac th si vii Hình 2.7 Ví dụ lọc hạt để khởi tạo lấy mẫu .58 Hình 2.8 Biểu đồ màu khung chọn 60 Hình 3.1 Giao diện chương trình thử nghiệm thuật tốn Particle Filter 68 Hình 3.2 Kết thử nghiệm ước lượng theo thuật tốn Particle Filter 69 Hình 3.3 Kết thử nghiệm ước lượng theo thuật toán EKF 69 Hình 3.4 Giao diện chương trình minh họa điều khiển máy tính cử 70 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si viii DANH MỤC BẢNG BIỂU Bảng 3.1 Các module chương trình 67 Bảng 3.2 Các mẫu đại diện cho lệnh điều khiển máy tính 71 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si 62   N  bi pm d p   Poisson di ,l mi ,l i 1 i 1  p (2.47) Trong i duyệt qua tất quan sát, bi số bin cho quan sát oi, di,l số kiện quan sát oi quan sát bin l Poisson  n     n e  (2.48) n! xác suất Poisson quan sát n kiện, có nghĩa cho    Nói chung, thuật ngữ bổ sung D p giới thiệu hàm khả (likelihood function) lu       an L p d  pm d p D p (2.49) va n   tn to Nguồn gốc ý nghĩa hạn D p khác nhau, tùy thuộc vào ứng dụng gh Một ứng dụng điển hình phép đo hai bước với hai mơ hình khác Trước p ie tiên, phép đo (“sideband’), số tham số (chẳng hạn tỷ lệ nền) đo w p   p Trong phép đo thứ hai, tham số quan tâm ước tính Là phần oa nl hàm khả (likelihood function) mô hình thứ hai, thuật ngữ Gaussian d cho p với nghĩa p chiều rộng  p bao gồm D Trong ứng dụng này, lu nf va an D xem khả gần phép đo Lưu ý mẫu ti,k giới thiệu đối tượng tuyến tính Tuy lm ul nhiên, tất bin thống kê độc lập Do đó, bin tái xếp z at nh oi tùy ý mà không thay đổi kết phương pháp Đặc biệt, bắt đầu với mẫu vơ hướng tất bin để có mẫu tuyến tính Vì vậy, sử dụng mẫu tuyến tính khơng hạn chế ứng dụng so với ban đầu z @ Mơ hình ước lượng trạng thái gm Ước lượng trạng thái vấn đề xác định trạng thái hệ thống co l cho chuỗi quan sát Điều thực cách không chắn dựa an Lu nhật độ tin cậy sau quan sát m vào trạng thái phân bố xác suất sử dụng quy tắc Bayes’ để cập n va ac th si 63 Gọi xt vector trạng thái, zT vector quan sát thời điểm t Định nghĩa x1:t chuỗi trạng thái x1, ,xt tương tự cho chuỗi quan sát z1:t Sau đó, vấn đề ước lượng trạng thái có liên quan với ước tính xT|z1: T, hay phân phối hoàn chỉnh Pr(xT|z1:T) Bằng cách áp dụng quy tắc Bayes’, số học đơn giản, giả định xt thống kê đầy đủ cho kiện thời điểm t (ví dụ, giả định Markov), đề giải thuật đệ quy tiêu chuẩn cho phương trình lọc Bayesian:   Pr( xt z1:t )   Pr  zt xt   Pr  xt xt 1  Pr xt 1 z1:(t 1) dxt 1 (2.50)   Trong η số chuẩn hoá Cho ta trước độ tin cậy Pr xt 1 z1:(t 1) , chúng lu an ta sử dụng phương trình để tìm độ tin cậy sau lần quan sát cuối n va Phương trình địi hỏi phải có mơ hình quan sát Pr(zt | xt ) mơ hình chuyển tn to động Pr  zt xt  Cuối cùng, hình thức phân phối độ tin cậy Pr  xt xt 1  gh cần thiết phép tích hợp phương trình lọc Bayesian tính tốn p ie cách dễ dàng Ví dụ kết Gaussian lọc Kalman loại biến w thể Một kết xấp xỉ Monte Carlo lọc hạt (Particle filter), oa nl cách tiếp cận để thực đề tài d Thuật toán lọc Particle an lu Các phần trình bày nhiều sở toán học lọc Particle, phương nf va pháp Monte Carlo vấn đề lý thuyết liên quan đến thuật tốn SIS đơi lm ul nhắc đến lọc Particle Vậy, lọc Particle? Với đời khái niệm kích thước mẫu hiệu dụng thuật tốn tái chọn mẫu, mơ hình thuật tốn SIS z at nh oi kết hợp với tái chọn mẫu sử dụng nhiều phổ biến qua năm gần biết với nhiều tên khác lọc Bootstrap (Bootstrap Filters), thuật toán z Condensation, lọc Monte Carlo (Monte Carlo Filters) lọc Particle (Particle Filters) gm @ Những vấn đề lý thuyết ta trình bày thuật tốn SIS liên quan đến lọc Particle, tên khác Như ta thấy, mơ l an Lu Thuật toán Particle Filter m tái chọn mẫu co hình thuật tốn lọc Particle kết hợp thuật toán SIS thuật toán n va ac th si 64   x i  , w  i  t  t       PF  X i  , w i   t 1 t 1 i 1   N , Zt   i 1 N FOR i=1: N  X t   X t X ti 1 , Zt i o Sinh ngẫu nhiên o Tính w t  theo công thức:  i i  i  w t  w t 1       p Z t X t  p X t  i  i  X ti  X ti 1 , Zt i  t 1   END FOR FOR i=1: N lu w t  i i  an wt  N  w  j va t n j1 o Tính trọng số chuẩn hóa  END FOR  Tính kích thước mẫu hiệu dụng theo công thức tn to N N p ie gh N eff   N w N i  t i 1   w N i  t i 1  w oa nl  IF N eff  N thresh d  X ti  , w ti  i  , wt   i   X t , wt     i 1  N N i 1 z at nh oi Kết luận chương i 1 i  lm ul  END IF N nf va t an X i   lu  ELSE   i  i   RESAMPLE  X t , w t i 1  N Trong chương học viên trình bày số phương pháp giám sát vật thể z gm @ chuyển động Trong đó, trọng vào vấn đề sở lọc Particle đánh giá Những khái niệm quan trọng lọc Particle m co - Phương pháp lấy mẫu quan trọng l trình bày là: an Lu - Tầm quan trọng việc lựa chọn hàm mật độ đề xuất n va ac th si 65 - Thuật toán tái chọn mẫu - Các phương pháp quan sát - Mơ hình ước lượng trạng thái Cả khái niệm yếu tố góp phần làm nên lọc Particle hoàn chỉnh Trong đó, quan trọng việc lựa chọn hàm mật độ đề xuất thuật toán tái chọn mẫu Hiện có nhiều phiên lọc Particle lọc Particle có hỗ trợ (Auxiliary Sampling Importance Resampling - ASIR), Regularized Partilce Filter (RPF),… phát triển tất tập trung vào hai vấn đề kể Thuật tốn lọc Particle phương pháp mơ Monte Carlo lu thuật toán quan tâm nhiều thời gian gần Nó an phổ biến khơng đơn giản ý tưởng cài đặt mà va n tính hiệu phải mơ hình hóa hệ thống tín hiệu phi tuyến, phi tn to Gauss phức tạp, biến đổi theo thời gian gh Ngồi ra, mơ hình mở thuật tốn lọc Particle yếu tố giúp trở p ie nên phổ biến Có nhiều nghiên cứu tập trung vào cải thiện kết lọc Particle tổng quát Trong đó, lại có nhiều nghiên cứu nhằm ứng dụng lọc Particle vào oa nl w ứng dụng cụ thể xử lý tín hiệu số, theo dõi đối tượng, thị giác máy tính mạng neuron d an lu Lọc Particle gặp phải số trở ngại quan trọng chi phí nf va tính tốn Nhằm đảm bảo mơ tốt hệ thống đích, ta cần sinh nhiều mẫu tương ứng đánh giá lại mức độ hợp lý mẫu Việc thực lm ul vấn đề không nhỏ cho hệ thống áp dụng lọc Particle, lĩnh z at nh oi vực thị giác máy tính theo dõi đối tượng thơng qua video Tuy nhiên, vấn đề giải cách triển khai lọc Particle hệ thống tính toán song song, đa xử lý z @ Như vậy, tùy vào toán cụ thể, phải cân nhắc nên chọn lọc Particle suất cao m co l gm ứng dụng cho phù hợp với ngữ cảnh toán để đạt hiệu an Lu n va ac th si 66 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM ỨNG DỤNG THUẬT TOÁN PARTICLE FILTER Giới thiệu chương Ngày phát triển rộng rãi ứng dụng công nghệ thông tin vào sống, việc tương tác người thiết bị ngày trở nên quan trọng Trước đây, bàn phím chuột giao diện để giao tiếp người máy tính Trong lĩnh vực khác cần tới thơng tin 3D, chẳng hạn trị lu chơi máy tính, robot lĩnh vực thiết kế… thiết bị khí khác bóng lăn, cần an điều khiển hay găng tay liệu sử dụng Tuy nhiên, người giao tiếp va n chủ yếu “nghe” “nhìn”, giao diện người - máy trực quan gh tn to người điều khiển máy tính giọng nói hay cử giống tương p ie tác người với người giới thực mà không cần thông qua thiết bị điều w khiển khác chuột hay bàn phím Một ưu điểm khác người dùng giao tiếp oa nl từ xa mà khơng cần phải có tiếp xúc vật lý với máy tính So với hệ thống điều d khiển lệnh âm thanh, hệ thống thị giác thích hợp mơi trường lu nf va an ồn trường hợp âm bị nhiễu Chính vậy, mục tiêu đạt luận văn thử nghiệm lm ul ứng dụng thuật toán Particle Filter giám sát cử bàn tay người để từ tạo sở z at nh oi cho việc xây dựng ứng dụng điều khiển máy tính cử Để đạt điều này, sở kiến thức thu chương 2, phần đầu chương z trình bày việc cài đặt thuật tốn Particle Filter giám sát cử bàn tay người @ gm Phần chương so sánh hoạt động Particle Filter với thuật toán EKF l (được xem ưu viêt so với phương pháp Meanshif lọc Kalman thông thường) an Lu tay người nhờ giám sát theo phương pháp Particle Filter m co Cuối cùng, luận văn xây dựng ứng dụng điều khiển máy tính chuyển động n va ac th si 67 Cài đặt thuật toán Particle Filter giám sát chuyển động tay người  Môi trường cài đặt Chương trình ứng dụng xây dựng giao diện GUI phần mềm Matlab 2016a Sở dĩ học viên lựa chọn xây dựng phần mềm mô Matlab phần mềm chun dụng cho tính tốn số liệu dạng ma trận ảnh số đối tượng Ngồi ra, Matlab tích hợp nhiều công cụ hỗ trợ cho xử lý ảnh, tính tốn ma trận Các cơng bố phương pháp giám sát vật thể đa phần sử dụng Matlab nên tiện cho việc so sánh đánh giá hiệu phương pháp lu  Cài đặt chức an n va Mã nguồn chương trình bao gồm số module mơ tả Bảng 3.1 Các module chương trình gh tn to Bảng 3.1 Giải thích p ie Module Cài đặt giao diện chương trình giám Hand_tracking.fig sát cử chỉ, có hỗ trợ giao tiếp với người dùng nl w Hand_tracking.m oa Theo dõi chuyển động bàn tay d particle_filter_by_usb_camera.m nf va an lu webcam particle_filter_by_saved_movie.m calc_log_likelihood.m resample_particles.m Khởi tạo Particle Filter Tính tốn độ tương quan Tái chọn mẫu Particle Filter Hiển thị Particle Filter video z show_particles.m lưu sẵn z at nh oi lm ul create_particles.m Theo dõi chuyển động bàn tay video @ Thể trạng thái ước lượng update_particles.m Cập nhật Particle Filter m co l  Kết hoạt động gm show_state_estimated.m an Lu Hình 3.1 mơ tả giao diện chương trình thử nghiệm giám sát chuyển động bàn tay thuật tốn Particle Filter Chương trình cho phép người dùng n va ac th si 68 thiết lập tham số ban đầu cho thuật toán Particle Filter như: Độ lệch chuẩn nhiễu quan sát (Xstd_rgb), Độ lệch chuẩn nhiễu hệ thống với Xstd_pos liên quan đến vị trí và Xstd_vec liên quan đến vận tốc Ở đây, Xstd_pos Xstd_vec nói lên mơ hình chuyển động thực tế mơ hình lý tưởng vật thể cách bao xa Tiếp skin colour cho phép người dùng bám vật thể theo màu sắc (trong ví dụ màu đỏ, gần với màu da) Cuối số lượng “hạt”, hay gọi số mẫu phục vụ cho việc ước lượng Các chức Từ webcam Từ video cho phép người sử dụng tùy chọn nguồn giám sát Kết kiểm thử cho thấy thuật toán hoạt động tốt với nhiễu quan sát nhiễu hệ thống lớn, màu lu sắc bàn tay không thực giống bám chuyển động tay an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z Hình 3.1 Giao diện chương trình thử nghiệm thuật tốn Particle Filter @ gm Đánh giá so sánh kết với số phương pháp khác l Nội dung phần nhằm đánh giá hiệu thuật toán Particle m co Filter so với thuật toán kinh điển trước Theo [13] , EKF thuật tốn cải tiến an Lu lọc Kalman có hoạt động hiệu so với UKF lọc Kalman n va ac th si 69 túy Vì vậy, học viên lựa chọn đánh giá hiệu thuật toán Particle Filter so với thuật toán EKF lu an n va Hình 3.2 Kết thử nghiệm ước lượng theo thuật toán Particle Filter hệ thống phi tuyến mô tả sau: xk  0.5 xk 1  25 xk 1 / 1  xk21   8cos 1.2  k  1   w k (3.1) yk  xk2 / 20  vk (3.2) p ie gh tn to Để thực điều này, cần xem xét kết ước lượng hai thuật toán d oa nl w nf va an lu z at nh oi lm ul z @ l gm Hình 3.3 Kết thử nghiệm ước lượng theo thuật tốn EKF co Trong w k vk nhiễu trắng Gausian có trung bình không phương m sai tương ứng 10.0 1.0 Đây hệ thống phi tuyến hệ thống nhiễu quan an Lu sát Trạng thái khởi tạo hệ thống x0  0.1 Các kết đánh giá thực n va ac th si 70 qua 50 bước Hình 3.2 kết thực ước lượng theo thuật toán Particle Filter cịn Hình 3.3 kết tương ứng với thuật tốn EKF Về mặt trực quan ta thấy việc ước lượng theo thuật tốn Particle Filter có độ xác lớn EKF (đường dự báo gần với điểm quan sát thực hệ thống) Về mặt định lượng sai số bình phương tối thiểu RMS thuật toán Particle Filter 4.0756 EKF 10.0976 Xây dựng ứng dụng điều khiển máy tính chuyển động tay Trong phần này, luận văn trình bày việc áp dụng kết thu từ việc áp dụng thuật toán Particle Filter toán giám sát chuyển động bàn tay lu người cho ứng dụng điều khiển máy tính an n va Ứng dụng triển khai qua bước sau: p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul Hình 3.4 Giao diện chương trình minh họa điều khiển máy tính cử - Bước 1: Thu nhận hoạt động người điều khiển thông qua webcam z @ máy tính người điều khiển co l gm - Bước 2: Áp dụng thuật toán Particle Filter giám sát chuyển động bàn tay m - Bước 3: Trích ảnh bàn tay người điều khiển nhận dạng (so sánh) với an Lu sở liệu chuẩn bị trước hình ảnh tương ứng với lệnh máy tính n va ac th si 71 Hình 3.4 mơ tả giao diện chương trình minh họa điều khiển máy tính cử sử dụng thuật toán Particle Filter Bước thực chức Xem webcam Chức Giám sát cho phép theo dõi chuyển động bàn tay theo thuật toán Particle Filter (bước 2) Chức Tách bàn tay Nhận dạng minh họa cho bước Sau bước này, ảnh bàn tay đối chiếu với sỏ liệu đưa ảnh giống Từ ảnh này, máy tính nhận biết cần phải thực lệnh Trong bước 3, học viên sử dụng thuật toán nhận dạng theo phương pháp phân tích thành phần (Principal Component Analysis - PCA) Dây phương pháp kinh điển cho nhận dạng, kết xác khơng cao số lượng mẫu lớn lu an Vì vậy, học viên minh họa mẫu tương ứng cho lệnh khác cho việc điều n va khiển máy tính p ie gh tn to Bảng 3.2 Các mẫu đại diện cho lệnh điều khiển máy tính nl w Lệnh số Lệnh số Lệnh số d oa Lệnh số nf va an lu lm ul Lệnh số z at nh oi Lệnh số Lệnh số Qua kết thử nghiệm, học viên nhận thấy điều kiện sáng tương đồng z với mẫu sở liệu, độ xác điều khiển cao Tuy nhiên, điều kiện @ gm chiếu sáng khác biệt, độ xác giảm Kết cho thấy cần phải thay m co thực tiễn l PCA phương pháp khác tốt muốn triển khai ứng dụng an Lu n va ac th si 72 Kết luận chương Chương luận văn trình bày trình triển khai thuật toán Particle Filter cho số ứng dụng đơn giản Trước tiên áp dụng Particle Filter cho toán theo dõi chuyển động bàn tay Kết cho thấy khả giám sát chuyển động tốt thuật toán, kể điều kiện khởi tạo ban đầu không tốt như:nhiễu quan sát nhiễu hệ thống lớn, màu khởi tạo không khớp với màu da Kết so sánh hiệu hoạt động thuật toán Particle Filter so với thuật lu toán EKF hệ thống phi tuyến cho thấy Particle Filter bám sát trạng thái an hệ thống cho tham số RMS nhỏ nhiều so với EKF va n Thuật tốn Particle Filter áp dụng cho tốn điều khiển máy tính tn to thông qua cử Tuy nhiên, số lệnh điều khiển nhiều lên, điều kiện môi gh trường thay đổi, cần thiết phải sử dụng thuật toán nhận dạng ảnh hiệu p ie PCA d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si 73 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua nghiên cứu cho thấy “Giám sát vật thể chuyển động” vấn đề phức tạp giải ta biết ứng dụng thành tựu nghiên cứu lĩnh vực như: xử lý video số, ước lượng quan sát theo Bayesian, tính tốn xấp xỉ theo phương pháp Monte Carlo… Các hệ thống giám sát vật thể thực tế hệ thống phi tuyến có nhiễu phân bố phi Gauusian Nếu dựa vào phương pháp kinh điển Meanshift/Camshift, lọc Kalman, EKF, UKF kết đạt khơng cao Tuy lu nhiên, áp dụng Particle Filter cho kết có độ xác cao an Sau thời gian tìm hiểu nghiên cứu, luận văn trình bày va n vấn đề sau: tn to - Phân tích tốn giám sát vật thể, Làm rõ bước quy trình giám gh sát vật thể chuyển động Tập trung phân tích số thuật tốn kinh điển ứng dụng p ie giám sát vật thể chuyển động như: phương pháp so khớp mẫu, thuật toán Meanshift/Camshift, lọc Kalman nl w - Nghiên cứu sở toán học thuật toán Particle Filter, ứng dụng thuật d oa toán giám sát vật thể chuyển động từ chứng minh ưu điểm Particle lu Filter so với thuật toán truyền thống toán giám sát vật thể chuyển động nf va an - Phát biểu toán giám sát chuyển động tay người video; Xây dựng chương trình minh họa ứng dụng thuật toán Particle Filter cho toán giám sát lm ul chuyển động tay người; Xây dựng chương trình nhận dạng cử cho điều khiển thực tế z at nh oi hoạt động máy tính Chương trình minh họa trực quan có khả áp dụng Trong trình thử nghiệm chương trình, kết giám sát vật thể tương z đối tốt Tuy nhiên, toán giám sát dừng lại phạm vi nghiên cứu @ gm đề tài là: giám sát đơn vật thể không che khuất dựa theo tiếp cận skin colour l Chương trình điều khiển máy tính cịn hạn chế thuật tốn nhận dạng đơn giản an Lu triển sau: m co PCA Vì vậy, theo quan điểm học viên, đề tài cịn có số hướng phát n va ac th si 74 - Nghiên cứu thuật toán hiệu cho bước pahts vật thể theo vết vật thể nhằm hoàn thiện thuật toán Particle Filter - Cập nhật nghiên cứu gần nhằm kết hợp ưu điểm thuật toán ước lượng theo phương pháp lọc Bayessian như: Kalman, Particle Filter, EKF, UKF… - Tìm hiểu thêm thuật toán nhận dạng thay cho PCA nhằm nâng cao hiệu việc điều khiển máy tính cử Một lần học viên xin cảm ơn Thầy giáo TS Nguyễn Toàn Thắng tận tình giúp đỡ, hướng dẫn thời gian thực đề tài, cảm ơn giúp đỡ lu gia đình, bạn bè đồng nghiệp thời gian qua an va Thái Nguyên ngày tháng năm 2017 n Người thực p ie gh tn to d oa nl w Nguyễn Nhị Hà nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si 75 TÀI LIỆU THAM KHẢO I Tài liệu tiếng Việt [1] Trần Công Chiến, Xây dựng hệ thống quan sát giám sát vật thể cho robot tự hành, báo cáo nghiên cứu khoa học, ĐH Lạc Hồng, 2012 [2] Trần Thị Hoàn, Nghiên cứu số phương pháp phát chuyển động video ứng dụng, Luận văn thạc sỹ kỹ thuật, Chuyên ngành công nghệ thông tin, Đại học Quốc gia Hà nội, 2009 [3] Nguyễn Thị Lan Hương, Phát hiện, phân loại, theo dõi đối tượng chuyển động lu hệ thống giám sát thơng minh, Khóa luận tốt nghiệp đại học, chuyển ngành an va công nghệ thông tin, Trường ĐH Công nghệ, ĐH Quốc gia Hà nội, 2006 n [4] Lưu Văn Quyền, Sử dụng lọc Kalman toán bám mục tiêu, Luận to Bưu viễn thơng, 2013 ie gh tn văn thạc sỹ kỹ thuật, Chuyên ngành Kỹ thuật viễn thông, Học viện công nghệ p II Tài liệu tiếng Anh A J Lipton, H Fujiyoshi, and R.S Patil Moving target classification and nl w [5] d oa tracking from real-time video In Proc of Workshop Applications of Computer [6] an lu Vision, pages 129-136, 1998 Andrew Blake, Michael Isard (1996), The CONDENSATION Algorithm - nf va Conditional Density Propagation and Applications to Visual Tracking, Barga Deori, Dalton Meitei Thounaojam, A survey on moving object tracking z at nh oi [7] lm ul NIPS 1996: 361-367 in video, International Journal on Information Theory (IJIT), Vol.3, No.3, July 2014, pp 31-46 z Greg Welch, Gary Bishop (2003), An introduction to the Kalman Filter, @ [8] H Nait-Charif, S McKenna (2003), Tracking Poorly Modelled Motion Using co l [9] gm Department of Computer Science, University of North Carolina at Chapel Hill an Lu on Comp Vis m Particle Filters with Iterated Likelihood Weighting, Proc of Asian Conf n va ac th si 76 [10] R Cutler and L.S Davis Robust real-time periodic motion detection, analysis and applications In IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 8, pages 781-796, 2000 [11] R T Collins et al A system for video surveillance and monitoring: VSAM final report Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May 2000 [12] Sindhu.K, Revathi.A R, Merlin Pauliesther, A survey of moving object tracking in video frame sequences, International Journal of Advanced Computational Engineering and Networking, ISSN: 2320-2106, Volume-2, lu Issue-8, Aug.-2014, pp 93-98 an va [13] Shilpa, Prathap H.L, Sunitha M.R, A Survey on Moving Object Detection and n Tracking Techniques, International Journal of Engineering and Computer to gh tn Science ISSN: 2319-7242, Volume Issue April 2016, pp 16263-16269 [14] Zhong Guo (2001), Object Detection and Tracking in Video, Department of ie p Computer Science, Kent State University nl w Các trang Web oa [15] https://en.wikipedia.org/wiki/Video_tracking d [16] http://studentdavestutorials.weebly.com/ nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si