Theo dõi hành vi của người cao tuổi sử dụng camera

Theo dõi hành vi của người cao tuổi sử dụng camera Theo dõi hành vi của người cao tuổi sử dụng camera Theo dõi hành vi của người cao tuổi sử dụng camera luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI  ĐỖ TRÌNH SA THEO DÕI HÀNH VI CỦA NGƯỜI CAO TUỔI – SỬ DỤNG CAMERA LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT Y SINH HÀ NỘI – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI  ĐỖ TRÌNH SA THEO DÕI HÀNH VI CỦA NGƯỜI CAO TUỔI – SỬ DỤNG CAMERA Chuyên ngành: KỸ THUẬT Y SINH LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT Y SINH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VIỆT DŨNG HÀ NỘI - 2019 MỤC LỤC MỤC LỤC i DANH MỤC CHỮ VIẾT TẮT iii DANH MỤC HÌNH iv CHƢƠNG TỔNG QUAN VẤN ĐỀ NHẬN DẠNG HÀNH ĐỘNG 1.1 Giới thiệu thực trạng 1.2 Các nghiên cứu liên quan 1.2.1 Các khảo sát nhận dạng hành động .3 1.2.2 Cách tiếp cận đa lớp 1.2.3 Công cụ đƣợc sử dụng phổ biến 1.2.4 Nhận dạng hành động không theo dõi .6 1.2.5 Nhận dạng hành động có theo dõi CHƢƠNG KỸ THUẬT NHẬN DẠNG HÀNH ĐỘNG DỰA TRÊN PHƢƠNG PHÁP PHÂN TÍCH ĐẶC TRƢNG CHUYỂN ĐỘNG .9 2.1 Phƣơng pháp đề xuất 2.1.1 Tổng quan 2.1.2 Thu thập liệu (Data Collection) 2.1.2.1 Dữ liệu hình chụp chuyển động 2.1.2.2 Dữ liệu video (có sẵn) 10 2.1.2.3 Tạo liệu chuyển động từ video .10 2.1.2.3.1 Xóa 10 2.1.2.3.2 Gỡ bỏ bóng 11 2.1.2.3.3 Theo dõi chuyển động chân 14 2.1.2.3.4 Theo dõi chuyển động tay .16 2.1.2.3.5 Phát chuyển động cong ngƣời .18 2.2 Đƣờng cong phù hợp phân đoạn chuyển động 19 2.2.1 Tạo Vector đặc trƣng 21 2.3 Huấn luyện Nhận diện sử dụng PCA 23 2.3.1 Chuẩn bị Eigenspace (không gian mẫu) 23 2.3.2 Phân loại vector đặc trƣng 24 CHƢƠNG KẾT QUẢ MÔ PHỎNG VÀ ĐÁNH GIÁ .26 3.1 Kết từ liệu chụp ảnh chuyển động 26 3.1.2 Nhận diện hành động sử dụng liệu 3-D 42 3.1.3 Nhận dạng hành động sử dụng liệu mô 2-D 44 3.2 Kết từ tập liệu video Weizmann 46 i 3.2.1 Kết theo dõi .47 3.2.2 Phân loại chuyển động video 65 3.2.3 So sánh với hƣớng tiếp cận khác .66 3.2.4 Tốc độ thực thi 67 3.2.5 Nhận xét đóng góp 69 3.2.6 Hƣớng thích ứng với Tập liệu 70 KẾT LUẬN 72 TÀI LIỆU THAM KHẢO 74 ii DANH MỤC CHỮ VIẾT TẮT PCA Principal Component Analysis (Phân tích thành phần đặc trƣng) MoG MoG Method (phƣơng pháp phân phối Gauss) Lab Một phƣơng pháp phân tách bóng Các thành phần màu L (a b) pixel đƣợc vẽ cho khung mẫu Pixel trở thành phần bóng từ mẫu 310 đến 350 Lƣu ý giá trị thành phần L giảm bóng tối thành phần a b ổn định Điều làm cho Lab trở thành lựa chọn tốt cho loại bỏ bóng bóng đƣợc cô lập L HSL Hue, Saturation, Lightness Màu sắc, độ bão hòa độ sáng – thể đặc điểm vòng màu HSV Hue, Saturation, and Value Tập giá trị mô tả màu sắc (sắc độ) độ bóng (độ bão hịa lƣợng màu xám) giá trị độ sáng chúng RGB Mô hình màu Red, Green Blue CMU CMU motion capture data set iii DANH MỤC HÌNH Hình 1: Các khảo sát Nhận dạng Hành động Hình 2: Tổng hợp nghiên cứu nhận dạng hành động Hình 3: Tổng quan phƣơng pháp đề xuất Hình 4: Ví dụ hình ảnh lại quỹ đạo chuyển động ngƣời chạy, vị trí theo dõi chân trái tay trái 10 Hình 5: (a) ngƣời (b) pixel trƣớc bóng, trở thành trắng, (c) pixel trƣớc loại bỏ bóng, trở thành trắng .12 Hình 6: Các thành phần màu RGB điểm ảnh đƣợc vẽ cho khung mẫu .13 Hình 7: Các thành phần màu HSV điểm ảnh đƣợc vẽ cho khung mẫu .13 Hình 8: Các thành phần màu Lab pixel đƣợc vẽ cho khung mẫu 14 Hình 9: theo dõi vài hành động chân (a) bộ, (b) nhảy, (c) chạy, (d) chân đặt cạnh .16 Hình 10: (a), (b) theo dõi tay vẫy hai tay, (c) theo dõi tay vẫy tay phải, (d) theo dõi chân tay hành động jumping-jack 17 Hình 11: Sử dụng chiều cao hộp để phát hành động uốn cong 18 Hình 12: (a) Hình dung ngƣời chạy Đƣờng cong thể chuyển động chân trái (b) Đƣờng cong phù hợp phân đoạn đƣờng cong chuyển động chân chạy (c) Đƣờng cong đƣờng cong chuyển động 20 Hình 13: (a) Vectơ đặc trƣng chứa vị trí y hai chân cho hành động ―chạy‖ Các mẫu 0-99 giá trị y cho chân tạo chuyển động Mẫu 100-200 giá trị y cho chân lại (b) vectơ đặc trƣng chứa vị trí y hai chân cho hành động ―nhảy phía trƣớc‖ Các mẫu 0-99 giá trị y cho chân tạo chuyển động Các mẫu 100-200 giá trị y cho chân lại 23 Hình 14: Chiếu vectơ đặc trƣng đào tạo lên không gian vector lần thứ thứ đƣợc tạo cách sử dụng liệu video Weizmann 25 Hình 15: Chiếu vectơ đặc trƣng đào tạo lên không gian vector thứ thứ đƣợc tạo cách sử dụng tập liệu video Weizmann 25 Hình 16: Các hành động "Chuyển lên phía trƣớc", "nhảy lên" "đi lên cầu thang" Các đƣờng cong hành động cho thấy quỹ đạo bàn tay phải chân phải 26 iv Hình 17: Hành động ―diễu hành‖ Các đƣờng cong cho thấy quỹ đạo bàn tay phải chân phải 27 Hình 18: Hành động ―đi bộ‖ Các đƣờng cong hiển thị quỹ đạo bàn tay phải chân phải 27 Hình 19: Hành động ―chạy‖ Đƣờng cong thể quỹ đọa tay phải chân phải .27 Hình 20: Đƣờng cong phù hợp phân đoạn cho hành động ―đi bộ‖ 28 Hình 21: Tốc độ vận tốc hành động ―đi bộ‖ .29 Hình 22: Dữ liệu vị trí cho chuyển động ―đi bộ‖ từ Hình 20 .30 Hình 23: Dữ liệu vị trí cho chuyển động ―đi bộ‖ thứ hai từ Hình 20 30 Hình 24: Đƣờng cong phù hợp phân đoạn cho hành động "chạy" 31 Hình 25: Tốc độ vận tốc hành động ―chạy‖ .32 Hình 26: Dữ liệu vị trí cho chuyển động ―chạy‖ từ Hình 24 33 Hình 27: Đƣờng cong phù hợp phân đoạn cho hành động "nhảy" 34 Hình 28: Tốc độ vận tốc hành động ―nhảy‖ .35 Hình 29: Dữ liệu vị trí cho chuyển động ―nhảy‖ lên từ Hình 27 .36 Hình 30: Dữ liệu vị trí cho chuyển động ―nhảy‖ xuống từ Hình 27 36 Hình 31: Đƣờng cong phù hợp phân đoạn cho hành động "nhảy phía trƣớc" .37 Hình 32: Tốc độ vận tốc hành động ―nhảy phía trƣớc‖ .37 Hình 33: Dữ liệu vị trí cho chuyển động ―nhảy phía trƣớc‖ từ Hình 31 38 Hình 34: Đƣờng cong phù hợp phân đoạn cho hành động "đi lên cầu thang" .39 Hình 35: Tốc độ vận tốc hành động ―đi lên cầu thang‖ 40 Hình 36: Dữ liệu vị trí cho chuyển động ―đi lên cầu thang‖ từ Hình 34 40 Hình 37: Đƣờng cong phù hợp phân đoạn cho hành động ―diễu hành‖ 41 Hình 38: Tốc độ vận tốc hành động ―diễu hành‖ .41 Hình 39: Dữ liệu vị trí chuyển động ―diễu hành‖ từ Hình 37 42 Hình 40: Kết mô máy ảnh chuyển động ―đi bộ‖ hƣớng xem -60, -40, -20, 0, 20, 40 60 độ Mỗi vectơ đặc trƣng trung tâm trục y nhƣ phần tập sinh vector 45 Hình 41: Theo dõi hành động ―jack‖: mở rộng hai tay hai chân 47 Hình 42: Theo dõi hành động ―nhảy‖ 48 v Hình 43: Theo dõi hành động ―skip‖ 48 Hình 44: Theo dõi hành động ―chạy‖ 49 Hình 45: Theo dõi hành động ―vẫy tay 1‖ 49 Hình 46: Theo dõi hành động ―vãy tay 2‖ 50 Hình 47: Theo dõi hành động ―gập ngƣời‖ 50 Hình 48: Theo dõi hành động ―đi bộ‖ 51 Hình 49: Theo dõi hành động ―dang chân bên‖ .51 Hình 50: Hành động ―nhảy dọc‖ .52 Hình 51: Đƣờng cong phù hợp phân đoạn cho hành động ―chạy‖ từ video Weizmann tập liệu 53 Hình 52: Tốc độ vận tốc hành động ―chạy‖ từ tập liệu video Weizmann .53 Hình 53: Dữ liệu vị trí cho chuyển động ―chạy‖ 54 Hình 54: Đƣờng cong phù hợp phân đoạn cho hành động ―đi bộ‖ từ tập liệu video Weizmann 54 Hình 55: Tốc độ vận tốc hành động ―đi bộ‖ từ tập liệu video Weizmann .55 Hình 56: Dữ liệu vị trí cho chuyển động ―đi bộ‖ 55 Hình 57: Đƣờng cong phù hợp phân đoạn cho hành động ―side‖ từ video Weizmann tập liệu 56 Hình 58: Tốc độ vận tốc hành động ―dang chân bên‖ từ tập liệu video Weizmann 56 Hình 59: Dữ liệu vị trí cho chuyển động ―dang chân bên‖ 57 Hình 60: Đƣờng cong phù hợp phân đoạn cho hành động ―jack‖ (dang chân tay) từ video tập liệu Weizmann 58 Hình 61: Tốc độ vận tốc hành động ―jack‖ từ tập liệu video Weizmann 58 Hình 62: Dữ liệu vị trí cho chuyển động ―jack‖ 59 Hình 63: Đƣờng cong phù hợp phân đoạn cho hành động ―nhảy‖ từ tập liệu video Weizmann Đây chuyển động nhảy phía trƣớc 59 Hình 64: Tốc độ vận tốc hành động ―nhảy‖ từ tập liệu video Weizmann .60 Hình 65: Dữ liệu vị trí cho chuyển động ―nhảy‖ .60 Hình 66: Đƣờng cong phù hợp phân đoạn cho hành động ―pjump‖ (nhảy dọc) từ Weizmann tập liệu video 61 Hình 67: Tốc độ vận tốc hành động ―pjump‖ từ tập liệu video Weizmann .61 vi Hình 68: Dữ liệu vị trí cho chuyển động ―pjump‖ .62 Hình 69: Đƣờng cong phù hợp phân đoạn cho hành động ―vẫy tay‖ từ tập liệu video Weizmann 63 Hình 70: Tốc độ vận tốc hành động ―vẫy tay‖ từ tập liệu video Weizmann .64 Hình 71: Dữ liệu vị trí cho chuyển động ―sóng‖ 64 vii CHƢƠNG TỔNG QUAN VẤN ĐỀ NHẬN DẠNG HÀNH ĐỘNG 1.1 Giới thiệu thực trạng Đi kèm với phát triển không ngừng đời sống kinh tế xã hội nhƣ công công nghiệp hóa đại hóa đất nƣớc, tình trạng ngƣời cao tuổi sống neo đơn khơng có quan tâm chăm sóc thƣờng xuyên ngƣời thân gia đình ngày gia tăng đáng kể Đây đối tƣợng dễ gặp rủi ro ảnh hƣởng lớn tới sức khỏe, tính mạng sống nguyên nhân đến từ tuổi tác nhƣ bệnh tật hay suy giảm chức thể; nguyên nhân đến từ điều kiện sống gây căng thẳng tâm lý, chấn thƣơng tinh thần Đối với ngƣời cao tuổi, yếu tố bất thƣờng chủ yếu xảy họ ngã gây chấn thƣơng mà thể già yếu tự gƣợng dậy, bị đột quỵ, đau tim, huyết áp cao Do đó, việc giám sát thƣờng xuyên liên tục nhằm phát rủi ro bất trắc xảy có ý nghĩa vơ quan trọng tới việc chăm sóc sức khỏe ngƣời cao tuổi Với yêu cầu đó, việc giám sát sử dụng Camera thể nhiều ƣu điểm vƣợt trội, quan sát liên tục, phát bất thƣờng nhanh xác Tuy nhiên, với hệ thống Camera theo dõi bình thƣờng cần phải có ngƣời vận hành giám sát liên tục Điều khó thực triển khai đại trà Để khắc phục, cần tạo hệ thống giám sát tự động, liên tục quan sát, phân tích đƣa cảnh báo sớm hành vi ngƣời đƣợc giám sát mà cụ thể ngƣời cao tuổi Chính vậy, luận văn ―Theo dõi hành vi ngƣời cao tuổi – sử dụng Camera‖ tập trung xây dựng, phát triển thuật toán nhận dạng hành vi ngƣời qua liệu Video thu đƣợc Ngày nay, liệu video dễ dàng đƣợc tạo thiết bị nhƣ: điện thoại di động, máy tính xách tay, máy ảnh kỹ thuật số, hệ thống camera quan sát (CCTV)… bên cạnh trang web chia sẻ video không ngừng tăng trƣởng số lƣợng lẫn chất lƣợng Bài toán nhận diện hành động ngƣời video đóng góp phần tự động hóa khai khác tài nguyên liệu nhiều thông tin Các ứng dụng liên quan đến tốn nhận diện hành động nhƣ: Hình 70: Tốc độ vận tốc hành động “vẫy tay” từ tập liệu video Weizmann Một đƣờng cong mƣợt mà so với đƣợc hiển thị điều mong muốn, nhƣng chuyển động tổng thể đƣợc ghi nhận Hình 71: Dữ liệu vị trí cho chuyển động “sóng” Đây vẫy tay lên Hành động cuối tập liệu Weizmann mà kiểm tra hành động ―khua tay‖ Các đƣờng cong phù hợp phân đoạn hành động 64 đƣợc đƣa hình 69 Trong hành động sóng, bàn tay đƣợc vẫy tay qua lại Mỗi lần tay đổi hƣớng, chuyển động đƣợc hình thành Điều tạo kiểu chuyển động tay đƣa lên tay đƣa xuống Trong ví dụ này, hai chuyển động hoàn chỉnh đƣợc xác định Có hai chuyển động vẫy tay khơng đƣợc xác định quỹ đạo xuất đỉnh đƣờng cong Không giống nhƣ chuyển động bàn chân, khó để biết chuyển động hồn chỉnh phần chuyển động Dữ liệu vị trí cho chuyển động vẫy lên đƣợc thể Hình 71 3.2.2 Phân loại chuyển động video Chúng sử dụng hai phân loại riêng biệt, cho bàn chân cho bàn tay Khi chuyển động đƣợc tạo cho bàn chân, hệ thống phân loại chuyển động việc sử dụng không gian mẫu cho bàn chân Hành động liên quan đến bàn chân bao gồm ―jack‖, nhảy, pjump, chạy, ―side‖, Các hành động liên quan đến bàn tay, chẳng hạn nhƣ wave1 wave2, đƣợc phân loại cách sử dụng Không gian mẫu đƣợc đào tạo cho bàn tay Tập liệu đào tạo đƣợc sử dụng thử nghiệm bao gồm chuyển động từ video đối tƣợng ngƣời ngoại trừ hành động chạy Chúng sử dụng hai video từ video chạy để đào tạo hệ thống có số lƣợng nhỏ chuyển động đƣợc bao gồm video chạy Bảng ma trận nhầm lẫn thể độ xác hệ thống chúng tơi việc nhận dạng loại chuyển động Độ xác đƣợc tính nhƣ sau: (12) Trong c số chuyển động đƣợc phân loại xác theo lớp hành động đƣợc gắn nhãn (đƣợc lấy từ nhãn video) t tổng số chuyển động lớp hành động Sử dụng loại chuyển động đƣợc quan sát phổ biến để phân loại video, nhận đƣợc độ xác cơng nhận 100% cho video tập liệu Tức là, video tập liệu đƣợc phân loại loại đƣợc gắn nhãn Chúng so sánh kết với cách tiếp cận khác phần 65 Bảng 7: Ma trận hỗn hợp hiển thị tỷ lệ nhận dạng chuyển động cho hành động Mặc dù công nhận cho chuyển động 100% cho tất hành động, độ xác 100% đạt đƣợc để nhận dạng video cách phân loại video đƣợc sử dụng phổ biến quan sát chuyển động Ví dụ: video ngƣời đƣợc phân loại video chứa hành động chuyển động quan sát thƣờng thấy chuyển động 3.2.3 So sánh với hƣớng tiếp cận khác Độ xác cách tiếp cận để phân loại video tập liệu Weizmann đƣợc so sánh với phƣơng pháp tiếp cận khác Bảng Độ xác cách tiếp cận tƣơng đối ƣu với phƣơng pháp đại khác Giống nhƣ chúng tôi, phƣơng pháp khác gặp khó khăn với hành động ―skip‖ khơng đƣa vào kết họ Điều đáng ngạc nhiên, cách tiếp cận không sử dụng theo dõi Thay vào đó, họ phát đặc trƣng video cách sử dụng trình phát đặc trƣng khác phân loại hành động dựa mẫu đặc trƣng đƣợc phát 66 Bảng 8: Độ nhận diện xác cách tiếp cận đƣợc so sánh với cách tiếp cận khác đƣợc đánh giá cách sử dụng tập liệu Weizmann Cách tiếp cận cách tiếp cận thực theo dõi tự động cho tập liệu Weizmann Cách tiếp cận đƣợc giới thiệu Ali [3] theo dõi quỹ đạo từ bàn tay, bàn chân, đầu, trung tâm thể, nhƣng họ dán nhãn điểm tay họ không phát đƣợc điểm cách xác 3.2.4 Tốc độ thực thi Một lợi ích cách tiếp cận chúng tơi có hiệu so sánh với cách tiếp cận khác Cách tiếp cận đƣợc thực ba chƣơng trình chính: tracker - lấy video xuất liệu quỹ đạo vào tệp cfitv - lấy quỹ đạo thực đƣờng cong phù hợp, phân đoạn, xuất liệu vector đặc trƣng vào tệp recog - tính tốn không gian mẫu liệu huấn luyện phân loại vector đặc trƣng Bảng tóm tắt thời gian thực cần thiết cho thành phần Máy tính đƣợc sử dụng để đo tốc độ phƣơng pháp tiếp cận MacBook Pro với lõi kép 2,66 GHz Intel Core i7 Độ dài trung bình video Weizmann 2,41 giây video có tốc độ khung hình 25 khung hình / giây Trình theo dõi chúng tơi chạy với thời gian thực thi trung bình 2,76 giây video, với tốc độ khung hình 22 khung 67 hình giây Điều có nghĩa trình theo dõi hoạt động tốc độ gần thời gian thực Chƣơng trình cfitv, đáng ngạc nhiên, thành phần chậm hệ thống Nó đƣợc thực python xuất vector đặc trƣng cho tệp Phần lớn thời gian thực trình gắn đƣờng cong phù hợp Thời gian thực đƣợc giảm cách thực chƣơng trình C thay đổi mơ hình đƣờng cong để thực hiệu Tải CPU hệ thống 66% trống chƣơng trình cfitv chạy Vì có hai CPU hệ thống có luồng thực thi việc thực chúng tơi, điều cho thấy q trình khoảng 16% bị ràng buộc tệp I / O Một cách tiếp cận đa luồng tăng tốc độ thực thi Chƣơng trình nhận dạng, phân đoạn, đƣợc khởi chạy cho vectơ đặc trƣng chuyển động Nó tính tốn khơng gian khởi tạo, nhƣng đạt đƣợc thời gian thực thi trung bình 8,81 giây cho video Việc triển khai hiệu tính tốn khơng gian mẫu lần không thay đổi lần lặp Trong tốc độ thực thi hệ thống thời gian thực, việc triển khai tập trung vào tốc độ thực thi, thay kiểm tra tính linh hoạt, hoạt động gần với thời gian thực Đây kết đáng khích lệ, nhƣng phần cho công việc tƣơng lai Bảng 9: Tốc độ thực thi thành phần Các video tập liệu Weizmann ngắn với chiều dài trung bình 2,41 giây Theo dõi chân tay đƣợc thực theo dõi thành phần Trình theo dõi thực tốc độ trung bình gần thời gian thực 2,76 giây video 22 khung hình giây Các thành phần cfitv thực đƣờng cong phù hợp, phân khúc, tạo hệ vectơ với tốc độ 13,6 giây cho video Công nhận chuyển động đƣợc thực chƣơng trình recog Nó chạy 8,81 giây cho video Rất viết bao gồm tốc độ thực thi kết họ Theo hiểu biết chúng tơi, khơng có viết sử dụng phƣơng pháp theo dõi dựa báo cáo kết tốc độ thực thi Yu [62] tập trung vào nhận dạng thời gian thực tốc độ thực thi báo cáo từ 10 đến 20 khung hình giây Họ không kiểm tra phƣơng 68 pháp họ cách sử dụng tập liệu Weizmann, khiến cho việc so sánh kết họ với trở nên khó khăn 3.2.5 Nhận xét đóng góp Đóng góp cơng trình cho lĩnh vực máy tính theo dõi thiết kế hệ thống hồn chỉnh tìm hiểu hoạt động ngƣời nhận chúng cách hiệu Trong phát triển hệ thống này, cung cấp số cải tiến Chúng xác định thực nghiệm cần theo dõi vài điểm thể ngƣời để nhận hiệu nhiều hành động khác Bàn chân bàn tay điểm lý tƣởng thể để theo dõi theo thời gian đƣờng cong chuyển động đƣợc hình thành từ điểm khác tùy thuộc vào hành động đƣợc thực Kết cho thấy việc theo dõi bàn chân đủ để nhận hành động mà chuyển động đƣợc thực bàn chân Điều đƣợc chứng minh cách bộ, chạy, diễu hành, nhảy đứng, nhảy phía trƣớc lên hành động cầu thang cách sử dụng liệu chụp chuyển động Bộ liệu video bao gồm giắc cắm nhảy, nhảy đứng, nhảy tiến, chạy, bộ, hành động bên nơi có bàn chân đƣợc sử dụng để nhận Tƣơng tự, kết cho thấy việc theo dõi đủ để nhận hành động liên quan đến tay Các hành động liên quan đến bàn tay bao gồm vẫy tay vẫy hai tay vào liệu video Việc sử dụng đƣờng cong phù hợp để làm mịn liệu quỹ đạo cung cấp đƣờng cong liên tục toàn chuyển động thuận lợi liệu bị thiếu, điển hình hệ thống theo dõi tắc nghẽn tốc độ khung hình thấp, xấp xỉ theo cách chuyển động hoàn tồn tự nhiên đƣợc tìm thấy Mơ hình đƣờng cong kết từ khớp nối đƣợc sử dụng để phân đoạn đƣờng cong thành chuyển động quy trình đơn giản xác Cơng nhận chuyển động bản, chuyển động nguyên thủy hợp lý để công nhận hành động khác nhau, đổi khác hệ thống Những ngƣời khác sử dụng subtrajectories nguyên thủy chuyển động hệ thống nhận dạng, nhƣng ngƣời nhận hình dạng chuyển động đƣợc sử dụng trực tiếp để công nhận hành động Ví dụ: bƣớc mà ngƣời thực tạo đƣờng cong với hình dạng khơng gian Hình dạng đƣợc sử dụng để nhận ngƣời Công nhận cấp độ chuyển động có nhiều ƣu điểm Đầu tiên, hành động đƣợc thực bàn chân bàn tay đƣợc 69 tách rời Thông tin từ chuyển động bàn chân bàn tay đƣợc sử dụng để xác nhận hành động đƣợc thực chúng đƣợc sử dụng để xác định lớp hành động phức tạp Nhận dạng chuyển động cho phép trình nhận dạng cấp cao nhận hành động phức tạp phức tạp cách sử dụng hệ thống đƣợc đề xuất làm trình nhận dạng cấp thấp Chúng tơi sử dụng mơ hình đƣờng cong để tạo vectơ tính chuyển động Mơ hình đƣờng cong cung cấp chuyển động liên tục trơn tru đƣợc yêu cầu để tạo vector đặc trƣng có độ dài cố định, cung cấp biểu diễn lặp lại chuyển động Cuối cùng, PCA đƣợc sử dụng để giảm kích thƣớc liệu nhận hành động cách tập hợp không gian mẫu PCA công cụ thƣờng đƣợc sử dụng nhận dạng mẫu nhận thức hành động ngƣời, nhƣng khơng đƣợc sử dụng để nhận hành động ngƣời Trong cách tiếp cận này, PCA cung cấp đại diện nhỏ gọn cho vectơ đào tạo đặc trƣng cung cấp phƣơng tiện hiệu để nhận biết hành động 3.2.6 Hƣớng thích ứng với Tập liệu Khi thích ứng với phƣơng pháp tiếp cận để làm việc với liệu mới, trƣớc tiên, trình theo dõi cần đƣợc đánh giá để đảm bảo quỹ đạo xác đƣợc tạo Các biến thể điều kiện ánh sáng loại đối tƣợng ảnh hƣởng xấu đến hiệu suất theo dõi, dẫn đến theo dõi theo dõi đối tƣợng tạo vị trí khơng xác cho phận thể đƣợc theo dõi Phƣơng pháp theo dõi cần đƣợc điều chỉnh xem xét tập liệu Các bƣớc phân tích chuyển động, đào tạo nhận dạng mạnh mẽ với thay đổi tập hợp liệu Điều đƣợc chứng minh cách thử nghiệm cách tiếp cận với ảnh chuyển động liệu video Quá trình làm mƣợt đƣờng cong (curve fitting) bị ảnh hƣởng nhiều kích thƣớc hệ tọa độ theo dõi Các quỹ đạo đƣợc thu nhỏ đến kích thƣớc cần thiết để tạo đƣợc đƣờng cong mƣợt thích hợp, thơng số làm mƣợt đƣờng cong đƣợc điều chỉnh Thành phần liệu đào tạo cần đƣợc xem xét sử dụng tập liệu Một lợi phƣơng pháp với khác hành động, đƣợc học mẫu khác vào tập liệu đào tạo Điều đƣợc chứng minh việc học nhận dạng hành động 70 góc nhìn khác Sự thay đổi hiệu suất nhận dạng hành động xảy địa hình yếu tố môi trƣờng khác Đối với số ứng dụng, bạn nhận thay đổi hành động lớp hành động Ví dụ, quỹ đạo đƣợc thực bàn chân ngƣời chạy đƣợc thay đổi ngƣời mang tải nặng Tùy thuộc vào độ xác theo dõi, phân biệt đƣợc ngƣời chạy với tải nặng ngƣời chạy không tải Các hành động biến thể hành động đƣợc tích hợp vào hệ thống nhận dạng hành động cách đào tạo lại hệ thống theo thời gian Các bƣớc đào tạo đƣợc thực liên tục chuyển động đƣợc thêm vào liệu đào tạo 71 KẾT LUẬN Nhận dạng hành động ngƣời chủ đề nghiên cứu quan trọng ứng dụng đa dạng Nghiên cứu lĩnh vực giúp định hình tƣơng lai cho công nghệ giám sát, tƣơng tác ngƣời máy móc, trí thơng minh robot… Chúng tơi đề xuất khung nhận dạng hành động mới, học nhiều hoạt động khác ngƣời nhận dạng chúng cách hiệu Chúng tơi có số đóng góp, bao gồm nhận diện hành động sử dụng số lƣợng nhỏ điểm theo dõi thể ngƣời đƣa hệ thống nhận dạng có hiệu sử dụng làm mƣợt đƣờng cong (curve fitting), tạo vector đặc trƣng, phân loại PCA Phƣơng pháp đƣợc đề xuất bắt đầu theo dõi điểm key thể liệu đầu vào Chúng chuyển động hay nhiều điểm key (nhƣ bàn chân) đƣợc sử dụng để nhận dạng hành động khác Một đƣờng cong đƣợc làm cho vừa với chuỗi quỹ đạo để tạo đƣờng cong chuyển động trơn tru, liên tục Đƣờng cong chuyển động thu đƣợc sau đƣợc phân đoạn thành đoạn chuyển động cách tìm điểm có độ cong đạt đỉnh Một ví dụ cho chuyển động bƣớc ngƣời Trong trƣờng hợp đó, chuyển động bắt đầu bàn chân nhấc khỏi mặt đất kết thúc đặt chân xuống mặt đất Tiếp theo, vector đặc trƣng đƣợc tạo cho chuyển động Vector đặc trƣng bao gồm kích thƣớc cố định (fixed number of dimensions) đặc trƣng cho chuyển động bản, nên chuyển động đƣợc phân loại nhờ sử dụng PCA Chúng bắt đầu bƣớc phân loại chiếu vector đặc trƣng vào không gian mẫu (eigenspace) – đƣợc tạo sử dụng tập liệu đào tạo Chuyển động đƣợc phân loại sử dụng k-nearest neighbor classifier cách tính toán khoảng cách Ơclit phép chiếu vector đặc trƣng chuyển động phép chiếu vector đặc trƣng tập liệu đào tạo Các kết thực nghiệm chứng minh phƣơng pháp đƣợc đề xuất nhận dạng đƣợc nhiều hành động khác ngƣời với % xác cao Điều khiến cho phƣơng pháp trở thành giải pháp hiệu so sánh đƣợc với phƣơng pháp đại khác Hai tập liệu đƣợc sử dụng phƣơng pháp này: tập liệu chụp ảnh chuyển động CMU (CMU motion capture data set) tập liệu video Weizmann 72 Kết thực nghiệm sử dụng tập liệu chụp chuyển động CMU chứng minh đƣợc: Hiệu suất hệ thống nhận dạng phụ thuộc vào liệu có vector đặc trƣng Ví dụ, khả nhận dạng hệ thống vector đặc trƣng mang liệu vị trí hai bàn chân cao mang liệu vị trí bàn chân Hơn nữa, việc thêm vào chuyển động bàn tay bàn chân đối tƣợng hành động, nhƣ hành động ―nhảy theo phƣơng thẳng đứng‖, giảm hiệu suất nhận dạng thay đổi chuyển động tay PCA học sau nhận dạng hành động từ quỹ đạo 3D trƣờng hợp theo dõi 3D PCA học sau nhận dạng hành động từ quỹ đạo 2D từ nhiều góc nhìn khác Điều quan trọng cho hệ thống nhận dạng có điểm nhìn khơng đổi Kết thực nghiệm sử dụng tập liệu video Weizmann chứng minh hệ thống giảm khung hình video thành vài điểm key cách theo dõi vị trí chân tay khung hình Hơn nữa, chứng minh đƣợc hệ thống nhận dạng đạt đƣợc % nhận dạng xác cao kể với video có độ phân giải thấp, nhƣ video tập liệu Weizmann sử dụng 73 TÀI LIỆU THAM KHẢO [1] J K Aggarwal and Q Cai Human motion analysis: A review Computer Vision and Image Understanding, 73:428–440, 1999 [2] J K Aggarwal and S H Park Human motion: Modeling and recognition of actions and interactions In Proc 3D Data Processing, Visualization and Transmission, pages 640–647, 2004 [3] S Ali, A Basharat, and M Shah Chaotic invariants for human action recognition In ICCV, pages 1–8 IEEE, 2007 [4] S Ali and M Shah Human action recognition in videos using kinematic features and multiple instance learning IEEE Trans Pattern Anal Mach Intell., 32(2):288–303, 2010 [5] F I Bashir, A A Khokhar, and D Schonfeld Object trajectory-based activity classification and recognition using hidden Markov models IEEE Transactions on Image Processing, 16(7):1912–1919, 2007 [6] A F Bobick Movement, activity and action: The role of knowledge in the perception of motion Philosophical Transactions of the Royal Society B: Biological Sciences, 352(1358):1257, 1997 [7] M Bregonzio, S G Gong, and T Xiang Recognising action as clouds of space-time interest points IEEE Conference on Computer Vision and Pattern Recognition, pages 1948–1955, 2009 [8] H Buxton Learning and understanding dynamic scene activity: A review Image and Vision Computing, 21(1):125–136, 2003 [9] A Castrodad and G Sapiro Sparse modeling of human actions from motion imagery International Journal of Computer Vision, 100(1):1–15, 2012 [10] C Cedras and M Shah Motion based recognition: A survey ´ Image and Vision Computing, 13(2):129–155, March 1995 [11] R Chaudhry, A Ravichandran, G Hager, and R Vidal Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions IEEE Conference on Computer Vision and Pattern Recognition, pages 1932–1939, 2009 [12] Honda Motor Co Honda worldwide — ASIMO, Jan 2010 http://world honda.com/ASIMO/ [13] M J Escobar, G S Masson, T Vieville, and P Kornprobst Action recognition using a bio-inspired feedforward spiking network International Journal of Computer Vision, 82(3):284–301, 2009 74 [14] G Farneback Two-frame motion estimation based on polynomial expansion In ă Proceedings of the 13th Scandinavian Conference on Image Analysis, LNCS 2749, pages 363–370, 2003 [15] D M Gavrila The Visual Analysis of Human Movement: A Survey Computer Vision and Image Understanding, 73(1):82–98, 1999 [16] D Gong and G G Medioni Dynamic manifold warping for view invariant action recognition In Dimitris N Metaxas, Long Quan, Alberto Sanfeliu, and Luc J Van Gool, editors, ICCV, pages 571–578 IEEE, 2011 [17] L Gorelick, M Blank, E Shechtman, M Irani, and R Basri Actions as space-time shapes IEEE Trans Pattern Anal Mach Intell., 29(12):2247–2253, 2007 [18] A Gritai, Y Sheikh, C Rao, and M Shah Matching trajectories of anatomical landmarks under viewpoint, anthropometric and temporal transforms Int J Comput Vision, 84(3):325–343, 2009 [19] T Guha and R K Ward Learning sparse representations for human action recognition IEEE Trans Pattern Anal Mach Intell., 34:1576–1588, 2012 [20] L Han, X Wu, W Liang, G Hou, and Y Jia Discriminative human action recognition in the learned hierarchical manifold space Image Vision Comput., 28(5):836– 849, 2010 [21] Y A Ivanov and A F Bobick Recognition of visual activities and interactions by stochastic parsing IEEE Trans Pattern Anal Mach Intell., 22(8):852–872, 2000 [22] F Jean, R Bergevin, and AB Albu Body tracking in human walk from monocular video sequences In Proc of Computer and Robot Vision, pages 144–151, 2005 [23] S W Joo and R Chellappa Recognition of multi-object events using attribute grammars In ICIP, pages 2897–2900, 2006 [24] I Junejo, E Dexter, I Laptev, and P Prez View-independent action recognition from temporal self-similarities IEEE Trans Pattern Anal and Mach Intell., 2010 [25] J Kim and K Grauman Observe locally, infer globally: A space-time mrf for detecting abnormal activities with incremental updates In CVPR09, pages 2921–2928, 2009 [26] V Kruger, D Kragic, A Ude, and C Geib The meaning of action: A review on action recognition and mapping Advanced Robotics, 21(13):1473–1501, 2007 [27] C Liu and P C Yuen Human action recognition using boosted eigenactions Image and Vision Computing, 28(5):825–835, 2010 [28] J.G Liu, J.B Luo, and M Shah Recognizing realistic actions from videos ―in the wild‖ In CVPR09, pages 1996–2003, 2009 75 [29] S Luhr, H H Bui, S Venkatesh, and G A W West Recognition of Human Activity through Hierarchical Stochastic Learning In Proceedings of the First IEEE International Conference on Pervasive Computing and Communications, page 416, 2003 [30] T B Moeslund and E Granum A survey of computer vision-based human motion capture Computer Vision and Image Understanding, 81(3):231–268, 2001 [31] T B Moeslund, A Hilton, and V Kruger A survey of advances in vision-based ă human motion capture and analysis Comput Vis Image Underst., 104(2):90–126, 2006 [32] D Moore and I Essa Recognizing multitasked activities from video using stochastic context-free grammar In Proceedings of the National Conference on Artificial Intelligence, pages 770–776, 2002 [33] M E Mortenson Geometric Modeling, Third Edition Industrial Press, Inc., 2006 [34] A.-T Nghiem, F Bremond, and M Thonnat Shadow removal in indoor scenes In IEEE International Conference On Advanced Video and Signal Based Surveillance, Santa Fe, New Mexico, 2008 [35] J C Niebles, H Wang, and L Fei-Fei Unsupervised learning of human action categories using spatial-temporal words Int J Comput Vision, 79(3):299–318, September 2008 [36] S Park and J K Aggarwal Simultaneous tracking of multiple body parts of interacting persons Computer Vision and Image Understanding, 102:1–21, 2006 [37] D Perzanowski, A C Schultz, W Adams, E Marsh, and M Bugajska Building a multimodal human-robot interface IEEE Intelligent Systems, 16(1):16–21, 2001 [38] R Poppe A survey on vision-based human action recognition IVC, 28(6):976–990, June 2010 [39] H Riemenschneider, M Donoser, and H Bischof Bag of optical flow volumes for image sequence recognition In BMVC British Machine Vision Association, 2009 [40] M S Ryoo and J K Aggarwal Recognition of composite human activities through context-free grammar based representation In CVPR ’06: Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 1709–1718, 2006 [41] M S Ryoo and J K Aggarwal Semantic representation and recognition of continued and recursive human activities Int J Comput Vision, 82(1):1–24, 2009 [42] K Sato and J K Aggarwal Temporal spatio-velocity transform and its application to tracking and interaction Computer Vision and Image Understanding, 96(2):100–128, 2004 76 [43] Y Shan, F Yang, and R Wang Color space selection for moving shadow elimination In Proceedings of the Fourth International Conference on Image and Graphics, ICIG ‘07, pages 496–501, 2007 [44] C Stauffer and W E L Grimson Adaptive background mixture models for realtime tracking In Computer Vision and Pattern Recognition, IEEE Computer Society Conference, volume 2, 1999 [45] M.-C Su, Y.-Y Chen, K.-H Wang, C.-Y Tew, and H Huang 3d arm movement recognition using syntactic pattern recognition AI in Engineering, 14(2):113–118, 2000 [46] C Sun, I N Junejo, and H Foroosh Action recognition using rank-1 approximation of joint self-similarity volume In ICCV, pages 1007–1012, 2011 [47] S Theodoridis and K Koutroumbas Pattern Recognition, Fourth Edition Academic Press, 2008 [48] T H Thi, L Cheng, J Zhang, L Wang, and S Satoh Structured learning of local features for human action classification and localization Image Vision Comput., 30(1):1–14, January 2012 [49] C Thurau and V Hlavac Pose primitive based human action recognition in videos or still images In CVPR IEEE Computer Society, 2008 [50] M E Tipping and C M Bishop Mixtures of probabilistic principal component analyzers Neural Computation, 11(2):443–482, 1999 [51] P K Turaga, R Chellappa, V S Subrahmanian, and O Udrea Machine recognition of human activities: A survey CirSysVideo, 18(11):1473–1488, November 2008 [52] Carnegie Mellon University CMU graphics lab motion capture database, Dec 2002 http://mocap.cs.cmu.edu [53] Carnegie Mellon University Actions as space-time shapes - classification database, Dec 2007 http://www.wisdom.weizmann.ac.il/˜vision/ SpaceTimeActions.html [54] S Waldherr, R Romero, and S Thrun A gesture based interface for human-robot interaction Autonomous Robots, 9(2):151–173, 2000 [55] H Wang, M M Ullah, A Klaser, I Laptev, and C Schmid Evaluation of local ă spatio-temporal features for action recognition In British Machine Vision Conference, page 127, 2009 [56] L Wang, W Hu, and T Tan Recent developments in human motion analysis Pattern Recognition, 36(3):585–601, 2003 77 [57] Y Wang and G Mori Max-margin hidden conditional random fields for human action recognition In CVPR, pages 872–879, 2009 [58] Y Wang and G Mori Hidden part models for human action recognition: Probabilistic versus max margin IEEE Trans Pattern Anal Mach Intell., 33(7):1310 – 1323, 2011 [59] S D Wu and Y F Li Flexible signature descriptions for adaptive motion trajectory representation, perception and recognition Pattern Recognition, 42(1):194–214, 2009 [60] A Yao, J Gall, and L van Gool Coupled action recognition and pose estimation from multiple views International Journal of Computer Vision, 100(1):16–37, 2012 [61] L Yeffet and L Wolf Local trinary patterns for human action recognition In ICCV, pages 492–497 IEEE, 2009 [62] T.-H Yu, T.-K Kim, and R Cipolla Real-time action recognition by spatiotemporal semantic and structural forest In Proceedings of the British Machine Vision Conference, pages 52.1–52.12 BMVA Press, 2010 doi:10.5244/C.24.52 78 ... báo sớm hành vi ngƣời đƣợc giám sát mà cụ thể ngƣời cao tuổi Chính vậy, luận văn ? ?Theo dõi hành vi ngƣời cao tuổi – sử dụng Camera? ?? tập trung xây dựng, phát triển thuật toán nhận dạng hành vi ngƣời...  ĐỖ TRÌNH SA THEO DÕI HÀNH VI CỦA NGƯỜI CAO TUỔI – SỬ DỤNG CAMERA Chuyên ngành: KỸ THUẬT Y SINH LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT Y SINH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VI? ??T DŨNG HÀ NỘI... 49 Hình 45: Theo dõi hành động ―vẫy tay 1‖ 49 Hình 46: Theo dõi hành động ―vãy tay 2‖ 50 Hình 47: Theo dõi hành động ―gập ngƣời‖ 50 Hình 48: Theo dõi hành động ―đi bộ‖