6. Cấu trúc luận văn
2.3.3. Đánh giá kỹ thuật bám sát đối tượng
Đã trình bày các phương pháp bám sát đối tượng, các phương pháp dựa trên việc sử dụng các hành động của đối tượng. Các phương pháp bám sát mạnh mẽ đã được phát triển có thể theo dõi các đối tượng trong thời gian thực một cách đơn giản. Tuy nhiên, vấn đề về ước tính trực tuyến hiệu quả vẫn
41
chưa được giải quyết, các thuật toán này yêu cầu thông tin ngoại tuyến về mục tiêu và nền. Một thách thức trong việc theo dõi là phát triển các thuật toán để theo dõi các đối tượng trong các phương pháp không gian trạng thái xác suất để ước tính mật độ đối tượng chuyển động.
2.4. Kết luận Chƣơng 2
Chương này đã trình bày tổng quan một số kỹ thuật về phát hiện chuyển động, phát hiện đối tượng và bám sát đối tượng, cùng với các phương pháp, mô hình trong giải quyết các bài toán phân tích đám đông trên cơ sở các thuật toán chương trình. Ngoài ra, trong chương này cũng đã đưa ra một số vấn đề nghiên cứu, cải tiến những phương thức, mô hình tiên tiến nhằm khắc phục, hạn chế các thuật toán, các tính năng áp dụng kỹ thuật bị lỗi và sai sót.
42
Chƣơng 3. CHƢƠNG TRÌNH THỬ NGHIỆM
3.1. Giới thiệu bài toán
Việc phân tích đám đông liên quan đến việc giải thích dữ liệu thu được khi nghiên cứu sự chuyển động tự nhiên của các nhóm hoặc đối tượng. Phân tích đám đông được xem như một cuộc khảo sát sử dụng các kỹ thuật thị giác máy bao gồm các khía cạnh khác nhau như theo dõi con người, ước tính mật độ đám đông, phát hiện sự kiện, xác nhận và mô phỏng. Phân tích đám đông với đầu vào là video hoặc hình ảnh camara trực tiếp. Sau quá trình phân tích, xử lý thì đầu ra của bài toán là những dự đoán thông tin về đám đông thuộc các chủ đề như: phân đoạn mẫu chuyển động, nhận diện hành vi và phát hiện sự kiện bất thường [8].
Dữ liệu đầu vào dùng cho bài toán phát hiện đối tượng chuyển động trong đám đông này gồm 10 đoạn video được ghi lại tại một số sự kiện, hoạt động ngoài trời. Đối với bài toán phát hiện đối tượng chuyển động thường có hai cách tiếp cận chính là dựa hoàn toàn vào phần cứng và dựa vào các kỹ thuật xử lý ảnh trên cơ sở xử lý các hình ảnh thu được, phân tích và kết luận xem có đối tượng có hành vi khác thường. Nếu trong đoạn video này có sự chuyển động bất thường của đối tượng thì được khoanh vùng các đối tượng chuyển động đó bằng hình vuông màu đỏ và được đếm số thứ tự tăng dần.
3.2. Phân tích bài toán
Phân tích đối tượng chuyển động đóng một vai trò quan trọng trong lĩnh vực thị giác máy tính. Các bước cơ bản cho quá trình theo dõi và phát hiện đối tượng đối tượng được thể hiện trong Hình 3.1. Việc phân tích video liên quan đến phát hiện đối tượng chuyển động, phân loại đối tượng, theo dõi đối tượng từ khung này sang khung khác.
43
Phát hiện đối tượng liên quan đến việc xác định các đối tượng từ khung video. Phân loại đối tượng dựa vào các đặc trưng của đối tượng được phân loại là vật chuyển động. Theo dõi đối tượng liên quan đến việc lựa chọn khu vực quan tâm và theo dõi chuyển động và vị trí của đối tượng từ khung video.
Hình 3.1. Các bƣớc quá trình phát hiện và theo dõi đối tƣợng
- Phát hiện đối tượng chuyển động là bước đầu tiên cho quy trình phân tích video. Điều này được thực hiện trong mỗi và mọi khung hình hoặc khi đối tượng đầu tiên xuất hiện trong video, xử lý với loại bỏ các đối tượng nền tĩnh chuyển động của đối tượng quan tâm. Sau các kỹ thuật về cơ bản tập
44
trung vào việc phát hiện các đối tượng chuyển động chủ yếu là nguồn thông tin chính của đối tượng.
+ Phương pháp so sánh khác biệt khung: Sự khác biệt giữa hai hình ảnh liên tiếp là được tính toán, mà xác định thêm đối tượng. Đối với các động lực khác nhau môi trường, phương pháp này có khả năng thích ứng mạnh mẽ, nhưng kết quả chính xác của việc phát hiện đối tượng không đứng yên không chính xác vì rất khó để có được hoàn chỉnh phác thảo của đối tượng chuyển động đó.
+ Phương pháp trừ nền: Mô hình nền là bước đầu tiên của nền phép trừ, được sử dụng để lấy mô hình tham chiếu. Mô hình tham chiếu này được so sánh với mỗi video trình tự để xác định sự biến đổi có thể có. Các sự tồn tại của đối tượng chuyển động được xác định bởi sự khác biệt giữa khung video hiện tại và khung hình xuyên suốt tính theo pixel.
+ Luồng quang học: Phương pháp này là để tính toán luồng lưu lượng quang học và thực hiện một quy trình được gọi là phân cụm dựa trên đặc điểm phân bố luồng quang của ảnh. Trong khi sự phức tạp trong tính toán, hiệu suất chống ồn kém khiến nó không đáng tin cậy cho các ứng dụng đòi hỏi thời gian thực.
- Phân loại đối tượng được thực hiện dựa trên đặc điểm hình dạng của chúng trong vùng chuyển động.
+ Phân loại dựa trên chuyển động có một gợi ý mạnh mẽ là thuộc tính tuần hoàn được thể hiện bởi một khớp nối không cứng nhắc chuyển động của đối tượng. Các đối tượng động không cứng nhắc như con người có thể có dòng dư trung bình lớn hơn và hiển thị một thành phần tuần hoàn, trong khi các đối tượng cứng nhắc dự kiến sẽ có ít dòng chảy dư.
45
phần của hình ảnh được tính theo kết cấu kỹ thuật. Sau đó, nó được tính toán bằng cách sử dụng chồng chéo chuẩn hóa tương phản cục bộ trên một lưới dày đặc các ô cách đều nhau để cải thiện độ chính xác.
- Phân loại dựa trên hình dạng: Biểu diễn của các điểm, hộp và đốm màu là khác nhau vùng chuyển động có sẵn để phân loại chuyển động đối tượng dựa trên thông tin hình dạng. Hỗn hợp các thông số dựa trên hình ảnh và dựa trên cảnh như khu vực đốm hình ảnh, thu phóng máy ảnh và rõ ràng tỷ lệ khung hình của hộp giới hạn đốm màu đóng vai trò là đầu vào các tính năng của mạng. Từng đốm màu ở mọi khung hình trải qua phân loại và biểu đồ giữ các kết quả.
+ Phân loại dựa trên màu sắc: Màu sắc dễ thu được và tương đối ổn định dưới các biến thể góc nhìn, không giống như hình ảnh khác đặc trưng. Trong thời gian thực để phát hiện và theo dõi các phương tiện, thuật toán dựa trên biểu đồ màu được sử dụng. Để phân đoạn hình ảnh thành nền và đối tượng và để mô tả sự phân bố màu sắc bên trong chuỗi hình ảnh.
- Theo dõi đối tượng là bước tiếp theo sau phát hiện đối tượng, là một kỹ thuật được sử dụng để theo dõi và cũng là hướng di chuyển của các đối tượng. + Dựa trên điểm: Là nhiệm vụ chung của thị giác máy với các ứng dụng khác nhau liên quan đến trong quá trình theo dõi các đối tượng chuyển động được hiển thị bằng các điểm đặc trưng của đối tượng. Theo dõi điểm là một vấn đề lớn, đặc biệt là trong việc phát hiện bất thường và tỷ lệ khớp.
+ Dựa trên khu vực: Thường được thực hiện bởi tính toán đối tượng không đứng yên mà hiển thị bởi vùng đối tượng chuyển động từ một khung này sang khung khác.
46
hảo của hình dạng đối với những đối tượng đó sẽ được cung cấp bởi cách tiếp cận này. Mục tiêu của cơ chế theo dõi này là phát hiện vùng đối tượng trong mọi khung hình với sự trợ giúp của một mô hình đối tượng thu được bởi các khung trước đó.
3.3. Xây dựng chƣơng trình thử nghiệm
Để minh họa cho những kỹ thuật đã được nghiên cứu ở Chương 2 và những nội dung phân tích về bài toán nêu trên, luận văn tiến hành thử nghiệm cho bài toán ứng dụng cụ thể. Bài toán được ứng dụng cài đặt thử nghiệm bằng ngôn ngữ lập trình Visual C++ trên nền tảng bộ công cụ Microsoft Visual Studio phiên bản 2015. Các bước chính để giải quyết bài toán được thể hiện trong sơ đồ sau:
47
- Video đầu vào: Video đầu vào được thu từ camera giám sát đặt ở vị trí
cố định với mức ánh sáng tốt và ảnh nền không thay đổi.
- Lấy khung hình từ video: Lấy từng khung hình từ video đưa vào.
- Khởi tạo Background: Lấy khung hình đầu tiên làm Background.
- Trừ nền: Áp dụng kỹ thuật trừ nền, tìm sự khác biệt giữa background
và foreground. Trừ các giá trị điểm ảnh giữa ảnh khung hình và ảnh nền để tìm được ảnh khác biệt.
- Gom nhóm, đưa ra ảnh nhị phân: Xử lý đưa ra ảnh nhị phân. Sau khi
tìm được ảnh khác biệt thì tiến hành chuyển đổi ảnh khác biệt, tìm ngưỡng và dựa vào ngưỡng đưa ra ảnh nhị phân.
- Xác định đối tượng: Từ ảnh nhị phân, tiếp tục tiến hành sử dụng các
phương pháp phân loại đối tượng và theo dõi đối tượng để phân tích đánh giá các đặc tính của đối tượng và khoanh vùng các đối tượng. Dựa vào mặt nạ thực hiện khoanh vùng đối tượng trên hình ảnh màu, xác định đối tượng chuyển động.
- Kết quả: Video chứa các đối tượng chuyển động đã được khoanh vùng
màu xanh và được đếm số thứ tự tăng dần.
3.3.1. Thiết lập thử nghiệm
- Trong quá trình thử nghiệm kết quả, các video mẫu sẽ được truyền vào trực tiếp trong phần Crowd Property của chương trình bằng đường dẫn tuyệt đối. Cụ thể là đưa đường dẫn trực tiếp vào ô Command.
- Các mẫu video thử nghiệm được thu thập từ nguồn:
https://motchallenge.net/data/2D_MOT_2015/?chl=2&orderBy=frame_ rate&orderStyle=DESC
48
Hình 3.3. Cách truyền video vào chƣơng trình thử nghiệm
- Sau khi thực hiện, chương trình sẽ hiện lên 03 khung màn hình:
+ Màn hìnhChuyendong: Màn hình chính của chương trình, hiển thị màn hình màu trắng đen dùng để so sánh giữa các khung hình khác khi phát hiện đối tượng chuyển động.
+ Màn hình Phathien: Thể hiện kết quả phát hiện đối tượng chuyển động trong tổng số đối tượng được ghi nhận và được nhận dạng bằng cách khoanh vùng đối tượng một hình vuông màu xanh.
+ Màn hình Theodoi: Thể hiện kết quả số lượng phát hiện đối tượng, được đánh số thứ tự tăng dần đối tượng phát hiện.
- Quan sát trực tiếp và ghi nhận đối tượng và ước tính mật độ đối tượng tại một thời điểm nhất định.
3.3.2. Kết quả thử nghiệm
Qua quan sát trực tiếp từ 03 khung màn hình bằng mắt thường tại 10 mẫu video, thời gian ghi nhận số lượng đối tượng phát hiện là 20 giây/video. Kết quả đạt được như sau:
49
- Video 01 có kích thước khung hình là 1920*1080, độ dài thời gian là 20 giây, số khung hình/giây là 30, tổng số khung hình là 600. Số đối tượng được phát hiện là 52 người trên tổng số đối tượng được ghi nhận là 56 người. Tỷ lệ phát hiện là 92,9%, mật độ đối tượng trên mỗi khung hình là 11 người.
Hình 3.4. Kết quả chạy chƣơng trình thử nghiệm video 01
- Video 02 có kích thước khung hình là 1920*1080, độ dài thời gian 22 giây, số khung hình/giây là 30, tổng số khung hình là 654. Số đối tượng được phát hiện là 47 người trên tổng số đối tượng được ghi nhận là 53 người. Tỷ lệ phát hiện là 88,7%, mật độ đối tượng trên mỗi khung hình là 11 người.
Hình 3.5. Kết quả chạy chƣơng trình thử nghiệm video 02
- Video 03 có kích thước khung hình là 640*480, độ dài thời gian 60 giây, số khung hình/giây là 14, tổng số khung hình là 837. Số đối tượng được phát hiện là 41 người trên tổng số đối tượng được ghi nhận là 45 người. Tỷ lệ phát hiện là 91,1%, mật độ đối tượng trên mỗi khung hình là 6 người.
50
Hình 3.6. Kết quả chạy chƣơng trình thử nghiệm video 03
- Video 04 có kích thước khung hình là 640*480, độ dài thời gian 61 giây, số khung hình/giây là 14, tổng số khung hình là 1000. Số đối tượng được phát hiện là 35 người trên tổng số đối tượng được ghi nhận là 37 người. Tỷ lệ phát hiện là 94,6%, mật độ đối tượng trên mỗi khung hình là 8 người.
Hình 3.7. Kết quả chạy chƣơng trình thử nghiệm video 04
- Video 05 có kích thước khung hình là 768*576, độ dài thời gian 114 giây, số khung hình/giây là 7, tổng số khung hình là 795. Số đối tượng được phát hiện là 17 người trên tổng số đối tượng được ghi nhận là 18 người. Tỷ lệ phát hiện là 94,4%, mật độ đối tượng trên mỗi khung hình là 8 người.
51
- Video 06 có kích thước khung hình là 1920*1080, độ dài thời gian 225 giây, số khung hình/giây là 2.5, tổng số khung hình là 450. Số đối tượng được phát hiện là 14 người trên tổng số đối tượng được ghi nhận là 15 người. Tỷ lệ phát hiện là 93,3%, mật độ đối tượng trên mỗi khung hình là 3 người.
Hình 3.9. Kết quả chạy chƣơng trình thử nghiệm video 06
- Video 07 có kích thước khung hình là 640*480, độ dài thời gian 85 giây, số khung hình/giây là 14, tổng số khung hình là 1194. Số đối tượng được phát hiện là 24 người trên tổng số đối tượng được ghi nhận là 25 người. Tỷ lệ phát hiện là 96,0%, mật độ đối tượng trên mỗi khung hình là 11 người.
Hình 3.10. Kết quả chạy chƣơng trình thử nghiệm video 07
- Video 08 có kích thước khung hình là 640*480, độ dài thời gian 31 giây, số khung hình/giây là 14, tổng số khung hình là 440. Số đối tượng được phát hiện là 36 người trên tổng số đối tượng được ghi nhận là 40 người. Tỷ lệ phát hiện là 90,0%, mật độ đối tượng trên mỗi khung hình là 7 người.
52
Hình 3.11. Kết quả chạy chƣơng trình thử nghiệm video 08
- Video 09 có kích thước khung hình là 1920*1080, độ dài thời gian 17 giây, số khung hình/giây là 30, tổng số khung hình là 500. Số đối tượng được phát hiện là 50 người trên tổng số đối tượng được ghi nhận là 59 người. Tỷ lệ phát hiện là 84,7%, mật độ đối tượng xuất hiện trên mỗi khung hình là 10 người.
Hình 3.12. Kết quả chạy chƣơng trình thử nghiệm video 09
- Video 10 có kích thước khung hình là 1238*374, độ dài thời gian 106 giây, số khung hình/giây là 10, tổng số khung hình là 1059. Số đối tượng được phát hiện là 21 người trên tổng số đối tượng được ghi nhận là 23 người. Tỷ lệ phát hiện là 91,3%, mật độ đối tượng trên mỗi khung hình là 9 người.
53
3.4. Đánh giá kết quả thử nghiệm
Sau khi thực hiện chương trình thừ nghiệm cho 10 video mẫu, kết quả đầu ra cho thấy. Số đối tượng được phát hiện là 337 người trên tổng số đối tượng được ghi nhận là 371 người, tỷ lệ phát hiện đạt được 91,7% (Bảng 3.1).
Như vậy, với một số kỹ thuật áp dụng cho phát hiện và theo dõi đối tượng chuyển động trong bài toán phân tích đám đông, có thể khẳng định rằng, đây là phương pháp tối ưu, mang lại hiệu quả cao, đồng thời cho ra kết quả tương đối chính xác và nhanh chóng.
Bảng 3.1. Kết quả đánh giá chƣơng trình thử nghiệm trên 10 video
Tên video
Các tham số đầu vào của video
Kết quả đầu ra đƣợc quan sát và ghi nhận trực tiếp bằng mắt thƣờng (Tính trong
thời gian 20 giây )
Kích thƣớc khung hình Số khung hình / giây Tổng số khung hình Độ dài thời gian (giây) Số đối tƣợng đƣợc phát hiện Tổng số đối tƣợng đƣợc ghi nhận Tỷ lệ phát hiện