Nghiên cứu xử lý tín hiệu video phát hiện và kiểm soát đối tượng chuyển

Luận văn tốt nghiệp cao học MỤC LỤC MỤC LỤC LỜI CAM ĐOAN DANH MỤC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ MỞ ĐẦU Chƣơng I: TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƢỢNG CHUYỂN ĐỘNG 1.1 Khái niệm video 1.2 Khái niệm video tƣơng tự 1.2.1 Tín hiệu video tƣơng tự 1.2.2 Các chuẩn video tƣơng tự .11 1.2.3 Các thiết bị video tƣơng tự .11 1.3 Khái niệm video số 11 1.3.1 Tín hiệu video số 11 1.3.2 Các chuẩn video số 12 1.3.3 Ƣu điểm video số 14 1.3.4 Nhƣợc điểm video số 14 1.3.5 Các phƣơng pháp xử lý video số 14 1.3.5.1 Phát chuyển động 15 1.3.5.2 Ước lượng chuyển động 20 Chƣơng II: PHÁT HIỆN, ĐÁNH DẤU VÀ PHÂN LOẠI ĐỐI TƢỢNG CHUYỂN ĐỘNG TRONG VIDEO .25 2.1 Phát đối tƣợng 25 2.1.1 Phát trội 26 2.1.1.1 Mơ hình trừ có khả thích ứng 26 2.1.1.2 Mơ hình hỗn hợp Gaussian tương thích 26 2.1.1.3 Sự khác biệt theo thời gian 28 2.1.2 Bƣớc hậu xử lý điểm ảnh 28 Luận văn tốt nghiệp cao học 2.1.3 Phát vùng liên tục 29 2.1.4 Bƣớc hậu xử lý vùng 29 2.1.5 Trích rút đặc trƣng đối tƣợng 30 2.2 Đánh dấu đối tƣợng 30 2.2.1 Tham chiếu tƣơng tự với đối tƣợng .32 2.2.2 Điều khiển chồng chéo đối tƣợng 33 2.2.2.1 Các đối tượng bị che khuất 33 2.2.2.2 Phát đối tượng tách 34 2.2.2.3 Lược đồ sở tham chiếu tương ứng 34 2.2.3 Phát đối tƣợng dời đối tƣợng biến 34 2.3 Phân loại đối tƣợng 35 2.3.1 Phân loại dựa mẫu hình chiếu 35 2.3.2 Cơ sở liệu mẫu hình chiếu 35 2.3.3 Ma trận phân loại 36 2.4 Thuật toán phát theo dõi đối tƣợng 37 2.4.1 Thuật toán phát chuyển động dựa kỹ thuật trừ .38 2.4.2 Thuật toán theo dõi đối tƣợng 39 Chƣơng III: KẾT QUẢ ĐẠT ĐƢỢC TRONG QUÁ TRÌNH THỰC HIỆN 41 3.1 Sơ đồ thực 41 3.2 Phần cứng đƣợc sử dụng 41 3.2.1 Động Servo 41 3.2.1.1 Hoạt động động servo 42 3.2.1.2 Vai trị Vơn kế 42 3.2.1.3 Các giới hạn quay 43 3.2.2 Mạch Arduino UNO 43 3.2.2.1 Vi điều khiển 45 3.2.2.2 Năng lượng 45 3.2.2.3 Các chân lượng 45 3.2.2.4 Bộ nhớ 45 Luận văn tốt nghiệp cao học 3.2.2.5 Các cổng vào/ra .46 3.3 Các phần mềm đƣợc sử dụng 47 3.3.1 Phần mềm Visual Studio 2010 Ultimate 48 3.3.2 Thƣ viện mã nguồn mở OpenCV 2.4 48 3.4 Kết mô .50 KẾT LUẬN 54 XU HƢỚNG PHÁT TRIỂN TƢƠNG LAI 55 TÀI LIỆU THAM KHẢO 56 Luận văn tốt nghiệp cao học LỜI CAM ĐOAN Lời xin chân thành cảm ơn tới thầy cô Viện Điện tử Viễn thông, trường Đại học Bách khoa Hà Nội cho môi trường học tập nghiên cứu Tôi xin gửi lời cảm ơn đến thầy cô Viện Đào tạo Sau đại học quan tâm giúp đỡ chúng tơi, tạo điều kiện cho học viên có điều kiện thuận lợi để học tập nghiên cứu Đặc biệt xin gửi lời cảm ơn sâu sắc đến thầy giáo TS Phạm Văn Tiến tận tình bảo, hướng dẫn sửa chữa cho nội dung luận văn Tôi xin cam đoan nội dung luận văn hồn tồn tơi tìm hiểu, nghiên cứu viết Tất tơi thực cẩn thận có định hướng giáo viên hướng dẫn Tôi xin chịu trách nhiệm với nội dung trình bày luận văn Tác giả Nguyễn Hoài Nam Luận văn tốt nghiệp cao học DANH MỤC CHỮ VIẾT TẮT Từ viết tắt Giải nghĩa tiếng Anh Electrically Eraseble EEPROM Programmable Read Only Memory JPEG LED MPEG NTSC Joint Photographic Experts Group Giải nghĩa tiếng Việt Bộ nhớ có khả lập trình lại Nhóm chun gia ảnh Light Emmitting Diode Điốt phát quang Moving Picture Coding Nhóm chuyên gia mã hóa phim Experts Group ảnh National Television System Hệ truyền hình sử dụng Bắc Committee Mỹ Hệ truyền hình sử dụng Châu PAL Phase Alternating Line PWM Pulse Width Modulation Điều chỉnh độ rộng xung Sequential Color with Hệ truyền hình sử dụng Memory Đơng Âu Serial Perippheral Interface Giao tiếp ngoại vi nối tiếp Static Random Access Bộ nhớ truy xuất ngẫu nhiên Memory tĩnh SECAM SPI SRAM Âu Luận văn tốt nghiệp cao học DANH MỤC HÌNH VẼ Hình 1.1 Qt liên tục Các dòng quét A đến B, tiếp tục đến C đến D quay trở lại A [8] 10 Hình 1.2 Qt xen kẽ Dịng quét A đến B, chuyển qua C tiếp tục tới D trở E tiếp tục quét đến F [8] 10 Hình 1.3 Chuỗi ảnh [8] .12 Hình 1.4 Các chuẩn studio số [8] .13 Hình 1.5 Các chuẩn ảnh video nén số [8] 14 Hình 1.6 Phép chiếu phối cảnh đoạn thẳng [4] 15 Hình 1.7 Kết phương pháp so sánh khác biệt [4] .17 Hình 1.8 Hai đối tượng phương pháp trừ [4] 18 Hình 2.1 Sơ đồ khối hệ thống [11] 25 Hình 2.2 Sơ đồ hệ thống đánh dấu đối tượng [1] 31 Hình 2.3 Phương pháp tham chiếu đối tượng phù hợp [1] 32 Hình 2.4 Sơ đồ thuật tốn phát chuyển động dựa kỹ thuật trừ [10] 39 Hình 2.5 Lưu đồ thuật tốn bám theo đối tượng [10] .40 Hình 3.1 Sơ đồ khối mơ hình thực nghiệm .41 Hình 3.2 Cấu tạo động servo [14] 42 Hình 3.3 Mạch điều khiển Arduino UNO [16] .44 Hình 3.4 Các cổng vào/ra mạch Arduino UNO [16] .46 Hình 3.5 Bảng điều khiển cài đặt màu sắc cần quan sát 50 Hình 3.6 ảnh gốc tín hiệu thu được, vật thể màu hồng cần quan sát đánh dấu vòng tròn màu đỏ 51 Hình 3.7 ảnh cần quan sát điểm màu trắng 52 Luận văn tốt nghiệp cao học MỞ ĐẦU Hiện phần lớn lượng thông tin người thu vào dạng hình ảnh Thơng tin dạng hình ảnh thông tin trực quan nên người dễ dàng tiếp nhận Với đời nhiều máy móc đại máy ảnh số, máy quay số, máy thu hình, máy vi tính… lượng thơng tin người thu nhiều Con người không muốn tiếp thu thông tin cách thụ động mà cịn muốn biết cách xử lý nó, làm cho hữu ích Do người tiến hành nghiên cứu phương pháp xử lý tín hiệu video để phục vụ cho nhu cầu cần thiết Việc nghiên cứu ảnh số video số phát triển rộng rãi Các trường đại học có ngành riêng để nghiên cứu vấn đề gọi ngành thị giác máy tính (computer vision) Bên cạnh đó, hệ thống camera quan sát ngày sử dụng cách rộng rãi với mục đích hỗ trợ an ninh cho cửa hàng, công ty, … Từ yêu cầu thực tế đặt ra, việc xây dựng hệ thống phát theo dõi chuyển động từ tín hiệu video thu thơng qua hệ thống camera quan sát với hỗ trợ kỹ thuật theo vết lĩnh vực thị giác máy tính (computer vision) điều cần thiết Do đó, luận văn phân tích tín hiệu video phát kiểm soát đối tượng chuyển động Trên định hướng đó, luận văn chia thành ba chương sau: Chƣơng 1: Tổng quan xử lý video phát đối tƣợng chuyển động Chương trình bày khái niệm video, chuẩn video tương tự video số, khái niệm chuyển động ước lượng chuyển động Chƣơng 2: Phát hiện, đánh dấu, phân loại đối tƣợng chuyển động video Trong chương trình bày phương pháp phát đối tượng, đánh dấu đối tượng, phân loại đối tượng chuyển động thuật toán phát đối tượng chuyển động, thuật toán bám theo đối tượng Chƣơng 3: Kết đạt đƣợc trình thực Luận văn tốt nghiệp cao học Chương mô kết đạt thông qua cộng cụ hỗ trợ Visual Studio C++ 2010 Ultimate, OpenCV 2.4, Arduino 1.0.6.Chương trình mơ cho thấy phát đối tượng xuất khu vực cần quan sát tự động bám theo di chuyển đối tượng Do điều kiện thời gian kiến thức hiểu biết lĩnh vực hạn chế, nên luận văn tránh thiếu sót, mong đóng góp ý kiến người Tôi xin chân thành cảm ơn thầy giáo TS Phạm Văn Tiến, tận tình giúp đỡ, tạo điều kiện thuận lợi hiệu chỉnh cho luận văn Cám ơn thầy giáo, cô giáo Viện Điện tử - Viễn thơng giúp đỡ tơi hồn thành luận văn Luận văn tốt nghiệp cao học Chƣơng I: TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƢỢNG CHUYỂN ĐỘNG 1.1 Khái niệm video Video hay gọi chuỗi ảnh (image sequence) tượng trưng cho thơng tin hình ảnh Đó chuỗi hình ảnh truyền liên tục theo thời gian [8] S = f(x,y,t) đó: (1.1) x,y € R: tọa độ điểm ảnh (thông tin không gian) t € R: thông tin thời gian Dựa công thức, ta thấy ảnh tĩnh trường hợp đặc biệt video Khi chuỗi ảnh không thay đổi theo thời gian i,j € R … x,y € R F(x,y,t1) = F(x,y,t2); (1.2) Video thường thu, lưu trữ, chuyển đổi dạng tương tự (analog) nên video tương tự 1.2 Khái niệm video tƣơng tự 1.2.1 Tín hiệu video tương tự Tín hiệu video tương tự xem tín hiệu điện chiều theo thời gian f(t) lấy mẫu theo chiều dọc Việc lấy mẫu theo chu kỳ gọi quét (scanning) Các phương pháp quét thường sử dụng quét liên tục (progressive scanning) quét xen kẽ (interlace scanning) [8]  Quét liên tục A C B D Luận văn tốt nghiệp cao học Hình 1.1 Qt liên tục Các dịng qt A đến B, tiếp tục đến C đến D quay trở lại A [8] - Mỗi ảnh hay gọi frame liệu lấy mẫu theo thời gian - Mỗi ảnh quét liên tục dòng ngang từ xuống với tốc độ ∆t giây - Phương pháp thường dùng công nghiệp máy tính với tốc độ ∆t = 1/72 giây  Quét xen kẽ E A B C F D Hình 1.2 Quét xen kẽ Dòng quét A đến B, chuyển qua C tiếp tục tới D trở E tiếp tục quét đến F [8] Vì mắt người phát hình ảnh chớp tần số quét 50Hz nên tần số quét máy phải lớn 50Hz Tuy nhiên áp dụng ngành công nghiệp khác ngành truyền thơng gặp khó khăn vấn đề băng thơng kích thước q lớn Từ xuất phương pháp quét xen kẽ Phương pháp chia dòng quét thành dòng chẵn dòng lẻ (gọi field) quét dòng chẵn khoảng thời gian ∆t chuyển qua quét dịng lẻ Vì tần số qt giảm nửa [8] Một số thông số quan trọng tín hiệu video: 10 Luận văn tốt nghiệp cao học Vơn kế servo giữ vai trị việc cho phép định vị trục Vôn kế gắn vào trục (trong số servo, Vôn kế trục ra) Bằng cách này, vị trí Vơn kế phản ánh xác vị trí trục servo Khi cần chạy bên Vôn kế chuyển động, điện thay đổi Mạch điều khiển servo so sánh điện với độ dài xung số đưa vào phát “tín hiệu sai số” điện khơng Tín hiệu sai số tỉ lệ với độ lệch vị trí Vơn kế độ dài tín hiệu vào Mạch điều khiển kết hợp tín hiệu sai số để quay động Khi điện Vôn kế độ dài xung số nhau, tín hiệu sai số loại bỏ đông ngừng [14] 3.2.1.3 Các giới hạn quay Các servo khác góc quay với tín hiệu – ms (hoặc bất kỳ) cung cấp Các servo chuẩn thiết kế để quay tới lui từ 900 đến 1800 cung cấp toàn chiều dài xung Phần lớn servo quay 1800 hay gần 1800 [14] Nếu ta cố điều khiển servo vượt giới hạn học nó, trục động đụng vật cản bên trong, dẫn đến bánh bị mài mòn hay bị rơ Hiện tượng kéo dài vài giây làm bánh động bị phá hủy [14] 3.2.2 Mạch Arduino UNO Arduino board mạch vi xử lý, nhằm xây dựng ứng dụng tương tác với môi trường thuận lợi Phần cứng bao gồm board mạch nguồn mở thiết kế tảng vi xử lý AVR Atmel 8bit, AVR Atmel 32-bit Những model đại trang bị gồm cổng giao tiếp USB, chân đầu vào analog, 14 chân I/O kỹ thuật số tương thích với nhiều board mở rộng khác [16] Được giới thiệu vào năm 2005, nhà thiết kế Arduino cố gắng mang đến phương thức dễ dàng, không tốn cho người yêu thích, sinh viên giới chuyên nghiệp để tạo thiết bị có khả tương tác với môi trường thông qua cảm biến cấu chấp hành Những ví dụ phổ biến cho người yêu thích bắt đầu bao gồm robot đơn giản, điều khiển nhiệt độ 43 Luận văn tốt nghiệp cao học phát chuyển động Đi với mơi trường phát triển tích hợp (IDE) chạy máy tính cá nhân thơng thường cho phép người dùng viết chương trình cho Arduino ngơn ngữ C C++ [16] Hình 3.3 Mạch điều khiển Arduino UNO [16] Một vài thông số Arduino UNO R3 [16] Vi điều khiển ATmega328 (họ bit) Điện áp hoạt động 5V –DC (chỉ cấp qua cổng USB) Tần số hoạt động 16 MHz Dòng tiêu thụ 30 mA Điện áp vào khuyên dùng 7-12V - DC Điện áp vào giới hạn – 20V - DC Số chân Digital I/O 14 (6 chân PWM) Số chân Analog (độ phân giải 10 bit) Dòng tối đa chân I/O 30 mA Dòng tối đa (5V) 500 mA Dòng tối đa (3.3V) 50 mA Bộ nhớ flash 32 KB (ATmega328) với 0.5KB dùng bootloader 44 Luận văn tốt nghiệp cao học SRAM KB (ATmega328) EEPROM 1KB (ATmega328) 3.2.2.1 Vi điều khiển Arduino UNO sử dụng vi điều khiển họ 8bit AVR ATmega8, ATmega168, ATmega328 Bộ não xử lý tác vụ đơn giản điều khiển đèn LED nhấp nháy, xử lý tín hiệu cho xe điều khiển từ xa, làm trạm đo nhiệt độ, độ ẩm hiển thị lên hình LCD,… nhiều ứng dụng khác 3.2.2.2 Năng lượng Arduino cấp nguồn 5V thơng qua cổng USB cấp nguồn với điện áp khuyên dùng 7-12V DC giới hạn 6-20V DC Thông thường, cấp nguồn pin vuông 9V hợp lý khơng có sẵn nguồn từ cổng USB Nếu cấp nguồn vượt ngưỡng giới hạn làm hỏng Arduino UNO [16] 3.2.2.3 Các chân lượng - GND (Ground): Cực âm nguồn điện cấp cho Arduino UNO - 5V: Cấp điện áp 5V đầu Dòng tối đa cho phép chân 500mA - 3.3V: Cấp điện áp 3.3V đầu Dòng tối đa cho phép chân 50mA - Vin (Voltage Input): Để cấp nguồn cho Arduino UNO, cực dương nguồn nối với chân cực âm nguồn nối với chân GND - IOREF: Điện áp hoạt động vi điều khiển Arduino UNO đo chân Mặc dù vậy, không lấy nguồn 5V từ chân để sử dụng chức khơng phải để cấp nguồn - RESET: Việt nhấn nút Reset board để reset vi điều khiển tương đương với việc chân RESET nối với GND qua điện trở 10KΩ 3.2.2.4 Bộ nhớ Vi điều khiển Atmega328 tiêu chuẩn cung cấp cho người dùng [16]: 45 Luận văn tốt nghiệp cao học - 32KB nhớ Flash: Những đoạn lệnh lập trình lưu trữ nhớ Flash vi điều khiển Thường có khoảng vài KB số dùng cho bootloader - 2KB cho SRAM (Static Random Access Memory): giá trị biến khai báo lập trình lưu Khi điện, liệu SRAM bị - 1KB cho EEPROM (Electrically Eraseble Programmable Read Only Memory): giống ổ cứng mini – nơi đọc ghi liệu vào mà khơng lo bị cúp điện giống liệu SRAM 3.2.2.5 Các cổng vào/ra Hình 3.4 Các cổng vào/ra mạch Arduino UNO [16] Arduino UNO có 14 chân digital dùng để đọc xuất tín hiệu Chúng có mức điện áp 0V 5V với dòng vào/ra tối đa chân 40mA Ở 46 Luận văn tốt nghiệp cao học chân có điện trở pull-up từ cài đặt vi điều khiển ATmega328 (mặc định điện trở không kết nối) Một số chân digital có chức đặc biệt sau: - chân Serial: (RX) (TX): dùng để gửi (transmit – TX) nhận (receive – RX) liệu TTL Serial Arduino UNO giao tiếp với thiết bị khác thông qua chân Kết nối bluetooth thường thấy nói nơm na kết nối Serial không dây - Chân PWM (~): 3, 6, 9, 10, 11: Cho phép xuất xung PWM với độ phân giải 8bit (giá trị từ → 28 – tương ứng với 0V → 5V) hàm analogWrite() Nói cách đơn giản, bạn điều chỉnh điện áp chân từ mức 0V đến 5V thay cố định mức 0V 5V chân khác - Chân giao tiếp SPI: 10 (SS), 11 (MOSI), 12 (MISO), 13 (SCK) Ngồi chức thơng thường, chân cịn dùng để truyền phát liệu giao thức SPI với thiết bị khác - LED 13: Trên Arduino UNO có đèn LED màu cam (kí hiệu chữ L) Khi bấm nút Reset, bạn thấy đèn nhấp nháy để báo hiệu Nó nối với chân số 13 Khi chân sử dụng, LED sáng Arduino UNO có chân Analog (A0 → A5) cung cấp độ phân giải tín hiệu 10bit (0→210 – 1) để đọc giá trị điện áp khoảng 0V → 5V Với chân AREF board, đưa vào điện áp tham chiếu sử dụng chân analog Tức cấp điện áp 2.5V vào chân dùng chân analog để đo điện áp khoảng từ 0V → 2.5V với độ phân giải 10bit Đặc biệt, Arduino UNO có chân A4 (SDA) A5 (SCL) hỗ trợ giao tiếp I2C/TWI với thiết bị khác 3.3 Các phần mềm đƣợc sử dụng - Visual Studio 2010 Ultimate - OpenCV 2.4 - Arduino 1.0.6 47 Luận văn tốt nghiệp cao học 3.3.1 Phần mềm Visual Studio 2010 Ultimate Visual Studio 2010 Ultimate tập trung vào cột trụ cốt lõi trải nghiệm phát triển phần mềm, cung cấp tảng nhất, trải nghiệm nhắm tới loại ứng dụng định Visual Studio 2010 Ultimate cơng cụ hồn chỉnh cho phép xây dựng ứng dụng cho máy để bàn lẫn ứng dụng web doanh nghiệp theo nhóm Ngồi khả xây dựng ứng dụng desktop tốc độ cao, bạn cịn sử dụng cơng cụ phát triển mạnh mẽ dựa thành phần công nghệ khác nhằm đơn giản hóa thiết kế, phát triển triển khai giải pháp doanh nghiệp theo nhóm Microsoft Visual Studio 2010 Ultimate cung cấp môi trường tích hợp cơng cụ kiến trúc máy chủ nhằm đơn giản hóa tồn tiến trình phát triển ứng dụng Tạo kết kinh doanh với tiến trình hiệu quả, tùy biến dự đoán tăng cường khả làm việc liên thông khả theo dõi suốt chu trình phát triển với phân tích chi tiết Bất kể tạo lập giải pháp hay tăng cường ứng dụng có với cơng cụ dựng mẫu, kiến trúc phát triển cho phép bạn thực hóa tầm nhìn nhắm đến số lượng tảng công nghệ mở rộng, bao gồm điện tốn đám mây song song Hiện thực hóa hiệu làm việc nhóm cách khai thác tính cộng tác tiên tiến sử dụng cơng cụ kiểm định dị lỗi tích hợp nhằm vừa đảm bảo chất lượng giải pháp vừa giảm thiểu phí tổn phát triển 3.3.2 Thư viện mã nguồn mở OpenCV 2.4 OpenCV thư viện mã nguồn mở mạnh hỗ trợ cho việc xử lý ảnh vấn đề liên quan đến thị giác máy tính (Computer Vision) Tổ chức thư viện OpenCV đơn giản, bao gồm module module mở rộng [15]: - CXCORE: chứa định nghĩa kiểu liệu sở Ví dụ, cấu trúc liệu cho ảnh, điểm hình chữ nhật định nghĩa cxtypes.h CXCORE chứa đại số tuyến tính phương pháp thống kê, chức 48 Luận văn tốt nghiệp cao học trì điều khiển chuỗi Một số ít, chức đồ họa để vẽ ảnh đặt - CV: chứa thuật tốn xử lý ảnh định kích cỡ camera Các chức hình họa máy tính đặt - CVAUX: mô tả tài liệu OpenCV chứa mã cũ thử nghiệm Tuy nhiên, giao diện đơn cho nhận diện ảnh module Code sau chúng chuyên dụng cho nhận diện mặt chúng ứng dụng rộng rãi cho mục đích - HIGHGUI CVCAM đặt thư mục “otherlibs” o HIGHGUI: chứa giao diện vào bản, chứa khả cửa sổ mở rộng vào video o CVCAM: chứa giao diện cho video truy nhập qua DirectX Windows 32 bits Các chức OpenCV tập trung vào thu thập ảnh, xử lý ảnh thuật toán phân tích liệu ảnh, bao gồm: - Truy xuất ảnh phim: đọc ảnh số từ camera, từ file, ghi ảnh phim - Cấu trúc liệu ảnh số liệu hỗ trợ cần thiết: ma trận, vector, chuỗi, xâu - Xử lý ảnh bản: lọc có sẵn, tìm chi tiết cạnh, góc, chỉnh đổi màu, phóng to, thu nhỏ, hiệu chỉnh histograms - Xử lý cấu trúc: tìm viền, nhận chuyển động, thay đổi không gian 3D, đối chiếu mẫu, xấp xỉ đơn vị hình học sở - mặt phẳng, đa giác, ellipse, đường thẳng… - Phân tích liệu ảnh: nhận dạng thực thể, theo dõi chi tiết phân tích chuyển động - Tạo giao diện đơn giản: hiển thị ảnh, thao tác bàn phím, chuột, trượt để chỉnh thơng số (nếu cần thiết bạn tự tạo thêm phím điều khiển thơng qua thao tác chuột, tích hợp thêm thư viện giao diện Widgets) 49 Luận văn tốt nghiệp cao học Chức vẽ, thích lên ảnh 3.4 Kết mơ Chương trình mô thay đổi dựa vào màu sắc vật thể Camera quay liên tục phạm vi từ 00 đến 1800 Màu sắc vật thể cài đặt trước, màu sắc cài đặt trước xuất hiện, camera dừng quay đánh dấu vật thể cần theo dõi Khi vật thể di chuyển, camera quay theo di chuyển vật thể Cài đặt màu sắc cần theo dõi trình bày hình 3.5 Hình 3.5 Bảng điều khiển cài đặt màu sắc cần quan sát Chương trình thực chuyển đổi khơng gian màu RGB sang HSV, giá trị màu sắc cài đặt để phát xuất đối tượng giá trị không gian màu HSV (H: màu sắc, S: độ đậm đặc, bão hòa, V: giá trị cường độ sáng) 50 Luận văn tốt nghiệp cao học Khi có vật thể xuất khu vực cần quan sát, vật thể đánh dấu (vòng tròn màu đỏ), màu sắc vật thể thiết lập với giá trị H, S, V trước Hình 3.6 ảnh gốc tín hiệu thu được, vật thể màu hồng cần quan sát đánh dấu vòng tròn màu đỏ Ảnh sau xử lý hiển thị dạng điểm đen điểm trắng, điểm trắng vật thể cần quan sát 51 Luận văn tốt nghiệp cao học Hình 3.7 ảnh cần quan sát điểm màu trắng Camera quay theo di chuyển điểm ảnh màu trắng Để theo dõi vật thể có màu sắc khác nhau, cần thay đổi bảng giá trị màu sắc cho phù hợp Chương trình mơ mô tả thành phần cấu tạo nguyên lý hoạt động hệ thống camera giám sát tự động Bằng việc kết hợp mạch phần cứng thư viện phần mềm mã nguồn mở, thiết kết thành công hệ thống giám sát tự động dựa vào tín hiệu video thu từ camera Hệ thống có khả tự động bám sát theo dõi hành vi đối tượng cần giám sát Trong hệ thống này, việc phát đối tượng lạ xuất dựa vào đặc tính màu sắc đối tượng nên việc phát trở nên dễ dàng Bên cạnh kết đạt chương trình có hạn chế sau: - Khi cường độ ánh sáng thay đổi (do thời tiết, thời gian…), chương trình chưa có khả tự động cân cường độ sáng - Hệ thống chưa có khả hoạt động vào ban đêm 52 Luận văn tốt nghiệp cao học Thêm vào đó, hệ thống sử dụng 01 camera 01 servo motor nên chưa có khả theo dõi nhiều đối tượng xuất di chuyển theo nhiều hướng khác Để triển khai hệ thống hoạt động thực tế cần phải phát triển thêm số vấn đề sau: - Xây dựng hệ thống có khả tự động phát đối tượng lạ xuất dựa nhiều đặc tính khác (dựa vào hình dáng, màu sắc, kích thước, đặc điểm riêng đối tượng, …) - Phát triển thêm hệ thống camera hồng ngoại để phát đối tượng lạ vào ban đêm - Sử dụng kết nối không dây máy vi tính hệ thống camera để đáp ứng kịp xu hướng phát triển - Phát triển hệ thống gồm nhiều camera để dõi nhiều đối tượng xuất di chuyển theo nhiều hướng khác 53 Luận văn tốt nghiệp cao học KẾT LUẬN Trên thực tế, giám sát camera ứng dụng rộng rãi nhiều lĩnh vực sống, việc nghiên cứu vấn đề liên quan đến hệ thống giám sát nhằm đưa cảnh báo xác, kịp thời cơng việc mang tính thực tiễn cao Kết thu nhận từ camera giám sát tín hiệu Video Do đó, việc nghiên cứu phát đối tượng chuyển động Video Video thu nhận từ camera xử lý qua công đoạn sau: phát đối tượng xuất hiện, đánh dấu đối tượng xuất hiện, phân loại chúng cho kết đối tượng cần theo dõi vị trí nào, từ liên tục bám sát đối tượng dựa ngưỡng định (camera tự động chiếu theo di chuyển đối tượng) Trong luận văn, phần mô thực thông qua công cụ Visual Studio C++ 2010 Ultimate, OpenCV 2.4 Arduino 1.0.6 cho thấy rõ phát đối tượng khu vực giám sát tự động bám theo đối tượng Hệ thống đầu vào chương trình mơ lấy hình ảnh trực tiếp từ webcam gắn vào máy vi tính Các thơng số đầu vào đối tượng cần theo dõi cài đặt trước (thiết lập màu sắc đối tượng cần quan sát) Trong trình thu nhận, ảnh từ webcam thường bị biến dạng thiết bị thu thấp dẫn đến việc cân chỉnh lại phức tạp phụ thuộc q nhiều vào môi trường xung quanh (bị nhiễu, thay đổi ánh sáng, độ tương phản …) Do đó, cơng việc khử nhiễu, cân chỉnh mức xám thường xác định thông qua mức ngưỡng người sử dụng thiết lập trước chưa có khả tự động cân 54 Luận văn tốt nghiệp cao học XU HƢỚNG PHÁT TRIỂN TƢƠNG LAI Trong trình thực đề tài, hạn chế trình độ thời gian thực đề tài, chương trình xây dựng phần demo thuật toán phát bám theo đối tượng chuyển động dựa vào tín hiệu thu từ camera Xử lý chuyển động dựa đặc tính màu sắc đối tượng Tuy nhiên khung cảnh có nhiều đối tượng chuyển động theo hướng khác thuật tốn cho kết khơng tốt Để triển khai thực tế địi hỏi phải cải tiến Hy vọng tương lai, phát triển giúp đề tài hoàn thiện hơn: - Xây dựng thuật toán cải thiện chất lượng video bao gồm: loại trừ nhiễu, loại trừ bóng tối ưu thuật tốn để tăng tốc độ chương trình - Xây dựng thuật tốn phát khn mặt hình dáng người để hiển thị đối tượng cần giám sát rõ ràng - Xây dựng thư viện trực quan đối tượng chuyển động nhiều loại Video Trong người mục tiêu hàng đầu Như vậy, người dùng biết liệu có người xuất đoạn Video hay không 55 Luận văn tốt nghiệp cao học TÀI LIỆU THAM KHẢO A Amer, Volting-based Simultaneous Tracking of Multiple Video Objects, Symposium on Electronic Imaging, Santa Clara Gary Bradski and Adrian Kaehler (2008), Learning OpenCV, O’Reilly Media, First Edition, Gravenstein Highway North, Sebastopol Claudio Caltado, Andrea Monaci, Douglas Heins, Document analysis method to detect BW/color areas and corresponding scanning device United Stated Parent pp, 342-368 Robert T.Colins, Alan J.Lipton and Takeo Kamade, A System for Video Surveillance and Monitoring (1999) Crandall David J, Luo Jiebo Method for detecting color objects in digital images Robert Laganière (2011), Opencv Computer Vision Application Programming Cookbook, Packt Publishing, First Edition, Lincoln Road, Birmingham pp, 120-155 Joshua Noble (2009), Programming Interactivity, O’Reilly Media, First Edition, Gravenstein Highway North, Sebastopol pp, 113-150 A Murat Tekalp Digital Video Processing, Prentice Hall PTR C Stauffer and W Grimson, Adaptive Background Mix Models for Realtime Tracking In Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 10 Rupali S.Rakibe, Bharati D.Patil, Background Subtraction Algorithm Based Human Motion Detection International Journal of Scientific and Research Publications 11 Mahamuni P D, R P Patil, H S Thakar, Moving Object Detection Using Background Subtraction Algorithm Using Simulink International Journal of Scientific and Research Publications 12 Nguyễn Văn Long, Ứng dụng xử lý ảnh thực tế với thư viện OpenCV C/C++ 56 Luận văn tốt nghiệp cao học 13 Trịnh Quốc Tiến, Hướng dẫn bước tự học thực hành Visual C++ 2008, NXB Hồng Đức 14 Lâm Quỳnh Trang, Lê Trọng Hiền, Nguyễn Minh Trung, Đoàn Hiệp (2008), Động servo, Trường Đại học Bách khoa Tp.HCM trang, 2-8 15 http://www.comvisap.com/2012/01/ktcb2.html 16 http://arduino360.com/tu-hoc/ 57 ... luận văn phân tích tín hiệu video phát kiểm soát đối tượng chuyển động Trên định hướng đó, luận văn chia thành ba chương sau: Chƣơng 1: Tổng quan xử lý video phát đối tƣợng chuyển động Chương... 2.2.3 Phát đối tượng dời đối tượng biến Khả phát dời biến đối tượng vấn đề sống ứng dụng giám sát Hệ thống trình bày phát phân biệt đối tượng di dời biến video Có ba bước để phát dời biến đối tượng. .. Tham chiếu đối tượng dựa tương tự đồ thị tương ứng đối tượng Phát điều khiển chồng chéo tách đối tượng đồ thị tương ứng đối tượng cập nhật Phát đối tượng dời đi/biến thông tin đường đối tượng Hình