Phát hiện đối tượng đột nhập dưới sự trợ giúp của camera

Phát đối tượng đột nhập trợ giúp Camera LỜI CẢM ƠN Sau thời gian học tập nghiên cứu em hoàn thành đồ án tốt nghiệp với đề tài: “Phỏt đối tượng đột nhập trợ giúp Camera” Đầu tiên em xin bày tỏ lịng kính trọng biết ơn chân thành đến thầy giáo TS.Đỗ Năng Toàn người trực tiếp hướng dẫn tạo điều kiện cho em thực tập Viện công nghệ thông tin – Viện khoa học cơng nghệ Việt Nam để hồn thành đồ án tốt nghiệp Đồng thời em xin chân thành cảm ơn thầy cô giáo giảng dạy Bộ môn Tin học – Trường ĐH dân lập Hải Phòng suốt bốn năm học vừa qua trang bị cho em kiến thức cần thiết bổ ích giúp em hồn thành đồ án tốt nghiệp kỹ nghề nghiệp sau Em xin chân thành cảm ơn anh chịtại phịng thí nghiệm thực ảo – Viện cơng nghệ thơng tin Việt Nam nhiệt tình giúp đỡ em trình thực tập tìm kiếm tài liệu Cuối xin cảm ơn gia đình bạn bè cổ vũ động viên em suốt thời gian vừa qua Do khả có hạn nên nội dung đồ án cịn có nhiều khiếm khuyết, sơ sài mong nhận góp ý thầy bạn Hải phịng, ngày…thỏng…năm… Sinh viên Bùi Thanh Liêm SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera MỤC LỤC PHẦN MỞ ĐẦU Chương 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1 TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1.1 Xử lý ảnh gì? .5 1.1.2 Tổng quan hệ thống xử lý ảnh 1.1.3 Các vấn đề xử lý ảnh .6 1.1.3.1 Một số khái niệm 1.1.3.2 Thu nhận ảnh 1.1.3.3 Biểu diễn ảnh 1.2 TỔNG QUAN VỀ VIDEO 1.2.1.Một số khái niệm 1.2.2.Một số thuộc tính đặc trưng video 1.2.2.3 Hình dáng (Shape) 1.2.2.4 Chuyển động (Motion) Chương 2: PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP9 2.2 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG 10 2.3 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT XỬ LÝ ẢNH 10 2.3.1 Các kỹ thuật trừ ảnh 10 2.3.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 11 2.3.1.2 Trừ ảnh phân khối .12 2.3.1.3 Phương pháp biểu đồ 14 2.3.1.3.1 Biểu đồ toàn cục 15 2.3.1.3.2 Biểu đồ cục .16 2.3.1.4 Phương pháp thống kê 17 2.3.1.5 Trừ ảnh dựa vào đặc trưng 18 2.3.1.5.1 Đặc trưng vector chuyển động 18 SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera 2.3.2 Kỹ thuật trừ nền(Background subtraction) 18 2.3.2.1 Không gian màu(Color space) 18 2.3.2.2 Mơ hình (Background modeling) .19 2.3.2.3 Lựa chọn ngưỡng (Thresholh selection) 19 2.3.2.4 Thao tác trừ (Subtraction operation) 21 Chương 3: CHƯƠNG TRÌNH ỨNG DỤNG DISCOVERY22 3.1 KỸ THUẬT BẮT GIỮ HÌNH ẢNH QUA CAMERA 22 3.2 PHÂN TÍCH U CẦU BÀI TỐN VÀ THUẬT GIẢI ĐỀ XUẤT 24 3.3 CÁC HÀM VÀ LỚP CHÍNH TRONG CHƯƠNG TRÌNH 25 3.4 CHỨC NĂNG VÀ CÁCH SỬ DỤNG CHƯƠNG TRÌNH 28 TÀI LIỆU THAM KHẢO 32 SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera PHẦN MỞ ĐẦU Trong thời đại ngày công nghệ thông tin thâm nhập vào toàn lĩnh vực đời sống xã hội Xã hội ngày phát triển nên đòi hỏi nhu cầu công nghệ thông tin ngày cao, mà liệu số khơng cịn xa lạ người Trong lĩnh vực ứng dụng công nghệ thông tin trợ giúp người nhiều Hiện nay, thơng tin hình ảnh đóng vai trị quan trọng trao đổi thơng tin, phần lớn thông tin mà người thu nhận thông qua thị giác Trong lĩnh vực công nghệ thơng tin lĩnh vực giám sát tự động thu hút nhiều nghiên cứu Cùng với phát triển sức mạnh máy tính, hệ thống giám sát tự động ngày tinh vi đại trợ giúp người nhiều việc bảo vệ an ninh, giám sát giao thông, … Ở nước ta nay, lĩnh vực giám sát tự động cú bước phát triển đáng kể Tuy nhiên, dựa tảng phần cứng chưa ứng dụng nhiều thực tế điều kiện kinh tế xã hội Việc giải toán theo hướng tiếp cận sử dụng phần mềm chưa quan tâm phát triển Do em nghiên cứu đề tài: “Phỏt đối tượng đột nhập trợ giúp Camera” Một toán then chốt kĩnh vực giám sát tự động, khuôn khổ đồ án em tập trung trình bày kỹ thuật trừ ảnh ứng dụng kỹ thuật để giải tốn phát đối tượng đột nhập thơng qua WebCam Nội dung đồ án gồm chương sau: Chương 1: Tổng quan hệ thống xử lý ảnh Chương 2: Phát đối tượng đột nhập SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera Chương : Chương trình ứng dụng Chương 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1 TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1.1 Xử lý ảnh gì? Xử lý ảnh trình thu nhận ảnh nhằm biến đổi từ ảnh sang ảnh khác cho kết mong muốn Ảnh mong muốn Kết Ảnh đầu vào Xử lý ảnh Kết luận Hình 1.1: Quá trình xử lý ảnh 1.1.2 Tổng quan hệ thống xử lý ảnh CAMERA Thu nhận ảnh Tiền xử lý Trích chọn đặc trưng Đối sánh Kết SENSOR CSDL Hình 1.2: Các giai đoạn xử lý ảnh SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera 1.1.3 Các vấn đề xử lý ảnh 1.1.3.1 Một số khái niệm  Pixel (Picture Element): phần tử ảnh  Ảnh  Mức xỏm(Grey Level)  Lược đồ mức xỏm(Histogram) 1.1.3.2 Thu nhận ảnh Để đưa ảnh vào máy tính dùng thiết bị thu nhận như: camera cộng với chuyển đổi tương tự số AD(Analog to Digital) máy quét chuyên dụng 1.1.3.3 Biểu diễn ảnh Sau trình số hoá ta thu ma trân tương ứng với ảnh cần xét, phần tử ma trận tương ứng với điểm ảnh Các điểm thường đặc trưng toạ độ màu RGB tương ứng với hệ toạ độ màu sau: G 255 Thi(R,G,B)B Ii(R,G,B)B i (R,G,B)B B R 255 255 Hình 1.4:Hệ toạ độ màu RGB Ảnh biểu diễn theo hai mơ hình sau:  Mơ hình RASTER: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera Ảnh biểu diễn dạng ma trận điểm ảnh Mơ hình RASTER phù hợp cho việc thu nhận hiển thị ảnh  Mơ hình VECTOR: Người ta sử dụng hướng vector điểm ảnh lân cận để mó hoỏ tái tạo ảnh ban đầu Khi xử lý ảnh Raster quan tâm Điểm 4- láng giềng điểm láng giềng: ·· ·· ·  o  · ··  · · ·    · ·  o  · ·    · Hình 1.5: Điểm - láng giềng - láng giềng 1.2 TỔNG QUAN VỀ VIDEO 1.2.1.Một số khái niệm Video tập hợp khung hỡnh(Frames), khung hình ảnh Shot(lia) đơn vị sở video Một lia đơn vị vật lý dòng video, gồm chuỗi khung hình liên tiếp, khơng thể chia nhỏ Scene(cảnh) đơn vị logic dịng video Cấu trúc phân cấp video mơ tả hình vẽ: Video Scene Shots Lia Frames Hình 1.6: Cấu trúc phân cấp video 1.2.2.Một số thuộc tính đặc trưng video SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera Video có đặc tớnh chung là: màu(color), kết cấu(texture), hỡnh dỏng(shape), chuyển động(motion) 1.2.2.1 Màu(Color) Màu thuộc tính đặc trưng ảnh Biểu đồ màu, biểu diến phân bố màu, đặc trưng màu phổ biến Biểu đồ màu không phụ thuộc vào quay, dịch chuyển ảnh chiều nhìn ảnh Tuy nhiên với biểu đồ màu không biểu diễn thông tin khơng gian phân bố điểm ảnh, hai điểm ảnh cú cựng biểu đồ màu lại có nội dung khác Hình 1.8: Các ảnh khác có biểu đồ màu P(rk) P(rk) Dark image Bright image rk rk (a) P(rk) (b) Low-contrast image P(rk) High-contrast image rk rk (c) (d) Hình 1.9: Các ảnh khác có biểu đồ màu 1.2.2.2 Kết cấu (Texture) SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera Đây đặc trưng quan trọng bề mặt, nơi xảy việc lặp lại mẫu Có hai dạng biểu diễn texture phổ biến : biểu diễn dạng ma trận đồng thời biểu diễn Tamura 1.2.2.3 Hình dáng (Shape) Các đặc trưng hỡnh dỏnh biểu diễn sử dụng phân tích truyền thống bất biến mơmen, mơ tả Fourier, mơ hình học tự động quay lui, thuộc tính hình học 1.2.2.4 Chuyển động (Motion) Motion thuộc tính quan trọng video Thơng tin chuyển động sinh kỹ thuật ghép khối luồng ánh sáng Chương 2: PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP Có cách tiếp cận để giải tốn phát đối tượng đột nhập là: -Dựa hồn tồn vào phần cứng -Dựa vào kỹ thuật xử lý ảnh 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP Sự phát triển công nghệ thông tin đẩy nhanh phát triển lĩnh vực xã hội khác Với phát triển phần cứng phương diện thu nhận hiển thị tốc độ xử lý mở nhiều phương hướng cho phát triển phần mềm Trong phải kể đến lĩnh vực giám sát tự động Một toán quan trọng then chốt toán phát đối tượng đột nhập trợ giúp camera Ở nước ta nay, việc giải toán phát đối tượng đột nhập chủ yếu dựa vào phần cứng chưa ứng dụng nhiều thực tế Trong phần tìm hiểu cách tiếp cận để giải bài toán 2.2 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG Phát đối tượng đột nhập trợ giúp Camera Trong cách tiếp cận hệ thống giám sát tự động thường sử dụng camera có gắn chip cảm ứng đặt nơi nhạy cảm sử dụng hệ thống tia quét Mỗi camera gắn với thiết bị báo động, phát thấy có biến động thỡ nú tự động báo động Ưu điểm hướng tiếp cận sử dụng phần cứng cho độ xác độ tin cậy cao, tốc độ xử lý nhanh Tuy nhiên nú cú nhược điểm chi phí cho hệ thống giám sát lớn không phù hợp với mức thu nhập người Việt Nam 2.3 PHÁT HIỆN ĐỐI TƯỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT XỬ LÝ ẢNH Ta sử dụng nhiều kỹ thuật xử lý ảnh khác để phát đối tượng đột nhập sử dụng phép trừ (background subtraction), dũ biên (edge detection),… 2.3.1 Các kỹ thuật trừ ảnh Ký hiệu D(f1, f2) sai khác hai khung hình f 1,f2 Sự sai khác lớn ngưỡng xác định có đối tượng chuyển động hai khung hình Sự thay đổi khung hình tính tốn đặc trưng định Người ta thường dùng đặc trưng nội dung màu sắc, biểu đồ (biểu đồ màu, biểu đồ mức xám), cạnh, vector chuyển động, góc hay kết cấu (texture) Như thực việc phát có biến động khung hình, trước hết ta phải xác định đặc trưng mang so sánh, thứ hai xác định công thức trừ ảnh D, cuối định ngưỡng sai khác T b Giá trị ngưỡng thường xác đinh trước Hoặc người ta dùng ngưỡng thích ứng Chỉ sai khác lớn ngưỡng T b xem xét xử lý Hiện có nhiều kỹ thuật trừ ảnh chia thành loại sau: - Trừ ảnh dựa vào điểm ảnh SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 10 Phát đối tượng đột nhập trợ giúp Camera Trong đó: Rfi liệu ảnh tham chiếu , vector giá trị trung bình cỏc kờnh màu điểm ảnh I hệ toah độ màu RGB RGB chuẩn hoá vector độ lệch tiêu chuẩn cỏc kờnh màu điểm ảnh I hệ toạ độ màu RGB RGB chuẩn hố Các phương trình sau cho thấy cách tính tốn vector giá trị trung bình độ lệch chuẩn điểm ảnh I khơng gian màu RGB RGB chuẩn hóa: ( 2) (3) Trong : N số ảnh xét 2.3.2.3 Lựa chọn ngưỡng (Thresholh selection) Khi quan sát thay đổi điểim ảnh ảnh cảnh tĩnh, chúng mơ hình hố cách đơn giản phân phối Gaussian Giá trị ngưỡng điểm ảnh i ánh xạ hàm độ lệch tiêu chuẩn điểm ảnh giá trị ngưỡng điểm ảnh I hệ toạ độ màu RGB RGB chuẩn hố Các số cho trước, xác định độ tin cậy, cũn xác định miền giá trị ngưỡng Chúng ta tính giá trị ngưỡng điểm ảnh I cách đơn giản cách sử dụng , số Các phương trình (5),(6) hàm định, so sánh khác cỏc kờnh màu điểm ảnh I giá trị ngưỡng định trước hệ toạ độ màu RGB RGB chuẩn hoá SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 19 Phát đối tượng đột nhập trợ giúp Camera ( ) ( ) ( ) Trong đó: hàm định mô tả điểm ảnh i không gian màu c số lượng kênh màu Ở đây, u hàm đơn vị bước nhảy Di vector sai khác ảnh ảnh tham chiếu điểm ảnh i hệ toạ độ màu RGB RGB chuẩn hố Do đó, D i > Thi thỡ Ngược lại ,nó Sử dụng phương trình (5), (6) xác định điểm ảnh i sau: ( 3-8 ) Trong B ảnh BS ảnh ứng với bóng HS ảnh phân đoạn đối tượng ứng với bóng, H ảnh phân đoạn đối tượng khơng có bóng c1,c2 số lượng cỏc kờnh màu Trong hệ toạ độ RGB RGB chuẩn hố, khoản biến thiên chúng Phương pháp đề xuất sử dụng phương trình (3-8) để phân biệt cách xác H B cách điều chỉnh c1,c2 2.3.2.4 Thao tác trừ (Subtraction operation) Thao tác trừ mô tả hình vẽ đây: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 20