Phát hiện đối tượng đột nhập dưới sự trợ giúp của camera

Phát đối tượng đột nhập trợ giúp Camera LỜI CẢM ƠN Sau thời gian học tập nghiên cứu em hoàn thành đồ án tốt nghiệp với đề tài: “Phát đối tượng đột nhập trợ giúp Camera” Đầu tiên em xin bày tỏ lịng kính trọng biết ơn chân thành đến thầy giáo TS.Đỗ Năng Toàn người trực tiếp hướng dẫn tạo điều kiện cho em thực tập Viện công nghệ thông tin – Viện khoa học cơng nghệ Việt Nam để hồn thành đồ án tốt nghiệp Đồng thời em xin chân thành cảm ơn thầy cô giáo giảng dạy Bộ môn Tin học – Trường ĐH dân lập Hải Phòng suốt bốn năm học vừa qua trang bị cho em kiến thức cần thiết bổ ích giúp em hồn thành đồ án tốt nghiệp kỹ nghề nghiệp sau Em xin chân thành cảm ơn anh chịtại phịng thí nghiệm thực ảo – Viện cơng nghệ thơng tin Việt Nam nhiệt tình giúp đỡ em trình thực tập tìm kiếm tài liệu Cuối xin cảm ơn gia đình bạn bè cổ vũ động viên em suốt thời gian vừa qua Do khả có hạn nên nội dung đồ án cịn có nhiều khiếm khuyết, sơ sài mong nhận góp ý thầy bạn Hải phịng, ngày…tháng…năm… Sinh viên Bùi Thanh Liêm SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera MỤC LỤC PHẦN MỞ ĐẦU Chƣơng 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1 TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1.1 Xử lý ảnh gì? 1.1.2 Tổng quan hệ thống xử lý ảnh 1.1.3 Các vấn đề xử lý ảnh 1.1.3.1 Một số khái niệm 1.1.3.2 Thu nhận ảnh 1.1.3.3 Biểu diễn ảnh 1.2 TỔNG QUAN VỀ VIDEO 1.2.1.Một số khái niệm 1.2.2.Một số thuộc tính đặc trƣng video 1.2.2.3 Hình dáng (Shape) 1.2.2.4 Chuyển động (Motion) Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 2.2 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG 10 2.3 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT XỬ LÝ ẢNH 10 2.3.1 Các kỹ thuật trừ ảnh 10 2.3.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 11 2.3.1.2 Trừ ảnh phân khối 12 2.3.1.3 Phƣơng pháp biểu đồ 14 2.3.1.3.1 Biểu đồ toàn cục 15 2.3.1.3.2 Biểu đồ cục 16 2.3.1.4 Phƣơng pháp thống kê 17 2.3.1.5 Trừ ảnh dựa vào đặc trƣng 18 2.3.1.5.1 Đặc trƣng vector chuyển động 18 2.3.2 Kỹ thuật trừ nền(Background subtraction) 18 SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 2.3.2.1 Không gian màu(Color space) 18 2.3.2.2 Mơ hình (Background modeling) 19 2.3.2.3 Lựa chọn ngƣỡng (Thresholh selection) 19 2.3.2.4 Thao tác trừ (Subtraction operation) 21 Chƣơng 3: CHƢƠNG TRÌNH ỨNG DỤNG DISCOVERY 22 3.1 KỸ THUẬT BẮT GIỮ HÌNH ẢNH QUA CAMERA 22 3.2 PHÂN TÍCH YÊU CẦU BÀI TOÁN VÀ THUẬT GIẢI ĐỀ XUẤT 24 3.3 CÁC HÀM VÀ LỚP CHÍNH TRONG CHƢƠNG TRÌNH 26 3.4 CHỨC NĂNG VÀ CÁCH SỬ DỤNG CHƢƠNG TRÌNH 28 TÀI LIỆU THAM KHẢO 33 SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera PHẦN MỞ ĐẦU Trong thời đại ngày công nghệ thông tin hầu nhƣ thâm nhập vào toàn lĩnh vực đời sống xã hội Xã hội ngày phát triển nên đòi hỏi nhu cầu công nghệ thông tin ngày cao, mà liệu số khơng cịn xa lạ ngƣời Trong lĩnh vực ứng dụng công nghệ thông tin trợ giúp ngƣời nhiều Hiện nay, thơng tin hình ảnh đóng vai trị quan trọng trao đổi thơng tin, phần lớn thông tin mà ngƣời thu nhận đƣợc thông qua thị giác Trong lĩnh vực công nghệ thơng tin lĩnh vực giám sát tự động thu hút đƣợc nhiều nghiên cứu Cùng với phát triển sức mạnh máy tính, hệ thống giám sát tự động ngày tinh vi đại trợ giúp ngƣời nhiều việc bảo vệ an ninh, giám sát giao thông, … Ở nƣớc ta nay, lĩnh vực giám sát tự động có bƣớc phát triển đáng kể Tuy nhiên, dựa tảng phần cứng chƣa đƣợc ứng dụng nhiều thực tế điều kiện kinh tế xã hội Việc giải toán theo hƣớng tiếp cận sử dụng phần mềm chƣa đƣợc quan tâm phát triển Do em nghiên cứu đề tài: “Phát đối tƣợng đột nhập dƣới trợ giúp Camera” Một toán then chốt kĩnh vực giám sát tự động, khuôn khổ đồ án em tập trung trình bày kỹ thuật trừ ảnh ứng dụng kỹ thuật để giải tốn phát đối tƣợng đột nhập thơng qua WebCam Nội dung đồ án gồm chƣơng sau: Chƣơng 1: Tổng quan hệ thống xử lý ảnh Chƣơng 2: Phát đối tƣợng đột nhập Chƣơng : Chƣơng trình ứng dụng SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera Chƣơng 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1 TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1.1 Xử lý ảnh gì? Xử lý ảnh trình thu nhận ảnh nhằm biến đổi từ ảnh sang ảnh khác cho kết nhƣ mong muốn Ảnh mong muốn Kết Ảnh đầu vào Xử lý ảnh Kết luận Hình 1.1: Quá trình xử lý ảnh 1.1.2 Tổng quan hệ thống xử lý ảnh CAMERA Thu nhận ảnh Tiền xử lý Trích chọn đặc trƣng Đối sánh Kết SENSOR CSDL Hình 1.2: Các giai đoạn xử lý ảnh SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 1.1.3 Các vấn đề xử lý ảnh 1.1.3.1 Một số khái niệm  Pixel (Picture Element): phần tử ảnh  Ảnh  Mức xám(Grey Level)  Lƣợc đồ mức xám(Histogram) 1.1.3.2 Thu nhận ảnh Để đƣa ảnh vào máy tính dùng thiết bị thu nhận nhƣ: camera cộng với chuyển đổi tƣơng tự số AD(Analog to Digital) máy quét chuyên dụng 1.1.3.3 Biểu diễn ảnh Sau q trình số hố ta thu đƣợc ma trân tƣơng ứng với ảnh cần xét, phần tử ma trận tƣơng ứng với điểm ảnh Các điểm thƣờng đƣợc đặc trƣng toạ độ màu RGB tƣơng ứng với hệ toạ độ màu sau: G 255 Thi(R,G,B)B Ii(R,G,B)B i (R,G,B)B B R 255 255 Hình 1.4:Hệ toạ độ màu RGB Ảnh đƣợc biểu diễn theo hai mơ hình sau:  Mơ hình RASTER: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera Ảnh đƣợc biểu diễn dƣới dạng ma trận điểm ảnh Mơ hình RASTER phù hợp cho việc thu nhận hiển thị ảnh  Mơ hình VECTOR: Ngƣời ta sử dụng hƣớng vector điểm ảnh lân cận để mã hoá tái tạo ảnh ban đầu Khi xử lý ảnh Raster quan tâm Điểm 4- láng giềng điểm láng giềng: · · · ·  ·  · · o  ·  · · · · ·     o     · · · Hình 1.5: Điểm - láng giềng - láng giềng 1.2 TỔNG QUAN VỀ VIDEO 1.2.1.Một số khái niệm Video tập hợp khung hình(Frames), khung hình ảnh Shot(lia) đơn vị sở video Một lia đơn vị vật lý dịng video, gồm chuỗi khung hình liên tiếp, chia nhỏ Scene(cảnh) đơn vị logic dòng video Cấu trúc phân cấp video đƣợc mơ tả hình vẽ: Video Scene Shots Lia Frame s Hình 1.6: Cấu trúc phân cấp video SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 1.2.2.Một số thuộc tính đặc trƣng video Video có đặc tính chung là: màu(color), kết cấu(texture), hình dáng(shape), chuyển động(motion) 1.2.2.1 Màu(Color) Màu thuộc tính đặc trƣng ảnh Biểu đồ màu, biểu diến phân bố màu, đặc trƣng màu phổ biến Biểu đồ màu không phụ thuộc vào quay, dịch chuyển ảnh nhƣ chiều nhìn ảnh Tuy nhiên với biểu đồ màu không biểu diễn thông tin không gian phân bố điểm ảnh, hai điểm ảnh có biểu đồ màu lại có nội dung khác Hình 1.8: Các ảnh khác có biểu đồ màu P(rk) P(rk) Dark image Bright image rk rk (a) (b) P(rk) P(rk) High-contrast image Low-contrast image rk rk (c) (d) Hình 1.9: Các ảnh khác có biểu đồ màu SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 1.2.2.2 Kết cấu (Texture) Đây đặc trƣng quan trọng bề mặt, nơi xảy việc lặp lại mẫu Có hai dạng biểu diễn texture phổ biến : biểu diễn dạng ma trận đồng thời biểu diễn Tamura 1.2.2.3 Hình dáng (Shape) Các đặc trƣng hình dánh đƣợc biểu diễn sử dụng phân tích truyền thống nhƣ bất biến mơmen, mơ tả Fourier, mơ hình học tự động quay lui, thuộc tính hình học 1.2.2.4 Chuyển động (Motion) Motion thuộc tính quan trọng video Thơng tin chuyển động đƣợc sinh kỹ thuật ghép khối luồng ánh sáng Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Có cách tiếp cận để giải tốn phát đối tƣợng đột nhập là: -Dựa hồn tồn vào phần cứng -Dựa vào kỹ thuật xử lý ảnh 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Sự phát triển công nghệ thông tin đẩy nhanh phát triển lĩnh vực xã hội khác Với phát triển phần cứng phƣơng diện thu nhận hiển thị nhƣ tốc độ xử lý mở nhiều phƣơng hƣớng cho phát triển phần mềm Trong phải kể đến lĩnh vực giám sát tự động Một toán quan trọng then chốt toán phát đối tƣợng đột nhập dƣới trợ giúp camera Ở nƣớc ta nay, việc giải toán phát đối tƣợng đột nhập chủ yếu dựa vào phần cứng chƣa đƣợc ứng dụng nhiều thực tế Trong phần tìm hiểu cách tiếp cận để giải bài toán SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 2.2 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG Trong cách tiếp cận hệ thống giám sát tự động thƣờng sử dụng camera có gắn chip cảm ứng đặt nơi nhạy cảm sử dụng hệ thống tia quét Mỗi camera đƣợc gắn với thiết bị báo động, phát thấy có biến động tự động báo động Ƣu điểm hƣớng tiếp cận sử dụng phần cứng cho độ xác độ tin cậy cao, tốc độ xử lý nhanh Tuy nhiên có nhƣợc điểm chi phí cho hệ thống giám sát lớn không phù hợp với mức thu nhập ngƣời Việt Nam 2.3 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT XỬ LÝ ẢNH Ta sử dụng nhiều kỹ thuật xử lý ảnh khác để phát đối tƣợng đột nhập nhƣ sử dụng phép trừ (background subtraction), dò biên (edge detection),… 2.3.1 Các kỹ thuật trừ ảnh Ký hiệu D(f1, f2) sai khác hai khung hình f 1,f2 Sự sai khác lớn ngƣỡng xác định đƣợc có đối tƣợng chuyển động hai khung hình Sự thay đổi khung hình đƣợc tính tốn đặc trƣng định Ngƣời ta thƣờng dùng đặc trƣng nội dung màu sắc, biểu đồ (biểu đồ màu, biểu đồ mức xám), cạnh, vector chuyển động, góc hay kết cấu (texture) Nhƣ thực việc phát có biến động khung hình, trƣớc hết ta phải xác định đặc trƣng mang so sánh, thứ hai xác định công thức trừ ảnh D, cuối định ngƣỡng sai khác Tb Giá trị ngƣỡng thƣờng đƣợc xác đinh trƣớc Hoặc ngƣời ta dùng ngƣỡng thích ứng Chỉ sai khác lớn ngƣỡng T b đƣợc xem xét xử lý Hiện có nhiều kỹ thuật trừ ảnh chia thành loại nhƣ sau: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 2.3.2.2 Mơ hình (Background modeling) Trong phƣơng pháp đề xuất, quan tâm đến ảnh hệ toạ độ màu RGB RGB chuẩn hố Chúng ta xác định trung bình độ lệch tiêu chuẩn kênh màu(R,G,B) điểm ảnh i ảnh tham chiếu Mỗi điểm ảnh tham chiếu đƣợc mơ hình hóa nhƣ sau: R fi  i , i , i , i ,  Ri  I i  Gi ,  Bi  , , ri   Ri      I i   g i   Gi  I bi  i  Bi  (1) Trong đó: Rfi liệu ảnh tham chiếu i ,  vector giá trị trung bình kênh màu điểm ảnh I hệ toah độ màu RGB RGB chuẩn hoá  i ,  i vector độ lệch tiêu chuẩn kênh màu điểm ảnh I hệ toạ độ màu RGB RGB chuẩn hoá Các phƣơng trình sau cho thấy cách tính tốn vector giá trị trung bình độ lệch chuẩn điểm ảnh I không gian màu RGB RGB chuẩn hóa: i  N i  N 1  I j , i  j 0 N N N 1  I i  i , i  Ij ( 2) j 0 N I i  i (3) Trong : N số ảnh xét 2.3.2.3 Lựa chọn ngƣỡng (Thresholh selection) Khi quan sát thay đổi điểim ảnh ảnh cảnh tĩnh, chúng đƣợc mô hình hố cách đơn giản nhƣ phân phối Gaussian Giá trị ngƣỡng điểm ảnh i đƣợc ánh xạ hàm độ lệch tiêu chuẩn điểm ảnh SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera Thi    i , Thi    i Thi Thi giá trị ngƣỡng điểm ảnh I hệ toạ độ màu RGB RGB chuẩn hoá Các số  ,  cho trƣớc, xác định độ tin cậy, xác định miền giá trị ngƣỡng Chúng ta tính đƣợc giá trị ngƣỡng điểm ảnh I cách đơn giản cách sử dụng  i ,  i số  ,  Các phƣơng trình (5),(6) hàm định, so sánh khác kênh màu điểm ảnh I giá trị ngƣỡng định trƣớc hệ toạ độ màu RGB RGB chuẩn hoá  Fi   u Di ,c  Thi ,c  ( ) c 1  f i   u Di ,c  Thi ,c c 1 Di  I i   i  Di  I i   i Trong đó:  x1  x0 2   y1  y0 2  z1  z 2 Fi 0  Fi  3 ( ) ( ) f i 0  f i  3 hàm định mô tả điểm ảnh i không gian màu c số lƣợng kênh màu Ở đây, u hàm đơn vị bƣớc nhảy Di Di vector sai khác ảnh ảnh tham chiếu điểm ảnh i hệ toạ độ màu RGB RGB chuẩn hố Do đó, Di > Thi Ngƣợc lại ,nó Sử dụng phƣơng trình (5), (6) xác định điểm ảnh i nhƣ sau: B :  s H : Obji   s B : H :  Fi  c1  Fi  c1 f i  c2 ( 3-8 )  f i  c2 Trong B ảnh BS ảnh ứng với bóng HS ảnh phân đoạn đối tƣợng ứng với bóng, H ảnh phân đoạn đối tƣợng khơng có bóng c1,c2 số lƣợng kênh màu Trong hệ toạ độ RGB RGB chuẩn hố, khoản biến thiên chúng  c1   c2  SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 20 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera Phƣơng pháp đề xuất sử dụng phƣơng trình (3-8) để phân biệt cách xác H B cách điều chỉnh c1,c2 2.3.2.4 Thao tác trừ (Subtraction operation) Thao tác trừ đƣợc mô tả nhƣ hình vẽ dƣới đây: Hình 2.5: Sơ đồ thuật giải kỹ thuật trừ Trong  i  i vector giá trị trung bình độ lệch tiêu chuẩn kênh màu điểm ảnh I hệ toạ độ màu RGB  i  i vector giá trị trung bình độ lệch tiêu chuẩn kênh màu điểm ảnh i hệ toạ độ màu RGB chuẩn hoá   số ngƣỡng xác định không gian màu Dấu „-‟ biểu diễn thao tác trừ ảnh cho ảnh Dấu „>‟ so sánh khác Phƣơng pháp xét gần giống với kỹ thuật trừ thông thƣờng có bƣớc: +Bƣớc 1: Xâu chuỗi SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera +Bƣớc 2: Trừ đƣợc xâu chuỗi Trong bƣớc xâu chuỗi mơ hình hố sử dụng phƣơng trình (1) Tiếp xác định ngƣỡng điểm ảnh I thơng qua phƣơng trình (4) Sau mơ hình đƣợc thực khơng gian màu ta phân biệt đối tƣợng với bóng từ cảnh hệ toạ độ RGB sử dụng phƣơng trình (5) Tiếp lƣợng tử hố ảnh kết thành ảnh nhị phân Chƣơng 3: CHƢƠNG TRÌNH ỨNG DỤNG DISCOVERY 3.1 KỸ THUẬT BẮT GIỮ HÌNH ẢNH QUA CAMERA Mơi trƣờng Windows cung cấp cho ta hai cách lập trình với video Cách thứ dùng VFW(Video For Windows) API Cách thứ hai dùng lớp AVICap Windows VFW API hỗ trợ cho trình bắt giữ (capture) video từ webcam AVICap cung cấp cách tiếp cận dựa thông điệp đơn giản, cho phép truy cập, điều khiển luồng liệu audio, video Một ứng dụng xây dựng AVICap có số khả nhƣ: - Thu liệu audio, video vào file có mở rộng avi - Kết nối huỷ kết nối cá thiết bị vào thời gian thực thi - Xem trực tiếp liệu video từ thiết bị đầu vào theo phƣơng pháp preview overlay - Chỉ định tốc độ thu liệu - Hiển thị dialogbox cho phép ngƣời dùng điều khiển liệu video đầu vào - Sao chép hình ảnh palette lên clipboard - Thu ảnh đơn lƣu dƣới dạng DIB AVICap hỗ trợ khả thu liệu dƣới dạng ảnh tĩnh đơn hay theo dạng stream với nhiều frame ảnh Các frame ảnh có cách khoảng thời gian xác định hay tuỳ ý Việc thu stream ảnh SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera không cần lƣu trữ đĩa mà đƣợc sử dụng trực tiếp từ buffer nhớ, điều cho phép lập trình viên mềm dẻo việc xử lý ứng dụng khác Ngoài lớp AVICap cho phếp ứng dụng định hàm callback đƣợc sử dụng trình thu hình ảnh - Status Callback: đƣợc gọi có thay đổi trạng thái trình thu video - Error Callback : đƣợc gọi có lỗi xảy q trình thu video - Frame Callback : đƣợc gọi trƣớc frame ảnh đƣợc preview - Video Stream Callback: đƣợc gọi thu đƣợc frame ảnh trình streaming video - Audio Stream Callback: đƣợc gọi liệu audio đƣợc ghi đầy buffer Khi xây dựng ứng dụng video dùng lớp AVICap, ứng dụng thƣờng đƣợc thực hiên theo thứ tự sau: - Tạo capture window - Kết nối vào capture driver - Liệt kê capture driver cài đặt hệ thống - Lấy thông tin khả capture driver - Lấy thông tin trạng thái capture window - Trình bày dialogbox để thiết lập tham số video - Lấy nhƣ thiết lập thông số video format - Cho phép preview video - Cho phép overlay video - Đặt tên cho capture file - Cấp phát trƣớc vùng nhớ đĩa cho capture file - Định dạng audio capture - Thay đổi thông số video capture SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera - Thu liệu - Thêm chuỗi thông tin vào capture file - Thêm hàm callback vào ứng dụng Tiếp theo tìm hiểu số hàm AVICap Window thƣờng dùng: - Hàm tạo capture window hWndC = capCreateCaptureWindow( (LPSTR) “My capture Window”, // tên cửa sổ WS_CHILD | WS_VISIBLE, // kiểu cửa sổ 0,0,160,120, // vị trí cửa sổ (HWND) hwndParent, (int) nID ); - Kết nối vào capture driver fOK = capDriverConnect(hWndC,0); - Huỷ kết nối với capture driver capDriverDisconnect(hWndC); - Kích hoạt chế độ Preview video Đầu tiên cần phải đặt tốc độ bắt giữ hình ảnh, sau kích hoạt chế độ preview video VD: thiết lập tốc độ hiển thị frame chế độ preview 66 miliseconds frame(tức khoảng 15 fps) thiết lập chế độ preview cho capture window CapPreviewRate(hWndC,66); CapPreview(hWndC,TRUE); CapPreview(hWndC,FASLE); 3.2 PHÂN TÍCH U CẦU BÀI TỐN VÀ THUẬT GIẢI ĐỀ XUẤT Bài toán phát đối tƣợng đột nhập toán quan trọng then chốt lĩnh vực giám sát tự động Yêu cầu toán SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 24 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera phát đối tƣợng đột nhập nơi đặt camera quan sát nhƣ hành lang, cầu thang, v.v,…Tại vị trí hầu nhƣ không thay đổi Ý tƣởng thuật giải lấy hình ảnh trực tiếp từ webcam khoảng thời gian (xem nhƣ ảnh tại) so sánh với ảnh trƣớc kỹ thuật trừ điểm ảnh Nếu tìm thấy sai khác lớn chúng ta lƣu lại hai ảnh Ngƣợc lại giải phóng nhớ mà ảnh cũ chiếm giữ xem ảnh nhận đƣợc ảnh Sơ đồ thuật giải nhƣ sau: Start Old=grab Image From webcam False Click!= Exit true Cur=grab Image from webcam Difference=Cur - Old False Difference >= Th true Save Old Cur to disk End Old = Cur Hình 3.1 : Sơ đồ thuật giải SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera 3.3 CÁC HÀM VÀ LỚP CHÍNH TRONG CHƢƠNG TRÌNH Chƣơng trình phát đối tƣợng đột nhập Discovery đƣợc cài đặt ngơn ngữ lập trình C# Lớp ImageProcessing : Chức lớp xử lý hình ảnh thu đƣợc từ camera - Các biến kiểu liệu lớp Bitmap flag,flag2,flag3; int width,width2,width3; BitmapData bitmapData = null,bitmapData2= null,bitmapData3= null; Byte* pBase = null,pBase2=null,pBase3=null; public struct Pixel { public byte blue; public byte green; public byte red; } - Một số phƣơng thức lớp  Phương thức PixelSize: Dùng cho kích cỡ diểm ảnh, Cấu trúc phƣơng thức nhƣ sau: public Point PixelSize { get { GraphicsUnit unit = GraphicsUnit.Pixel; RectangleF bounds = flag.GetBounds(ref unit); return new Point((int) bounds.Width,(int) bounds.Height); } }  Phương thức PixelAt: Dùng cho vị trí điểm ảnh, Cú pháp phƣơng thức nhƣ sau: public Pixel* PixelAt(int x, int y) { return (Pixel*) (pBase + y * width + x * sizeof(Pixel)); } SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera - Một số hàm lớp  Hàm LockBitmap: Đƣợc sử dụng việc trừ hai ảnh, Cú pháp hàm nhƣ sau: public void LockBitmap() { GraphicsUnit unit = GraphicsUnit.Pixel; RectangleF boundsF = flag.GetBounds(ref unit); Rectangle bounds = new Rectangle((int) boundsF.X, (int) boundsF.Y, (int) boundsF.Width, (int) boundsF.Height); width = (int) boundsF.Width * sizeof(Pixel); if (width % != 0) { width = * (width / + 1); } bitmapData = flag.LockBits(bounds,ImageLockMode.ReadWrite, PixelFormat.Format24bppRgb); pBase = (Byte*) bitmapData.Scan0.ToPointer(); }  Hàm UnlockBitmap: Đƣợc sử dụng việc trừ hai ảnh, Cú pháp hàm nhƣ sau: public void UnlockBitmap() { flag.UnlockBits(bitmapData); bitmapData = null; pBase = null; }  Hàm Save: Hàm đƣợc sử dùng để lƣu hình ảnh, Cú pháp hàm nhƣ sau: public void Save(string filename) { flag3.Save(filename, ImageFormat.Jpeg); }  Hàm CompareUnsafeFaster: Hàm dùng việc trừ hai ảnh, Cú pháp hàm nhƣ sau: public void CompareUnsafeFaster(out Int32 percent) { Point size = PixelSize; percent=0; LockBitmap(); LockBitmap2(); LockBitmap3(); SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera for (int y = 0; y < size.Y; y++) { Pixel* pPixel = PixelAt(0, y); Pixel* pPixel2 = PixelAt2(0, y); Pixel* pPixel3 = PixelAt3(0, y); for (int x = 0; x < size.X; x++) { if(!(pPixel->green==pPixel2->green)) { pPixel3->red = pPixel2->red; pPixel3->green = pPixel2->green; pPixel3->blue = pPixel2->blue; percent++; } pPixel++; pPixel2++; pPixel3++; } } UnlockBitmap3(); UnlockBitmap2(); UnlockBitmap(); } 3.4 CHỨC NĂNG VÀ CÁCH SỬ DỤNG CHƢƠNG TRÌNH Bắt đầu Kết nối với Webcam Lựa chọn Webcam (Nếu có nhiều) Bắt đầu quan sát Có Có đối tƣợng đột nhập? Tự động đƣa cảnh báo Lƣu lại hình ảnh đối tƣợng Hình 3.2: Sơ đồ hoạt động chương trình SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHỊNG 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera Chức chƣơng trình kết nối với Camera, hiển thị hình ảnh thu đƣợc từ Webcam lên Form Khi phát có đối tƣợng đột nhập chƣơng trình tự động đƣa cảnh báo lƣu lại ảnh có chứa đối tƣợng đột nhập Khi khởi động chƣơng trình có giao diện nhƣ sau: Trong hộp thoại properties cho phép thiết lập thơng số cho ảnh đầu Chúng ta thay đổi loại ảnh, kích cỡ ảnh, chất lƣợng ảnh (Tuỳ theo loại Camera mà thông số khác - chất lƣợng Camera) Nhấn nút Apply để thiết lập sau nhấn nút OK để đóng hộp thoại Khi hình ảnh thu đƣợc từ Camera đƣợc hiển thi lên Form: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 29 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 30 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera KẾT LUẬN Trong trình làm đồ án tốt nghiệp với đề tài “Phát đối tƣợng đột nhập dƣới trợ giúp Camera” em giải đƣợc số vấn đề sau: PHẦN LÝ THUYẾT - Tìm hiểu hệ thống xử lý ảnh kỹ thuật trừ ảnh - Tìm hiểu ngơn ngữ lập trình C Sharp (C#) kỹ thuật thu giữ hình ảnh thơng qua Camera mơi trƣờng Windown PHẦN THỰC NGHIỆM - Cài đặt thành công chƣơng trình ứng dụng phát đối tƣợng đột nhập dƣới trợ giúp webcamera - Giảm dung lƣợng lƣu trữ không gian đĩa, cách lƣu lại hình ảnh chứa đối tƣợng đột nhập thay phải lƣu đoạn video SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 31 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera HƢỚNG PHÁT TRIỂN TIẾP THEO CỦA ĐỀ TÀI Do thời gian có hạn nên số vấn đề mà đề tài chƣa giải đƣợc Sau đây, em xin đƣa số phƣơng hƣớng mở rộng hồn thiện đề tài nhằm áp dụng cho thực tiễn: Kết hợp kỹ thuật trừ ảnh kỹ thuật xử lý ảnh khác nhƣ trích chọn đặc trƣng ảnh, dị biên v.v…để nhận dạng đƣợc đối tƣợng đột nhập Nghiên cứu phát triển chƣơng trình để hoạt động mạng máy tính SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 32 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera TÀI LIỆU THAM KHẢO [1] Bài giảng xử lý ảnh – TS Đỗ Năng Tồn, Viện cơng nghệ thơng tin Viện khoa học công nghệ Việt Nam [2] Nhập môn xử lý ảnh số - Lƣơng Mạnh Bá, Nguyễn Thanh Thuỷ [3] Hampapur, A., Jain,R., Weymouth,T., Digital Video Segmentation, Proc.ACM Multimedia 94, San Francisco CA, 1994, pp.357 - 364 [4] Jyrpi Korki – Anttila (2002), “Automatic color enhancement and sence change detection of digitial video”, Dept of Automation and System, Lab of Media Technology, Hensiki University of Technology [5] Shahraray, B., Scene Change Detection and Contene - Based Sampling of Video Sequences, Digital Video Compression: Algorithms and Technologies, A.Rodriguez, R.Safranek, E.Delp, Editors, Proc.SPIE 2419, 1995, pp.2-13 [6] Xiong, W., Lee, J C - M., Ip, M.C., Net comparison: a fast and effective method for classifying image sequences, SPIE Conf Storage and Retrieval for Image and Video Databases III, Proceedings, San Jose, CA 1995 pp.318-328 [7] Background Subtraction for 3D Vision – based user Interfase – Dongpyo Hong, Thesis – for Master‟s Degree SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 33 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 2.2 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG 10 2.3 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO CÁC... 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Có cách tiếp cận để giải tốn phát đối tƣợng đột nhập là: -Dựa hồn tồn vào phần cứng -Dựa vào kỹ thuật xử lý ảnh 2.1 BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Sự phát. .. luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 30 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phát đối tượng đột nhập trợ giúp Camera KẾT