đề án tốt nghiệp phát hiện đối tượng đột nhập dưới sự trợ giúp của camera

 Đề án tốt nghiệp Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 1 LỜI CẢM ƠN Sau một thời gian học tập và nghiên cứu em đã hoàn thành đồ án tốt nghiệp với đề tài: “Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera”. Đầu tiên em xin bày tỏ lòng kính trọng và biết ơn chân thành đến thầy giáo TS.Đỗ Năng Toàn là người trực tiếp hướng dẫn và tạo điều kiện cho em được thực tập tại Viện công nghệ thông tin – Viện khoa học và công nghệ Việt Nam để hoàn thành đồ án tốt nghiệp này. Đồng thời em cũng xin chân thành cảm ơn các thầy cô giáo đang giảng dạy tại Bộ môn Tin học – Trường ĐH dân lập Hải Phòng trong suốt bốn năm học vừa qua đã trang bị cho em những kiến thức cơ bản cần thiết và bổ ích giúp em hoàn thành đồ án tốt nghiệp này cũng như những kỹ năng nghề nghiệp sau này. Em cũng xin chân thành cảm ơn các anh chịtại phòng thí nghiệm thực tại ảo – Viện công nghệ thông tin Việt Nam đã nhiệt tình giúp đỡ em trong quá trình thực tập và tìm kiếm tài liệu. Cuối cùng xin cảm ơn gia đình và bạn bè đã cổ vũ và động viên em trong suốt thời gian vừa qua. Do khả năng có hạn nên nội dung đồ án còn có nhiều khiếm khuyết, sơ sài mong nhận được sự góp ý của thầy cô và các bạn. Hải phòng, ngày…tháng…năm… Sinh viên Bùi Thanh Liêm Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 2 MỤC LỤC PHẦN MỞ ĐẦU 4 Chƣơng 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 5 1.1. TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 5 1.1.1. Xử lý ảnh là gì? 5 1.1.2. Tổng quan về một hệ thống xử lý ảnh 5 1.1.3. Các vấn đề cơ bản trong xử lý ảnh 6 1.1.3.1. Một số khái niệm 6 1.1.3.2. Thu nhận ảnh 6 1.1.3.3. Biểu diễn ảnh 6 1.2. TỔNG QUAN VỀ VIDEO 7 1.2.1.Một số khái niệm 7 1.2.2.Một số thuộc tính đặc trƣng của video 8 1.2.2.3. Hình dáng (Shape) 9 1.2.2.4. Chuyển động (Motion) 9 Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 9 2.1. BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP 9 2.2. PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG 10 2.3. PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO CÁC KỸ THUẬT XỬ LÝ ẢNH 10 2.3.1 Các kỹ thuật trừ ảnh 10 2.3.1.1 Kỹ thuật trừ ảnh dựa vào điểm ảnh 11 2.3.1.2 Trừ ảnh phân khối 12 2.3.1.3 Phƣơng pháp biểu đồ 14 2.3.1.3.1. Biểu đồ toàn cục 15 2.3.1.3.2. Biểu đồ cục bộ 16 2.3.1.4 Phƣơng pháp thống kê 17 2.3.1.5. Trừ ảnh dựa vào đặc trƣng 18 2.3.1.5.1. Đặc trƣng là vector chuyển động 18 2.3.2 Kỹ thuật trừ nền(Background subtraction) 18 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 3 2.3.2.1. Không gian màu(Color space) 18 2.3.2.2. Mô hình nền (Background modeling) 19 2.3.2.3. Lựa chọn ngƣỡng (Thresholh selection) 19 2.3.2.4. Thao tác trừ (Subtraction operation) 21 Chƣơng 3: CHƢƠNG TRÌNH ỨNG DỤNG DISCOVERY 22 3.1. KỸ THUẬT BẮT GIỮ HÌNH ẢNH QUA CAMERA 22 3.2. PHÂN TÍCH YÊU CẦU BÀI TOÁN VÀ THUẬT GIẢI ĐỀ XUẤT 24 3.3. CÁC HÀM VÀ LỚP CHÍNH TRONG CHƢƠNG TRÌNH 26 3.4. CHỨC NĂNG VÀ CÁCH SỬ DỤNG CHƢƠNG TRÌNH 28 TÀI LIỆU THAM KHẢO 33 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 4 PHẦN MỞ ĐẦU Trong thời đại ngày nay công nghệ thông tin hầu nhƣ đã thâm nhập vào toàn bộ các lĩnh vực của đời sống xã hội. Xã hội ngày càng phát triển nên đòi hỏi về nhu cầu về công nghệ thông tin ngày càng cao, vì vậy mà dữ liệu số không còn xa lạ đối với mọi ngƣời. Trong mọi lĩnh vực các ứng dụng công nghệ thông tin đã trợ giúp con ngƣời rất nhiều. Hiện nay, thông tin hình ảnh đóng vai trò rất quan trọng trong trao đổi thông tin, bởi phần lớn các thông tin mà con ngƣời thu nhận đƣợc đều thông qua thị giác. Trong lĩnh vực công nghệ thông tin thì lĩnh vực giám sát tự động đã và đang thu hút đƣợc nhiều sự nghiên cứu. Cùng với sự phát triển của sức mạnh máy tính, các hệ thống giám sát tự động ngày càng tinh vi và hiện đại đã trợ giúp con ngƣời rất nhiều trong việc bảo vệ an ninh, giám sát giao thông, … Ở nƣớc ta hiện nay, lĩnh vực giám sát tự động cũng đã có những bƣớc phát triển đáng kể. Tuy nhiên, nó chỉ mới dựa trên nền tảng là phần cứng và cũng chƣa đƣợc ứng dụng nhiều trong thực tế vì điều kiện kinh tế xã hội. Việc giải quyết bài toán này theo hƣớng tiếp cận sử dụng phần mềm chƣa đƣợc quan tâm phát triển. Do vậy em nghiên cứu đề tài: “Phát hiện đối tƣợng đột nhập dƣới sự trợ giúp của Camera”. Một trong những bài toán then chốt của kĩnh vực giám sát tự động, trong khuôn khổ của đồ án em tập trung trình bày về các kỹ thuật trừ ảnh và ứng dụng các kỹ thuật này để giải quyết bài toán phát hiện đối tƣợng đột nhập thông qua WebCam. Nội dung của đồ án gồm các chƣơng sau: Chƣơng 1: Tổng quan về một hệ thống xử lý ảnh Chƣơng 2: Phát hiện đối tƣợng đột nhập Chƣơng 3 : Chƣơng trình ứng dụng Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 5 Chƣơng 1: TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1. TỔNG QUAN VỀ MỘT HỆ THỐNG XỬ LÝ ẢNH 1.1.1. Xử lý ảnh là gì? Xử lý ảnh là quá trình thu nhận ảnh nhằm biến đổi từ ảnh này sang ảnh khác cho ra kết quả nhƣ mong muốn Hình 1.1: Quá trình xử lý ảnh 1.1.2. Tổng quan về một hệ thống xử lý ảnh Xử lý ảnh Ảnh mong muốn Kết luận Ảnh đầu vào Kết quả CSDL CAMERA SENSOR Thu nhận ảnh Tiền xử lý Đối sánh Trích chọn đặc trƣng Kết quả Hình 1.2: Các giai đoạn chính trong xử lý ảnh Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 6 1.1.3. Các vấn đề cơ bản trong xử lý ảnh 1.1.3.1. Một số khái niệm  Pixel (Picture Element): phần tử ảnh  Ảnh  Mức xám(Grey Level)  Lƣợc đồ mức xám(Histogram) 1.1.3.2. Thu nhận ảnh Để đƣa ảnh vào trong máy tính chúng ta có thể dùng các thiết bị thu nhận nhƣ: camera cộng với bộ chuyển đổi tƣơng tự số AD(Analog to Digital) hoặc máy quét chuyên dụng. 1.1.3.3. Biểu diễn ảnh Sau quá trình số hoá ta sẽ thu đƣợc một ma trân tƣơng ứng với ảnh cần xét, mỗi phần tử của ma trận tƣơng ứng với một điểm ảnh. Các điểm này thƣờng đƣợc đặc trƣng bởi toạ độ màu RGB tƣơng ứng với nó trong hệ toạ độ màu cơ bản sau: Ảnh có thể đƣợc biểu diễn theo một trong hai mô hình sau:  Mô hình RASTER: B 255 255 R I i (R,G,B)B Th i (R,G,B)B  i (R,G,B)B 255 G Hình 1.4:Hệ toạ độ màu RGB. Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 7 Ảnh đƣợc biểu diễn dƣới dạng ma trận các điểm ảnh. Mô hình RASTER phù hợp cho việc thu nhận và hiển thị ảnh.  Mô hình VECTOR: Ngƣời ta sử dụng hƣớng vector của các điểm ảnh lân cận để mã hoá và tái tạo ảnh ban đầu. Khi xử lý các ảnh Raster chúng ta có thể quan tâm Điểm 4- láng giềng và điểm 8 láng giềng: 1.2. TỔNG QUAN VỀ VIDEO 1.2.1.Một số khái niệm Video là một tập hợp các khung hình(Frames), mỗi khung hình là một ảnh. Shot(lia) là một đơn vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn. Scene(cảnh) là các đơn vị logic của dòng video. Cấu trúc phân cấp của video đƣợc mô tả trong hình vẽ: . . . . . ·    · ·  o  · ·    · . . . . . . . . . . · ·  · · ·  o  · · ·  · · . . . . . Hình 1.5: Điểm 4 - láng giềng và 8 - láng giềng Hình 1.6: Cấu trúc phân cấp của video Video Scene Shots Lia Frame s Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 8 1.2.2.Một số thuộc tính đặc trƣng của video Video có 4 đặc tính chung là: màu(color), kết cấu(texture), hình dáng(shape), chuyển động(motion). 1.2.2.1. Màu(Color) Màu là một thuộc tính đặc trƣng của ảnh. Biểu đồ màu, biểu diến sự phân bố màu, là một đặc trƣng màu phổ biến nhất hiện nay. Biểu đồ màu không phụ thuộc vào sự quay, dịch chuyển ảnh cũng nhƣ chiều nhìn ảnh. Tuy nhiên với biểu đồ màu không biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai điểm ảnh có cùng biểu đồ màu có thể lại có nội dung khác nhau. Hình 1.8: Các ảnh khác nhau nhưng có cùng biểu đồ màu r k Dark image Bright image Low-contrast image High-contrast image (a) (b) (c) (d) P(r k ) P(r k ) P(r k ) P(r k ) r k r k r k Hình 1.9: Các ảnh khác nhau nhưng có cùng biểu đồ màu Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 9 1.2.2.2. Kết cấu (Texture) Đây là một đặc trƣng quan trọng của bề mặt, nơi xảy ra việc lặp lại mẫu cơ bản. Có hai dạng biểu diễn texture phổ biến đó là : biểu diễn dạng ma trận đồng thời và biểu diễn Tamura. 1.2.2.3. Hình dáng (Shape) Các đặc trƣng hình dánh có thể đƣợc biểu diễn sử dụng phân tích truyền thống nhƣ bất biến mômen, mô tả Fourier, mô hình học tự động quay lui, và các thuộc tính hình học. 1.2.2.4. Chuyển động (Motion) Motion là một thuộc tính quan trọng của video. Thông tin về chuyển động có thể đƣợc sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng. Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Có 2 cách tiếp cận chính để giải quyết bài toán phát hiện đối tƣợng đột nhập đó là: -Dựa hoàn toàn vào phần cứng. -Dựa vào các kỹ thuật xử lý ảnh. 2.1. BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP Sự phát triển của công nghệ thông tin đẩy nhanh sự phát triển của các lĩnh vực xã hội khác. Với sự phát triển của phần cứng cả về phƣơng diện thu nhận và hiển thị cũng nhƣ tốc độ xử lý đã mở ra nhiều phƣơng hƣớng cho sự phát triển phần mềm. Trong đó phải kể đến lĩnh vực giám sát tự động. Một trong những bài toán quan trọng và then chốt là bài toán phát hiện đối tƣợng đột nhập dƣới sự trợ giúp của camera. Ở nƣớc ta hiện nay, việc giải quyết bài toán phát hiện đối tƣợng đột nhập còn chủ yếu dựa vào phần cứng và chƣa đƣợc ứng dụng nhiều trong thực tế. Trong phần tiếp theo chúng ta sẽ tìm hiểu từng cách tiếp cận để giải quyết bài bài toán này. [...]... Form: SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 29 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 30 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera KẾT LUẬN Trong quá trình làm đồ án tốt nghiệp với đề tài Phát hiện đối tƣợng đột nhập dƣới sự trợ giúp của Camera em đã giải quyết đƣợc một số vấn đề cơ bản sau: PHẦN LÝ THUYẾT - Tìm hiểu về một... CapPreview(hWndC,FASLE); 3.2 PHÂN TÍCH YÊU CẦU BÀI TOÁN VÀ THUẬT GIẢI ĐỀ XUẤT Bài toán phát hiện đối tƣợng đột nhập là một trong những bài toán quan trọng và then chốt trong lĩnh vực giám sát tự động Yêu cầu của bài toán là SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 24 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera phát hiện các đối tƣợng đột nhập tại các nơi đặt camera quan sát nhƣ hành lang, cầu thang,... qua Camera trên môi trƣờng Windown PHẦN THỰC NGHIỆM - Cài đặt thành công chƣơng trình ứng dụng phát hiện đối tƣợng đột nhập dƣới sự trợ giúp của webcamera - Giảm dung lƣợng lƣu trữ trên không gian đĩa, bằng cách chỉ lƣu lại những hình ảnh chứa đối tƣợng đột nhập thay vì phải lƣu cả đoạn video SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 31 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera HƢỚNG PHÁT... chuyển của đối tƣợng và sự di chuyển của camera 2.3.1.3 Phƣơng pháp biểu đồ Một bƣớc xa hơn để giảm ảnh hƣởng của sự chuyển camera và đối tƣợng và thực hiện trừ ảnh dựa vào biểu đồ Biểu đồ mô tả sự phân bố giá trị điểm ảnh cuả khung hình Ý tƣởng của cách tiếp cận này là các ảnh có nền SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 14 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera không đổi và đối. .. Bắt đầu quan sát Có Có đối tƣợng đột nhập? Tự động đƣa ra cảnh báo Lƣu lại hình ảnh của đối tƣợng Hình 3.2: Sơ đồ hoạt động của chương trình SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 28 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera Chức năng chính của chƣơng trình là kết nối với các Camera, hiển thị hình ảnh thu đƣợc từ Webcam lên Form Khi phát hiện có đối tƣợng đột nhập chƣơng trình sẽ tự.. .Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera 2.2 PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG Trong cách tiếp cận này các hệ thống giám sát tự động này thƣờng sử dụng các camera có gắn chip cảm ứng và đặt tại các nơi nhạy cảm hoặc sử dụng hệ thống các tia quét Mỗi camera có thể đƣợc gắn với các thiết bị báo động, khi phát hiện thấy có biến động thì nó sẽ tự động báo động Ƣu điểm của. .. ta quan sát sự thay đổi của các điểim ảnh trong ảnh của cảnh nền tĩnh, chúng đƣợc mô hình hoá một cách đơn giản nhƣ là một phân phối Gaussian Giá trị ngƣỡng của điểm ảnh i đƣợc ánh xạ bởi hàm của độ lệch tiêu chuẩn của điểm ảnh này SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 19 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera Thi    i , Thi    i Thi và Thi là giá trị ngƣỡng của điểm ảnh... : Sơ đồ thuật giải SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 25 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera 3.3 CÁC HÀM VÀ LỚP CHÍNH TRONG CHƢƠNG TRÌNH Chƣơng trình phát hiện đối tƣợng đột nhập Discovery đƣợc cài đặt trên ngôn ngữ lập trình C# Lớp ImageProcessing : Chức năng chính của lớp này là xử lý các hình ảnh thu đƣợc từ camera - Các biến và kiểu dữ liệu trong lớp Bitmap flag,flag2,flag3;... thực hiện trừ ảnh Để giải quyết một số trở ngại của phƣơng pháp trừ ảnh chúng ta sẽ kết hợp trừ ảnh dựa vào biểu đồ với kỹ thuật trừ ảnh phân khối SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 16 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera Trừ ảnh phân phối quan tâm đến thông tin về không gian Về cơ bản phƣơng pháp này tốt hơn việc so sánh từng cặp điểm ảnh, nhƣng nó vẫn chịu tác động của sự. .. HẢI PHÒNG 11 Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera D f1 , f 2   1 X Y X 1 Y 1 x 0 y 0   DPx, y  Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ngƣỡng T1 thì đã có sự chuyển cảnh do cắt Tuy các thay đổi không liên quan trong khung hình đã đƣợc loại bỏ bớt nhƣng hƣớng tiếp cận này vẫn nhạy với các di chuyển camera và đối tƣợng Chẳng hạn, khi camera quay theo đối tƣợng, rất .  Đề án tốt nghiệp Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV:. những bài toán quan trọng và then chốt là bài toán phát hiện đối tƣợng đột nhập dƣới sự trợ giúp của camera. Ở nƣớc ta hiện nay, việc giải quyết bài toán phát hiện đối tƣợng đột nhập còn chủ. giải quyết bài bài toán này. Phát hiện đối tượng đột nhập dưới sự trợ giúp của Camera SV: Bùi Thanh Liêm CT702 ĐH DL HẢI PHÒNG 10 2.2. PHÁT HIỆN ĐỐI TƢỢNG ĐỘT NHẬP DỰA VÀO PHẦN CỨNG