(Luận văn thạc sĩ) ứng dụng xử lý ảnh để giám sát an ninh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S K C0 4 Tp Hồ Chí Minh, tháng 10/2014 z BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 10 năm 2014 i z BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS LÊ CHÍ THƠNG Tp Hồ Chí Minh, tháng 10 năm 2014 ii LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Đồn Chánh Tín Giới tính: Nam Ngày, tháng, năm sinh: 20/02/1988 Nơi sinh: Tp.HCM Q qn: Hóc Mơn Dân tộc: Kinh Chỗ riêng địa liên lạc: 16/1 Ấp Trung Đơng, xã Thới Tam Thơn, Hóc Mơn, Tp HCM Điện thoại di động: 0909208064 Điện thoại nhà riêng: 08.38910955 Fax: E-mail: doanchanhtin1@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 9/2006 đến 6/2011 Nơi học (trƣờng, thành phố): Trƣờng Đại Học Kỹ Thuất Cơng Nghệ Tp Hồ Chí Minh Ngành học: Kỹ Thuật Điện Tử, Truyền Thông Tên đồ án, luận án môn thi tốt nghiệp: Nghiên cứu thi công mạch báo hành vi thiết bị điện điều khiển thiết bị điện qua mạng SMS Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Trƣờng Đại Học Kỹ Thuật Công Nghệ Tp Hồ Chí Minh Ngƣời hƣớng dẫn: Th.S Trần Duy Cƣờng III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 2013-2014 Trƣờng Cao Đẳng Công Nghệ Thủ Đức Giảng viên iii LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 2014 Đồn Chánh Tín iv MỤC LỤC TRANG TRANG TỰA QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH KHOA HỌC iii LỜI CAM ĐOAN iv CẢM TẠ v TÓM TẮT vi MỤC LỤC viii DANH SÁCH CÁC CHỮ VIẾT TẮT xi DANH SÁCH CÁC HÌNH .xii DANH SÁCH CÁC BẢNG xv Chƣơng I TỔNG QUAN 1.1 Tổng quan 1.2 Các kết nghiên cứu ngồi nƣớc cơng bố 1.2.1 Các kết nghiên cứu nƣớc 1.2.2 Các kết nghiên cứu nƣớc 1.3 Nhiệm vụ đề tài 1.3.1 Yêu cầu đề tài 1.3.2 Nội dung cần thực Chƣơng CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH 2.1 Phƣơng pháp xử lý ảnh 2.1.1 Tổng quan 2.1.2 Điểm ảnh 2.1.3 Độ phân giải ảnh 2.1.4 Nhận dạng 2.1.5 Nén ảnh 11 2.1.6 Trích chọn đặc điểm 11 2.2 Phát nhận dạng đối tƣợng 12 viii 2.2.1 Bài toán phát đối tƣợng 12 2.2.2 Đặc trƣng Harr-like 13 2.2.3 Integral Image 14 2.2.4 Giới thiệu AdaBoost 16 2.2.5 Cascade of Classifiers 21 2.2.6 Cascade of boosting classifier 23 2.2.7 Quá trình phát đối tƣợng 25 2.3 Thƣ viện thị giác máy tính mã nguồn mở OpenCV 33 2.4 Tập lệnh AT 35 2.4.1 Các lệnh khởi tạo GSM sim900 37 2.4.2 Các lệnh xử lý gọi 38 2.4.3 Các lệnh SMS 38 Chƣơng THIẾT KẾ VÀ THỰC HIỆN HỆ THỐNG GIÁM SÁT AN NINH 42 3.1 Yêu cầu thiết kế 42 3.2 Cài đặt cho kit nhúng 46 3.2.1 Lựa chọn hệ điều hành 46 3.2.2 Cài đặt hệ điều hành 46 3.2.3 Khởi động hệ điều hành LXTerminal, ROOT 47 3.2.4 Điều khiển Raspberry Pi từ mày tính 49 3.2.5 Phần mềm lập trình Raspbian 51 3.2.6 Cài đặt thƣ viện OPENCV cho python 52 3.2.7 Cài đặt driver thƣ viện cho Pi Camera 57 3.2.8 Cài đặt thƣ viện GPiO Serial (RS-232) 58 Chƣơng THIẾT KẾ VÀ THỰC HIỆN CHƢƠNG TRÌNH XỬ LÝ 60 4.1 Lƣu đồ giải thuật tổng quát 60 4.2 Lƣu đồ giải thuật chƣơng trình phát mặt ngƣời 61 4.2.1 Lƣu đồ giải thuật 61 4.2.2 Chƣơng trình 62 4.3 Lƣu đồ giải thuật chƣơng trình phát cảnh báo 62 ix 4.3.1 Lƣu đồ giải thuật 62 4.3.2 Chƣơng trình 62 Chƣơng KẾT QUẢ THỰC HIỆN 63 5.1 Kết đạt đƣợc môi trƣờng đủ sáng 63 5.2 Kết đạt đƣợc môi trƣờng thiếu sáng chói sáng 68 5.3 Kết đạt đƣợc khuôn mặt bị che phủ phần 70 5.4 Kết đạt đƣợc có nhìu khn mặt xuất lúc 72 5.5 Mạch thi công 75 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 77 6.1 Kết luận 77 6.2 Hƣớng phát triển 78 TÀI LIỆU THAM KHẢO 79 x Chƣơng I TỔNG QUAN 1.1 Tổng quan Trƣớc phát triển nhƣ vũbão khoa học kỹ thuật, ngành điều khiển học tự động hóa có bƣớc tiến lớn Điều khiển học tự động hóa ngày đóng vai trò quan trọng việc tăng xuất lao động, giảm giá thành, tăng ổn định chất lƣợng sản phẩm Thêm vào đó, mơi trƣờng làm việc đƣợc cải thiện đặt biệt số ngành nghề có tính chất độc hại nguy hiểm cho tính mạng ngƣời: dị bom mìn, thao tác nhà máy điện hạt nhân khu vực có độ phóng xạ cao, thám hiểm mặt trăng hỏa, thám hiểm đáy biển sâu Trong xã hội công nghiệp ngày nay, việc ứng dụng robot tự hành, cánh tay máy, có khả hoạt động độc lập ngày phổ biến Để có khả thơng minh đó, chúng phải có khả nhìn, nhận dạng tình huống, xử lý tình nhƣ ngƣời Đáp ứng nhu cầu đó, xử lý ảnh tham gia vào điều khiển học tự động hóa Dữ liệu hình ảnh có lƣợng thơng tin lớn xác loại liệu từ cảm biến khác.Điều giúp cho việc giải vấn đề lĩnh vực điều khiển tự động dễ dàng Một toán xử lý ảnh phổ biến “phát hiệnkhuônmặt ngƣời” Và đƣợc ứng dụng rộng rãi vào sống nhƣ:  Hệ thống tƣơng tác ngƣời máy: Giúp ngƣời bị tật khuyết điểm trao đổi Những ngƣời dùng ngơn ngữ tay giao tiếp với ngƣời bình thƣờng Những ngƣời bị bại liệt thơng qua số ký hiệu nháy mắt biểu lộ họ muốn Đó tốn điệu bàn tay (hand gesture), điệu khn mặt  Nhận dạng ngƣời A có phải tội phạm truy nã hay không, giúp quan an ninh quản lý tốt ngƣời Công việc nhận dạng có thể mơi trƣờng bình thƣờng nhƣ bóng tối  Thẻ cƣớc, chứng minh nhân dân (Face identification)  An ninh sân bay, xuất nhập cảnh ( quan an ninh xuất nhập cảnh Mỹ áp dụng) Dùng để xác thực ngƣời xuất nhập cảnh kiểm tra có phải nhân vật khủng bố hay không  Điều khiển vào ra: Văn phịng, cơng ty, trụ sở, máy tính…, kết hợp thêm vân tay móng mắt Cho phép nhân viên đƣợc vào nơi cần thiết, hay ngƣời đăng nhập máy tính cá nhân mà khơng cần nhớ tên đăng nhập nhƣ mật mà cần xác định thông qua khuôn mặt  Tìm kiếm liệu liên quan đến ngƣời thơng qua khn mặt ngƣời nhìu hệ sở liệu lƣu trữ thật lớn nhƣ internet, hãng truyền hình Phát gƣơng mặt đề tài phổ biến nhƣng kết hợp phát gƣơng mặt xử lý kit nhúng đề tài khó Điều đặt nhiều khó khăn thách thức việc xây dựng, phát triển hoàn thiện đề tài Để phát hiện, nhận diện cảnh báo, đảm bảo tính xác hệ thống cần phải có tốc độ xử lý nhanh, hoạt động nhƣ hệ thống thời gian thực.Một sản phẩm tốt khơng có sai xót, hệ thống phát có chuyển động nhận dạng mà hệ thống cảnh báo khơng hoạt động việc khơng thể chấp nhận đƣợc.Vì tốc độ nhanh tính xác yếu tố quan trọng việc xây dựng thƣc hệ thống 1.2 Các kết nghiên cứu ngồi nƣớc cơng bố 1.2.1 Các kết nghiên cứu nƣớc: a “Nhận dạng mặt người Matlab” Võ Hồng Hoan Trong luận văn tác giả sữ dụng thuật toán PCA để nhận dạng khn mặt, từ xây dựng chƣơng trình tìm kiếm ảnh có khn mặt ngƣời tập ảnh sở giống với khuôn mặt ngƣời ảnh cần kiểm tra ngôn ngữ Matlab 5.2 Kết đạt đƣợc môi trƣờng thiếu sáng chói sáng Trong điều kiện thiếu sáng hệ thống phát đƣợc khn mặt gần, cịn khn mặt xa hầu nhƣ hệ thống không phát đƣợc Tốc độ xử lý chƣơng trình chậm mơi trƣờng đủ sáng Hình 9Phát diện khoảng cách gần điều kiện chói sáng 68 Hình 10 Phát diện khoảng cách xa điều kiện thiếu sáng Hình 11 Phát diện khoảng cách gần điều kiện thiếu sáng 69 5.3 Kết đạt đƣợc khuôn mặt bị che phủ phần Hệ thống phát đƣợc khuôn mặt bị che phủ phần nhƣ: đeo mắt kiếng, đeo trang, đeo mắt kiếng trang Tuy nhiên hệ thống phát khuôn mặt bị che phân nửa theo chiều dọc, không phát đƣợc khuôn mặt đeo mặt nạ khơng phải hình mặt ngƣời Hình 12Phát diện đeo mắt kiến 70 Hình 13Phát diện đeo trang Hình 14Phát diện đeo mắt kiến trang 71 5.4 Kết đạt đƣợc có nhìu khn mặt xuất lúc Hệ thống phát đƣợc lúc nhìu ngƣời, tỷ lệ phát ngƣời nhìn thẳng cao nhƣng ngƣời nhìn nghiên ngƣời có gƣơng mặt bị che phủ, có ngƣời trở lên xuất hệ thống khơng phát đầy đủ Hình 15Chƣa có mặt ngƣời xuất 72 Hình 16Phát mặt ngƣời Hình 17Phát mặt ngƣời 73 Hình 18Phát mặt ngƣời Hình 19Phát mặt ngƣời 74 5.5 Mạch thi công Khối camera thu nhận ảnh Khối nhắn tin SMS Khối xử lý trung tâm Hình 20Mạch thi cơng phần cứng 75 Hình 21Tin nhắn hệ thơng báo cho điện thoại 76 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 Kết luận - Trên sở nghiên cứu toán phát mặt ngƣời thời gian thực Đặc biệt thuật toán Adaboost, đặc trƣng haar-like mơ hình Cascade of Classifier kết hợp với kỹ thuật lập trình nhúng Tơi áp dụng thành cơng mơ hình Cascade of Classifiervào tốn phát mặt ngƣời thời gian thực Xây dựng thành cơng mơ hình hệ thống cảnh báo phát xâm nhập ngƣời vào khu vực có camera quan sát Đặc biệt chƣơng trình xử lý ảnh đƣợc xử lý hồn tồn kít nhúng khơng phụ thuộc vào máy tính, hệ thống phát xác có ngƣời xuất Tuy nhiên xử lý kit nhúng nên tốc độ xử lý chƣa cao ( khoảng khung hình/ giây), nhƣng đáp ứng đƣợc ứng dụng phát cảnh báo theo thời gian thực theo yêu cầu luận văn - Đây bƣớc đầu để phát triển toán nhận dạng mặt ngƣời (face recognition) sau Bên cạnh đó, q trình xây dựng chƣơng trình ,tơi tìm hiểu thƣ viện mã nguồn mở OpenCV, qua biết cách sử dụng hàm thƣ viện OpenCV để xây dựng chƣơng trình phát mặt ngƣời kit nhúng sau - Về chƣơng trình demo, sau thử nghiệm với webcam điều kiện môi trƣờng khác chƣơng trình đạt kết tốt, thời gian phát nhanh mặt ngƣời nhìn diện, nhiên mặt nghiên hay mơi trƣờng q tối chƣơng trình gần nhƣ phát đƣợc khuôn mặt Hiệu xuất chƣơng trình cịn tùy theo chất lƣợng loại webcam đƣợc sử dụng, chƣơng trình khơng thể phát mặt ngƣời điều kiện độ sáng yếu góc quay nghiêng 20o 77 6.2 Hƣớng phát triển - Về hoàn thành yêu cầu mà ban đầu đề tài đề ra,đây tiền đề để phát triển toán nhận dạng mặt ngƣời kit nhúng sau - Kết nối với hệ thống Camera IP để xây dựng trung tâm giám sát an ninh cho công ty, chung cƣ… - Tăng khả phát camera cách sử dụng camera hồng ngoại sử dụng loại camera có độ phân giải cao - Kết hợp với toán nhận dạng mặt ngƣời để phát xác 78 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] PGS.TS Nguyễn Quang Hoan, Xử Lý Ảnh, Học Viện Công Nghệ Bƣu Chính Viễn Thơng, 2006 [2] TS Đỗ Năng Tồn TS Phạm Việt Bình, Giáo trình xử lý ảnh, Đại Học Thái Nguyên, 2008 [3] Nguyễn Hoàng Vũ Nguyễn Xuân Tƣờng Huy, Tìm hiểu kỹ thuật phát người video để giám sát lớp học, 2010 [4] Trần Quốc Đăng, Tổng Quan Về Thị Giác Máy Tính, 2008 TIẾNG NƢỚC NGOÀI [5] Viola, P and Jones, Rapid object detection using a boosted cascade of simple features, Proc IEEE Conf on Computer Vision and Pattern Recognition, Dec 2001 [6] F Bashir and F Porikli, “Performance evaluation of object de-tection and tracking systems”, IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, 2006 [7] Douc, R and Cappe, O and Moulines, E., "Comparison of Resampling Schemes for Particle Filtering", Image and Signal Processing and Analysis, 2005 [8] Michael Isard and Andrew Blake, “Conditional Density Propagation for Visual Tracking”, 1997 [9] Shai Avidan, MobilEye Vision Technologies, 24 Mishol Hadkalim, Jerusalem, Israel, “Support Vector Tracking”, 2008 [10] Michael Isard, Andrew Blake, “Condensation – conditional density propagation for visual tracking”, 201 79 PHỤ LỤC Đoạn chƣơng trình phát mặt ngƣời void detect_and_draw( IplImage* img) { IplImage *gray, *small_img; gray = cvCreateImage( cvSize(img->width,img->height), 8, ); small_img = cvCreateImage( cvSize( cvRound (img>width/scale),cvRound (img->height/scale) ), 8, ); cvCvtColor( img, gray, CV_BGR2GRAY ); cvResize( gray, small_img, CV_INTER_LINEAR ); cvEqualizeHist( small_img, small_img ); cvClearMemStorage( storage ); double t = (double)cvGetTickCount(); CvSeq* faces=0; int cases=0; CvFont font; cvInitFont(&font,CV_FONT_HERSHEY_PLAIN, 2.0,2.0, 0,2, CV_AA); // Find whether the cascade is loaded, to find the faces If yes, then: // if( cascade1 ) // { faces = cvHaarDetectObjects( small_img, cascade1, storage, 1.2, 3, //|CV_HAAR_FIND_BIGGEST_OBJECT //|CV_HAAR_DO_ROUGH_SEARCH |CV_HAAR_DO_CANNY_PRUNING // |CV_HAAR_SCALE_IMAGE ,cvSize(20, 20) ); if(faces->total>0) { cases=1; if(dagui==0) kiemtra=1; else kiemtra=0; } elseif(faces->total==0) { faces = cvHaarDetectObjects( small_img, cascade2, storage, 1.2, 3, //|CV_HAAR_FIND_BIGGEST_OBJECT //|CV_HAAR_DO_ROUGH_SEARCH |CV_HAAR_DO_CANNY_PRUNING //|CV_HAAR_SCALE_IMAGE ,cvSize(20, 20) ); if(faces->total>0) { cases=2; if(dagui==0) kiemtra=1; else kiemtra=0; } } cvShowImage( "Chanh Tin", img ); cvReleaseImage( &gray ); cvReleaseImage( &small_img ); } Đoạn chƣơng trình nhắn tin cảnh báo void Send() { SerialPort^ mySerialPort = gcnew SerialPort("COM5"); mySerialPort->BaudRate = 9600; mySerialPort->Parity = Parity::None; mySerialPort->StopBits = StopBits::One; mySerialPort->DataBits = 8; mySerialPort->Handshake = Handshake::None; mySerialPort->Open(); mySerialPort->Write("AT+CMGS=0906857925\015BAO DONG:Co i nguo xuat hien\032A"); mySerialPort->Close(); } S K L 0 ... VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS LÊ CHÍ THƠNG Tp Hồ Chí Minh, tháng 10 năm 2014 ii LÝ LỊCH KHOA HỌC I LÝ... cảm nhận quan sát đƣợc mắt hệ thống thần kinh thị giác Đối tƣợng xử lý ảnh ảnh chụp tự nhiên Quá trình xử lý ảnh đƣợc hiểu xử lý nội dung thông qua liệu ảnh, qua nâng cao chất lƣợng ảnhhiển thị... Tìm hiểu lập trình điều khiển tập lệnh AT Chƣơng CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH 2.1 Phƣơng pháp xử lý ảnh 2.1.1 Tổng quan Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ [1] Nó ngành khoa học mẻ so