(Luận văn thạc sĩ hcmute) ứng dụng xử lý ảnh để giám sát an ninh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S K C0 4 Tp Hồ Chí Minh, tháng 10/2014 Luan van z BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 10 năm 2014 i Luan van z BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS LÊ CHÍ THƠNG Tp Hồ Chí Minh, tháng 10 năm 2014 ii Luan van LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ & tên: Đồn Chánh Tín Giới tính: Nam Ngày, tháng, năm sinh: 20/02/1988 Nơi sinh: Tp.HCM Q qn: Hóc Mơn Dân tộc: Kinh Chỗ riêng địa liên lạc: 16/1 Ấp Trung Đông, xã Thới Tam Thơn, Hóc Mơn, Tp HCM Điện thoại di động: 0909208064 Điện thoại nhà riêng: 08.38910955 Fax: E-mail: doanchanhtin1@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 9/2006 đến 6/2011 Nơi học (trƣờng, thành phố): Trƣờng Đại Học Kỹ Thuất Cơng Nghệ Tp Hồ Chí Minh Ngành học: Kỹ Thuật Điện Tử, Truyền Thông Tên đồ án, luận án môn thi tốt nghiệp: Nghiên cứu thi công mạch báo hành vi thiết bị điện điều khiển thiết bị điện qua mạng SMS Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: Trƣờng Đại Học Kỹ Thuật Cơng Nghệ Tp Hồ Chí Minh Ngƣời hƣớng dẫn: Th.S Trần Duy Cƣờng III QUÁ TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 2013-2014 Trƣờng Cao Đẳng Công Nghệ Thủ Đức Giảng viên iii Luan van LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi Các số liệu, kết nêu luận văn trung thực chƣa đƣợc công bố cơng trình khác Tp Hồ Chí Minh, ngày … tháng … năm 2014 Đồn Chánh Tín iv Luan van CẢM TẠ Lời em xin gửi đến Thầy, TS.Lê Chí Thơng lời cảm ơn chân thành sâu sắc giúp đỡ Thầy.Trong suốt thời gian thực luận văn, bận rộn cơng việc nhƣng Thầy giành nhìu thời gian tâm huyết việc hƣơng dẫn em.Thầy cung cấp cho em nhìu hiểu biết lĩnh vực em bắt đầu thực luận văn Thầy ln định hƣớng, góp ý, sửa chữa chổ sai giúp em không bị lạc lối.Những bảo Thầy đƣờng, hƣớng đắn giúp em tự tin phát huy làm đƣợc, bổ sung thiếu sót sữa chữa sai sót để hồn thiện đề tài Bên cạnh đó, em xin cảm ơn dạy dỗ tận tình thầy, khoa Điện-Điện Tử Những kiến thức mà thầy cô truyền đạt tài sản vô giá kinh nghiệm mà thầy cô bảo hành trang giúp em bƣớc đƣờng đời Đồng thời, cho gửi lời cảm ơn đến công ơn sinh thành dạy dỗ ba mẹ Gia đình ln nguồn động viên hỗ trộ lớn suốt thời gian thực đề tài nhƣ suốt năm tháng lớn khôn Ba mẹ điểm tựa cho khó khăn động lực cho phấn đấu học tập Một lần xin gửi lời biết ơn sâu sắc đến ba mẹ Cuối cùng, xin cảm ơn giúp đỡ bạn bè Những năm tháng học tập gắn bó, hỗ trợ, động viên bạn việc học, nhƣ giúp đỡ để tơi hồn thành luận văn Tp Hồ Chí Minh, tháng , năm 2014 Đồn Chánh Tín v Luan van TĨM TẮT Hiện nay, hầu hết cơng ty, xí nghiệp có hệ thống camera giám sát hoạt động 24/7, đồng nghĩa với việc phải có nhân viên túc trực để giám sát camera, điều dẫn đến hao phí tài nguyên ngƣời, mệt mỏi hay sơ ý ngƣời nhân viên khơng quan sát camera bỏ sót tội phạm Điển hình hàng loạt vụ đột nhập vào hộ gia đình, cửa hàng, văn phịng … đƣợc camera ghi nhận lại hình ảnh nhƣng khơng có ngƣời phát kịp thời, nên tên tội phạm ung dung hoạt động trở an tồn Đây mặt hạn chế hệ thống giám sát Xuất phát từ thực tiễn đó, luận văn nghiên cứu phát triển hệ thống giám sát cảnh báo hoạt động hiệu hơn, xác mà khơng cần có can thiệp ngƣời Hệ thống hoạt động thời gian thực, giám sát liên tục đồng thời phát hiện, nhận dạng nhiều đối tƣợng dựa sỡ liệu có sẵn Sau phát cảnh báo cho ngƣời sử dụng thông qua mạng GSM Luận văn áp dụng thành tựu khoa học kỹ thuật sẵn có nhƣ camera giám sát an ninh, hệ thống mạng GSM kết hợp với kỹ thuật xử lý ảnh thƣ viện thị giác máy tính mã nguồn mở OpenCV để xử lý hình ảnh thu nhận Luận văn kết hợp kiến thức xử lý ảnh số, lập trình Visual C++ với thƣ viện OpenCV , lập trình nhúng lập trình tập lệnh AT điều khiển module GSM vi Luan van ABSTRACT Today, almost all companies, enterprises have surveillance security camera system that monitoring their business 24/7 The surveillance security camera system that was used by many companies and enterprise today is not sophisticate enough; it requires human intervention This is leading to the wastage of human resources, and sometime if the person who was monitoring the camera was tire or careless then the crime might be overlook Typically, there were many crimes that the thieves break into household and office that have surveillance security camera system, but they were able to flee freely from the crime scene because no one was there to reports the crime The surveillance camera only recorded the image and without an actual person to monitoring the camera, it will become useless The surveillance camera alerting side is very limited in the security monitoring system today because it cannot be automatic and it requires human intervation This is the limited side of the security monitoring system today Stemming for this limit of the surveillance security camera system today, my dissertation research is to developed a monitoring and alerting security camera system that is more efficient and it doesn‟t need human intervention The security camera system that I am developed can operate the system on real-time, it can continuously and simultaneously monitoring and detecting object, and the recognition of the object is based on multiple databases available After the camera recognized an object, then it alerts the user through GSM network This thesis applies the scientific and technical achievements of security surveillance camera that are available today; the GSM networks combined with image processing techniques in computer vision library open source OpenCV to process the images that obtained My thesis is a combination of the basic knowledge of digital image processing, Visual C + + programming with OpenCV libraries, embedded programming and programming control module AT command set GSM vii Luan van MỤC LỤC TRANG TRANG TỰA QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH KHOA HỌC iii LỜI CAM ĐOAN iv CẢM TẠ v TÓM TẮT vi MỤC LỤC viii DANH SÁCH CÁC CHỮ VIẾT TẮT xi DANH SÁCH CÁC HÌNH .xii DANH SÁCH CÁC BẢNG xv Chƣơng I TỔNG QUAN 1.1 Tổng quan 1.2 Các kết nghiên cứu nƣớc công bố 1.2.1 Các kết nghiên cứu nƣớc 1.2.2 Các kết nghiên cứu nƣớc 1.3 Nhiệm vụ đề tài 1.3.1 Yêu cầu đề tài 1.3.2 Nội dung cần thực Chƣơng CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH 2.1 Phƣơng pháp xử lý ảnh 2.1.1 Tổng quan 2.1.2 Điểm ảnh 2.1.3 Độ phân giải ảnh 2.1.4 Nhận dạng 2.1.5 Nén ảnh 11 2.1.6 Trích chọn đặc điểm 11 2.2 Phát nhận dạng đối tƣợng 12 viii Luan van 2.2.1 Bài toán phát đối tƣợng 12 2.2.2 Đặc trƣng Harr-like 13 2.2.3 Integral Image 14 2.2.4 Giới thiệu AdaBoost 16 2.2.5 Cascade of Classifiers 21 2.2.6 Cascade of boosting classifier 23 2.2.7 Quá trình phát đối tƣợng 25 2.3 Thƣ viện thị giác máy tính mã nguồn mở OpenCV 33 2.4 Tập lệnh AT 35 2.4.1 Các lệnh khởi tạo GSM sim900 37 2.4.2 Các lệnh xử lý gọi 38 2.4.3 Các lệnh SMS 38 Chƣơng THIẾT KẾ VÀ THỰC HIỆN HỆ THỐNG GIÁM SÁT AN NINH 42 3.1 Yêu cầu thiết kế 42 3.2 Cài đặt cho kit nhúng 46 3.2.1 Lựa chọn hệ điều hành 46 3.2.2 Cài đặt hệ điều hành 46 3.2.3 Khởi động hệ điều hành LXTerminal, ROOT 47 3.2.4 Điều khiển Raspberry Pi từ mày tính 49 3.2.5 Phần mềm lập trình Raspbian 51 3.2.6 Cài đặt thƣ viện OPENCV cho python 52 3.2.7 Cài đặt driver thƣ viện cho Pi Camera 57 3.2.8 Cài đặt thƣ viện GPiO Serial (RS-232) 58 Chƣơng THIẾT KẾ VÀ THỰC HIỆN CHƢƠNG TRÌNH XỬ LÝ 60 4.1 Lƣu đồ giải thuật tổng quát 60 4.2 Lƣu đồ giải thuật chƣơng trình phát mặt ngƣời 61 4.2.1 Lƣu đồ giải thuật 61 4.2.2 Chƣơng trình 62 4.3 Lƣu đồ giải thuật chƣơng trình phát cảnh báo 62 ix Luan van 5.2 Kết đạt đƣợc môi trƣờng thiếu sáng chói sáng Trong điều kiện thiếu sáng hệ thống phát đƣợc khn mặt gần, cịn khn mặt xa hầu nhƣ hệ thống không phát đƣợc Tốc độ xử lý chƣơng trình chậm mơi trƣờng đủ sáng Hình 9Phát diện khoảng cách gần điều kiện chói sáng 68 Luan van Hình 10 Phát diện khoảng cách xa điều kiện thiếu sáng Hình 11 Phát diện khoảng cách gần điều kiện thiếu sáng 69 Luan van 5.3 Kết đạt đƣợc khuôn mặt bị che phủ phần Hệ thống phát đƣợc khuôn mặt bị che phủ phần nhƣ: đeo mắt kiếng, đeo trang, đeo mắt kiếng trang Tuy nhiên hệ thống phát khuôn mặt bị che phân nửa theo chiều dọc, không phát đƣợc khuôn mặt đeo mặt nạ hình mặt ngƣời Hình 12Phát diện đeo mắt kiến 70 Luan van Hình 13Phát diện đeo trang Hình 14Phát diện đeo mắt kiến trang 71 Luan van 5.4 Kết đạt đƣợc có nhìu khn mặt xuất lúc Hệ thống phát đƣợc lúc nhìu ngƣời, tỷ lệ phát ngƣời nhìn thẳng cao nhƣng ngƣời nhìn nghiên ngƣời có gƣơng mặt bị che phủ, có ngƣời trở lên xuất hệ thống khơng phát đầy đủ Hình 15Chƣa có mặt ngƣời xuất 72 Luan van Hình 16Phát mặt ngƣời Hình 17Phát mặt ngƣời 73 Luan van Hình 18Phát mặt ngƣời Hình 19Phát mặt ngƣời 74 Luan van 5.5 Mạch thi công Khối camera thu nhận ảnh Khối nhắn tin SMS Khối xử lý trung tâm Hình 20Mạch thi cơng phần cứng 75 Luan van Hình 21Tin nhắn hệ thông báo cho điện thoại 76 Luan van Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 6.1 Kết luận - Trên sở nghiên cứu toán phát mặt ngƣời thời gian thực Đặc biệt thuật toán Adaboost, đặc trƣng haar-like mơ hình Cascade of Classifier kết hợp với kỹ thuật lập trình nhúng Tơi áp dụng thành cơng mơ hình Cascade of Classifiervào tốn phát mặt ngƣời thời gian thực Xây dựng thành công mô hình hệ thống cảnh báo phát xâm nhập ngƣời vào khu vực có camera quan sát Đặc biệt chƣơng trình xử lý ảnh đƣợc xử lý hồn tồn kít nhúng khơng phụ thuộc vào máy tính, hệ thống phát xác có ngƣời xuất Tuy nhiên xử lý kit nhúng nên tốc độ xử lý chƣa cao ( khoảng khung hình/ giây), nhƣng đáp ứng đƣợc ứng dụng phát cảnh báo theo thời gian thực theo yêu cầu luận văn - Đây bƣớc đầu để phát triển toán nhận dạng mặt ngƣời (face recognition) sau Bên cạnh đó, trình xây dựng chƣơng trình ,tơi tìm hiểu thƣ viện mã nguồn mở OpenCV, qua biết cách sử dụng hàm thƣ viện OpenCV để xây dựng chƣơng trình phát mặt ngƣời kit nhúng sau - Về chƣơng trình demo, sau thử nghiệm với webcam điều kiện môi trƣờng khác chƣơng trình đạt kết tốt, thời gian phát nhanh mặt ngƣời nhìn diện, nhiên mặt nghiên hay môi trƣờng q tối chƣơng trình gần nhƣ khơng thể phát đƣợc khn mặt Hiệu xuất chƣơng trình tùy theo chất lƣợng loại webcam đƣợc sử dụng, chƣơng trình khơng thể phát mặt ngƣời điều kiện độ sáng yếu góc quay nghiêng 20o 77 Luan van 6.2 Hƣớng phát triển - Về hoàn thành yêu cầu mà ban đầu đề tài đề ra,đây tiền đề để phát triển toán nhận dạng mặt ngƣời kit nhúng sau - Kết nối với hệ thống Camera IP để xây dựng trung tâm giám sát an ninh cho công ty, chung cƣ… - Tăng khả phát camera cách sử dụng camera hồng ngoại sử dụng loại camera có độ phân giải cao - Kết hợp với toán nhận dạng mặt ngƣời để phát xác 78 Luan van TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] PGS.TS Nguyễn Quang Hoan, Xử Lý Ảnh, Học Viện Công Nghệ Bƣu Chính Viễn Thơng, 2006 [2] TS Đỗ Năng Tồn TS Phạm Việt Bình, Giáo trình xử lý ảnh, Đại Học Thái Nguyên, 2008 [3] Nguyễn Hoàng Vũ Nguyễn Xuân Tƣờng Huy, Tìm hiểu kỹ thuật phát người video để giám sát lớp học, 2010 [4] Trần Quốc Đăng, Tổng Quan Về Thị Giác Máy Tính, 2008 TIẾNG NƢỚC NGỒI [5] Viola, P and Jones, Rapid object detection using a boosted cascade of simple features, Proc IEEE Conf on Computer Vision and Pattern Recognition, Dec 2001 [6] F Bashir and F Porikli, “Performance evaluation of object de-tection and tracking systems”, IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, 2006 [7] Douc, R and Cappe, O and Moulines, E., "Comparison of Resampling Schemes for Particle Filtering", Image and Signal Processing and Analysis, 2005 [8] Michael Isard and Andrew Blake, “Conditional Density Propagation for Visual Tracking”, 1997 [9] Shai Avidan, MobilEye Vision Technologies, 24 Mishol Hadkalim, Jerusalem, Israel, “Support Vector Tracking”, 2008 [10] Michael Isard, Andrew Blake, “Condensation – conditional density propagation for visual tracking”, 201 79 Luan van PHỤ LỤC Đoạn chƣơng trình phát mặt ngƣời void detect_and_draw( IplImage* img) { IplImage *gray, *small_img; gray = cvCreateImage( cvSize(img->width,img->height), 8, ); small_img = cvCreateImage( cvSize( cvRound (img>width/scale),cvRound (img->height/scale) ), 8, ); cvCvtColor( img, gray, CV_BGR2GRAY ); cvResize( gray, small_img, CV_INTER_LINEAR ); cvEqualizeHist( small_img, small_img ); cvClearMemStorage( storage ); double t = (double)cvGetTickCount(); CvSeq* faces=0; int cases=0; CvFont font; cvInitFont(&font,CV_FONT_HERSHEY_PLAIN, 2.0,2.0, 0,2, CV_AA); // Find whether the cascade is loaded, to find the faces If yes, then: // if( cascade1 ) // { faces = cvHaarDetectObjects( small_img, cascade1, storage, 1.2, 3, //|CV_HAAR_FIND_BIGGEST_OBJECT //|CV_HAAR_DO_ROUGH_SEARCH |CV_HAAR_DO_CANNY_PRUNING // |CV_HAAR_SCALE_IMAGE ,cvSize(20, 20) ); if(faces->total>0) { cases=1; if(dagui==0) kiemtra=1; else kiemtra=0; } elseif(faces->total==0) { Luan van faces = cvHaarDetectObjects( small_img, cascade2, storage, 1.2, 3, //|CV_HAAR_FIND_BIGGEST_OBJECT //|CV_HAAR_DO_ROUGH_SEARCH |CV_HAAR_DO_CANNY_PRUNING //|CV_HAAR_SCALE_IMAGE ,cvSize(20, 20) ); if(faces->total>0) { cases=2; if(dagui==0) kiemtra=1; else kiemtra=0; } } cvShowImage( "Chanh Tin", img ); cvReleaseImage( &gray ); cvReleaseImage( &small_img ); } Đoạn chƣơng trình nhắn tin cảnh báo void Send() { SerialPort^ mySerialPort = gcnew SerialPort("COM5"); mySerialPort->BaudRate = 9600; mySerialPort->Parity = Parity::None; mySerialPort->StopBits = StopBits::One; mySerialPort->DataBits = 8; mySerialPort->Handshake = Handshake::None; mySerialPort->Open(); mySerialPort->Write("AT+CMGS=0906857925\015BAO DONG:Co i nguo xuat hien\032A"); mySerialPort->Close(); } Luan van S K L 0 Luan van ... LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hƣớng dẫn khoa học: TS LÊ CHÍ THƠNG Tp Hồ Chí Minh, tháng 10 năm 2014 ii Luan van LÝ LỊCH... THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ ĐỒN CHÁNH TÍN ỨNG DỤNG XỬ LÝ ẢNH ĐỂ GIÁM SÁT AN NINH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp Hồ Chí Minh, tháng 10 năm 2014 i Luan van z BỘ GIÁO DỤC VÀ ĐÀO TẠO... Tìm hiểu lập trình điều khiển tập lệnh AT Luan van Chƣơng CƠ SỞ LÝ THUYẾT XỬ LÝ ẢNH 2.1 Phƣơng pháp xử lý ảnh 2.1.1 Tổng quan Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ [1] Nó ngành khoa