Camera giám sát thư viện opencv

Sử dụng thư viện opencv để nhận diện và theo dõi đối tượng sau đó dựa trên đặc trưng của đối tượng để rút trích đặc trưng của đối tượng đó. Các điểm đặc trưng rút trích được sẽ tiến hành so khớp để theo dõi đối tượng

Luận văn tốt nghiệp – Camera giám sát LỜI CẢM ƠN Đầu tiên em xin chân thành cảm ơn gia đình tận tình chăm sóc ủng hộ em suốt trình em học đến Em xin chân thành gửi lời cảm ơn đến Thầy, Cô Khoa Công Nghệ Thông Tin Truyền Thông nói riêng toàn thể Thầy, Cô Trường Đại Học Cần Thơ nói chung nhiệt tình giảng dạy truyền đạt cho em kiến thức mới, chuyên môn giúp em hoàn thành tốt khóa học Đặc biệt em xin chân thành cảm ơn Thầy Đỗ Thanh Nghị - người Thầy vô tận tâm với công việc tận tình với học sinh Trong trình em Thầy hướng dẫn, Thầy nhiệt tình giúp đỡ, theo sát bảo cho em em chưa hiểu, cung cấp thông tin khoa học để em có hướng làm luận văn tốt nghiệp Em xin cảm ơn bạn bè, anh chị ủng hộ giúp đỡ em suốt trình em làm luận văn Mặc dù cố gắng hoàn thành luận văn thời gian quy định đáp ứng theo yêu cầu đặt giáo viên hướng dẫn chắn tránh khỏi sai sót Em mong nhận thông cảm, bảo đóng góp quý Thầy, Cô bạn Em xin chân thành cảm ơn! Cần Thơ, ngày 09 tháng 05 năm 2016 Sinh viên thực Trần Lư Đông Châu SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát MỤC LỤC SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát DANH MỤC HÌNH  Hình 2.1: Minh họa trường hợp λ1, λ2 Hình 2.2: Quá trình tính không gian đo (L) hàm sai khác D Hình 2.3: Quá trình tìm điểm cực trị hàm sai khác DoG Hình 2.4: Quá trình tìm điểm cực trị hàm sai khác DoG Hình 2.5: Mô tả hướng độ lớn đặc trưng Hình 2.6: Xấp xỉ đạo hàm cấp hàm Gaussian lọc Hình 2.7: Lọc Haar wavelet để tính ảnh hưởng hướng x y Hình 2.8: Vùng hình tròn xung quanh hướng đại diện cho điểm đặc trưng (nguồn: Tài liệu [10]) Hình 2.9: Hình vuông xung quanh điểm đặc trưng Hình 2.10: Ví dụ đốm sáng tối đốm tối sáng Hình 2.11: Phép chiếu Homography Hình 2.12: Góc tính minh họa – ORB descriptor SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát DANH MỤC BẢNG  SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát KÝ HIỆU VÀ VIẾT TẮT  Ký hiệu viết tắt BRIEF DLT IBM ORB FLANN LSH SIFT SURF SVD Viết đầy đủ Binary Robust Independent Elementary Features Direct Linear Transform International Business Machines Oriented Fast and Rotated Brief Fast Library for Approximate Nearest Neighbors Locality Sensitive Hashing Scale-invariant feature transform Speeded Up Robust Features Singular Value Decomposition TỪ KHÓA  SIFT, SURF, ORB, Flann – based match, Homoraphy, dò tìm, phát hiện, so khớp, Camshift, Meanshift, keypoint, descriptor SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát TÓM TẮT ĐỀ TÀI  Ngày nhu cầu an ninh bảo an tài sản ngày gia tăng việc ứng dụng công nghệ cao lĩnh vực đảm bảo an toàn tài sản ngày chứng minh tính ưu việt hiệu vượt trội, cụ thể, hệ thống camera quan sát sử dụng vô rộng rãi ngày phổ biến Tuy nhiên, việc sử dụng hệ thống camera quan sát phụ thuộc nhiều vào cộng tác trực tiếp người Do đó, có số hạn chế bất cập định Điển hình, thời điểm lao động quan sát nhiều hình ảnh động từ camera đặt nhiều vị trí khác nhau, sai sót đặc trưng người trình làm việc điều tránh khỏi, chi phí lao động hạn chế rõ rệt hệ thống camera quan sát nay, Với mong muốn cải thiện phần vấn đề trên, em chọn đề tài “Camera giám sát đồ vật” cho luận văn tốt nghiệp Để tối ưu hoá hệ thống camera giám sát hệ mới, em dựa vào việc quét chọn đối tượng cần theo dõi kết hợp với ảnh thu từ camera quan sát, em trình bày phương pháp dò tìm điểm đặc trưng tài sản/đồ vật mô tả điểm đặc trưng dựa giải thuật ORB – (Oriented Fast and Rotated Brief), sau đó, so khớp điểm đặc trưng với giải thuật Flann-based matcher Ảnh thu qua camera quan sát đối tượng cần theo dõi dò tìm, phát tính toán điểm đặc trưng vùng ảnh vừa quét sau so khớp đặc trưng Sau so khớp điểm đặc trưng với kết hợp với ma trận Homography camera tự động thực việc theo dõi, giám sát đối tượng đưa báo động cần thiết mà không cần đến hỗ trợ trực tiếp từ người SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát ABSTRACT  The demand of properties surveillance and security are gradually increasing and the applications of artificial intelligent in properties security are continuously proving its innovation and outstanding capability, for example, surveillance cameras systems have been being used widely and become more popular However, the operation of surveillance cameras system still depends much on direct human being participant Therefore, there are some obvious limitations and inconveniences, such as an employee can not observe many motion pictures from many cameras installed in different locations, moreover individual errors during working time are unavoidable, labor cost is also an unexpected issue of current system Based on the desire of improving the above problems, I have chosen "new-gen surveillance cameras" for my thesis For optimizing new-gen surveillance cameras system, I has based on selecting and dragging the object, then combine with motion pictures from surveillance camera, I perform the object's keypoints detection method and describe the keypoints by using ORB algorithm (Oriented Fast and Rotated Brief) After that, matching the keypoints by Flann-based matcher algorithm The motion pictures from surveillance camera and the object will be detected, and define the moments of the patch, then match the keypoints After matching the keypoints and combine with Homography matrix, the camera will automatically detect, surveillance for the object and release needed alert without any participation from labor element SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát CHƯƠNG 1: GIỚI THIỆU Đặt vấn đề Giám sát hướng nghiên cứu phát triển lĩnh vực nhận dạng xử lý ảnh Việc phát đối tượng qua camera nhờ kỹ thuật xử lý ảnh rút trích đặc trưng để theo dõi đối tượng việc làm vô có ích đời sống thực tiễn ngày Hiện có nhiều hệ thống camera quan sát chủ yếu dựa hình thức thủ công phụ thuộc vào nhiều lao động để thực vấn đề Với nhu cầu giám sát bảo quản đồ vật ngày cao hệ thống “Camera giám sát đồ vật” giúp người đỡ vất vả việc giữ gìn giám sát đồ vật Những nghiên cứu hệ thống chủ yếu dựa hình ảnh thu từ webcam để phát đối tượng theo dõi đối tượng Tuy nhiên thử thách lớn việc phát theo dõi đối tượng phụ thuộc vào nhiều yếu tố khác vị trí, ánh sáng, đặc điểm đối tượng, v.v Ngoài ra, người quan sát đối tượng trực tiếp qua camera ghi hình tránh sai sót hoạt động giám sát tránh tốn nhiều lao động lĩnh vực Nhận thấy tính ứng dụng cao hệ thống đời sống thực tiễn, đề tài “Camera giám sát đồ vật” dựa vào kết hợp máy học với giải thuật phát điểm đặc trưng, rút trích đặc trưng, so khớp đặc trưng để theo dõi đối tượng Với mong muốn hỗ trợ giúp đỡ người hoàn toàn sử dụng máy tính để quản lý đối tượng dựa việc quét chọn đối tượng để theo dõi đối tượng cần theo dõi Có thể nói hướng nghiên cứu nhằm mở cho ý tưởng mang tính sáng tạo xung quanh đề tài nhằm phục vụ tốt cho nhu cầu đời sống xã hội ngày 1.1 Lịch sử giải vấn đề Đề tài theo dõi đề tài rộng lớn với nhiều phương pháp đối tượng cần phải theo dõi Đã có nhiều đề tài luận văn xoay quanh vấn đề liên quan đến nhận dạng, theo dõi đối tượng luận văn Thạc sĩ “Nhận dạng mặt người sử dụng giải thuật Haar Like Feature – Cascade of Boosted Classifiers đặc trưng Sift” Châu Ngân Khánh [1], luận văn “Nhận dạng biển số xe mô tô phục vụ quản lý xe bãi giữ xe, phân hệ: định vị biển số xe ký tự với OpenCV” Nguyễn Trung Kiên [2], luận văn “Tìm kiếm ảnh theo nội dung sử dụng phân tích ngữ nghĩa tiềm ẩn có xác suất” Võ Trí Thức [3],v.v 1.2 SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát Hệ thống camera giám sát sử dụng rộng rãi giới Ở Việt Nam ứng dụng rộng rãi siêu thị, nơi mua sắm ví dụ: lấy sản phẩm gắng thiết bị sản phẩm khỏi siêu thị chưa tính tiền tự động thiết bị sản phẩm phát tính hiệu để người phát nhắc nhỡ…Tuy nhiên với thiết bị nhiều hạn chế việc quản lý đồ vật, với đề tài “Camera giám sát” hy vọng cải thiện phần việc quản lý đồ vật Phạm vi đề tài Đề tài “Camera giám sát” nghiên cứu tập trung chủ yếu việc theo dõi đối tượng sau chọn nhờ vào điểm đặc trưng vùng ảnh đối tượng quét Lý thuyết tập trung vào giải thuật để dò tìm phát điểm đặc trưng, mô tả điểm đặc trưng tính toán dùng để theo dõi đối tượng cụ thể thuật toán tìm kiếm góc Harris, giải thuật SIFT, SURF, ma trận Homography, giải thuật ORB vài giải thuật so khớp Brute – Force, Flann – based match Vì chương trình viết Linux ngôn ngữ Python nên cần tập trung tìm hiểu việc lập trình với thư viện OpenCV lập trình Python Linux 1.3 Bố cục luận văn: Ở chương sau, báo cáo trình bày theo bố cục sau: Chương 2: Trình bày sở lý thuyết mô hình hệ thống camera giám sát bao gồm: thuật toán tìm kiếm góc Harris, giải thuật SIFT, giải thuật SURF, ma trận Homograpy, giải thuật ORB, giải thuật Brute – Force, giải thuật Flann-based match Chương 3: Trình bày nội dung kết nghiên cứu Chương 4: Kết luận hướng phát triển đề tài 1.4 SVTH: Trần Lư Đông Châu – B1203903 Trang Luận văn tốt nghiệp – Camera giám sát CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Thị giác máy tính (Computer Vision) Thị giác máy tính lĩnh vực gồm phương pháp thu nhận, phân tích, xử lý, nhận dạng hình ảnh liệu đa chiều từ thực tế thông tin số biểu tượng dùng cho mục đích định Ý tưởng dựa thị giác người khả nhận dạng hiểu hình ảnh Để làm điều đó, thị giác máy tính áp dụng mô hình xây dựng dựa ngành lý thuyết học, vật lý, thống kê hình học Trong ứng dụng thị giác máy tính thường lập trình để giải vấn đề cụ thể phương pháp dựa học (learning) trở nên ngày phổ biến Ví dụ ứng dụng thị giác máy tính như: • Điều kiển tiến trình (Controlling processes) rô bốt công nghiệp • Nhận dạng khuôn mặt (Recognition Face) • Sự kiểm tra tự động (Automation inspection) kiểm tra chất lượng sản phẩm nhà máy, xí nghiệp… 2.1 2.2 Thư viện OPENCV 2.2.1 Giới thiệu: OpenCV (Open Source Computer Vision) [19] thư viện mã nguồn mở thị giác máy với 500 hàm 2500 thuật toán tối ưu xử lý ảnh, vấn đề liên quan tới thị giác máy Là thư viện thiết kế để chạy nhiều tảng khác (cross-patform) hệ điều hành Windows, Linux, Mac, IOS Việc sử dụng thư viện OpenCV tuân theo quy định sử dụng phần mềm mã nguồn mở BSD bạn sử dụng thư viện cách miễn phí cho mục đích phi thương mại lẫn thương mại Dự án OpenCV khởi động từ năm 1999, đến năm 2000 giới thiệu hội nghị IEEE vấn đề thị giác máy nhận dạng, nhiên OpenCV 1.0 tới tận năm 2006 thức công bố năm 2008 1.1 pre-release đời Tháng 10 năm 2009, OpenCV hệ thứ hai đời thường gọi phiên 2.0, phiên có giao diện C++ (khác với phiên rước có giao diện C) có nhiều điểm khác biệt so với phiện thứ SVTH: Trần Lư Đông Châu – B1203903 Trang 10 Luận văn tốt nghiệp – Camera giám sát 3.2.5 Kết thực thi: (Camshift) Hình 3.9: Quét chọn đối tượng cần theo dõi SVTH: Trần Lư Đông Châu – B1203903 Trang 41 Luận văn tốt nghiệp – Camera giám sát Hình 3.10: Sau chọn đối tượng bắt đầu theo dõi Hình 3.11: Di chuyển đối tượng Hình 3.12: Lấy đối tượng khỏi camera SVTH: Trần Lư Đông Châu – B1203903 Trang 42 Luận văn tốt nghiệp – Camera giám sát SVTH: Trần Lư Đông Châu – B1203903 Trang 43 Luận văn tốt nghiệp – Camera giám sát Hình 3.13: Khi đối tượng quay trở lại camera Kết thực nghiệm Thực cài đặt thử nghiệm phương pháp dò tìm phát điểm đặc trưng ORB sau sử dụng giải thuật Flann-based match để so khớp kết hợp ma trận Homography để theo dõi đối tượng Bước đầu với số kết sau: 3.3 Hình 3.14: Hiển thị số điểm đặc trưng sau đối tượng vừa chọn SVTH: Trần Lư Đông Châu – B1203903 Trang 44 Luận văn tốt nghiệp – Camera giám sát Hình 3.15: Số điểm đặc trưng thay đổi sau quay đối tượng Ở hình 3.15 sau quay đối tượng sang chiều khác điểm đặc trưng bị thay đổi có vài điểm rớt lại nên số điểm đặc trưng số điểm đặc trưng ban đầu nên hệ thống báo “LOST” Hình 3.16: Đối tượng đưa gần camera SVTH: Trần Lư Đông Châu – B1203903 Trang 45 Luận văn tốt nghiệp – Camera giám sát Hình 3.17: Số điểm đặc trưng dần ổn định Ở hình 3.16 3.17 đối tượng đưa lại gần camera số điểm đặc trưng dần ổn định so với hình 3.15 Hình 3.18: Đối tượng hoàn toàn khỏi hình camera Tuy nhiên, chương trình vài hạn chế hình 3.19 3.20: SVTH: Trần Lư Đông Châu – B1203903 Trang 46 Luận văn tốt nghiệp – Camera giám sát Hình 3.19: Khi chọn đối tượng hình ảnh, đặc điểm đối tượng Hình 3.20: Chương trình thoát sau đối tượng vừa chọn điểm đặc trưng Tổng kết chương Trong chương trình bày mô hình hệ thống camera giám sát so sánh khác hai giải thuật dùng để theo dõi đối tượng thuật toán dò tìm, so khớp điểm đặc trưng để theo dõi đối tượng (a) thuật toán theo vết đối tượng (b) Qua em nhận thấy giải thuật (a) tốt so với giải thuật (b) (camshift) Đối tượng theo dõi dựa theo giải thuật (a) theo dõi đến khỏi hình camera mà hoàn toàn không bị ảnh hưởng nhiều yếu tố bên Em thực việc SVTH: Trần Lư Đông Châu – B1203903 Trang 47 Luận văn tốt nghiệp – Camera giám sát theo dõi đối tượng giải thuật (a) nhiều đối tượng khác em nhận thấy việc theo dõi đối tượng phụ thuộc nhiều vào hình dạng màu sắc đối tượng Khác với giải thuật (b) giải thuật (a) không bị phụ thuộc màu sắc ánh sáng giải thuật (b) đặc biệt khung cảnh phía sau đối tượng Giải thuật (a) chiếm ưu việc không bị nhận nhầm đối tượng di chuyển bắt lại đối tượng sau đối tượng quay lại camera Trong chương trình bày kết làm đề tài hạn chế đề tài SVTH: Trần Lư Đông Châu – B1203903 Trang 48 Luận văn tốt nghiệp – Camera giám sát CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Trên sở nghiên cứu toán phát điểm đặc trưng giải thuật ORB so khớp điểm đặc trưng với giải thuật Flann-based match kết hợp với ma trận Homography, em áp dụng thành công mô hình camera giám sát đồ vật cụ thể đối tượng sau chọn hình thức kéo chuột theo dõi tầm kiểm soát camera Nếu đối tượng nằm tầm nhìn camera hệ thống báo “LOST” Dựa tính toán đếm điểm đặc trưng sau em so sánh tổng số điểm đặc trưng khác sau lần di chuyển đối tượng để thực việc theo dõi đối tượng Về chương trình demo, sau thử nghiệm với giải thuật theo dõi vết (Camshift) giải thuật dò tìm so khớp điểm đặc trưng em nhận thấy giải thuật dò tìm so khớp điểm đặc trưng đạt kết tốt hơn, giải thuật phát nhanh, theo sát đối tượng bắt lấy đối tượng nhanh xác quay trở lại camera Tuy kết đạt chưa cao theo mong muốn bước đầu để phát triển toán thành hệ thống camera giám sát hoàn chỉnh có tính xác cao Bên cạnh đó, trình xây dựng chương trình demo này, em tìm hiểu thư viện mã nguồn mở OpenCV qua em biết cách sử dụng số hàm OpenCV Hướng phát triển Có nhiều hướng phát triển cho chương trình này, phát triển mặt ứng dụng, mặt thuật toán để cải thiện hiệu trình theo dõi đối tượng Ngoài phát triển thành hệ thống camera hoàn chỉnh với hệ thống hoàn chỉnh quy mô giao diện, âm thanh, thiết bị, v.v để đáp ứng an ninh cho nhiều lĩnh vực khác bảo tàng, siêu thị, v.v Tuy nhiên kết đạt chưa theo mong muốn phụ thuộc vào thiết bị cụ thể camera không rõ nét tìm thấy đầy đủ điểm đặc trưng hiển thị đối tượng ảnh sau chọn, thêm vào trình di chuyển đối tượng bị rớt điểm đặc trưng dẫn đến hệ thống bị nhầm lẫn đối tượng bị Bên cạnh đối tượng chọn để theo dõi hình dáng bên đối tượng trơn tru, không nhiều đặc điểm khó cho việc phát dò tìm điểm đặc trưng 4.2 SVTH: Trần Lư Đông Châu – B1203903 Trang 49 Luận văn tốt nghiệp – Camera giám sát đối tượng Vì cần phải có thiết bị camera rõ nét cải thiện thuật toán có tính xác cao để phát triển hệ thống hoàn chỉnh SVTH: Trần Lư Đông Châu – B1203903 Trang 50 Luận văn tốt nghiệp – Camera giám sát TÀI LIỆU THAM KHẢO  Tiếng Việt [1] Châu Ngân Khánh, “Nhận dạng mặt người sử dụng giải thuật Haar Like Feature – Cascade of Boosted Classifiers đặc trưng Sift”, Luận văn thạc sĩ, Đại học Cần Thơ, 2013 [2] Bùi Văn Thoảng, “Nhận dạng bảng số xe”, Luận văn thạc sĩ hệ thống thông tin, Đại học Cần Thơ, 2012 [3] Võ Trí Thức, “Tìm kiếm ảnh theo nội dung sử dụng phân tích ngữ nghĩa tiềm ẩn có xác suất”, Luận văn tốt nghiệp, Đại học Cần Thơ, 2011 [4] Nguyễn Thị Hoàn, “Phương pháp trích chọn đặc trưng ảnh thuật toán máy học tìm kiếm ảnh áp dụng vào toán tìm kiếm sản phẩm”, Luận văn tốt nghiệp, Đại học Quốc Gia Hà Nội, 2010 [*] Nguyễn Tí Hon, “Nhận dạng mặt người”, Luận văn tốt nghiệp Đại học, Đại học Cần Thơ, 2011 Tiếng Anh [5] David G Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 2004 [6] Andrew P Witkin, “Scale-space Filtering”, Fairchild Laboratory for Artificial Intelligence Research, 1983 [7] Jan J Koenderink, “The Structure of Images”, Department of Medical and Physiological Physics, Physics Laboratory, State University Utrecht, The Netherlands, 1984 [8] Tony Lindeberg, “Scale-space theory: A basic tool for analysing structures at different scales'', Journal of Applied Statistics, 1994 [9] Harris C and Stephens M, “A combined corner and edge detector”, Proceedings of the Alvey Vision Conference, 1988 [10] Herbert Bay, “SURF: Speeded Up Robust Features”, T Tuytelaars, and L Van Gool, 2006 [11] P Viola, M Jones, “Rapid object detection using a boosted cascade of simple features”, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001 [12] P Y Simard, L Bottou, P Haffner, Y Lecun, “A fast convolution algorithm for signal processing and neural networks”, In Proceedings of the 1998 conference on Advances in neural information processing systems II, 1998 SVTH: Trần Lư Đông Châu – B1203903 Trang 51 Luận văn tốt nghiệp – Camera giám sát [13] Rublee, Ethan, et al “ORB: an efficient alternative to SIFT or SURF.” Computer Vision (ICCV), 2011 IEEE International Conference on IEEE, 2011 [14] P L Rosin, “Measuring corner properties”, Computer Vision and Image Understanding, 73(2):291 – 307, 1999 [15] Qin Lv William Josephson Zhe Wang Moses Charikar Kai Li, “MultiProbe LSH: Efficient Indexing for High-Dimensional Similarity Search, Department of Computer Science, Princeton University 35 Olden Street, Princeton, NJ 08540 USA [16] Thomas Melzer, “SVD and its Application to Generalized Egienvalue problems”, pp 1-15., 2004 [17] William H Press, Saul A Teukolsky, William T Vertterling, Brian P Flannery Numerical, “The Art of Sientific computing Second Edition”, Cambridge University Pres, chapter 15, (1988-1992) [18] R Hartley and A Zisserman, “Multiple View Geomerty in Computer Vision”, Cambridge University Press, second edition, (2003) Website tham khảo [19] https://en.wikipedia.org/wiki/OpenCV, 4/2016 [20] https://en.wikipedia.org/wiki/Corner_detection#Moravec_corner_detection_algorithm, 4/2016 [21] https://vi.wikipedia.org/wiki/Định_lí_Taylor, 4/2016 [22]http://opencv-pythontutroals.readthedocs.io/en/latest/py_tutorials/py_feature2d/py_table_of_contents_featur e2d/py_table_of_contents_feature2d.html, 4/2016 [23]http://docs.opencv.org/3.1.0/dc/d7d/tutorial_py_brief.html#gsc.tab=0 , 5/2016 [24]http://www.cs.ubc.ca/research/flann, 5/2016 [25]https://vi.wikipedia.org/wiki/Ph%C3%A2n_t%C3%ADch_LU, 5/2016 [26]http://www.mvstat.net/tduong/research/seminars/seminar-2001-05.pdf, 5/2016 SVTH: Trần Lư Đông Châu – B1203903 Trang 52 Luận văn tốt nghiệp – Camera giám sát PHỤ LỤC Cài đặt Việc thực cài đặt thực cửa sổ terminal Bước 1: Cập nhật gói quản lý apt-get cách nâng cấp gói cài đặt sẵn $ sudo apt-get update $ sudo apt-get upgrade Bước 2: Cài đặt công cụ phát triển $ sudo apt-get install build-essential cmake git pkg-config Bước thư viện để OpenCV có ảnh, video, v.v Bước pip, lý Python Bước 5: Cài đặt virtualenvwrapper Đây Python environments cho việc Python Hiện cài đặt virtualenvwrapper, sau ~/.bashrc $ sudo apt-get install libjpeg8-dev libtiff4-dev libjasper-dev libpng12dev $ sudo apt-get install libgtk2.0-dev $ sudo apt-get install $libavcodec-dev wget https://bootstrap.pypa.io libavformat-dev /get-pip.py libswscale-dev libv4l$ sudo python getdev pip.py $ sudo apt-get install libatlas-base-dev gfortran $ sudo pip install virtualenv virtualenvwrapper $ sudo rm -rf ~/.cache/pip SVTH: Trần Lư Đông Châu – B1203903 3: Cài đặt hỗ trợ thể load giao diện, 4: Cài đặt gói để quản virtualenv gói cho phép tạo separate dự án làm virtualenv cần cập nhật vào file Trang 53 Luận văn tốt nghiệp – Camera giám sát Tải lại nội # virtualenv and virtualenvwrapper export WORKON_HOME=$H OME/.virtualenvs source /usr/local/bin/virtualenv wrapper.sh dung tập tin ~/.bashrc $ source ~/.bashrc Bước 9: Cài đặt python module numpy $ sudo apt-get install python2.7-dev $ pip install numpy Bước 10: Cài đặt Bước 11: Cài đặt thư viện OpenCV $ cd ~ $ git clone https://github.com/Itsee z/opencv.git $ cd opencv $ git checkout 3.0.0 module opencv_contrib $ cd ~ $ git clone https://github.com/Itsee z/opencv_contrib.git $ cd opencv_contrib Build thư viện opencv: $ cd ~/opencv $ mkdir build $ make -j4 $ cd build $ cmake -D CMAKE_BUILD_TYP E=RELEASE \ -D CMAKE_INSTALL_P REFIX=/usr/local \ -D Lư Đông Châu – B1203903 SVTH: Trần Biên dịch thư viện OpenCV: Cài đặt OpenCV hệ thống Ubuntu Trang 54 Luận văn tốt nghiệp – Camera giám sát $ sudo make install $ sudo ldconfig $ cd ~/.virtualenvs/cv/lib/pyt SVTH: Trần Lư Đông Châu – B1203903 Trang 55 [...]...Luận văn tốt nghiệp – Camera giám sát 2.2.2 Đặc trưng: Thư viện OpenCV có những đặc trưng cơ bản sau: - Là thư viện mã nguồn mở dùng trong nhiều ngôn ngữ lập trình như: C/C++, Java, Python - Được sử dụng rộng rãi, thu hút được một lượng lớn người dùng trong đó có các... B1203903 Trang 30 Luận văn tốt nghiệp – Camera giám sát CHƯƠNG 3: NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU Hệ thống phát hiện và theo dõi đối tượng dựa trên dò tìm và so khớp điểm đặc trưng 3.1 3.1.1 Cài đặt - Ứng dụng được cài đặt trong môi trường: Hệ điều hành Ubuntu 64-bit phiên bản 14.04.4 LST Sử dụng ngôn ngữ lập trình python Thư viện mã nguồn mở OpenCV phiên bản 3.0.0 Thư mục opencv_ contrib dùng để truy cập vào... này sẽ sử dụng để tìm đối tượng SVTH: Trần Lư Đông Châu – B1203903 Trang 34 Luận văn tốt nghiệp – Camera giám sát 3.1.3.2 Kết quả thực thi: Hình 3.2: Camera kết nối với thiết bị Hình 3.3: Quét và chọn đối tượng cần theo dõi SVTH: Trần Lư Đông Châu – B1203903 Trang 35 Luận văn tốt nghiệp – Camera giám sát Hình 3.4: Hiển thị điểm đặc trưng sau khi chọn đối tượng và số điểm đặc trưng đếm Hình 3.5: Di... chiều Đối với tập dữ liệu lớn giải thuật này hiệu quả hơn giải thuật Brute – Force rất nhiều SVTH: Trần Lư Đông Châu – B1203903 Trang 29 Luận văn tốt nghiệp – Camera giám sát Tổng kết chương 2 Trong chương 2, đã trình bày tóm tắt thư viện OpenCV, thuật toán tìm góc Harris, giải thuật SIFT, giải thuật SURF, và ORB để phát hiện ra một số keypoint nhất định và các mô tả (descriptor) được tính toán Song... dụng các phương pháp thông thư ng như khử Gauss hay phân tích LU [24] 2.7.2.1 Phân rã SVD dựa trên định lý đại số tuyến tính sau: Mọi ma trận có kích thư c nào mà có thì đều có thể viết lại dưới dạng tích của một ma trận trực giao theo cột có kích thư c với một ma trận chéo có kích thư c với số đường chéo là không âm và một ma trận chuyển vị của một ma trận trực giao có kích thư c : SVTH: Trần Lư Đông... nghiệp – Camera giám sát Webcam (camera) Chọn đối tượng cần theo dõi Dò tìm các điểm đặc trưng trong vùng đối tượng trên Oriented Fast and Rotated Brief (ORB) Rút trích các điểm đặc trưng kNN Match So khớp điểm đặc trưng Theo dõi đối tượng Flann-based matcher Homography Hình 3.1: Mô hình hệ thống theo dõi đối tượng Hệ thống hoạt động như sau: Bước 1: Thu ảnh từ thế giới thực thông qua webcam (camera) ... những so khớp đúng nhất cho những đặc trưng SVTH: Trần Lư Đông Châu – B1203903 Trang 32 Luận văn tốt nghiệp – Camera giám sát Bước 6: Kết hợp với ma trận Homography để tiến hành theo dõi đối tượng nếu đối tượng ra khỏi tầm kiểm soát của camera thì hệ thống sẽ báo “LOST” và khi đối tượng quay trở lại camera thì hệ thống sẽ ngừng báo “LOST” 3.1.3 Xây dựng hệ thống phát hiện và theo dõi đối tượng Cài đặt:... import numpy as np import cv2 import video import common Trong đó: numpy : dùng để làm toán, xử lý số liệu, tính toán ma trận cv2: thư viện của opencv video: dùng để liên kết camera với thiết bị common: dùng để xử lý những điều khiển cụ thể ở đây là mouse • Khai báo webcam (camera) : self.cap = video.create_capture(src) Trong đó: src là chỉ mục của webcam Ví dụ: 0,1 • Chọn đối tượng cần theo dõi: self.rect_sel... phép chiếu biến đổi thông qua ma trận Homography không đảm bảo về kích thư c và góc của vật được chiếu, nhưng lại đảm bảo về tỷ lệ Trong lĩnh vực thị giác máy, Homography là một ánh xạ từ mặt phẳng đối tượng đến mặt phẳng ảnh Ma trận Homography thư ng có SVTH: Trần Lư Đông Châu – B1203903 Trang 24 Luận văn tốt nghiệp – Camera giám sát liên quan đến các công việc xử lý giữa hai ảnh bất kì và có ứng dụng... Giúp cho việc xây dựng các ứng dụng xử lý ảnh, thị giác máy tính một cách nhanh chóng hơn - Tối ưu hóa và xử lý các ứng dụng trong thời gian thực - OpenCV tập trung vào thu thập ảnh, xử lý ảnh và các thuật toán phân tích dữ liệu từ ảnh 2.2.3 Tổ chức: Thư viện OpenCV bao gồm các module: - core: gồm các kiểu dữ liệu và các hàm cơ bản để sử dụng các module khác - improc: bao gồm các giải thuật phân tích,