Nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN TRƯƠNG MINH THƯƠNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI ••• TƯỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG ••• GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ ••• Chuyên ngành : Khoa học máy tính Mã số : 8480101 Người hướng dẫn: TS Lê Thị Kim Nga LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực có nguồn gốc rõ ràng Quy Nhơn, ngày 26 tháng 07 năm 2019 Học viên Trương Minh Thương LỜI CẢM ƠN Trước hết em xin bày tỏ lòng biết ơn sâu sắc cô giáo hướng dẫn TS Lê Thị Kim Nga, Khoa Công nghệ thông tin - Trường Đại học Quy Nhơn tận tình giúp đỡ, hướng dẫn em thời gian vừa qua dành nhiều thời gian quý báu để giúp em hoàn thành đề tài luận văn giao Em xin chân thành cảm ơn cô Em xin gửi lời cảm ơn đến Thầy cô giáo Khoa Công nghệ thông tin, trường Đại học Quy Nhơn giảng dạy em suốt quãng thời gian qua, cung cấp cho chúng em kiến thức chuyên môn cần thiết quý báu giúp chúng em hiểu rõ lĩnh vực nghiên cứu để hoàn thành đề tài luận văn giao Cuối cùng, em xin cảm ơn gia đình bạn bè động viên cổ vũ, đóng góp ý kiến cho em suốt q trình học làm luận văn tốt nghiệp, giúp em hoàn thành đề tài luận văn thời hạn Quy Nhơn, ngày 26 tháng 07 năm 2019 Học viên Trương Minh Thương MỤC LỤC •• Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH 1.1 CHƯƠNG KỸ THUẬT PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 15 2.1 2.2 2.3 PHỤ LỤC 2.4 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) 2.5 DANG MỤC BẢNG, BIỂU, SƠ ĐỒ, HÌNH VẼ 2.6 Trang 2.7 2.8 2.9 MỞ ĐẦU Lý chọn đề tài: 2.10 Ngày nay, Sự phát triển công nghệ thông tin xâm nhập vào hầu hết mặt đời sống xã hội với ứng dụng rộng rãi hỗ trợ cho người nhiều lĩnh vực, có lĩnh vực giám sát, an ninh 2.11 Hiện nay, thơng tin hình ảnh đóng vai trị quan trọng trao đổi thơng tin, phần lớn thơng tin mà người thu nhận thông qua thị giác Trong lĩnh vực cơng nghệ thơng tin lĩnh vực giám sát tự động thu hút quan tâm nhóm nghiên cứu nước Giám sát tự động hướng nghiên cứu phát triển lĩnh vực nhận dạng xử lý ảnh tạo cách tiếp cận cho phần mềm thiết kế chuyên dụng cho thiết bị giám sát tự động Việc phát đối tượng chuyển động camera nhờ kỹ thuật xử lý ảnh đoán nhận số hành vi đối tượng việc làm có ý nghĩa khoa học thực tiễn 2.12 Ở nước ta nay, lĩnh vực giám sát tự động có bước phát triển đáng kể Tuy nhiên, lĩnh vực siêu thị dựa vào phần cứng phân tích giám sát người Việc giải vấn đề theo hướng phần mềm nghiên cứu phát triển Do em chọn đề tài: “Nghiên cứu số kỹ thuật phát đối tượng chuyển động từ camera ứng dụng giám sát tự động siêu thị” nhằm nghiên cứu ứng dụng phát đối tượng khách hàng gian hàng siêu thị Tổng quan tình hình nghiên cứu đề tài: 2.13 Vấn đề phát đối tượng nghiên cứu có nhiều ứng dụng sống Các đối tượng phát nhờ thơng tin frame ảnh Có nhiều hướng tiếp cận để giải vấn đề 2.14 Việc lựa chọn phương pháp áp dụng phải dựa vào tình cụ thể, trường hợp có ảnh khơng thay đổi việc phát đối tượng chuyển động phương pháp trừ Hướng giải xây dựng mơ hình nền, sau sử dụng mơ hình với frame để rút foreground chuyển động Để tiếp cận cần phải xây dựng mơ hình background 2.15 Trong luận văn này, Thuật tốn trừ xác định mức xám ảnh Video từ camera tĩnh, sau khởi tạo tham khảo với frame Video đầu vào Sau đó, thực trừ giá trị cường độ điểm ảnh ảnh thời cho giá trị tương ứng ảnh tham khảo Mục đích nhiệm vụ nghiên cứu: 2.16 Nghiên cứu sở lý thuyết, sơ đồ thuật toán, hoạt động số kỹ thuật phát đối tượng chuyển động từ camera, sở áp dụng thử nghiệm với liệu video thu từ hệ thống camera giám sát siêu thị Đối tượng phạm vi nghiên cứu: 4.1 Đối tượng: - Nghiên cứu kỹ thuật xử lý ảnh video phục vụ phát đối tượng chuyển động từ camera - Nghiên cứu toán phát đối tượng chuyển động - Các cơng trình nghiên cứu phát đối tượng chuyển động - Các thuật toán, phương pháp áp dụng vấn đề 4.2 2.17 Phạm vi: Phạm vi nghiên cứu với liệu video thu từ nguồn camera giám sát, cụ thể từ hệ thống camera an ninh siêu thị MM Mega Market Quy Nhơn Phương pháp nghiên cứu: 2.18 Phương pháp nghiên cứu đề tài lý thuyết kết hợp với thực nghiệm • Bước 1: Sưu tập tài liệu liên quan • Bước 2: Nghiên cứu lý thuyết xử lý ảnh • Bước 3: Nghiên cứu kỹ thuật, thuật toán phát đối tượng chuyển động camera • Bước 4: Tìm hiểu tốn phát đối tượng chuyển động Bước 5: Xây dựng chương trình thực nghiệm 2.19 Bước 6: Đánh giá hiệu chỉnh thuật toán, chương trình • 2.20 Chương TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG 1.1 Khái quát xử lý ảnh 1.1.1 Xử lý ảnh gì? 2.21 Con người thu nhận thông tin qua giác quan, thị giác đóng vai trị quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ hoạ phát triển cách mạnh mẽ có nhiều ứng dụng sống Xử lý ảnh đồ hoạ đóng vai trị quan trọng tương tác người máy 2.22 Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh “tốt hơn” kết luận 2.23 2.25 2.26 2.24 Hình 1.1 Q trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c1, c2, , cn) Do đó, ảnh xử lý ảnh xem ảnh n chiều 2.27 Sơ đồ tổng quát hệ thống xử lý ảnh: Hệ định k ĩ > Lưu trữ Đối sánh nít kết luận 2.28 2.29 Hình 1.2 Các bước hệ thống xử lý ảnh 2.30 Trong sơ đồ trên, ảnh cần xử lý thu nhận thông qua hệ thống thu nhận ảnh Hệ thống thu nhận ảnh bao gồm thiết bị chụp camera, máy quét scanner, máy chụp hình Ảnh sau thu nhận qua hệ thống thu nhận, ảnh lấy mẫu số hóa, sau phân tích theo loại ảnh Có nhiều loại ảnh khác nhau, chúng lưu trữ file khác như: file Bitmap, file PCX, file Gif Ảnh sau phân tích lưu trữ tùy theo ứng dụng cụ thể mà chọn cách thích hợp để phân tích 2.31 Vì vậy, Mục đích xử lý ảnh là: 2.32 - Biến đổi ảnh làm cho ảnh đẹp 2.33 - Tự động phân tích nhận dạng ảnh hay đoán nhận ảnh đánh giá nội dung ảnh 1.1.2 2.34 Một số vấn đề xử lý ảnh Tiền xử lý: Tiền xử lý giai đoạn xử lý ảnh số Tùy thuộc vào trình xử lý giai đoạn thực công đoạn khác như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu 2.35 Trích chọn đặc điểm: Các đặc điểm đối tượng trích chọn tùy theo mục đích nhận dạng q trình xử lý ảnh Trích chọn hiệu đặc điểm giúp cho việc nhận dạng đối tượng ảnh xác, với tốc độ tính tốn cao dung lượng nhớ, lưu trữ giảm 2.36 Đối sánh, nhận dạng: Nhận dạng tự động, mơ tả đối tượng, phân loại phân nhóm mẫu vấn đề quan trọng thị giác máy, 2.750.nBlobs, unsigned int nTracks, CvBlobs const &blobs, CvTracks const 2.751.&tracks, list &bb, list &tt) 2.752 { 2.753 for (unsigned int i=0; i1) 2.763 { 2.764 blobs, tracks, 2.765.bb , tt); 2.767 2.766 } getClusterForBlob(i, close, nBlobs, nTracks, } 2.769 2.768.} 2.770.void cvUpdateTracks(CvBlobs const &blobs, CvTracks &tracks, const double thDistance, const unsigned int thInactive, const unsigned int thActive, 2.771.IplImage* bgr, double colorThres) 2.772 { 2.773 CV_FUNCNAME("cvUpdateTracks"); 2.774 CV_BEGIN ; 2.775 unsigned int nBlobs = blobs.size(); 2.776 unsigned int nTracks = tracks.size(); 2.777 CvID *close = new unsigned int[(nBlobs+2)*(nTracks+2)]; 2.778 try 2.779 { 2.780 // Inicialization: unsigned int i=0; 2.781 for (CvBlobs::const_iterator it = blobs.begin(); it! =blobs.end(); 2.782.++it, i++) 2.783 { 2.784 AB(i) = 0; 2.785 IB(i) = it->second->label; 2.786 } 2.787 CvID maxTrackID = 0; 2.788 unsigned int j=0; 2.789 for (CvTracks::const_iterator jt = tracks.begin(); jt! =tracks.end(); ++jt, j++) 2.790 { 2.791 2.792 AT(j) = 0; IT(j) = jt->second->id; 2.793.if (jt->second->id > maxTrackID) maxTrackID = jt- >second->id; 2.794 } 2.795 // Proximity matrix calculation and "used blob" list inicialization: for (i=0; imaxy = blob->maxy; 2.826 track->centroid = blob- >centroid; 2.827 track->lifetime = 0; 2.828 track->active = 0; 2.829 track->inactive = 0; track- >bCounted = false; 2.830 track->v.x = 0; 2.831 track->v.y = 0; saStartCamTrack(track, bgr); track>meanColor = blob->meanColor; 2.832 tracks.insert(CvIDTrack(ma xTrackID, track)); 2.833 2.834 } } 2.835.// Clustering 2.836.for (j=0; jmaxx- t->minx)*(t->maxy-t- >miny); 2.852 if (a>area) 2.853 { 2.854 area = a; 2.855 track = t; 2.856 2.857 } } 2.858.// Select blob 2.859.CvBlob *blob; 2.860.area = 0; 2.861.//cout area) 2.867 { 2.868 area = b->area; 2.869 blob = b; 2.870 2.875.>id minx = blob->minx; track->miny = blob->miny; track>maxx = blob->maxx; track->maxy = blob->maxy; 2.877 track->v.x = blob->centroid.x - track2.878.>centroid.x; 2.880.>centroid.y; 2.879 track- track->v.y = blob->centroid.y - 2.881 track->centroid = blob>centroid; 2.882.if (track->inactive) track->active = 0; 2.883 track->inactive = 0; 2.884 // Others to inactive for (list::const_iterator it=tt.begin(); it!=tt.end(); ++it) 2.885.{ CvTrack *t = *it; 2.886 if (t!=track) 2.887 { 2.888 track="