(Luận văn) nghiên cứu một số kỹ thuật phát hiện đối tượng chuyển động từ camera và ứng dụng giám sát tự động trong siêu thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN TRƢƠNG MINH THƢƠNG lu an n va NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN ĐỐI GIÁM SÁT TỰ ĐỘNG TRONG SIÊU THỊ p ie gh tn to TƢỢNG CHUYỂN ĐỘNG TỪ CAMERA VÀ ỨNG DỤNG d oa nl w Chuyên ngành : Khoa học máy tính lu : 8480101 ll u nf va an Mã số oi m z at nh Ngƣời hƣớng dẫn: TS Lê Thị Kim Nga z m co l gm @ an Lu n va ac th si LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực có nguồn gốc rõ ràng Quy Nhơn, ngày 26 tháng 07 năm 2019 Học viên lu an n va Trƣơng Minh Thƣơng p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Trƣớc hết em xin đƣợc bày tỏ lòng biết ơn sâu sắc cô giáo hƣớng dẫn TS Lê Thị Kim Nga, Khoa Công nghệ thông tin – Trƣờng Đại học Quy Nhơn tận tình giúp đỡ, hƣớng dẫn em thời gian vừa qua dành nhiều thời gian quý báu để giúp em hoàn thành đề tài luận văn đƣợc giao Em xin chân thành cảm ơn cô Em xin gửi lời cảm ơn đến Thầy cô giáo Khoa Công nghệ lu thông tin, trƣờng Đại học Quy Nhơn giảng dạy em suốt quãng thời an n va gian qua, cung cấp cho chúng em kiến thức chuyên môn cần thiết tn to quý báu giúp chúng em hiểu rõ lĩnh vực nghiên cứu để hoàn thành Cuối cùng, em xin cảm ơn gia đình bạn bè động viên cổ vũ, đóng p ie gh đề tài luận văn đƣợc giao w góp ý kiến cho em suốt trình học nhƣ làm luận văn tốt nghiệp, d oa nl giúp em hoàn thành đề tài luận văn thời hạn lu va an Quy Nhơn, ngày 26 tháng 07 năm 2019 ll u nf Học viên oi m z at nh Trƣơng Minh Thƣơng z m co l gm @ an Lu n va ac th si MỤC LỤC Trang LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC HÌNH MỞ ĐẦU 1 Lý chọn đề tài: Tổng quan tình hình nghiên cứu đề tài: lu Mục đích nhiệm vụ nghiên cứu: an va Đối tƣợng phạm vi nghiên cứu: n Phƣơng pháp nghiên cứu: gh tn to CHƢƠNG TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ĐỐI TƢỢNG p ie CHUYỂN ĐỘNG 1.1 Khái quát xử lý ảnh oa nl w 1.1.1 Xử lý ảnh gì? d 1.1.2 Một số vấn đề xử lý ảnh an lu 1.1.3 Một số ứng dụng xử lý ảnh u nf va 1.2 Vấn đề xử lý video 1.2.1 Sơ lƣợc lịch sử video ll m oi 1.2.2 Một số khái niệm z at nh 1.2.3 Một số vấn đề xử lý video 1.3 Bài toán phát đối tƣợng chuyển động z gm @ 1.4 Hệ thống giám sát đối tƣợng toán phát đối tƣợng chuyển động 10 l m co 1.4.1 Lịch sử phát triển hệ thống giám sát đối tƣợng 11 1.4.2 Các thành phần xây dựng hệ thống giám sát đối tƣợng 13 an Lu 1.5 Kết luận chƣơng 14 n va ac th si CHƢƠNG KỸ THUẬT PHÁT HIỆN ĐỐI TƢỢNG CHUYỂN ĐỘNG 15 2.1 Kỹ thuật trừ ảnh 15 2.1.1 Trừ ảnh dựa vào điểm ảnh 16 2.1.2 Trừ ảnh dựa vào khối 17 2.1.3 Trừ ảnh dựa vào biểu đồ 19 2.1.4 Trừ ảnh dựa vào thống kê 24 2.1.5 Trừ ảnh dựa vào đặc trƣng 25 2.1.6 Kỹ thuật trừ 26 lu 2.2 Hậu xử lý với phép tốn hình thái 32 an 2.2.1 Phần tử cấu trúc 33 va n 2.2.2 Phép toán giãn nở 34 to 2.2.4 Phép mở 36 ie gh tn 2.2.3 Phép toán co 35 p 2.2.5 Phép đóng 36 nl w 2.3 Kết luận chƣơng 37 d oa CHƢƠNG ỨNG DỤNG PHÁT HIỆN ĐỔI TƢỢNG CHUYỂN ĐỘNG an lu TRONG GIÁM SÁT TẠI SIÊU THỊ 38 u nf va 3.1 Mơ tả tốn 38 3.1.1 Phát biểu toán 38 ll oi m 3.1.2 Phân tích u cầu tốn trình bày giải thuật 39 z at nh 3.2 Thử nghiệm đánh giá 41 3.2.1 Chƣơng trình hồn chỉnh 41 z @ 3.2.2 Kết thử nghiệm thực tế 42 l gm 3.2.3 Điều kiện ràng buộc chƣơng trình 44 m co 3.2.4 Đánh giá 44 3.3 Kết luận chƣơng 45 an Lu n va ac th si KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 46 Kết luận 46 1.1 Về mặt lý thuyết 46 1.2 Về mặt thực tiễn 46 Hạn chế 46 Hƣớng phát triển 47 DANH MỤC TÀI LIỆU THAM KHẢO 48 PHỤ LỤC lu QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao) an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANG MỤC BẢNG, BIỂU, SƠ ĐỒ, HÌNH VẼ Trang Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Các bƣớc hệ thống xử lý ảnh Hình 1.3 Mơ tả khung hình Hình 1.4 Các khối xử lý toán phát đối tƣợng 10 Hình 1.5 Phịng điều khiển hệ thống giám sát đĩa từ truyền thống 12 Hình 1.6 Phịng điều khiển hệ thống giám sát đại 13 Hình 1.7 Mơ hình hệ thống giám sát đối tƣợng 14 lu an Hình 2.1 Các cửa sổ sở thuật toán 19 n va Hình 2.2 So sánh biểu đồ hai ảnh 21 tn to Hình 2.3 Mẫu vector cho di chuyển camera 25 ie gh Hình 2.4 Quy trình trừ 26 p Hình 2.5 Ví dụ phần tử cấu trúc 33 Hình 2.6 Ví dụ phép giãn nở 35 w oa nl Hình 2.7 Ví dụ phép co 35 d Hình 2.8 Ví dụ phép mở 36 lu an Hình 2.9 Ví dụ phép đóng 36 u nf va Hình 3.1: Kết phát đối tƣợng chuyển động 39 Hình 3.2: Sơ đồ thực chƣơng trình 40 ll oi m Hình 3.3 Cách truyền video vào chƣơng trình thử nghiệm 42 z at nh Hình 3.4 Kết chƣơng trình với Video 01 43 Hình 3.5 Kết chƣơng trình với Video 02 44 z m co l gm @ an Lu n va ac th si MỞ ĐẦU Lý chọn đề tài: Ngày nay, Sự phát triển công nghệ thông tin xâm nhập vào hầu hết mặt đời sống xã hội với ứng dụng rộng rãi hỗ trợ cho ngƣời nhiều lĩnh vực, có lĩnh vực giám sát, an ninh Hiện nay, thơng tin hình ảnh đóng vai trị quan trọng trao đổi thơng tin, phần lớn thông tin mà ngƣời thu nhận đƣợc lu thông qua thị giác Trong lĩnh vực công nghệ thơng tin lĩnh vực giám an n va sát tự động thu hút đƣợc quan tâm nhóm nghiên cứu tn to nƣớc Giám sát tự động hƣớng đƣợc nghiên cứu gh phát triển lĩnh vực nhận dạng xử lý ảnh tạo cách tiếp cận cho phần p ie mềm thiết kế chuyên dụng cho thiết bị giám sát tự động Việc phát w đối tƣợng chuyển động camera nhờ kỹ thuật xử lý ảnh đoán d thực tiễn oa nl nhận số hành vi đối tƣợng việc làm có ý nghĩa khoa học lu an Ở nƣớc ta nay, lĩnh vực giám sát tự động có bƣớc phát u nf va triển đáng kể Tuy nhiên, lĩnh vực siêu thị dựa vào phần ll cứng phân tích giám sát ngƣời Việc giải vấn đề theo m oi hƣớng phần mềm đƣợc nghiên cứu phát triển Do em chọn đề tài: z at nh “Nghiên cứu số kỹ thuật phát đối tượng chuyển động từ camera ứng dụng giám sát tự động siêu thị” nhằm nghiên cứu ứng dụng phát z l Tổng quan tình hình nghiên cứu đề tài: gm @ đối tƣợng khách hàng gian hàng siêu thị m co Vấn đề phát đối tƣợng đƣợc nghiên cứu có nhiều ứng dụng an Lu sống Các đối tƣợng đƣợc phát nhờ thông tin frame ảnh Có nhiều hƣớng tiếp cận để giải vấn đề n va ac th si Việc lựa chọn phƣơng pháp áp dụng phải dựa vào tình cụ thể, trƣờng hợp có ảnh không thay đổi việc phát đối tƣợng chuyển động phƣơng pháp trừ Hƣớng giải xây dựng mơ hình nền, sau sử dụng mơ hình với frame để rút đƣợc foreground chuyển động Để tiếp cận cần phải xây dựng đƣợc mơ hình background Trong luận văn này, Thuật tốn trừ xác định mức xám ảnh Video từ camera tĩnh, sau khởi tạo tham khảo với frame đầu lu tiên Video đầu vào Sau đó, thực trừ giá trị cƣờng độ điểm an ảnh ảnh thời cho giá trị tƣơng ứng ảnh tham khảo va n Mục đích nhiệm vụ nghiên cứu: to gh tn Nghiên cứu sở lý thuyết, sơ đồ thuật toán, hoạt động số kỹ ie thuật phát đối tƣợng chuyển động từ camera, sở áp dụng thử p nghiệm với liệu video thu đƣợc từ hệ thống camera giám sát siêu thị nl w Đối tƣợng phạm vi nghiên cứu: oa Đối tượng: 4.1 d an lu  Nghiên cứu kỹ thuật xử lý ảnh video phục vụ phát đối tƣợng u nf va chuyển động từ camera  Nghiên cứu toán phát đối tƣợng chuyển động ll oi m  Các cơng trình nghiên cứu phát đối tƣợng chuyển động 4.2 Phạm vi: z at nh  Các thuật toán, phƣơng pháp áp dụng vấn đề z gm @ Phạm vi nghiên cứu với liệu video thu từ nguồn camera giám sát, cụ thể từ hệ thống camera an ninh siêu thị MM Mega Market Quy m co Phƣơng pháp nghiên cứu: l Nhơn an Lu Phƣơng pháp nghiên cứu đề tài lý thuyết kết hợp với thực nghiệm n va ac th si  Bước 1: Sƣu tập tài liệu liên quan  Bước 2: Nghiên cứu lý thuyết xử lý ảnh  Bước 3: Nghiên cứu kỹ thuật, thuật toán phát đối tƣợng chuyển động camera  Bước 4: Tìm hiểu tốn phát đối tƣợng chuyển động  Bước 5: Xây dựng chƣơng trình thực nghiệm  Bước 6: Đánh giá hiệu chỉnh thuật tốn, chƣơng trình lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si void getClusterForBlob(unsigned int blobPos, CvID *close, unsigned int nBlobs, unsigned int nTracks, CvBlobs const &blobs, CvTracks const &tracks, list &bb, list &tt) { for (unsigned int j=0; j1) oi m getClusterForTrack(j, close, nBlobs, nTracks, blobs, } m co l gm } @ } z } z at nh tracks, bb, tt); an Lu void getClusterForTrack(unsigned int trackPos, CvID *close, unsigned int n va ac th si nBlobs, unsigned int nTracks, CvBlobs const &blobs, CvTracks const &tracks, list &bb, list &tt) { for (unsigned int i=0; i1) getClusterForBlob(i, close, nBlobs, nTracks, blobs, tracks, ll oi m bb, tt); } m co l gm @ } z } z at nh } void cvUpdateTracks(CvBlobs const &blobs, CvTracks &tracks, const double an Lu thDistance, const unsigned int thInactive, const unsigned int thActive, n va ac th si IplImage* bgr, double colorThres) { CV_FUNCNAME("cvUpdateTracks"); CV_BEGIN ; unsigned int nBlobs = blobs.size(); unsigned int nTracks = tracks.size(); lu CvID *close = new unsigned int[(nBlobs+2)*(nTracks+2)]; an try va n { to gh tn // Inicialization: p ie unsigned int i=0; oa nl w ++it, i++) for (CvBlobs::const_iterator it = blobs.begin(); it!=blobs.end(); { d an lu AB(i) = 0; } ll u nf va IB(i) = it->second->label; oi m z at nh CvID maxTrackID = 0; z gm @ unsigned int j=0; for (CvTracks::const_iterator jt = tracks.begin(); jt!=tracks.end(); ++jt, l m co j++) { an Lu AT(j) = 0; n va ac th si IT(j) = jt->second->id; if (jt->second->id > maxTrackID) maxTrackID = jt->second->id; } // Proximity matrix calculation and "used blob" list inicialization: for (i=0; imaxy = blob->maxy; n va ac th si track->centroid = blob->centroid; track->lifetime = 0; track->active = 0; track->inactive = 0; track->bCounted = false; track->v.x = 0; track->v.y = 0; lu saStartCamTrack(track, bgr); an track->meanColor = blob->meanColor; n va to gh tn tracks.insert(CvIDTrack(maxTrackID, p ie track)); } d oa nl w } for (j=0; jmaxx-t->minx)*(t->maxy-t- p ie >miny); if (a>area) oa nl w { area = a; d an lu track = t; u nf va } } ll oi m z at nh // Select blob CvBlob *blob; z gm @ area = 0; //cout area) { area = b->area; blob = b; lu } an } va n //cout id minx; track->miny = blob->miny; ll oi m track->maxx = blob->maxx; z at nh track->maxy = blob->maxy; z >centroid.x; l gm @ track->v.x = blob->centroid.x - track- >centroid.y; m co track->v.y = blob->centroid.y - track- an Lu n va ac th si track->centroid = blob->centroid; if (track->inactive) track->active = 0; track->inactive = 0; // Others to inactive for (list::const_iterator lu it=tt.begin(); it!=tt.end(); ++it) an { va n CvTrack *t = *it; gh tn to p ie if (t!=track) { track="