BÁO cáo bài tập lớn môn xử lý ẢNH

lOMoARcPSD|9242611 TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN VÀ KINH TẾ SỐ -*** - BÁO CÁO BÀI TẬP LỚN MÔN XỬ LÝ ẢNH Giảng viên hướng dẫn : TS Phạm Minh Hồn Nhóm thực : 03 Lớp tín : Xử lý ảnh CNTT1166 Hà Nội – 2022 lOMoARcPSD|9242611 THÀNH VIÊN NHÓM Vũ Thị Tú Anh - 11190619 Nguyễn Minh Đức – 11204835 Phạm Trung Hiếu – 11191966 Đặng Thanh Phương – 11203148 Lê Văn Tiến – 11203918 lOMoARcPSD|9242611 MỤC LỤC MỞ ĐẦU…………………………………………………………………… CHƯƠNG I: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU THUỘC LĨNH VỰC ĐỀ TÀI 1.Lý chọn đề tài Mục đích chọn đề tài 3.Đối tượng phạm vi nghiên cứu .4 4.Ý nghĩa khoa học ý nghĩa thực tiễn đề tài CHƯƠNG II: CƠ SỞ LÝ THUYẾT .5 Computer Vision gì? 1.1 Lịch sử Computer Vision 1.2 Computer Vision thếế giới ngày 1.3 Cách thức hoạt động Computer Vision Tổng quan xử lý ảnh 11 2.1 Định nghĩa 11 2.2 Các trình xử lý ảnh 11 2.3 Ảnh biểu diếễn ảnh13 2.4 Phạm vi ứng dụng xử lý ảnh 16 lOMoARcPSD|9242611 MỤC LỤC Nhận dạng đối tượng ảnh .17 3.1 Khái niệm 17 3.2 Phương pháp nhận dạng 17 CHƯƠNG III: CÁC PHƯƠNG PHÁP NGHIÊN CỨU 21 1.Tổng quan xử lý video .21 Phương pháp trừ 23 2.1 Tổng quan vếề phương pháp trừ nếền 2.2 Giải thuật trừ nếền 23 24 2.3 Một sốế thuật toán trừ nếền 24 Phương pháp theo vết chuyển động 26 3.1 Thuật toán Meanshif27 3.2 Thuật toán Camshif 28 Phương pháp lọc ảnh 29 4.1 Nguyến tắếc chung lọc ảnh 4.2 Một sốế lọc khử nhiếễu 29 30 Công cụ phát triển .32 5.1 Pycharm 32 5.2 Open CV 33 lOMoARcPSD|9242611 MỤC LỤC 5.3 Colab 35 5.4 FLV Converter 36 CHƯƠNG IV: CÀI ĐẶT VÀ THỬ NGHIỆM .37 Cài đặt chương trình .37 1.1 Cài đặt thư viện sử dụng 37 1.2 Một sốế tnh nắng bổ sung 38 Thử nghiệm 39 Một số hình ảnh chụp từ video kết 47 KẾT LUẬN 48 Kết đạt 48 Hạn chế .48 Hướng phát triển 49 TÀI LIỆU THAM KHẢO 50 lOMoARcPSD|9242611 DANH MỤC HÌNH ẢNH Hình 1: Minh họa Computer Vision Hình 2: Mạng nơron Hình 3: Quá trình xử lý hình ảnh Hình 4: Các giai đoạn xử lý ảnh Hình 5: Quan hệ vùng lân cận điểm ảnh Hình 6: Cấu trúc phân đoạn video Hình 7: Biểu đồ luồng chung giải thuật trừ Hình 8: Phép lọc Gauss Hình 9: Hình ảnh chụp từ video kết lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ MỞ ĐẦU Hiện công nghiệp hóa đại hóa đất nước, yêu cầu ứng dụng tự động hóa ngày cao vào đời sống sinh hoạt, sản xuất ( yêu cầu điều khiển tự động, linh hoạt, gọn nhẹ tiện lợi, ) Mặt khác nhờ công nghệ thông tin, công nghệ điện tử phát triển nhanh chóng làm xuất loại thiết bị điều khiển giám sát có camera Nhận thức xu hướng chung, với ưu điểm mà camera mang lại, việc đầu tư vào lĩnh vực cần thiết, quan trọng nhà khoa học, doanh nghiệp sách định hướng, quan tâm nhà nước Lĩnh vực vậy, để phát triển bền vững, vươn lên tầm cao mới, điều kiện tiên cần phải đôi xây dựng sở khoa học làm tảng, cập nhật, ứng dụng công nghệ đại, triển khai thành sản phẩm ứng dụng phù hợp nhu cầu thực tế Theo tinh hình tiêu chí trên, đề tài chọn bước đáp ứng nghiên cứu công nghệ xử lý ảnh, chạy thử nghiệm, đánh giá định hướng để tốt hơn, đáp ứng thực tế tiêu chí khoa học Đề tài thực hiện:” Nghiên cứu, xây dựng phần mềm đếm người vào ( Phân biệt người vào người ra, nhận diện đối tượng người chuyển động)” TS Phạm Minh Hoàn hướng dẫn Đề tài gồm nội dung sau: Chương I: Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài Chương II: Cơ sở lý thuyết Chương III: Các phương pháp nghiên cứu Chương IV: Cài đặt thử nghiệm đánh giá kết Dưới báo cáo trình nghiên cứu, chỉnh sửa nhóm Mặc dù có chuẩn bị nguồn thơng tin, làm báo cáo, xong q trình cịn xảy sai sót kính mong thầy góp ý giúp chúng em hoàn thiện Xin trân thành cảm ơn! Page | lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ CHƯƠNG I: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU THUỘC LĨNH VỰC ĐỀ TÀI 1.Lý chọn đề tài Nhận thức việc xu hướng chung, với ưu điểm mà camera mang lại việc xử lý ảnh nhận dạng mẫu vật, việc đầu tư vào lĩnh vực cần thiết, quan trọng nhà khoa học, doanh nghiệp sách định hướng, quan tâm nhà nước Lĩnh vực vậy, để phát triển bền vững vươn lên tầm cao mới, điều kiện tiên cần phải đôi với xây dựng sở khoa học làm tảng, cập nhật, ứng dụng công nghệ đại, triển khai thành sản phẩm ứng dụng phù hợp cho nhu cầu thực tế Theo tinh thần tiêu chí trên, đề tài lựa chọn Đề tài “Nghiên cứu, xây dựng phần mềm đếm người vào ( Phân biệt người vào ra, nhận diện đối tượng người chuyển động)” giúp em có tảng vững mắt lý thuyết thực tiễn để sâu trình phát triển nghiên cứu ứng dụng camera vào đời sống tương lai Mục đích chọn đề tài Mục đích đề tài xây dựng phần mềm đếm người vào ( Phân biệt người vào ra, nhận diện đối tượng người chuyển động) sở xử lý ảnh Bên cạnh đó, đề tài cần sâu nghiên cứu đảm bảo tiêu chí điều kiện tiên quyết: cần phải đôi xây dựng sở khoa học làm tảng cập nhật, ứng dụng công nghệ đại, triển khai thành sản phẩm ứng dụng phù hợp với nhu cầu thực tế Để đạt mục đích trên, cơng việc cần thực hiện: nghiên cứu công nghệ xử lý ảnh, camera quan sát, lập trình phần mềm cho hệ thống đếm người vào (Phần biệt người vào ra, nhận diện đối tượng chuyển động), chạy thử nghiệm, đánh giá định hướng để tốt hơn, đáp ứng thực tế tiêu chí khoa học Page | lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ 3.Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu chung đồ án nghiên cứu hệ thống đếm người vào ( Phân biệt người vào ra, nhận diện đối tượng người chuyển động) xử lý ảnh Đối với hệ thống này, phần khí hệ thống gồm camera Phần cơng nghệ xử lý ảnh, xây dựng ứng dụng thị giác máy tính Xây dựng hệ thống điều khiển với điều khiển sử dụng ứng dụng phần mềm lập trình đồ hoạ VSCode, PyCharm 4.Ý nghĩa khoa học ý nghĩa thực tiễn đề tài  Ý nghĩa khoa học: Đề tài bước xây dựng sở khoa học làm tảng: nghiên cứu cơng nghệ xử lý ảnh, lập trình phần mềm cho hệ thống đếm số lượng Đó sở cần thiết, quan trọng để tiếp tục phát triển hệ thống phức tạp hơn, đại  Ý nghĩa thực tiễn: Đề tài phần đưa khung cho trình nghiên cứu hệ thống nhận dạng đếm đối tượng Nó sở cho trình phát triển, ứng dụng nhận dạng mẫu vật Đã có vận dụng cơng nghệ đại:công nghệ xử lý ảnh thử nghiệm thuật tốn thơng minh Page | lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ CHƯƠNG II: CƠ SỞ LÝ THUYẾT Computer Vision gì? Hình 1: Minh họa Computer Vision Computer Vision (thị giác máy tính) lĩnh vực liên ngành đề cập đến cách máy tính tạo để đạt hiểu biết cấp cao từ hình ảnh video kỹ thuật số Từ góc độ kỹ thuật, tìm cách tự động hóa nhiệm vụ mà hệ thống thị giác người thực Thị giác máy tính liên quan đến việc trích xuất tự động, phân tích hiểu thơng tin hữu ích từ hình ảnh đơn lẻ chuỗi hình ảnh Nó liên quan đến việc phát triển sở lý thuyết thuật toán để đạt hiểu biết trực quan tự động Là ngành khoa học, thị giác máy tính quan tâm đến lý thuyết đằng sau hệ thống nhân tạo trích xuất thơng tin từ hình ảnh Dữ liệu hình ảnh nhiều dạng, chẳng hạn chuỗi video, chế độ xem từ nhiều camera liệu đa chiều từ máy quét y tế Là ngành cơng nghệ, thị giác máy tính tìm cách áp dụng lý thuyết mơ hình để xây dựng hệ thống thị giác máy tính 1.1 Lịch sử Computer Vision Page | lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ dụng miễn phí GPU cho dự án AI Những tính đánh giá cao Google Colab phải kể đến như: - Tạo mục lục dựa Heading viết ngơn ngữ markdown - Thêm hình ảnh, biểu mẫu dễ dàng với markdown - Kết nối dễ dàng với Google Drive, Google Sheets - Tự động lưu lịch sử chỉnh sửa thành phiên giúp bạn dễ dàng khôi phục lại phiên gần cần bạn gặp lỗi - Tạo dashboard viết Python chia sẻ với team dễ dàng 5.4 FLV Converter Cuối công cụ đề xuất nhằm làm giảm dung lượng đồng thời giúp video, ảnh có chất lượng cao không kể đến FLV Converter Là phần mềm đáng giá không làm nhiệm vụ giúp bạn chuyển đổi định dạng video FLV mà cịn tìm kiếm nội dung video FLV trực tuyến số dịch vụ tải máy để thưởng thức cách nhanh dễ dàng Ngoài việc giúp chuyển đổi file video FLV thành định dạng khác, phần mềm cung cấp cho bạn nhiều tính FLV Converter tải file video FLV từ nguồn chia sẻ video tiếng Youtube, Google video, Dailymotion, Metacafe,… Ứng dụng cho phép chuyển đổi video FLV thành file AVI hay MPEG để phát đầu đĩa Hoặc cho phép chuyển sang định dạng 3GP để phát iPod hay iPhone Không vậy, phần mềm cho phép trích âm từ file video FLV sang MP3 bạn muốn Page | 36 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Ngược lại FLV Converter chuyển từ định dạng FLV sang định dạng khác cách dễ dàng Bạn chuyển đổi video từ MPEG, DivX, XviD, DVD AVI thông qua phần mềm ngược lại CHƯƠNG IV: CÀI ĐẶT VÀ THỬ NGHIỆM Cài đặt chương trình 1.1 Cài đặt thư viện sử dụng 1.2 Một số tính bổ sung Page | 37 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ a Centroid tracker Trình theo dõi Centroid trình theo dõi đáng tin cậy có  Nói cách đơn giản, cơng cụ theo dõi centroid tính tốn tâm hộp giới hạn  Có nghĩa là, hộp giới hạn tọa độ (x, y) đối tượng hình ảnh  Khi SSD (máy dị ảnh đơn) chúng tơi thu tọa độ, trình theo dõi tính tốn tâm (giữa) hộp Nói cách khác, trung tâm vật thể  Sau đó, ID định cho đối tượng cụ thể phát hiện, để theo dõi chuỗi khung b Running Inference  Install all the required Python dependencies: pip install -r requirements.txt  To run inference on a test video 昀椀le, head into the directory/use the command: python run.py prototxt mobilenet_ssd/MobileNetSSD_deploy.prototxt model mobilenet_ssd/MobileNetSSD_deploy.ca昀昀emodel input  Setup your camera url in 'mylib/con昀椀g.py': # Enter the ip camera url (e.g., url = 'http://191.138.0.100:8040/video') url = ''  Then run with the command: Page | 38 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ python run.py prototxt mobilenet_ssd/MobileNetSSD_deploy.prototxt model mobilenet_ssd/MobileNetSSD_deploy.ca昀昀emodel Thử nghiệm Page | 39 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 40 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 41 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 42 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 43 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 44 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Page | 45 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Một số hình ảnh chụp từ video kết Page | 46 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Hình 9:Hình ảnh chụp từ video kết KẾT LUẬN Kết đạt  Về mặt lý thuyết Page | 47 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ  Tìm hiểu sử dụng thành thạo thư viện OpenCV Pycharm  Tìm hiểu thuật tốn phát chuyển động phương pháp trừ nền: Frame Differrence, Mean Filter Codebook  Tìm hiểu phương pháp theo vết: Meanshift, Camshift  Tìm hiểu cách thức đếm số lượng người vào qua camera  Về mặt thực tiễn  Phát phần chuyển động qua frame video  Hoàn thành chức theo vết khn mặt video giúp ích cho việc theo dõi lưu liệu khuôn mặt nhằm tạo sở liệu phục vụ cho việc nhận dạng người tự động sau  Hoàn thành chức đếm số người vào từ liệu video thu thông qua camera  Sử dụng thành công công cụ phục vụ cho việc xử lý video Pycharm, Colab để dễ dàng cho việc thao tác thư viện OpenCV Hạn chế Bên cạnh kết đạt được, đề tài cịn có số hạn chế cần phải khắc phục như:  Tốc độ xử lý chương trình cịn chậm xử lý video có độ phân giải cao kích thước lớn  Việc phát khn mặt người bị sai trường hợp số đối tượng video có hình dáng gần giống với khuôn mặt người Hướng phát triển Trong trình thực hiện, hạn chế thời gian kiến thức đề tài có hạn, chương trình chúng em chưa khai thác hết tính chương trình cách tối đa Để triển khai thực tế địi hỏi cần phải cải tiến Hy vọng tương lai, phát triển giúp đề tài hoàn thiện : Page | 48 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ  Kết hợp việc phát khuôn mặt với việc phát mắt, phát hình dáng người  Hỗ trợ tùy chọn giúp người dùng điều chỉnh khoảng cách camera đối tượng đặt camera để quan sát  Xử lý việc che lấp đối tượng nhắm tạo kết xác cao cho chức theo dõi khuôn mặt người TÀI LIỆU THAM KHẢO [1] Tài Liệu Xử Lý Ảnh PGS TS Đỗ Năng Toàn Và TS Phạm Việt Bình trường Đại Học Thái Nguyên biên soạn [2] Trịnh Thế Phong Trường đại học khoa học Huế , Nhập liệu tự động, Luận văn tốt nghiếp , năm 1999 [3] Lương Mạnh Bá, Nguyễn Thanh Thuỷ, Nhập Môn Xử lý ảnh số, Nhà xuất Thống kê, tháng năm 1998 Page | 49 Downloaded by tran quang (quangsuphamhoak35@gmail.com) lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ [4]http://tailieudientu.lrc.tnu.edu.vn/Upload/Collection/brief/brief_58510_20171 130154656_tran%20van%20thanh.pdf [5]https://123docz.net//document/2624975-phuong-phap-tru-nen-backgroundsubtraction.htm Page | 50 Downloaded by tran quang (quangsuphamhoak35@gmail.com) ... lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ Xử lý ảnh số bao gồm phương pháp kỹ thuật biến đổi, để truyền tải mã hoá ảnh tự nhiên Mục đích xử lý ảnh gồm:  Biến đổi ảnh làm tăng chất lượng ảnh  Tự động... Vision Tổng quan xử lý ảnh 11 2.1 Định nghĩa 11 2.2 Các trình xử lý ảnh 11 2.3 Ảnh biểu diếễn ảnh1 3 2.4 Phạm vi ứng dụng xử lý ảnh 16 lOMoARcPSD|9242611 MỤC LỤC Nhận dạng đối tượng ảnh .17... lOMoARcPSD|9242611 XỬ LÝ ẢNH BÁO CÁO KẾT QUẢ với điểm láng giềng, điểm ảnh I(i, j) có điểm kế cận theo hướng i, j điểm kế cận theo hướng chéo 45 (Xem hình 1.2) 2.4 Phạm vi ứng dụng xử lý ảnh Xử lý ảnh đem