(Tiểu luận) xử lý ảnh nhận dạng tiền việt nam

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN TỰ ĐỘNG ĐIỀU KHIỂN -⸙∆⸙ - Xử lý ảnh: NHẬN DẠNG TIỀN VIỆT NAM + GVHD: TS Nguyễn Văn Thái SVTH: Nguyễn Văn Cường 20651003 Trương Thanh Giàu 20651006 ++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++++++++++++++++++++++++++++++++++++ +++++++++++Ngơ Trọng Nghĩa 20651014 Tp Hồ Chí Minh, tháng năm 2022 MỤC LỤC I Giới thiệu đề tài 1 Đặt vấn đề Mục tiêu nghiên cứu Ứng dụng II Cơ sở lý thuyết Giới thiệu Python 2 Các thư viện Python dùng chương trình III Chương trình Make data Train model Phần – Xử lý liệu ảnh Phần – Thiết kế mạng CNN Classify dùng để train .6 Phần – Sử dụng augmentation cho liệu 11 IV GUI – giao diện người dùng 12 Kết 14 Giao diện chạy chương trình .14 Chương trình nhận dạng tiền nhấn OpenCAM 14 I Giới thiệu đề tài Đặt vấn đề Ngày nay, với phát triển mạnh mẽ công nghệ thông tin kỹ thuật máy tính Con người áp dụng chúng vào lĩnh vực khác thu lại thành tựu to lớn Cùng với tiến vượt bậc tốc độ tính tốn sức mạnh xử lý, giá chi phí giảm xuống mức mà máy tính thiết bị liên quan đến xử lý khác khơng cịn thiết bị chun dụng Kể từ đó, khái niệm hình ảnh kỹ thuật số trở nên phổ biến hầu hết người xã hội, việc thu nhận hình ảnh kỹ thuật số xử lý hình ảnh thơng qua thiết bị cá nhân thiết bị đặc biệt trở nên dễ dàng đơn giản Cùng với xu hướng phát triển công nghệ, xử lý ảnh trở thành lĩnh vực quan tâm trở thành môn học chuyên ngành để đào tạo sinh viên ngành công nghệ kỹ thuật khắp giới Xử lý ảnh mang lại nhiều kiến thức hình ảnh xử lý thơng tin hình ảnh, qua mang lại nhiều lợi ích cho cơng việc người nghiên cứu sản xuất, nâng cao hiệu làm việc, giảm thiểu sai sót, đưa kết xác sau q trình xử lý hình ảnh Tổng kết trình học tập nghiên cứu, chúng em xin giới thiệu đề tài nhóm: “Nhận diện tiền việt nam” Việc tìm hiểu, nghiên cứu đề tài cung cấp kiến thức, kinh nghiệm giúp chúng em tự tin giải vấn đề nhận dạng đặt trưng ảnh, ứng dụng vào thực tiễn đời sống Mục tiêu nghiên cứu Tạo chương trình nhận dạng tiền việt nam với mệnh giá thông qua camera python Ứng dụng Nhận dạng vật thể mạng neural tích châp CNN hay deep learning xu đại trọng nhiều ngành cơng nghệ nói chung xử lý ảnh nói riêng Mạng CNN hỗ trợ trích lọc đặt trưng vật thể việc nhân tích chập ma trận nên dễ dàng nhận diện nhiều đối tượng khác Tiền tệ phương thức giao dịch phổ biến TTTM, máy bán hàng tự động nên việc nhận dạng tiền hỗ trợ nhiều sống, tự động hóa giao dịch II Cơ sở lý thuyết Giới thiệu Python Python ngôn ngữ lập trình thơng dịch (interpreted), hướng đối tượng (object-oriented), ngôn ngữ bậc cao (high-level) ngữ nghĩa động (dynamic semantics) Python hỗ trợ module gói (packages), khuyến khích chương trình module hóa tái sử dụng mã Trình thơng dịch Python thư viện chuẩn mở rộng có sẵn dạng mã nguồn dạng nhị phân miễn phí cho tất tảng phân phối tự Sau đặc điểm Python: ● Ngữ pháp đơn giản, dễ đọc ● Vừa hướng thủ tục (procedural-oriented), vừa hướng đối tượng (object-oriented) ● Hỗ trợ module hỗ trợ gói (package) ● Xử lý lỗi ngoại lệ (Exception) ● Kiểu liệu động mức cao ● Có thư viện chuẩn module ngoài, đáp ứng tất nhu cầu lập trình ● Có khả tương tác với module khác viết C/C++ (Hoặc Java cho Jython, Net cho IronPython) ● Có thể nhúng vào ứng dụng giao tiếp kịch (scripting interface) Các thư viện Python dùng chương trình OpenCv, PIL: thư viện mã nguồn mở hàng đầu cho thị giác máy tính (computer vision), xử lý ảnh máy học, tính tăng tốc GPU hoạt động thời gian thực Trong PIL sử dụng để xử lý hình ảnh Numpy: thư viện tốn học phổ biến mạnh mẽ Python Cho phép làm việc hiệu với ma trận mảng, đặc biệt liệu ma trận mảng lớn với tốc độ xử lý nhanh nhiều lần sử dụng “core Python” đơn Tkinter: thư viện GUI tiêu chuẩn cho Python Tkinter Python cung cấp cách nhanh chóng dễ dàng để tạo ứng dụng GUI Tkinter cung cấp giao diện hướng đối tượng cho công cụ Tk GUI Keras, tensorflow, sklearn thư viện hỗ trợ khác III Chương trình Tạo liệu cách đọc ảnh tờ tiền từ camera Thiết kế mạng CNN với đầu vào ảnh (128,128,3), đưa vào mạng VGG16 đầu VGG16 dùng để đưa vào mạng CNN nhỏ kết thúc lớp Dense hàm softmax Đầu vector softmax chứa probality p(i) ứng với class i, in giá trị max vector chọn làm class dự đoán Make data Cách tạo liệu đơn giản viết đoạn python đọc liên tục từ camera save lại vào thư mục tương ứng ảnh tờ tiền Document continues below Discover more from: Xử lý hình ảnh XLHA 367 Học viện Công ng… 115 documents Go to course 32 Nhập môn Đa phương tiện -… Xử lý hình ảnh 100% (9) Bài giảng Xử lý ảnh 113 14 PGS.TS Đỗ Năng… Xử lý hình ảnh 100% (4) BÀI TẬP MƠN CƠ SỞ TẠO HÌNH Xử lý hình ảnh 100% (3) Toeic Upgrade Transcripts Xử lý hình ảnh Khái niệm đa phương tiện 100% (3) sau Xử lý hình ảnh 75% (4) Xử lý hình ảnh 100% (1) Kỹ thuật nhiếp ảnh Sau chạy thành công class, có thư mục data với subfolders bbb 20 Train model Khai báo thư viện Phần – Xử lý liệu ảnh Chương trình save data Convert nhãn (0k, 10k, 20k….) thành one-hot (mỗi tập hình ứng với label nhất) Resize ảnh 128×128 Và lưu vào file pix.data để lần sau load cho tiện Chương trình load data từ file one-hot encoder – lấy data train test Phần – Thiết kế mạng CNN Classify dùng để train Nhìn vào cấu trúc VGG16 gồm phần, phần màu cam trích đặt trưng ảnh cịn phần màu tím lớp FC để classify Nhưng classify dùng cho mục đích người ta, ko phải cho toán nhận dạng tiền nên ta vơ hiệu hóa phần màu tím Sau thực ghép nối FC vào hình màu (128x128x3) input model: Qua lớp neural với hàm kích hoạt reLU – lọc giá trị âm Dropout - Nếu lớp fully connected có nhiều tham số chiếm hầu hết tham số, nút mạng lớp phụ thuộc lẫn trình huấn luyện hạn chế sức mạnh nút, dẫn đến việc kết hợp mức Dropout học thêm tính mạnh mẽ hữu ích Nó gần tăng gấp đôi số epochs cần thiết để hội tụ Tuy nhiên, thời gian cho epoch Ta có H đơn vị ẩn, với xác suất bỏ học cho đơn vị (1 - p) ta có 2^H mơ hình có Nhưng giai đoạn test, tất nút mạng phải xét đến, activation giảm hệ số p Layer cuối có classes (0, 10k, 20k ) với activation softmax với output vector chứa xác suất class với C=7 Hàm mát (loss) - cross_entropy với p q (hay y a) rời rạc (như ngõ thực ngõ dự đoán class thứ i) ta có cơng thức: Hàm loss - bình phương khoảng cách Hàm cross_entropy cho nghiện gần với p hàm bình phương khoảng cách nghiệm xa bị ‘trừng phạt’ nặng Kết hợp tất cặp liệu xi, yi, i=1, 2, …N có hàm mát cho Softmax Regression sau: Với cặp liệu (xi,yi) ta có hàm loss: Gradient hàm loss: Trong đó, Gradient theo cột tính từ hàm Ji (W): Giá trị eji=aji−yji coi sai số dự đoán ⇨ Gradient cặp data thứ j ⇨ Gradient toàn data với E = A – Y Giả sử sử dụng SGD, công thức cập nhật cho ma trận trọng số W là: Tối ưu hàm loss sử dụng Adam Giống với Adadelta RMSprop, trì trung bình bình phương độ dốc (slope) khứ vt đồng thời trì trung bình độ dốc khứ mt, giống momentum Trong momentum giống cầu lao xuống dốc, Adam lại giống cầu nặng có ma sát (friction), nhờ dễ dàng vượt qua local minimum đạt tới điểm tối ưu (flat minimum) Nó đạt hiệu ứng Heavy Ball with Friction (HBF) nhờ vào hệ số (mt/ sqrt(vt)) Các công thức update khác Đánh giá chất lượng model - Accuracy Độ xác Accuracy định nghĩa cách giá trị đo gần với giá trị đích 10 Phần – Sử dụng augmentation cho liệu Bây sử dụng ảnh nói để train cho model CNN Classify bị tượng Overfit liệu nhiều đa phần giống Dẫn đến train có chất lượng tốt test thấy không nhận chuẩn Chúng ta thực augment liệu để làm phong phú liệu, tăng data variance , tăng tính tổng quát cho model ImageDataGenerator Keras 11 Run model Khai báo thư viện định nghĩa classes Tạo giao diện 12 Chương trình bấm nút WebCAM ● Đọc ảnh từ webcam, resize 128x128 ● Chuyển ảnh tensor lệnh mở rộng mảng thêm chiều ● Dự đoán ảnh thuộc vào classes nào: o In output hàm softmax vector chứa tất xác suất classes o In class có xác suất cao nhất: argmax f(x) giá trị x f(x) lớn nhất, tên class có xác suất lớn o Nếu classes có xác suất > 80% khơng phải class (khơng có tiền) in hình tên class ● Nhấn ‘q’ để kết thúc chương trình 13 IV Kết Giao diện chạy chương trình Chương trình nhận dạng tiền nhấn OpenCAM Hình kết nhận dạng với mệnh giá 500k 10k 14 More from: Xử lý hình ảnh XLHA 367 Học viện Công ngh… 115 documents Go to course Nhập môn Đa phương 32 113 tiện - qưeqwe Xử lý hình ảnh 100% (9) Bài giảng Xử lý ảnh PGS.TS Đỗ Năng Tồ… Xử lý hình ảnh 100% (4) BÀI TẬP MƠN CƠ SỞ TẠO HÌNH Xử lý hình ảnh 100% (3) Toeic Upgrade 14 Transcripts Xử lý hình ảnh Recommended for you 100% (3) 14 Toeic Upgrade Transcripts Xử lý hình ảnh 100% (3) 11 đề - Testing 89 information technology 100% (2) information technology IT2019 information technology 100% (1) Correctional Administration Criminology 96% (113)