Đang tải... (xem toàn văn)
- Chương 2: SỬ DỤNG MƠ HÌNH SVM ĐỂ NHẬN DẠNG BIỂN SỐ XE Nội dung của chương bao gồm giới thiệu về mô hình SVM ,tổng quancác bước thực hiện, quy trình nhận dạng biển số xe- Chương 3: MỘT
lOMoARcPSD|39269578 TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ======* * * ====== BÁO CÁO BÀI TẬP LỚN HỌC PHẦN : KHAI THÁC DỮ LIỆU DỮ LIỆU VÀ ỨNG DỤNG ĐỀ TÀI : NHẬN DẠNG BIỂN SỐ XE QUA ẢNH BẰNG MÔ HÌNH SVM Giảng viên hướng dẫn : Nguyễn Mạnh Cường Lớp : 20231IT6075001 Nhóm thực hiện : Nhóm 7 Sinh viên thực hiện : Phạm Hữu Khải - 2020607388 Hà Nội, 2023 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 MỤC LỤC DANH MỤC HÌNH ẢNH 3 LỜI CẢM ƠN 4 LỜI NÓI ĐẦU 5 CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 7 1.1 Tổng quan về nhận dạng 7 1.1.1 Khái quát về xử lý ảnh .7 1.1.2 Khái quát về nhận dạng biển số xe 7 1.3 Bài toán nhận dạng biển số xe qua ảnh 7 1.3.1 Giới thiệu bài toán .7 1.3.2 Mô tả chi tiết đầu vào và đầu ra bài toán .8 1.3.3 Các khó khăn và thách thức của bài toán 9 1.3.4 Ứng dụng của bài toán 9 CHƯƠNG 2: SỬ DỤNG MÔ HÌNH SVM ĐỂ NHẬN DẠNG BIỂN SỐ XE 10 2.1 Tổng quan về mô hình SVM 10 2.2 Tổng quan về các bước thực hiện .15 2.3 Quy trình nhận dạng biển số xe 17 2.3.1 Tách biển số xe 17 2.3.2 Định vị ký tự .18 2.3.3 Nhận dạng ký tự 19 CHƯƠNG 3: MỘT SỐ KẾT QUẢ THỰC NGHIỆM 21 3.1 Bộ dữ liệu thực nghiệm 21 3.2 Đánh giá kết quả thực nghiệm 22 3.3 Quy trình thực nghiệm .23 3.3.1 Phân tích thiết kế hệ thống 23 3.3.2 Giao diện hệ thống 24 3.4 Một số kết quả 27 KẾT LUẬN 30 TÀI LIỆU THAM KHẢO .31 2 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 DANH MỤC HÌNH ẢNH Hình 2.2: Siêu phẳng có lề cực đại trong không gian 3 chiều 11 Hình 2.3: SVM tuyến tính 13 Hình 2.4: Lề mềm 14 Hình 2.5: Kernel 14 Hình 2.6: Sơ đồ tổng quát 16 Hình 2.7: Mẫu tách biển số 16 Hình 2.8: Mẫu tách kí tự 17 Hình 2.9: Mẫu nhận diện kí tự 17 Hình 3.1: Bộ dữ liệu 21 Hình 3.2 bảng đánh giá kết quả thực nghiệm .22 Hình 3.3: Biểu đồ usecase Xem kết quả chẩn đoán 23 Hình 3.4: Giao diện của hệ thống 25 Hình 3.5: Hình ảnh biển số 60A-99999 .25 Hình 3.6: Hình ảnh biển số 17-MD7 88888 .26 Hình 3.7: Hình ảnh biển số 37A-55555 .26 Hình 3.10: Kết quả chẩn đoán hệ thống hiển thị lần 3 .29 3 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 LỜI CẢM ƠN Trong quá trình thực hiện báo cáo của học phần khai thác dữ liệu và ứng dụng, với đề tài "nhận dạng biển số xe qua ảnh bằng mô hình svm", tôi xin gửi lời cảm ơn chân thành đến tất cả những người đã đóng góp và hỗ trợ hoàn thành thành công báo cáo này Đầu tiên, em muốn gửi lời cảm ơn sâu sắc tới Giảng viên hướng dẫn, tiến sĩ Nguyễn Mạnh Cường, vì sự chỉ dẫn, hướng dẫn và những kiến thức quý báu mà thầy đã truyền đạt cho sinh viên trong suốt quá trình thực hiện báo cáo cũng như trong quá trình học Sự kiên nhẫn và tận tâm của thầy đã giúp những sinh viên trong lớp như em vượt qua những khó khăn và hoàn thiện báo cáo một cách tốt nhất Em cũng muốn bày tỏ lòng biết ơn đến khoa Công nghệ thông tin trường Đại học Công Nghiệp Hà Nội đã tạo điều kiện thuận lợi và cung cấp những kiến thức chuyên môn quan trọng cho em trong suốt quá trình học tập và nghiên cứu tại trường Không thể không nhắc đến sự giúp đỡ của các bạn bè cùng lớp trong việc tìm kiếm thông tin, trao đổi ý kiến và hỗ trợ kỹ thuật Em cũng muốn bày tỏ lòng biết ơn đến gia đình và người thân đã luôn ủng hộ, động viên và hiểu rõ những khó khăn gặp phải trong quá trình thực hiện báo cáo này Sự động viên và tình yêu thương của gia đình là nguồn động lực quan trọng giúp em vượt qua mọi khó khăn Cuối cùng, Em xin gửi lời cảm ơn chân thành đến tất cả những người đã đọc và đánh giá báo cáo này Sự quan tâm và góp ý của mọi người là động lực để em tiếp tục nỗ lực và hoàn thiện hơn trong những nghiên cứu và dự án tương lai Xin chân thành cảm ơn! Sinh viên thực hiện Khải Phạm Hữu Khải 4 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 LỜI NÓI ĐẦU Trong thời đại của Cuộc cách mạng Số hóa, một từ ngữ xuất hiện và trở nên ngày càng quen thuộc: "Dữ liệu." Dữ liệu - những con số, thông tin, và thậm chí là những sự kiện sơ sài trong cuộc sống hàng ngày của chúng ta, bỗng nhiên trở thành nguồn quý báu với tiềm năng vô tận Trong bối cảnh này, lĩnh vực "Khai thác dữ liệu và ứng dụng" đã nổi lên như một hiện tượng toàn cầu, mang theo một sứ mệnh quan trọng: biến dữ liệu thành thông tin hữu ích, hỗ trợ quyết định và giải quyết các vấn đề phức tạp Chúng ta thấy tầm ảnh hưởng của khai thác dữ liệu khắp mọi nơi - từ quyết định kinh doanh đến điều trị bệnh tại các bệnh viện, từ việc nâng cao chất lượng giáo dục đến cải thiện năng suất trong nông nghiệp Ngày càng nhiều công ty, tổ chức và quốc gia đã nhận ra giá trị của dữ liệu và đã đầu tư mạnh mẽ vào ngành khai thác dữ liệu để cải thiện hiệu suất và thúc đẩy sự phát triển Việt Nam không phải ngoại lệ trong cuộc cách mạng này Với sự ủng hộ của chính phủ và sự đầu tư của các công ty công nghệ, ngành khai thác dữ liệu đã trở thành một phần quan trọng của cuộc cách mạng số hóa và góp phần quan trọng vào nền kinh tế số của đất nước Từ tài chính đến y tế, giáo dục, và nông nghiệp, khai thác dữ liệu đang mở ra những cơ hội mới và tạo ra một định hướng chưa từng có cho sự phát triển và nghiên cứu tại Việt Nam Và trong bài tiểu luận này, em sẽ khám phá về ngành "Khai thác dữ liệu và ứng dụng" Cụ thể hơn đó là về chủ đề "nhận dạng biển số xe qua ảnh bằng mô hình SVM" Nhận dạng biển số xe là một nhiệm vụ quan trọng trong nhiều ứng dụng, chẳng hạn như quản lý giao thông, an ninh quốc phòng, thương mại điện tử Trong phân tích dữ liệu, nhận dạng biển số xe là một bài toán phân loại đa lớp Để giải quyết bài toán này, một mô hình học máy được huấn luyện trên một tập dữ liệu gồm các ảnh biển số xe có nhãn Mô hình học máy sẽ học cách phân biệt các biển số xe khác nhau dựa trên các đặc trưng của chúng Mô hình SVM là một mô hình học máy được sử dụng phổ biến trong nhận dạng biển số xe 5 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 Bản báo cáo này sẽ gồm có 3 chương: - Chương 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE Nội dung của chương bao gồm giới thiệu khái quát về khai phá dữ liệu, tổng quan về nhận dạng ảnh và bài toán nhận dạng biển số xe qua ảnh - Chương 2: SỬ DỤNG MÔ HÌNH SVM ĐỂ NHẬN DẠNG BIỂN SỐ XE Nội dung của chương bao gồm giới thiệu về mô hình SVM ,tổng quan các bước thực hiện, quy trình nhận dạng biển số xe - Chương 3: MỘT SỐ KẾT QUẢ THỰC NGHIỆM Nội dung của chương bao gồm giới thiệu về bộ dữ liệu thực nghiệm , quy trình thực nghiệm , một số kết quả thực nghiệm Qua bài tập lớn này, hy vọng rằng chúng ta sẽ nắm vững kiến thức và kỹ năng về mô hình phân lớp SVM, cũng như cách ứng dụng nó vào bài toán nhận dạng biển số xe Đồng thời mở rộng tầm nhìn và tư duy của chúng ta về lĩnh vực khai thác dữ liệu và ứng dụng 6 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 1.1 Tổng quan về nhận dạng 1.1.1 Khái quát về xử lý ảnh Xử lý ảnh là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là tiền đề cho nhiều nghiên cứu thuộc lĩnh vực này Hai nhiệm vụ cơ bản của quá trình xử lý ảnh là nâng cao chất lượng thông tin hình ảnh và xử lý số liệu cung cấp cho các quá trình khác trong đó có việc ứng dụng thị giác vào điều khiển Quá trình bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhận ảnh dạng số hoặc tương tự) gửi đến máy tính Dữ liệu ảnh được lưu trữ ở định dạng phù hợp với quá trình xử lý Người lập trình sẽ tác động các thuật toán tương ứng lên dữ liệu ảnh nhằm thay đổi cấu trúc ảnh phù hợp với các ứng dụng khác nhau 1.1.2 Khái quát về nhận dạng biển số xe Ứng dụng nhận dạng biển số xe là ứng dụng có khả năng phân tích hình ảnh và xác định biển số xe từ các hình ảnh chụp được từ các thiết bị thu hình Nguồn hình ảnh cho ứng dụng có rất nhiều Hình ảnh được trực tiếp thu nhận từ camera Trong báo cáo thực nghiệm này của em chỉ dừng lại ở mức xác định được biển số xe (xác định các chữ) từ ảnh 1.3 Bài toán nhận dạng biển số xe qua ảnh 1.3.1 Giới thiệu bài toán Có nhiều cách thức khác nhau để phân loại các ứng dụng nhận dạng biển số xe Có thể chia ứng dụng nhận dạng biển số xe thành hai loại: Loại 1 là ảnh thu trực tiếp từ các thiết bị ghi nhận ảnh kỹ thuật số, ảnh được ghi nhận thường chỉ giới hạn trong vùng có biển số xe Loại 2 là ảnh đầu vào thu được từ các thiết bị ghi hình tự động, không phụ thuộc vào góc độ, các đối tượng xung quanh, ảnh không cần bắt buộc chỉ chụp vùng chứa biển số xe, mà có thể ảnh tổng hợp như chứa thêm các đối tượng như người, cây, đường phố miễn là vùng biển số xe phải đủ rõ để có thể thực hiện nhận dạng được các ký tự trong vùng đó 7 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 - Loại 1 là ảnh thu trực tiếp từ các thiết bị ghi nhận ảnh kỹ thuật số, ảnh được ghi nhận thường chỉ giới hạn trong vùng có biển số xe o Nguyên lý hoạt động: Các phương tiện giao thông phải chạy với một tốc độ đủ chậm để máy ghi nhận hình ảnh có thể thu được ảnh vùng biển số xe o Ứng dụng: Những ứng dụng nhận dạng biển số xe loại này thường được dụng tại các trạm kiểm soát, các trạm thu phí, các bãi gửi xe tự động, các trạm gác cổng - Loại 2 là ảnh đầu vào thu được từ các thiết bị ghi hình tự động, không phụ thuộc vào góc độ, các đối tượng xung quanh, ảnh không cần bắt buộc chỉ chụp vùng chứa biển số xe, mà có thể ảnh tổng hợp như chứa thêm các đối tượng như người, cây, đường phố miễn là vùng biển số xe phải đủ rõ để có thể thực hiện nhận dạng được các ký tự trong vùng đó o Nguyên lý hoạt động: Do đặc tính không giới hạn vùng nhìn mà ảnh đầu vào có thể thu được từ một thiết bị ghi hình (camara, máy ảnh…) Và do đó, công việc đầu tiên là dò tìm trong ảnh, để xác định đúng vùng nào là biển số xe Sau đó, thực hiện tách vùng và nhận dạng Cuối cùng tùy thuộc vào mục đích sử dụng mà kết quả nhận dạng được truyền đi hay lưu trữ để phục vụ nhu cầu của người dùng cuối o Ứng dụng: Vì không phụ thuộc vào hình ảnh thu được nên có thể dùng ứng dụng tại nhiều nơi như tại những nơi điều tiết giao thông, tại các vị trí nhạy cảm của giao thông như ngã ba, ngã tư đường giao nhau Kiểm soát, phát hiện những hành vi vi phạm an toàn giao thông Trong quá trình tìm hiểu, xây dựng ứng dụng của mình Ứng dụng mà em hướng tới trong quá trình xây dựng là ứng dụng loại 2 Vì vậy, trong toàn bộ báo cáo này, chỉ nêu cách thức giải quyết là làm sao nhận dạng (lọc ra) được các ký tự số và chữ 1.3.2 Mô tả chi tiết đầu vào và đầu ra bài toán 8 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 Đầu vào: Ảnh thu được từ các thiết bị ghi hình tự động, không phụ thuộc vào góc độ, các đối tượng xung quanh, ảnh không cần bắt buộc chỉ chụp vùng chứa biển số xe, mà có thể ảnh tổng hợp như chứa thêm các đối tượng như người, cây, đường phố miễn là vùng biển số xe phải đủ rõ để có thể thực hiện nhận dạng được các ký tự trong vùng đó Đầu ra: Hiển thị thông tin biển số xe bao gồm các ký tự số và chữ 1.3.3 Các khó khăn và thách thức của bài toán Một số khó khăn và thách thức của bài toán: - Hình ảnh chụp không rõ chữ và số trên biển số xe ví dụ như biển số xe bị gãy, bị bám bẩn, chụp trong điều kiện thiếu sáng … - Việc xử lý ảnh để tách biển số xe ra khỏi nền ảnh - Góc chụp và độ nghiêng của ảnh: Nếu ảnh chụp biển số xe ở góc nghiêng hoặc có tỉ lệ nghiêng, điều này có thể làm giảm khả năng nhận diện Mô hình cần có khả năng xử lý và tự điều chỉnh cho các biến đổi này 1.3.4 Ứng dụng của bài toán Bài toán nhận dạng biển số xe có nhiều ứng dụng quan trọng trong nhiều lĩnh vực khác nhau Dưới đây là một số ứng dụng phổ biến của nó: - Giao thông và an ninh: o Giám sát giao thông: Hệ thống nhận dạng biển số xe có thể được sử dụng để giám sát giao thông, theo dõi tốc độ, đếm số lượng xe, và phát hiện vi phạm giao thông o An ninh công cộng: Các hệ thống an ninh trong các khu vực công cộng như sân bay, ga tàu, trung tâm mua sắm có thể sử dụng nhận dạng biển số xe để theo dõi và kiểm soát phương tiện - Quản lý đỗ xe và Trạm thu phí: o Quản lý đỗ xe: Hệ thống có thể giúp quản lý bãi đỗ xe tự động, tự động ghi lại thời gian và vị trí xe o Trạm thu phí tự động: Hệ thống nhận dạng biển số xe có thể được tích hợp vào các trạm thu phí tự động để thu phí mà không cần dừng lại - Quy hoạch đô thị: 9 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 o Phân tích dữ liệu giao thông: Cung cấp thông tin quan trọng cho quy hoạch đô thị và phát triển hạ tầng giao thông 10 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 Hình 2.8: Mẫu tách kí tự - Bước 3: Nhận dạng ký tự bằng thuật toán Machine Learning, trong trường hợp này là SVM để phân lớp các ký tự Sau đó dùng SVM để nhận dạng ký tự Hình 2.9: Mẫu nhận diện kí tự - Bước 4: Sắp xếp các kết quả nhận dạng và hiển thị ký tự theo định dạng biển số xe 2.3 Quy trình nhận dạng biển số xe 2.3.1 Tách biển số xe Đây là quy trình định vị và lọc biển số xe từ ảnh đưa vào Bước 1: Lọc ảnh để loại bỏ nhiễu bằng cách sử dụng hàm cv2.cvtColor() để chuyển đổi ảnh từ màu sang xám, sau đó sử dụng hàm cv2.GaussianBlur() để làm mờ ảnh Việc làm mờ ảnh giúp loại bỏ nhiễu, giúp cho các vùng có độ tương phản cao hơn dễ dàng nhận diện hơn Bước 2: Tìm kiếm các vùng có độ tương phản cao trong ảnh bằng sử dụng hàm cv2.Canny() để tìm kiếm các vùng có độ tương phản cao trong ảnh Hàm này sử dụng hai ngưỡng, ngưỡng thấp và ngưỡng cao Các vùng có độ tương phản cao hơn ngưỡng cao sẽ được xác định là các vùng có thể là biển số xe 18 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 Bước 3: Tìm kiếm các vùng có hình dạng giống biển số xe bằng cách sử dụng hàm cv2.findContours() để tìm kiếm các vùng có hình dạng giống biển số xe Hàm này trả về một danh sách các vùng, trong đó mỗi vùng là một tập hợp các điểm Bước 4: Loại bỏ các vùng không phải biển số xe bằng cách sử dụng một số tiêu chí để loại bỏ các vùng không phải biển số xe Trong ví dụ này, tiêu chí được sử dụng là diện tích của vùng Các vùng có diện tích lớn hơn một giá trị nhất định sẽ được giữ lại 2.3.2 Định vị ký tự Đây là quy trình định vị và tách từng ký tự ra từ biển số xe được lọc từ ảnh ở bước trên Bước 1 : Chuyển đổi ảnh sang ảnh xám, Bước này giúp giảm thiểu nhiễu và tăng cường ký tự Ảnh màu thường chứa nhiều nhiễu, có thể khiến việc nhận diện biển số xe trở nên khó khăn Việc chuyển đổi ảnh sang xám giúp giảm thiểu nhiễu, giúp các vùng có độ tương phản cao hơn nổi bật hơn Bước 2 : Làm mờ ảnh , Bước này giúp giảm thiểu nhiễu và tăng cường ký tự Việc làm mờ ảnh giúp giảm thiểu nhiễu, giúp các vùng có độ tương phản cao hơn nổi bật hơn Bước 3 : Phát hiện cạnh sử dụng Canny, Bước này giúp tìm kiếm các vùng có độ tương phản cao trong ảnh, bao gồm cả ký tự trên biển số xe Hàm cv2.Canny() sử dụng hai ngưỡng, ngưỡng thấp và ngưỡng cao Các vùng có độ tương phản cao hơn ngưỡng cao sẽ được xác định là các vùng có thể là ký tự Bước 4 : Áp dụng kỹ thuật morphology để tìm vùng chứa ký tự, Kỹ thuật morphology là một kỹ thuật xử lý ảnh sử dụng các phép toán hình học để biến đổi hình dạng của các đối tượng trong ảnh Trong trường hợp này, kỹ thuật morphology được sử dụng để tìm các vùng chứa ký tự bằng cách mở rộng các vùng có độ tương phản cao.Kỹ thuật morphology có thể được sử dụng để mở rộng các vùng có độ tương phản cao, giúp các vùng này dễ dàng nhận diện hơn Bước 5 : Tìm contours trên ảnh đã xử lý, Hàm cv2.findContours() trả về một danh sách các contours, mỗi contours là một tập hợp các điểm Contours là các đường bao quanh các đối tượng trong ảnh 19 Downloaded by SAU SAU (saudinh1@gmail.com) lOMoARcPSD|39269578 Bước 6 : Tìm vùng chứa ký tự dựa trên diện tích và hình dạng, Các vùng chứa ký tự sẽ có diện tích và hình dạng phù hợp với ký tự trên biển số xe Trong hàm này, các vùng chứa ký tự được xác định dựa trên các tiêu chí sau: - Diện tích: Diện tích của vùng chứa ký tự phải nằm trong khoảng từ 1100 đến 4300 pixel - Tỷ lệ chiều rộng/chiều cao: Tỷ lệ chiều rộng/chiều cao của vùng chứa ký tự phải nằm trong khoảng từ 1,5 đến 7,5 Các vùng chứa ký tự có diện tích và hình dạng phù hợp với ký tự trên biển số xe sẽ có nhiều khả năng là ký tự thực sự 2.3.3 Nhận dạng ký tự Đây quy trình nhận dạng các ký tự vừa được định vị và tách ra ở bước định vị ký tự Bước 1: Chuyển đổi ảnh sang ảnh xám, Hàm cv2.cvtColor() được sử dụng để chuyển đổi ảnh sang ảnh xám Ảnh màu thường chứa nhiều nhiễu, có thể khiến việc nhận diện biển số xe trở nên khó khăn Việc chuyển đổi ảnh sang xám giúp giảm thiểu nhiễu, giúp các vùng có độ tương phản cao hơn nổi bật hơn Bước 2: Làm mờ ảnh để giảm nhiễu và tăng cường ký tự, Hàm cv2.GaussianBlur() được sử dụng để làm mờ ảnh Việc làm mờ ảnh giúp giảm thiểu nhiễu, giúp các vùng có độ tương phản cao hơn nổi bật hơn Bước 3: Phát hiện cạnh sử dụng Canny, Hàm cv2.Canny() sử dụng hai ngưỡng, ngưỡng thấp và ngưỡng cao Các vùng có độ tương phản cao hơn ngưỡng cao sẽ được xác định là các vùng có thể là ký tự Bước 4: Tìm contours trên ảnh đã xử lý, Hàm cv2.findContours() trả về một danh sách các contours, mỗi contours là một tập hợp các điểm Contours là các đường bao quanh các đối tượng trong ảnh Bước 5: Tìm vùng chứa ký tự dựa trên diện tích và hình dạng, Các vùng chứa ký tự sẽ có diện tích và hình dạng phù hợp với ký tự trên biển số xe Trong hàm này, các vùng chứa ký tự được xác định dựa trên các tiêu chí sau: Diện tích: Diện tích của vùng chứa ký tự phải nằm trong khoảng từ 200 đến 1500 pixel Tỷ lệ chiều rộng/chiều cao: Tỷ lệ chiều rộng/chiều cao của vùng chứa ký tự phải nằm trong khoảng từ 0,1 đến 10 20 Downloaded by SAU SAU (saudinh1@gmail.com)