Đồ án cơ sở 4 nhận dạng trái cây trong hình ảnh

ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT _ HÀN ĐỒ ÁN CƠ SỞ NHẬN DẠNG TRÁI CÂY TRONG HÌNH ẢNH Giảng viên hướng dẫn : ThS Lê Song Toàn Sinh viên thực : NGUYỄN HƯƠNG MAI Mã sinh viên : 18IT224 Lớp : 18IT4 Đà Nẵng, tháng … năm ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT _ HÀN ĐỒ ÁN CƠ SỞ NHẬN DẠNG TRÁI CÂY TRONG HÌNH ẢNH Đà Nẵng, tháng … năm…… MỞ ĐẦU Hiện nay, nước ta nói riêng nước phát triển có nông nghiệp ngành sản xuất chủ yếu, trình thu hoạch, phân loại đánh loại sản phẩm nông nghiệp, đặc biệt loại hoa quả, chủ yếu phải thực phương pháp thủ cơng Do đó, nhiều phương pháp tự động hóa cơng việc thu hoạch, nhận dạng đánh giá hoa nghiên cứu đưa vào ứng dụng thực tế, sử dụng chủ yếu phương pháp Xử lý ảnh đơn Tuy nhiên, phương pháp chưa thực thỏa mãn yêu cầu khả nhận dạng số lượng lớn loại hoa với độ xác cao bị hạn chế đặc trưng toán nhận dạng hoa quả: số lượng chủng loại lớn với nhiều loại hoa tương tự nhau, biến thiên hình dạng, màu sắc, chi tiết loại khó dự đốn trước Trong thời gian gần đây, nhờ có phát triển mạnh mẽ khả tính tốn hệ máy tính đại bùng nổ liệu thông qua mạng lưới Internet trải rộng, ta chứng kiến nhiều đột phá lĩnh vực Học máy, đặc biệt lĩnh vực Thị giác máy tính Sự quay lại phát triển vượt bậc phương pháp Học sâu giúp Thị giác máy tính đạt thành tựu đáng kể lĩnh vực Nhận dạng ảnh, có toán nhận dạng hoa Đề tài nghiên cứu “Nhận dạng trái ảnh” đưa với hy vọng ứng dụng thành cơng mơ hình học sâu xây dựng hệ thống nhận dạng hoa tự động, đặc biệt loại hoa phổ biến nước ta LỜI CẢM ƠN Để đồ án sở đạt kết tốt đẹp, nhận hỗ trợ, giúp đỡ thầy, nhà trường Với tình cảm sâu sắc, chân thành, cho phép tơi bày tỏ lịng biết ơn sâu sắc đến tất quý thầy cô tạo điều kiện giúp đỡ trình học tập nghiên cứu phát triển đề tài Trước hết xin gửi tới thầy cô khoa Khoa học máy tính - Đại học Cơng nghệ thơng tin Truyền thông Việt-Hàn lời chào trân trọng, lời chúc sức khỏe lời cảm ơn sâu sắc Với quan tâm, dạy dỗ, bảo tận tình chu đáo thầy cơ, đến tơi hồn thành đề tài Đồ án sở Đặc biệt xin gửi lời cảm ơn chân thành tới thầy giáo – ThS Lê Song Toàn quan tâm giúp đỡ, hướng dẫn chúng tơi hồn thành tốt đồ án thời gian qua Với điều kiện thời gian kinh nghiệm hạn chế sinh viên, đồ án khơng thể tránh thiếu sót Chúng tơi mong nhận bảo, đóng góp ý kiến thầy để tơi có điều kiện bổ sung, nâng cao ý thức mình, phục vụ tốt công tác thực tế sau Chúng xin chân thành cảm ơn! NHẬN XÉT(Của giảng viên hướng dẫn) Giảng viên hướng dẫn (ký tên) ThS Lê Song Toàn MỤC LỤC Chương TỔNG QUAN .1 1.1 Giới thiệu chung 1.2 Nhận dạng hình ảnh học sâu Chương PHÁT BIỂU BÀI TOÁN .3 2.1 Nhận dạng vật thể hình ảnh 2.2 Mơ tả tốn .3 2.3 Phương pháp thực 2.4 Kết dự kiến .4 Chương THỊ GIÁC MÁY TÍNH 3.1 Tổng quan thị giác máy tính .5 3.2 Deep Learning thị giác máy tính 3.3 Ứng dụng Thị giác máy tính 3.4 Mạng nơ-ron tích chập(CNN) .7 3.4.1 Khái niệm mạng nơ-ron tích chập 3.4.2 Cấu trúc mạng nơ-ron tích chập Chương TRIỂN KHAI XÂY DỰNG 4.1 Chuẩn bị tập liệu rút trích đặc trưng 4.2 Chương trình huấn luyện .9 4.3 Chương trình đánh giá nhận dạng 10 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .11 Kết luận 11 Hướng phát triển 11 TÀI LIỆU THAM KHẢO .12 DANH MỤC HÌNH Hình Cấu trúc mạng nơ-ron tích chập Hình Sơ đồ chương trình huấn luyện Hình Sơ đồ quy trình nhận dạng .10 DANH MỤC CỤM TỪ VIẾT TẮT STT Cụm từ Region-based Convolutional Neural Networks Fast Region-based Convolutional Neural Networks Faster Region-based Convolutional Neural Networks Single Shot MultiBox Detector You Only Look Once Artificial Intelligence K-nearest neighbors Support Vector Machine Viết tắt R-CNN Fast R-CNN Faster-RCNN SSD YOLO AI KNN SVM Chương TỔNG QUAN 1.1 Giới thiệu chung Với phát triển không ngừng khoa học công nghệ, đặc biệt với điện thoại thông minh máy vi tính ngày đại sử dụng phổ biến đời sống người làm cho lượng thơng tin thu hình ảnh ngày tăng Theo đó, lĩnh vực xử lý ảnh trọng phát triển, ứng dụng rộng rãi đời sống xã hội đại Trong thời gian gần đây, nhờ có phát triển mạnh mẽ khả tính tốn hệ máy tính đại bùng nổ liệu thông qua mạng lưới Internet trải rộng, ta chứng kiến nhiều đột phá lĩnh vực Học máy, đặc biệt lĩnh vực Thị giác máy tính Sự quay lại phát triển vượt bậc phương pháp Học sâu giúp Thị giác máy tính đạt thành tựu đáng kể lĩnh vực Nhận dạng ảnh, có tốn nhận dạng hoa Đề tài nghiên cứu “Nhận dạng trái ảnh” đưa với hy vọng ứng dụng thành cơng mơ hình học sâu xây dựng hệ thống nhận dạng hoa tự động, đặc biệt loại hoa phổ biến nước ta 1.2 Nhận dạng hình ảnh học sâu Một lĩnh vực quan trọng Trí tuệ nhân tạo thị giác máy tính Nó lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Nhận dạng vật thể có lẽ khía cạnh sâu sắc thị giác máy số lần sử dụng thực tế Nhận dạng vật thể đề cập đến khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh xác định đối tượng Nhận dạng vật thể sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe không người lái Có nhiều cách để nhận diện đối tượng sử dụng nhiều lĩnh vực thực hành Giống công nghệ khác, loạt ứng dụng sáng tạo tuyệt vời nhận dạng vật thể đến từ lập trình viên nhà phát triển phần mềm Bắt đầu sử dụng phương pháp nhận diện đối tượng đại ứng dụng hệ thống, xây dựng ứng dụng dựa phương pháp này.Việc triển nhận diện đối tượng sớm liên quan đến việc sử dụng thuật toán cổ điển, giống thuật toán hỗ trợ OpenCV, thư viện computer vision phổ biến Tuy nhiên, thuật toán cổ điển đạt hiệu suất đủ để làm việc điều kiện khác Mạng thần kinh tích chập LeCun tuyệt vời cho thấy nhiều hứa hẹn, chúng bị cản trở vấn đề nghiêm trọng: Điều chỉnh sử dụng chúng đòi hỏi lượng lớn liệu tài ngun tính tốn khơng có sẵn thời điểm CNN cuối tìm thấy việc sử dụng thương mại số lĩnh vực hạn chế ngân hàng dịch vụ bưu chính, nơi chúng sử dụng để xử lý chữ số chữ viết tay phong bì tờ séc Nhưng lĩnh vực nhận diện đối tượng, họ thất bại nhường chỗ cho kỹ thuật học máy khác, ‘support vector machines’ ‘random forests’ Vào năm 2012, nhà nghiên cứu AI từ Toronto phát triển AlexNet, mạng thần kinh tích chập chiếm ưu thi nhận dạng hình ảnh ImageNet tiếng Chiến thắng AlexNet cho thấy với gia tăng sẵn có liệu tài ngun điện tốn, có lẽ đến lúc phải trở lại với CNN Sự kiện làm hồi sinh quan tâm đến CNN tạo cách mạng Deep Learning, phân nhánh Machine Learning liên quan đến việc sử dụng mạng thần kinh nhân tạo nhiều lớp Nhờ tiến mạng thần kinh tích chập học sâu, từ đó, lĩnh vực thị giác máy tính phát triển nhờ bước nhảy vọt 3.3 Ứng dụng Thị giác máy tính Thị giác máy tính chuyên ngành phát triển lâu có nhiều ứng dụng rộng rãi đời sống, giúp cho máy tính “nhìn” người Nó ứng dụng rộng rãi nhiều lĩnh vực, thành tựu bật đáng kể đến như: Trong y học, thuật toán xử lí ảnh cho phép biến đổi hình ảnh tạo từ nguồn xạ X-ray hay nguồn xạ siêu âm hình ảnh quang học bề mặt phim x-quang trực tiếp lên bề mặt hình hiển thị Hình ảnh quan chức người xử lí tiếp nâng cao độ tương phản, lọc, tách phần cần thiết hay tạo hình ảnh khơng gian chiều (siêu âm ba chiều) Mới nay, thị giác máy tính tạo ứng dụng giúp hỗ trợ thị giác cho người mù… Trong lĩnh vực địa chất, kỹ thuật làm đường biên khơi phục hình ảnh giúp nâng cao chất lượng vệ tinh tạo đồ địa hình 3D với độ xác cao Trong khí tượng học, ảnh thông qua vệ tinh, đưa thông tin Trái Đất vùng rộng lớn, giúp cho việc dự báo thời tiết xác Trong lĩnh vực hình bảo mật, kiểm soát truy cập, trình xử lí nhận dang vân tay, khn mặt hay nhận dạng biển số xe giúp phát nhanh đối tượng nghi vấn, nâng cao trình bảo mật, giám sát hay nhận dạng mục tiêu lĩnh vực quân Không thế, thị giác máy tính ứng dụng việc điều khiển tiến trình robot công nghiệp, hay thiết bị, xe tự hành hay trình kiểm tra mơi trường cơng nghiệp, … Ngồi ra, thị giác máy tính cịn có vai trị tương tác (đóng vai trị làm đầu vào cho thiết bị trình tương tác người máy) 3.4 Mạng nơ-ron tích chập(CNN) 3.4.1 Khái niệm mạng nơ-ron tích chập Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến Nó giúp cho xây dựng hệ thống thông minh với độ xác cao CNN dùng trong nhiều toán nhân dạng ảnh, phân tích video, ảnh MRI, cho lĩnh vự xử lý ngôn ngữ tự nhiên,và hầu hết giải tốt toán 3.4.2 Cấu trúc mạng nơ-ron tích chập CNN bao gồm tập hợp lớp bao gồm: convolution layer + nonlinear layer, Hình Cấu trúc mạng nơ-ron tích chập pooling layer, fully connected layer Các lớp liên kết với theo thứ tự định Thông thường, ảnh lan truyền qua tầng convolution layer + nonlinear layer đầu tiên, sau giá trị tính toán lan truyền qua pooling layer, ba convolution layer + nonlinear layer + pooling layer lặp lại nhiều lần network Và sau lan truyền qua tầng fully connected layer softmax để tính sác xuất ảnh chứa vật Convolution layer lớp quan trọng lớp của mơ hình CNN Lớp có chức phát đặc trưng có tính khơng gian hiệu Trong tầng có đối tượng là: ma trận đầu vào, filters receptive field, feature map Conv layer nhận đầu vào ma trận chiều filters cần phải học Bộ filters trượt qua vị trí ảnh để tính tích chập (convolution) filter phần tương ứng ảnh Phần tưng ứng ảnh gọi receptive field, tức vùng mà neuron nhìn thấy để đưa định, mà trận cho bới trình gọi feature map ReLU (Rectified Linear Units, f = max(0, x)) hàm kích hoạt phổ biến cho CNN thời điểm viết, giới thiệu Geoffrey E Hinton năm 2010 Trước hàm ReLU áp dụng hàm sigmoid hay hàm sử dụng phổ biến Hàm ReLU ưa chuộng tính tốn đơn giản, giúp hạn chế tình trạng vanishing gradient, cho kết tốt ReLU hàm kích hoạt khác, đặt sau tầng convolution, ReLU gán giá trị âm giữ nguyên giá trị đầu vào lớn Sau hàm kích hoạt, thông thường sử dụng tầng pooling Một số loại pooling layer phổ biến max-pooling, average pooling, với chức giảm chiều tầng trước Hơn giảm tầng pooling có khả giảm chiều nhiều, làm hạn chế overfit, giảm thời gian huấn luyện tốt Tầng cuối mơ hình CNN toán phân loại ảnh tầng fully connected layer Tầng có chức chuyển ma trận đặc trưng tầng trước thành vector chứa xác suất đối tượng cần dự đoán Chương TRIỂN KHAI XÂY DỰNG 4.1 Chuẩn bị tập liệu rút trích đặc trưng Để xây dựng mơ tả hình ảnh phù hợp, cần xác định rõ đặc điểm ảnh sử dụng để phân biệt chúng, màu sắc chủ đạo, hình dạng đối tượng ảnh, kết cấu, hoa văn kết hợp đặc điểm lại Ví dụ, Color histogram (màu sắc) Color histogram dạng đặc trung toàn cục biểu diễn phân phối màu ảnh Color histogram thống kê số lượng pixel có giá trị nằm khoảng màu định cho trước Color histogram tính dạng ảnh RGB HSV, thông dụng HSV (Hue – vùng màu, Saturation – độ bão hòa màu, Value – độ sáng) 4.2 Chương trình huấn luyện Bắt đầu Đọc ảnh vào Tùy chỉnh thuộc tính ảnh Xây dựng cấu trúc mạng Huấn luyện mơ hình Kết thúc Hình Sơ đồ chương trình huấn luyện Đầu tiên đọc ảnh khởi tạo mơ hình thêm lớp để tạo vector đặc trưng Lớp lớp Convolutional tiếp nhận liệu tensor với thông số: img_width, img_height, channels khai báo trên, hàm kích hoạt RELU Sau lớp ẩn thứ hai lớp conv khác lớp pooling Tiếp theo, lớp flatten nối với lớp dense (100 neuron) lớp dropout, công dụng ba chuyển giá trị đầu lớp pooling thành vector feature, sau tinh chỉnh Lớp cuối cùng: xuất kết , với số neuron số nhãn cần phân loại, với hàm kích hoạt softmax Hình ảnh hóa đặc trưng lớp đầu mạng đặc trưng có khả chuyển giao tốt 10 Đồng thời, độ nét mịn đặc trưng thể cho mức độ huấn luyện Mơ hình huấn luyện nhiều lượt để tối ưu hóa độ xác Diễn tiến ghi lại với đường dẫn tùy chọn 4.3 Chương trình đánh giá nhận dạng Sử dụng categorical_crossentropy làm hàm mát độ xác làm số để đánh giá hiệu suất mơ hình categorical_crossentropy tăng xác suất dự đốn khác với nhãn thực tế Nói cách khác, muốn giảm thiểu categorical_crossentropy để tăng khả dự đốn mơ hình Hơn nữa, tơi sử dụng độ xác làm thước đo để đánh giá hiệu suất mơ hình Độ xác cao hiệu suất mơ hình tốt Bắt đầu Đọc ảnh vào Tùy chỉnh thuộc tính ảnh Xây dựng cấu trúc mạng Đối sánh với mơ hình huấn luyện Kết thúc Hình Sơ đồ quy trình nhận dạng 11 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận *Ưu điểm:  Ứng dụng thuật tốn CNN để tìm mơ hình tốt cho liệu  Có thể xác định loại trái hình ảnh *Hạn chế:  Độ xác cịn thấp  Có thể nhận dạng sai chất lượng hình ảnh khơng tốt Hướng phát triển  Có thể áp dụng mơ hình CNN để xác định loại trái hình ảnh, bạn có tập liệu hạn chế  Tăng cường độ xác 12 TÀI LIỆU THAM KHẢO https://github.com/ Tìm Hiểu Convolutional Neural Networks Cho Phân Loại Ảnh_QuocPham https://vi.wikipedia.org/ 13