Ứng dụng nhận dạng vật thể trong ảnh số vào xây dựng website thương mại điện tử

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng nhận dạng vật thể ảnh số vào xây dựng website thương mại điện tử NGUYỄN TRUNG KIÊN pinontk096@gmail.com Ngành: Toán Tin Giảng viên hướng dẫn: TS Lê Đình Nam Viện: Tốn ứng dụng Tin học HÀ NỘI, 03/2021 Chữ ký GVHD LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Lời cảm ơn Lời đầu tiên, tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới TS Lê Đình Nam, người tận tình hướng dẫn, giúp đỡ động viên tác giả suốt trình thực luận văn Tác giả xin trân trọng cảm ơn Viện Toán ứng dụng Tin học, Đại học Bách Khoa Hà Nội tạo điều kiện thuận lợi cho tác giả trình học tập nghiên cứu Xin cảm ơn thầy cô, bạn sinh viên, học viên cao học Viện Toán ứng dụng Tin học giúp đỡ, trao đổi tác giả kiến thức kinh nghiệm quý báu để giúp cho luận văn hoàn thiện Cuối cùng, tác giả xin kính tặng người thân yêu niềm hạnh phúc vinh dự to lớn này! LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Tóm tắt nội dung luận văn Phát vật thể khoanh vùng đối tượng toán điển hình lĩnh vực thị giác máy tính Bài tốn phát vật thể tốn có nhiều ứng dụng thiết thực sống xe tự lái, robot thơng minh, chẩn đốn bệnh qua hình ảnh hay phát mục tiêu bất thường an ninh quân Trong luận văn tác giả xin giới thiệu YOLO, mơ hình phát vật thể tốt thời điểm ứng dụng việc xây dựng website thương mại điện tử phục vụ thị hiếu người dùng Các thử nghiệm mơ hình thực tập liệu thực tế, tác giả thu thập xử lý cho kết kỳ vọng Đồng thời tác giả đề xuất máy tìm kiếm cho tốn gợi ý sản phẩm tương tự theo yêu cầu người dùng có sản phẩm để minh họa tính thực tiễn mơ hình Với tư ứng dụng, luận văn có tiềm phát triển xa để trở thành sản phẩm thương mại Đây thực hướng đầy triển vọng thách thức Với luận văn tác giả hướng độc giả tới nhìn tồn diện ứng dụng trí tuệ nhân tạo vào sống: từ lý thuyết học máy, đến xây dựng mơ hình, thu thập xử lý liệu, huấn luyện mơ hình, cuối xây dựng hệ thống sản phẩm phục vụ người dùng Từ khóa: Object detection, Phát vật thể ảnh, YOLO, Reverse Image Search Hà Nội, ngày 27 tháng 03 năm 2021 Giáo viên hướng dẫn HỌC VIÊN Ký ghi rõ họ tên Ký ghi rõ họ tên Mục lục LỜI NÓI ĐẦU 11 MẠNG NEURON NHÂN TẠO 1.1 Perceptron - cội nguồn học sâu 1.2 Kiến trúc mạng neuron nhân tạo 1.3 Lan truyền tiến 1.4 Học với mạng neuron 1.4.1 Gradient Descent cho hàm biến 1.4.2 Gradient Descent cho hàm nhiều biến 1.4.3 Gradient Descent với Momentum 1.5 Thuật toán lan truyền ngược đạo hàm 1.6 Một số hàm kích hoạt thường dùng 1.6.1 Hàm Sigmoid 1.6.2 Hàm Tanh 1.6.3 Hàm ReLU 1.6.4 Hàm Leaky ReLU 12 12 15 16 17 18 19 20 21 22 23 24 25 26 27 27 27 28 31 31 33 33 34 35 36 36 37 MẠNG NEURON TÍCH CHẬP 2.1 Phép tích chập cho ảnh 2.1.1 Toán tử tương quan chéo 2.1.2 Tầng tích chập 2.2 Đệm bước sải 2.2.1 Đệm 2.2.2 Sải bước 2.3 Đa kênh đầu vào đầu 2.3.1 Đa kênh đầu vào 2.3.2 Đa kênh đầu 2.4 Gộp 2.4.1 Gộp cực đại gộp trung bình 2.4.2 Đệm bước sải LUẬN VĂN THẠC SĨ 2.5 2.6 NGUYỄN TRUNG KIÊN 2.4.3 Đầu vào đa kênh Mạng Neuron tích chập LeNet Một số mạng neuron tích chập 2.6.1 Mạng Alexnet (2012) 2.6.2 Mạng VGG (2014) đại YOLO VÀ BÀI TOÁN NHẬN DIỆN VẬT 3.1 Giới thiệu 3.2 Nhận diện hợp 3.3 Anchor box 3.4 Kiến trúc 3.5 Hàm mát 3.5.1 Sai số phân lớp 3.5.2 Sai số định vị 3.5.3 Sai số tin cậy 3.5.4 Sai số 3.6 Thuật toán Non-maximal suppression 3.7 Cài đặt YOLO THỂ ỨNG DỤNG YOLO TRONG NHẬN DẠNG HÀNG 4.1 Thu thập đánh nhãn liệu 4.2 Tiền xử lý liệu 4.2.1 Làm liệu 4.2.2 Tăng cường liệu 4.3 Huấn luyện mơ hình 4.3.1 Đánh giá mô hình 4.3.2 Kết mơ hình 4.4 Một số kết thực tế XÂY DỰNG WEBSITE BÁN HÀNG 5.1 Mơ hình kiến trúc hệ thống website 5.1.1 WebUI 5.1.2 Backend Server 5.1.3 Kiến trúc sở liệu 5.2 Máy tìm kiếm 5.2.1 Mơ hình máy tìm kiếm 5.2.2 Chất lượng máy tím kiếm 5.3 Demo sản phẩm HÓA 37 38 39 39 41 43 43 44 48 51 51 52 52 52 53 53 54 63 63 64 64 65 67 67 69 69 73 73 73 74 74 76 76 77 78 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN KẾT LUẬN 85 TÀI LIỆU THAM KHẢO 85 Danh sách hình vẽ 1.1 1.2 1.3 Cấu tạo neuron sinh học [1] Mơ hình Perceptron đơn giản [1] Mơ hình neuron sinh học (bên trái) mơ hình tốn học (bên phải) [1] 1.4 Bên trái: Mạng neuron tầng Bên phải: Mạng neuron tầng 1.5 Ví dụ trị số score toán phân loại ảnh [1] 1.6 Ví dụ Gradient Descent [2] 1.7 GD góc nhìn vật lý [2] 1.8 Hàm sigmoid phi tuyến [1] 1.9 Đồ thị hàm Tanh [1] 1.10 Đồ thị hàm ReLU [1] 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 Ví dụ tương quan chéo không gian hai chiều [6] Biểu diễn ảnh với thư viện numpy Python [6] Khởi tạo lọc K [6] Tương quan chéo [6] Tương quan chéo với X chuyển vị [6] Một số ví dụ lọc [6] Tương quan chéo hai chiều thực đệm [6] Phép tương quan chéo với sải bước theo chiều dài và theo chiều rộng [6] Phép tính tương quan chéo với hai kênh đầu vào [6] Gộp cực đại với cửa sổ có kích thước × [6] Dòng liệu LeNet Đầu vào chữ số viết tay, đầu xác suất 10 kết khả thi [6] Mạng Lenet thu gọn [6] Lenet Alexnet [6] Alexnet VGG [6] 12 13 14 15 16 18 20 23 24 25 27 29 29 29 30 30 32 33 34 37 38 40 41 42 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN YOLO chia ảnh thành lưới S × S , lưới dự đoán vật thể [9] 3.2 Mỗi dự đốn số khung chứa cố định cho vật thể [9] 3.3 Ví dụ ground-truth bounding box predicted bounding box [7] 3.4 Cơng thức tính IOU [7] 3.5 Ví dụ tính tọa độ khung chứa ảnh kích thước 448×448, S = [8] 3.6 YOLO dự đoán lưới S × S với B khung chứa [9] 3.7 Anchor box thực tế [9] 3.8 anchor boxes [9] 3.9 Xác định anchor box cho vật thể Từ ô thứ i ta xác định anchor boxes Cả anchor boxes giao với khung chứa vật thể Tuy nhiên anchor box có đường viền dày lựa chọn làm anchor box cho vật thể có IOU so với khung chứa thật cao [9] 3.10 Hình chữ nhật nét đứt bên ngồi anchor box có kích thước (pw , ph ) Tọa độ khung chứa xác định dựa đồng thời anchor box ô mà thuộc Điều giúp kiểm sốt vị trí khung chứa dự đốn quanh vị trí khung chứa mà khơng vượt q xa bên ngồi giới hạn Do q trình huấn luyện ổn định nhiều [9] 3.11 Kiến trúc YOLO [3] 3.12 Thuật toán Non-maximal suppression [3] 50 51 53 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 Quá trình gãn nhãn cho ảnh với cơng cụ Kết thu sau gán nhãn Lật dọc ảnh Lật ngang ảnh Kết hợp lật dọc lật ngang ảnh Xoay ảnh góc 90 Làm mờ ảnh Tăng cường độ màu sắc Image LabelImg 64 64 65 65 66 66 66 67 5.1 5.2 5.3 5.4 5.5 Kiến trúc hệ thống website Cấu trúc bảng Product) Dữ liệu bảng Product) Cấu trúc bảng Product Category Dữ liệu bảng Product Category 73 75 75 75 76 3.1 45 45 46 47 47 48 49 49 49 LUẬN VĂN THẠC SĨ 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13 5.14 NGUYỄN TRUNG KIÊN Luồng hoạt động máy tìm kiếm Mẫu ảnh kiểm thử máy tìm kiếm Mẫu ảnh kiểm thử máy tìm kiếm Trang chủ Tìm kiếm liên kết hình ảnh Kết tìm kiếm liên kết Người dùng lựa chọn sản phẩm theo sở thích Tìm kiếm cách cắt phần ảnh Kết tìm kiếm ảnh cắt 77 77 78 80 81 82 82 83 84 Danh sách bảng 4.1 Kết mơ hình 69 5.1 Kết máy tìm kiếm 79 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN 72 CHƯƠNG XÂY DỰNG WEBSITE BÁN HÀNG 5.1 Mơ hình kiến trúc hệ thống website Hình 5.1: Kiến trúc hệ thống website Hệ thống website xây dựng bao gồm thành phần 5.1.1 WebUI Chức Đây giao diện nơi người dùng thực tương tác với hệ thống: tải ảnh lên, lấy kết trả về, xem thơng tin sản phẩm, tìm kiếm sản phẩm liên quan đến vật thể phát ảnh, v.v Công nghệ sử dụng Tôi sử dụng Angularjs để xử lý logic liên quan đến chức WebUI 73 LUẬN VĂN THẠC SĨ 5.1.2 NGUYỄN TRUNG KIÊN Backend Server Chức Bao gồm mô-đun sau: • API: Đây phần xử lý chức như: tải ảnh lên, tìm kiếm, phát vật thể ảnh, v.v Các API cung cấp giao diện (API Interface) để client (WebUI) tương tác • YOLO Backend: Đây phần lõi xử nhiệm vụ phát vật thể ảnh Nó file lưu trọng số mơ hình sau huấn luyện, API thực nhiệm vụ phát vật thể ảnh sử dụng file trọng số để lấy danh sách vật thể tọa độ chúng ảnh • Search Engine: Đây mơ-đun thực việc tìm kiếm sản phẩm tương tự cho vật thể phát YOLO Backend • Database: Là nơi lưu trữ thông tin sản phẩm phục vụ cho việc tìm kiếm • Datalayer: Là lớp nằm API Database nhằm định nghĩa thao tác mà API tương tác với Database xem, thêm, xóa, sửa ghi Cơng nghệ sử dụng Với Backend Server sử dụng microframework Flask Đây framework phổ biến toàn giới để làm web server Với Database lưu trữ sử dụng Postgres SQL để thuận tiện cho việc truy vấn tìm kiếm 5.1.3 Kiến trúc sở liệu Cơ sở liệu hệ thống website bao gồm bảng: Product Product Category Trong bảng Product lưu thông tin liên quan đến sản phẩm như: Tên, loại sản phẩm, đại lý phân phối, giá cả, đánh giá người dùng, ảnh sản phẩm, v.v Và bảng Product Category lưu thông tin loại sản phẩm có Bảng Product nhận trường product_category_id làm khóa ngoại tương ứng với trường id bảng Product Category Do máy tìm kiếm hệ thống sử dụng chức tìm kiếm theo loại sản phẩm để nâng cao tính xác cho kết gửi lại cho người dùng nên thực đánh mục (index) trường name bảng Product Category nhằm tăng tốc câu truy vấn 74 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.2: Cấu trúc bảng Product) Hình 5.3: Dữ liệu bảng Product) Hình 5.4: Cấu trúc bảng Product Category 75 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.5: Dữ liệu bảng Product Category 5.2 Máy tìm kiếm 5.2.1 Mơ hình máy tìm kiếm Bài tốn đặt từ vật thể mà mơ hình phát được, tơi cần tìm kiếm sản phẩm tương tự để gợi ý cho khách hàng Ý tưởng thuật tốn tìm kiếm tơi sau: độ tương đồng hai ảnh tính khoảng hai vector biểu diễn hai ảnh đó, khoảng cách nhỏ hai ảnh tương đồng Trong luận văn chọn khoảng cách Euclidean làm độ đo tương tự hai ảnh Trên sở Máy tìm kiếm tơi xây dựng qua bước: • Từ tập hình ảnh sản phẩm lấy từ Tiki, tơi sử dụng mơ hình YOLO huấn luyện trước để phát vật thể xuất ảnh Sau chọn vật thể có số tin cậy lớn để làm đại diện cho ảnh (sản phẩm) • Tiếp đến tiến hành cắt ảnh theo khung chứa vật thể đại diện Sử dụng mơ hình Resnet [10] để tạo vector đặc trưng cho ảnh Ở tơi khơng giải thích chi tiết nguyên lý hoạt động Resnet, sử dụng Resnet chứng minh có kết tốt việc trích xuất đặc trưng ảnh [10] • Từ tập vector đặc trưng hình ảnh sản phẩm, sử dụng thư viện Faiss để tạo mục (Index) tìm kiếm cho sản phẩm • Khi người dùng gửi lên ảnh vật thể để tìm kiếm sản phẩm tương tự, đưa qua Resnet để trích vector đặc trưng sau đưa vào mục tạo từ trước để thực tìm kiếm dựa việc tính khoảng cách Euclidean trả k sản phẩm tương tự 76 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.6: Luồng hoạt động máy tìm kiếm 5.2.2 Chất lượng máy tím kiếm Tính xác máy tìm kiếm tiêu chí hàng đầu để đánh giá chất lượng máy tìm kiếm Như trình bày mục 5.2.1 nhận xét rằng, kết tìm kiếm máy tìm kiếm phụ thuộc trực tiếp vào chất lượng vector đặc trưng đại biểu diễn vật thể Hay nói cách khác chất lượng mơ hình trích xuất đặc trưng phản ánh tính xác thể kết tìm kiếm Trong luận văn tơi sử dụng mơ hình Resnet50 để trích xuất đặc trưng với vector đầu có kích thước 1000 Dưới số kết thực tế Tôi thực kiểm tra tập hình ảnh sau: Hình 5.7: Mẫu ảnh kiểm thử máy tìm kiếm Tơi thực đưa hình ảnh sau vào để tìm kiếm liệu mẫu: 77 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.8: Mẫu ảnh kiểm thử máy tìm kiếm Kết ảnh tương tự thu được xếp theo thứ tự hình 5.1 Với kiểm tra tơi tìm kiếm hình ảnh sẵn có tập liệu (ảnh thứ từ trái sang hình 5.8) kết mơ hình tìm kiếm cho sản phẩm tương tự với ảnh đầu vào với khoảng cách Euclidean nhỏ 0.04 Từ bảng kết 5.1, ta thấy hình ảnh tương tự thứ kết tốt, thực tế mẫu đồng hồ cần tìm kiếm kết thứ mẫu đồng hồ loại giống kiểu dáng màu sắc Nhận thấy kết tốt với khoảng cách Euclidean tính 0.287 Xét đến kết thứ 3, mẫu đồng hồ khác có độ tương đồng thấp so với mẫu ban đầu, kết khoảng cách Eulidean tăng lên đáng kể mức 0.405 Với kết sau khoảng cách tăng dần lên ta thấy máy tìm kiếm đưa sản phẩm không tương tự khác loại Do để tránh tình trạng xảy thêm lọc theo loại sản phẩm trước trả kết cho người dùng Bởi độ đo tính khoảng cách Euclidean nên tất mẫu sản phẩm liệt kê khác mặt thứ tự, việc thêm lọc theo loại sản phẩm giúp khắc phục phần hạn chế kết mơ hình trích xuất đặc trưng cho kết khơng tốt Do kết máy tìm kiếm ln đưa sản phẩm loại, sản phẩm tương tự xếp lên đầu 5.3 Demo sản phẩm Trang chủ website hình 5.9 cung cấp chức năng: • Tìm kiếm theo hình ảnh tải lên • Tìm kiếm theo liên kết hình ảnh • Xem chi tiết sản phẩm hình ảnh tìm kiếm sản phẩm tương tự với loại mặt hàng mà hệ thống phát 78 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN STT Ảnh tương tự Khoảng cách Euclidean 0.04 0.287 0.405 0.444 0.450 Bảng 5.1: Kết máy tìm kiếm 79 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hệ thống tự động phát vật thể ảnh người dùng tải lên vẽ khung chứa để làm bật đối tượng Hệ thống mặc định tìm kiếm sản phẩm tương tự cho vật thể phát với số tin cậy cao Thông tin sản phẩm hiển thị chi tiết tab bên phải hình kết (Hình 5.11) Hình 5.9: Trang chủ 80 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Các sản phẩm gợi ý cho khách hành chứa số thông tin giá cả, nhận xét đánh giá người mua trước đó, tình trạng sản phẩm, nhà cung cấp, v.v Nếu ưng ý người mua bấm nút "Go to Shop" để đặt mua sản phẩm Hình 5.10: Tìm kiếm liên kết hình ảnh 81 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.11: Kết tìm kiếm liên kết Hình 5.12: Người dùng lựa chọn sản phẩm theo sở thích Trong số trường hợp không phát vật thể, hệ thống hỗ trợ người 82 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN dùng cắt phần hình ảnh chứa vật thể mà họ muốn tìm kiếm để hệ thống trực tiếp xử lý Một trường hợp thực tế hình 5.13, khơng có vật thể nhận diện khơng tìm sản phẩm tương tự, tơi khoanh vùng tìm kiếm vào giày người nữ phía sau Kết hệ thống phát vật thể giày phần ảnh cắt gửi lên đưa gợi ý sản phẩm giày thể thao nữ hình 5.14 Hình 5.13: Tìm kiếm cách cắt phần ảnh 83 LUẬN VĂN THẠC SĨ NGUYỄN TRUNG KIÊN Hình 5.14: Kết tìm kiếm ảnh cắt 84 KẾT LUẬN Luận văn hồn thành với số kết đóng góp sau: • Tiếp cận áp dụng mơ hình YOLO vào tốn thực tế cách cụ thể rõ ràng • Dữ liệu lấy từ nhiều nguồn thực tế, xử lý tác giả dựa kĩ thuật xử lý ảnh có sở khoa học áp dụng thực nghiệm vào mơ hình cho kết tốt • Đề xuất cài đặt máy tìm kiếm cho liệu hình ảnh • Luận văn cho thấy q trình tồn diện việc xây dựng ứng dụng thực tiễn: từ lý thuyết học máy, đến xây dựng mô hình, thu thập xử lý liệu, huấn luyện mơ hình, cuối xây dựng hệ thống sản phẩm phục vụ người dùng Dựa kết đạt được, luận văn có tiềm phát triển xa để trở thành sản phẩm thương mại Đây thực hướng đầy triển vọng thách thức Để đạt mục tiêu đó, luận văn tiếp tục thực theo hướng sau: • Tăng cường tập liệu cho mơ hình YOLO từ nhiều nguồn khác nhau, mở rộng số lượng mặt hàng, áp dụng thêm kĩ thuật tiền xử lý liệu thêm nhiễu, tăng độ bão hịa, v.v để nâng cao độ xác mơ hình phát vật thể • Thực huấn luyện lại Resnet tập sản phẩm tìm kiếm để tăng độ xác vector đặc trưng ảnh từ cải thiện kết tìm kiếm • Phát triển thêm tính cho website đặt hàng tốn • Hỗ trợ website tương thích với thiết bị điện thoại máy tính bảng 85 Tài liệu tham khảo [1] Fei-Fei Li, Ranjay Krishna, Danfei Xu, Yosefa Gilon, “Neural Networks”, Stanford University, 2020 https://cs231n.github.io/neural-networks-1/ [2] Nguyễn Hữu Tiệp, Machine Learning bản, Nhà xuất khoa học kĩ thuật, 2018 https://machinelearningcoban.com/ [3] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, “You Only Look Once: Unified, Real-Time Object Detection”, arXiv, 2015 [4] Joseph Redmon, Ali Farhadi, “YOLO9000: Better, Faster, Stronger”, arXiv, 2016 [5] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, “An Incremental Improvement”, arXiv, 2018 [6] Aston Zhang, Zachary C Lipton, Mu Li, and Alexander J Smola, Dive into Deep Learning, p 130-141, 227-269, 2020 [7] Adrian Rosebrock, “https://www.pyimagesearch.com/2016/11/07/intersectionover-union-iou-for-object-detection/”, 2016, [Online] [8] Mauricio Menegaz, “https://hackernoon.com/understanding-yolof5a74bbc7967”, 2018, [Online] [9] Jonathan Hui, “https://jonathan-hui.medium.com/real-time-objectdetection-with-yolo-yolov2-28b1b93e2088”, 2018, [Online] [10] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition”, Microsoft Research, 2015 86 ... lĩnh vực thị giác máy tính mua sắm Đó ứng dụng mơ hình nhận dạng vật thể ảnh YOLO vào việc xây dựng website thương mại điện tử phục vụ nhu cầu người dùng Trong giới đại việc mua sắm nhu cầu thiết... phẩm đầy tính thiết thực Trong khuôn khổ nội dung luận văn, tơi trình bày mơ hình học sâu YOLO toán nhận diện vật thể ứng dụng việc xây dựng website thương mại điện tử để phục vụ người dùng Nội... mục tiêu bất thường an ninh quân Trong luận văn tác giả xin giới thiệu YOLO, mô hình phát vật thể tốt thời điểm ứng dụng việc xây dựng website thương mại điện tử phục vụ thị hiếu người dùng Các