Mô hình học sâu và ứng dụng cho bài toán nhận dạng hình ảnh trong thương mại điện tử TT

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Bùi Việt Anh MƠ HÌNH HỌC SÂU VÀ ỨNG DỤNG CHO BÀI TỐN NHẬN DẠNG HÌNH ẢNH TRONG THƯƠNG MẠI ĐIỆN TỬ CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ : 60.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI - 2022 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Nguyễn Văn Thủy Phản biện 1: PGS.TS Phạm Thanh Giang Phản biện 2: TS Nguyễn Vĩnh An Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: 10 45 phút, ngày tháng năm 2022 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Tính cấp thiết đề tài Cùng với phát triển bủng nổ cua internet, kênh tìm hiểu thơng tin, giải trí, thương mại điện tử phát triển nhanh chóng mạnh mẽ Giờ đây, gân tìm kiếm thử internet, từ tài liệu, sách, truyện, phim, quần, áo, giày, Sử dụng internet muốn mua bán, giảm bớt khâu tìm kiếm từ khóa truyền thống vốn hiệu quả, tích hợp trợ lý ảo hỗ trợ người dùng sử dụng đa ngơn ngừ tồn cầu, nâng cao trải nghiệm mua sam khách hàng nâng cao hiệu cơng cụ phân tích dự báo Nhận dạng hình ảnh sản phấm có khả giúp thương hiệu phát người chia sẻ nội dung hình ảnh liên quan đến sản phẩm họ sàn thương mại điện tử dù họ không nhắc đến tên thương hiệu này, đồng thời cơng nghệ cịn cho phép tính cá nhân hóa trải nghiệm mua hàng Vì vậy, hệ thống nhận dạng hình ảnh thương mại điện tử giải vấn đề Tình hình nghiên cứu tính đề tài Trong thời đại công nghệ việc ứng dụng nhcận dạng hình ảnh cần thiết người sử dụng sàn thương mại mại điện tử Từ trước đến nay, với tiến cua khoa học công nghệ, đặc biệt khả xử lý nhanh cùa phần mềm tự động, nhiều nghiên cứu tiến hành nhận dạng hình anh tự động nhiều môi trường khác - “Sách trắng thương mại điện tứ 2018" Đề tài tìm hiểu ứng dụng nhận dạng hình ảnh cách triển khai cơng cụ tìm kiếm hình ảnh phần mềm tự động đế giảm nguồn nhân lực đảm bảo chất lượng phần với cơng việc tìm kiếm tay Mục tiêu nghiên cứu Mục tiêu đề tài mơ hình học sâu ứng dụng cho nhận dạng hình ảnh thương mại điện tử để đạt tốc độc tìm kiếm nhanh chuẩn xác người dùng khơng nhiều thời gian tìm kiếm sản phấm Nghiên cứu hệ thống nhận dạng hình ảnh Thử nghiệm, đánh giá độ hiệu cùa thuật tốn Xây dựng hệ thống nhận dạng hình ảnh tự động giới thiệu sản phẩm Phương pháp nghiên cứu 4.1 Nghiên cứu lý thuyết Đọc phân tích tài liệu phương pháp, thuật toán sử dụng đẻ xây dựng hệ thống nhận dạng hình ảnh 4.2 Nghiên cứu thực nghiệm + Thừ nghiệm đánh giá độ hiệu thuật toán + Xây dựng hệ thống nhận dạng hình ảnh số sàn thương mại điện tử Bố cục luận văn Chương 1: Tổng quan thương mại điện tử Việt Nam giới Trình bày tổng quan thương mại điện tử giới Việt Nam Làm rõ thực trạng thương mại điện tử nước ta giới Trình bày hạ tầng thương mại điện tử nước ta Đồng thời nêu khát quát ứng dụng mơ hình học sâu vào tốn nhận dạng hình ảnh thương mại điện tử Chương 3: Giới thiệu nghiên cứu mạng CNN cho toán nhận dạng hình ảnh Khát qt tốn nhận dạng hình ảnh Nghiên cứu học máy, học sâu mạng nơ ron tích chập CNN thành phần cụ thể mạng Trình bày kiến trúc số mạng, học chuyển giao Nêu cụ thể kiến trúc mạng sử dụng phổ biến rộng rãi RestNet Chương 3: Thực nghiệm, đánh giá xây dựng hệ thống nhận dạng hình ảnh thương mại điện tử Tiến hành thực nghiệm mơ hình RestNet50 với tập liệu hình ảnh sản phẩm thương mại điện tử Xây dựng trang web nhận dạng hình ảnh sản phẩm thương mại điện tử sử dụng mô hình học sâu RestNet50 CHƯƠNG I: TỔNG QUAN VỀ THƯƠNG MẠI ĐIỆN TỬ VIỆT NAM VÀ THẾ GIỚI 1.1 Giới thiệu thương mại điện tử 1.1.1 Lịch sử phát triển Sự khởi đầu thương mại điện tử bắt nguồn từ năm 1960, doanh nghiệp bắt đầu sử dụng EDI để chia sẻ tài liệu kinh doanh với công ty khác Sau số lượng người dùng cá nhân chia sẻ tài liệu điện tử với tăng lên vào năm 1980, lên eBay Amazon năm 1990 tạo cách mạng ngành thương mại điện tử Giờ đây, người tiêu dùng mua vơ số mặt hàng trực tuyến, từ cửa hàng bán hàng điện tử, cửa hàng truyền thống điển hình có khả thương mại điện tử Hiện nay, hầu hết tất công ty bán lẻ tích hợp phương thức kinh doanh trực tuyến vào mơ hình kinh doanh họ 1.1.2 Khái niệm Khái niệm thương mại điện tử WTO: “Thương mại điện tử (hay thương mại trực tuyến) bao gồm việc sản xuất, quảng cáo, bán hàng phân phối sản phẩm mua bán toán mạng Internet, giao nhận cách hữu hình, sản phẩm giao nhận thông tin số hố thơng qua mạng Internet” 1.1.3 Cách thức hoạt động Khi đơn đặt hàng đặt, trình duyệt web khách hàng giao tiếp qua lại với máy chủ lưu trữ trang web cửa hàng trực tuyến Sau đơn hàng xác thực, người quản lý đơn hàng thông báo đến máy chủ web cửa hàng, sau hiển thị thơng báo cho khách hàng đơn hàng họ xử lý thành cơng Sau đó, người quản lý đơn hàng gửi liệu đơn hàng đến kho hàng phận thực để sản phẩm dịch vụ gửi thành cơng cho khách hàng 1.1.4 Các hình thức Thị trường thương mại điện tử phân chia thành hình thức khác phụ thuộc vào đối tượng tham gia cụ thể Hiện nay, có loại hình thương mại điện tử sau: Doanh nghiệp với Doanh nghiệp (B2B),Doanh nghiệp với Khách hàng (B2C), Khách hàng với Khách hàng (C2C), Khách hàng với Doanh nghiệp (C2B), Doanh nghiệp với phủ (B2A), Khách hàng với Chính phủ (C2A) 1.1.5 Đặc trưng Cụ thể Thương mại điện tử có đặc trưng sau: phổ biến, phạm vi tiếp cận toàn cầu, tiêu chuẩn chung ,tính tương tác, mật độ thơng tin, phong phú, cá nhân hóa 1.1.6 Ưu nhược điểm thương mại điện tử  Ưu điểm: khả dụng tốc độ truy cập, tính khả dụng rộng rãi, khả tiếp cận dễ dàng,tiếp cận quốc tế, chi phí thấp hơn, cá nhân hóa đề xuất sản phẩm  Nhược điểm: dịch vụ khách hàng hạn chế, chạm nhìn, thời gian chờ đợi 1.1.7 Lợi ích thương mại điện tử đến doanh nghiệp Những lợi ích lớn sau: rào cản nhập cảnh thấp, tăng thị phần tiềm năng, quảng cáo với chi phí thấp, lợi ích chiến lược, phạm vi tiếp cận toàn cầu 1.2 Thực trạng thương mại điện tử giới Việt Nam 1.2.1 Thương mại điện tử toàn cầu Năm 2007, thương mại điện tử chiếm 5,1% tổng mức bán lẻ; năm 2019, thương mại điện tử chiếm 16,0% Sự phát triển vượt bậc dẫn đến xu thương mại điện tử tồn cầu  Thị trường thương mại điện tử toàn cầu Thị trường thương mại điện tử toàn cầu dự kiến đạt tổng trị giá 5,55 nghìn tỷ la vào năm 2022 Con số ước tính tăng vài năm tới, cho thấy thương mại điện tử không biên giới trở thành lựa chọn có lợi cho nhà bán lẻ trực tuyến  Tăng trưởng doanh số thương mại điện tử toàn cầu Vào năm 2023, với trang web thương mại điện tử chiếm 22,3% tổng doanh số bán lẻ Mặc dù bán lẻ có năm khó khăn vào năm 2020, thị trường quốc gia eMarketer bao phủ chứng kiến mức tăng trưởng thương mại điện tử hai số 1.2.2 Thực trạng phát triển thương mại điện tử Việt Nam  Nền tảng thương mại điện tử nước quốc tế Thị trường thương mại điện tử Việt Nam, trị giá 208,962 tỷ đồng (9 tỷ đô la Mỹ) vào năm 2019, so với thị trường phát triển báo cáo Tuy nhiên, tự hào có dự đoán tăng trưởng cao nghiên cứu, quốc gia gồm người tiêu dùng trẻ tuổi ngày chuyển sang phương pháp kỹ thuật số để mua sắm  Nhu cầu mua sắm trực tuyến người Việt Mua sắm hàng tạp hóa trực tuyến có mức tăng trưởng sử dụng cao so với cửa hàng bán lẻ truyền thống Thói quen nhanh chóng áp dụng kỳ vọng trì sau đại dịch, cho thấy lĩnh vực thương mại điện tử tiếp tục mở rộng nước  Triển vọng thương mại điện tử: tiền mặt so với toán kỹ thuật số Trong số tất lựa chọn toán khơng dùng tiền mặt, ví điện tử đạt sức hút vài năm gần đây, theo đề xuất số lượng người dùng nhà cung cấp ngày tăng, ý định sử dụng tương lai cao người Việt Nam 1.3 Hạ tầng thương mại điện tử Việt Nam 1.3.1 Cơ sở hạ tầng pháp lý Vào tháng năm 2020, Bộ Công Thương ban hành dự thảo thứ hai nghị định sửa đổi Nghị định 52 Cụ thể, dự thảo thứ hai quy định đơn vị nước thiết lập trang web với miền Việt Nam thiết lập trang web thương mại điện tử có giao dịch / khách truy cập / đặt hàng từ Việt Nam, phải: (a) Đăng ký / thông báo hoạt động thương mại điện tử họ theo quy định pháp luật Việt Nam, (b) Đảm bảo tuân thủ quy định bảo vệ quyền lợi người tiêu dùng chịu trách nhiệm chất lượng sản phẩm / hàng hóa văn phịng đại diện đại diện ủy quyền phân phối qua website (c) Báo cáo định kỳ hoạt động mình, nghĩa vụ khác để ngăn chặn giao dịch vi phạm pháp luật Việt Nam 1.3.2 Cơ sở hạ tầng kỹ thuật Hệ thống kết cấu hạ tầng cho phát triển kinh tế số Việt Nam thời gian qua tập trung đầu tư xây dựng, ngày đồng bộ, đại, cụ thể hạ tầng công nghệ thông tin, viễn thơng quốc gia phát triển mạnh, phủ sóng rộng khắp Mạng di động Việt Nam phát triển mạnh, tỷ lệ phủ sóng đạt 99,7% Hệ thống mạng di động 3G, 4G phủ sóng rộng khắp Tỷ lệ người sử dụng Internet Việt Nam vượt mức trung bình khu vực giới (Năm 2016 có 46,55% dân số Việt Nam truy cập Internet; năm 2018 có 64 triệu người Việt Nam sử dụng Internet) Việt Nam bước phát triển công nghệ vệ tinh Đến đầu năm 2019, Việt Nam phóng số vệ tinh, có vệ tinh nhằm mục đích cung cấp Internet cho vùng sâu, vùng xa 1.3.3 Cơ sở hạ tầng tốn Hình thức toán điện tử phổ biến Việt Nam: toán điện tử thẻ ngân hàng, toán qua cổng tốn, tốn ví điện tử, toán di động 1.3.4 Bảo mật thương mại điện tử Sử dụng https, bảo mật server admin panel, bảo mật hệ thống toán, sử dụng phần mềm diệt virus malware (end-point security), chứng ssl nâng cao (ev ssl), plugin bảo mật dành cho tmđt 1.4 Ứng dụng mơ hình học sâu vào tốn nhận dạng hình ảnh thương mại điện tử Với phát triển mạnh mẽ TMĐT đồng nghĩa với việc mặt hàng sản phẩm bày bán trang thương mại điện tử ngày nhiều Số lượng chủng loại nhiều việc nhận dạng sản phẩm cần thiết Điều phục vụ cho việc tìm kiếm, gợi ý sản phẩm cho khách hàng Hiện nay, mơ hình học sâu hay cịn gọi Deep Learning có khả nhận dạng, phân loại hình ảnh tốt Với hiệu việc phân loại hình ảnh từ mơ hình học sâu, hình ảnh sản phẩm thương mại điện tử tương tự phân loại tốt Việc tìm kiếm hay gợi ý quảng cáo sản phẩm trở lên xác Khách hàng ưng ý với kết hiển thị sản phẩm để mua hàng tiện lợi 1.5 Kết luận chương I Trong chương I này, luận văn giới thiệu tổng quan thương mại điện tử giới Việt Nam Làm rõ thực trạng thương mại điện tử nước ta giới Trình bày hạ tầng thương mại điện tử nước ta bao gồm về: pháp lý, kỹ thuật, toán bảo mật Đồng thời nêu khát qt ứng dụng mơ hình học sâu vào tốn nhận dạng hình ảnh thương mại điện tử CHƯƠNG II: GIỚI THIỆU VÀ NGHIÊN CỨU CNN CHO BÀI TỐN NHẬN DIỆN HÌNH ẢNH 2.1 Khát qt tốn nhận diện hình ảnh CNN 2.1.1 Bài tốn nhận diện hình ảnh Phân loại hình ảnh (Image classification) hay Nhận dạng hình ảnh (Image recognition) tác vụ thị giác máy tính, thuật tốn xem xét dán nhãn cho hình ảnh từ tập danh mục xác định đào tạo trước 2.1.2 Học máy, học sâu CNN 2.1.2.1 Học máy Học máy hay gọi với tên Tiếng Anh Machine Learning Tom Mitchell đưa định nghĩa đại rõ ràng: “Một chương trình máy tính cho học hỏi từ kinh nghiệm E số loại nhiệm vụ T thước đo hiệu suất P, hiệu suất nhiệm vụ T, đo P, cải thiện theo kinh nghiệm E.” 2.1.2.2 Học sâu  Mạng nơron nhân tạo (Neural Network) Mạng nơron nhân tạo hệ thống học tập tính tốn sử dụng mạng lưới chức để hiểu dịch đầu vào liệu để thành đầu mong muốn, thường dạng khác  Mơ hình tổng quát Kiến trúc mạng Neural Network thường bao gồm kiểu thành phần chính: o -Input layer (lớp đầu vào): Lớp nằm bên trái mạng, thể cho đầu vào mạng o -Output layer (lớp đầu ra): Là lớp bên phải thể cho đầu mạng o Hidden layer (lớp ẩn): Lớp nằm lớp đầu vào vào lớp đầu thể cho q trình suy luận logic mạng Các hình trịn gọi node Mỗi node hidden layer output layer : - Liên kết với tất node layer trước với hệ số w riêng - Mỗi node có hệ số bias b riêng - Diễn bước: tính tổng linear áp dụng activation function Hình Mơ hình mạng neural network 2.1.2.3 Mạng nơ ron tích chập (CNN) Convolutional Neural Network (CNN – Mạng nơron tích chập) kiểu mạng NN truyền thẳng, kiến trúc gồm nhiều thành phần ghép nối với theo cấu trúc nhiều tầng bao gồm: lấy chập (Convolution), lấy gộp (Pooling), kích hoạt phi tuyến (Non-Linear Activation) kết nối đầy đủ (FullyConnected) Hình Mơ hình mạng neural tích chập  Lấy chập (Convolution) Là thao tác quan trọng cấu trúc mạng học sâu CNN Phép lấy chập dựa lý thuyết xử lý tín hiệu số, thực xử lý mặt toán học tính lấy chập để giúp trích xuất thơng tin quan trọng từ liệu Hình Mơ tả lấy chập dùng lọc kích thước 5x5  Kích hoạt phi tuyến (Non-Linear Activation) Về bản, lấy chập phép biển đổi tuyến tính Nếu tất nơron tổng hợp phép biến đổi tuyến tính mạng nơron đưa dạng hàm tuyến tính Khi mạng NN đưa toán hồi qui logistic (logistic regression) Do đó, sau lớp lấy chập, đầu ánh xạ lấy chập cho qua hàm kích hoạt phi tuyến  Lấy gộp (Pooling) Lấy gộp (pooling) hay gọi subsampling downsampling thành phần tính tốn cấu trúc CNN Xét mặt toán học, lấy gộp thực chất q trình tính tốn ma trận đầu vào mục tiêu đạt sau tính tốn giảm kích thước ma trận làm bật lên đặc trưng có ma trận đầu vào Trong CNN, toán tử pooling thực độc lập kênh màu ma trận ảnh đầu vào Có nhiều tốn tử pooling sum-pooling, max-pooling, L2-pooling song max-pooling thường sử dụng Về mặt ý nghĩa, max-pooling xác định vị trí cho tín hiệu mạnh áp dụng loại lọc Hình8 Ví dụ sử dụng max-pooling  Kết nối đầy đủ (Fully-Connected) Là cách kết nối nơron hai tầng với tầng sau kết nối đầy đủ với nơron tầng trước Đây dạng kết nối thường thấy NN Trong CNN, tầng thường sử dụng tầng phía cuối kiến trúc mạng kết nối với đầu mạng Lớp lấy thơng tin đầu vào (có thể đầu lớp lấy chập kích hoạt phi tuyến lấy gộp) đầu véctơ � chiều với � số lớp cần phân lớp 2.2 Một số nghiên cứu có liên quan 2.2.1 Quá trình phát triển kiến trúc CNN  1998: Yan Lecun lần sử dụng mạng tích chập tác vụ phân loại chữ số viết tay đạt hiệu cao  2009: Bộ liệu ImageNet giới thiệu vào năm 2009 liệu tạo thay đổi cộng đồng computer vision Kể từ thời điểm 2010, ImageNet trở thành tiêu chuẩn đo đạc phát triển thuật tốn học có giám sát thị giác máy tính  2012: Mạng AlexNet sử dụng tích chập CNN lần vượt qua phương pháp tạo đặc trưng thủ công truyền thống HOG, SHIFT đạt độ xác cách biệt thi ImageNet 2.2.2 Các mạng CNN tiêu biểu  LeNet-5 (1998) LeNet-5 kiến trúc áp dụng mạng tích chập chiều giáo sư Yan Lecun, cha đẻ kiến trúc CNN Model ban đầu đơn giản bao gồm convolutional layers + fully-connected layers Mặc dù đơn giản có kết tốt so với thuật toán machine learning truyền thống khác phân loại chữ số viết tay SVM, kNN Hình Kiến trúc LeNet  AlexNet (2012) Ý tưởng AlexNet dựa LeNet Yan Lecun cải tiến điểm: -Tăng kích thước đầu vào độ sâu mạng -Sử dụng lọc (kernel filter) với kích thước giảm dần qua layers để phù hợp với kích thước đặc trưng chung đặc trưng riêng -Sử dụng local normalization để chuẩn hóa layer giúp cho q trình hội tụ nhanh Ngồi mạng cịn cải tiến q trình optimizer như:  Lần sử dụng activation ReLU (Rectified Linear Unit) thay cho Sigmoid Hình Hàm ReLu  Sử dụng dropout layer giúp giảm số lượng liên kết neural kiểm sốt overfitting Hình Minh họa phương pháp dropout  Qua layers, kích thước output giảm dần độ sâu tăng dần qua kernel Mạng AlexNet có resolution input số lượng layer lớn nên số lượng tham số lên tới 60 triệu, lớn so với LeNet nhiều Hình Kiến trúc mạng AlexNet  VGG-16 (2014) Với VGG-16, quan điểm mạng nơ ron sâu giúp ích cho cải thiện độ xác mơ hình tốt Về kiến trúc VGG-16 đặc điểm AlexNet có cải tiến Bắt đầu từ VGG-16, hình mẫu chung cho mạng CNN tác vụ học có giám sát xử lý ảnh bắt đầu hình thành mạng trở nên sâu sử dụng block dạng [Conv2D*n + Max Pooling] Hình Kiến trúc VGG-16 2.3 Học chuyển giao Các mô hình tiếng, train dataset lớn (MNIST, CIFAR-100, ImageNet, …) source code trọng số(weights) model công khai cho cộng đồng Chúng ta gọi Model kèm Weights Pretrained Model Model sử dụng phần hay tồn pretrained model phần để học nhiệm vụ gọi Transfered Model Có loại Transfer Learning:  Feature extractor: Sử dụng transfer learning để trích xuất đặc trưng sau sử dụng vector đặc trưng vào mục đích khác  Fine tuning: Thường bỏ lớp đầu cuối (output layer) phần lớp trước của ConvNet Sau thêm lớp tích chập, lớp gộp, lớp kết nối đầy đủ, lớp đầu vào sau, tạo thành mạng CNN 2.4 Mơ hình kiến trúc ResNet áp dụng vào toán phân loại ảnh 2.4.1 Giới thiệu ResNet ResNet mạng CNN bật có kích thước mơ hình độ xác lớn MobileNet Nó mắt lần vào năm 2015 báo Nghiên cứu thực tế sâu nhận dạng hình ảnh nhanh chóng đạt thứ hạng ILSVLC 2015 Nó cho phép bạn điều chỉnh độ sâu mơ hình theo u cầu cách linh hoạt Vì nhiều loại phiên sâu ResNet ResNet18, ResNet34, ResNet50, ResNet101, ResNet152 Đặc điểm cụ thể ResNet kết nối tắt áp dụng bên khối Như để giúp mơ hình giữ đặc trưng từ trước sau Do đó, ResNet viết tắt Residual Learning Network 2.4.2 Batch Normalization ResNet kiến trúc áp dụng Batch Normalization bên khối Residual sở mô hình hay bị tượng vanishing gradient descent sâu Batch Normalization giúp giữ ổn định dốc xuống hỗ trợ trình đào tạo hội tụ nhanh chóng đến điểm tối ưu Batch Normalization áp dụng mini-batch standard normalization N(0,1) Ví dụ, có với m kích thước mini-batch size Tất mẫu liệu đầu vào đươc chia tỷ lệ lại đây: Với giá trị tính sau: 2.4.3 Kết nối tắt (Skip Connection) ResNet có khối tích chập (Convolutional Bock, Conv block hình) sử dụng lọc kích thước x giống với InceptionNet Khối tích chập bao gồm nhánh tích chập nhánh áp dụng tích chập x trước cộng trực tiếp vào nhánh lại Hình Khối ResNet thơng thường khối ResNet với tầng tích chập 1x1 Khối xác định (Identity block) khơng áp dụng tích chập x mà cộng trực tiêp giá trị nhánh vào nhánh cịn lại Hình 10 Khối xác định (Identity block) 2.4.4 Mơ hình ResNet50 áp dụng vào tốn Kiến trúc Resnet50 giống kiến trúc RestNet trên, có điểm khác biệt So với Resnet34, kết nối tắt qua hai lớp chúng qua ba lớp có lớp tích chập * thêm vào Điều có độ xác cao nhiều so với mơ hình ResNet 34 lớp ResNet 50 lớp đạt hiệu suất 3,8 tỷ FLOPS Hình 11 Kết nối tắt qua lớp ResNet50 so với lớp ResNet34 Kiến trúc sở ResNet50 gồm khối tích chập khối xác định Ta đơn giản hóa kiến trúc ResNet-50 hình bên dưới: Hình 12 Kiến trúc tóm tắt mạng ResNet50 Lý chọn lựa mơ hình ResNet50 để sử dụng vào tốn nhận dạng hình ảnh sản phẩm thương mại điện tử kiến trúc sử dụng phổ biến thời điểm Mặc dù mạng sâu có số lượng layer lên tới 152 nhờ áp dụng kỹ thuật kết nối tắt đặc biệt mà trình bày nên kích thước ResNet50 khoảng 26 triệu tham số Điều khiến cho mơ hình ResNet50 trở lên hiệu quả, phù hợp để nhận dạng hình ảnh sản phẩm thương mại điện tử với số loại sản phẩm cần nhận dạng 10 loại Áp dụng mơ hình ResNet50 phương pháp giải tốn nhận dạng hình ảnh Kết hợp với học chuyển giao (transfer learning) đề cập trên, ta việc thay lớp đầu phân loại mặc định mơ hình 1000 số lớp cần phân loại tập ảnh liệu Sử dụng pretrained model ResNet50 ImageNet dataset Bộ liệu ImageNet giới thiệu vào năm 2009 liệu tạo thay đổi cộng đồng computer vision Đây liệu lớn so với liệu có từ trước đến thời điểm Với kích thước lên tới triệu ảnh phân bố 1000 nhãn 2.5 Kết luận chương II Chương II luận văn nêu khát quát toán nhận dạng hình ảnh Làm rõ khái niệm học máy loại thuật tốn học máy thấy tốn nhận dạng hình ảnh thuộc nhóm thuật tốn phân loại học máy Luận văn viết chi tiết học sâu Trình bày cụ thể mạng nơ ron tích chập CNN thành phần cụ thể mạng Nêu trình phát triển mạng CNN trình bày kiến trúc số mạng tiêu biểu LeNet-5, AlexNet, VGG16 Trình bày học chuyển giao giúp tang hiệu cho mơ hình học sâu Luận văn trình bày cụ thể kiến trúc mạng sử dụng phổ biến rộng rãi ResNet, viết chi tiết thành phần mạng này: Batch Normalization, kết nối tắt Đồng thời trình bày kiến trúc mạng ResNet50 kết hợp học chuyển giao sử dụng pretrained model ResNet50 ImageNet dataset để phân loại hình ảnh Tại chương III trình bày rõ thực nghiệm sử dụng model ResNet50 nhận dạng hình ảnh CHƯƠNG III: THỰC NGHIỆM, ĐÁNH GIÁ VÀ XÂY DỰNG HỆ THỐNG NHẬN DẠNG HÌNH ẢNH TRONG THƯƠNG MẠI ĐIỆN TỬ 3.1 Dữ liệu thử nghiệm Tập ảnh thử nghiệm tập ảnh sản phẩm thương mại điện tử phổ biến gồm loại mặt hàng khác Tập liệu gồm 10 sản phẩm, thuộc loại sản phẩm: đồ điện tử, đồ gia dụng, đồ thời trang Tập ảnh có kích thước dung lượng 24.8 MB Trong gồm ảnh sản phẩm thương mại điện tử với 1182 ảnh chia vào thư mục train test Trong tập test chiếm 20% tổng số ảnh 3.2 Tiến hành thực nghiệm kết 3.2.1 Tiến hành thực nghiệm Tiến hành đào tạo mơ hình ResNet50 cho tập liệu hình ảnh sản phẩm thương mại điện tử Đào tạo mơ hình qua 100 epochs, với epoch sau training xong kết hàm mát độ xác mơ hình tập đào đạo (train) tập kiểm tra (val) Điều giúp ta q trình đào tạo mơ hình thấy độ q trình học mơ hình hiệu mơ hình sau epoch Hình 13 Các epochs q trình đào tạo mơ hình 3.2.2 Kết thực nghiệm  Kết dự đoán số ảnh mặt hàng thuộc loại sản phẩm đồ điện tử: Hình 14 Kết nhận dạng ảnh mặt hàng thuộc loại sản phẩm đồ điện tử 3.3 Đánh giá kết 3.3.1 Đánh giá độ Accuracy Chúng ta đánh giá kết thực nghiệm nhận dạng sản phẩm thương mại điện tử mơ hình ResNet50 với pretrained imagenet độ đánh giá Accuracy Độ xác Accuracy phân loại số liệu tóm tắt hiệu suất mơ hình phân loại dạng số dự đoán chia cho tổng số dự đoán Mơ hình cho độ xác tốt: 74.36% Nhìn vào hình 17 vẽ biểu đồ đường training accuracy test accuracy, lúc đầu độ xác tăng lên nhanh sau chậm Và qua 100 epochs chúng tạo thành đường cong Hình 17 Biểu đồ đường độ xác accrancy qua epochs 3.3.2 Đánh giá Confusion matrix Dưới confusion matrix mơ hình nhận dạng sản phẩm thương mại điện tử tập test: Hình 18 Confusion matrix mơ hình tập test Nhìn vào confusion matrix thấy sản phẩm nhận dạng xác nhất, nhận dạng xác nhất, sản phẩm hay bị nhận dạng nhầm thành sản phẩm Nhận xét:  Sản phẩm nhận dạng tốt Balo với 24/30 hình ảnh Balo nhận dạng xác  Sản phẩm bị nhận dạng Bowl với 2/26 hình ảnh Bowl nhận dạng xác Lớp Bowl hay bị nhận nhầm thành T-shirt (9/26)  Một số sản phẩm khác cho kết nhận dạng tốt, bị nhầm thành sản phẩm khác T-shirt, Pan, Smartphone, Smartwatch, Water_mains  Các hình ảnh sản phẩm nhận dạng sai hay bị nhận nhầm thành hai mặt hàng T-shirt Laptop 3.2.2 Đánh giá Precision, Recall, F1-Score Sử dụng hàm classification_report() đánh giá mơ hình tập test ta thấy thông số phân loại Precision, Recall F1-Score sản phẩm Macro-F1 Score, Micro-F1 Score chung 10 sản phẩm Trong classification_report() Micro-F1 Score ghi acurancy Hình 19 Precision, Recall, F1-Score mơ hình tập test Nhận xét:  Sản phẩm có F1-Score cao Treefan 0.78 với Precision 0.8 Recall 0.76  Sản phẩm có F1-Score thấp Bowl 0.14 với Precision Recall 0.08, chênh lệch lớn Nhìn vào số thấy ảnh Bowl thật bị nhận nhầm thành ảnh khác nhiều Tuy nhiên Precision = cho thấy ảnh nhận dạng Bowl chắn  Sản phẩm có Recall cao Balo với 0.8, cao Có ảnh Balo bị bỏ sót nhận nhầm thành ảnh nhãn khác  Có 4/10 sản phẩm có F1 Score >0.6 5/10 sản phẩm F1-Score > 0.5  Macro Precision = 0.6 cho toàn 10 sản phẩm Macro Precision = 0.51, ta Macro-F1 Score 0.5  Macro-F1 Score tồn 10 sản phẩm 0.52  Nhìn chung, mơ hình cho số ổn 3.4 Áp dụng xây dựng hệ thống 3.4.1 Xây dựng web nhận dạng sản phẩm Từ mơ hình RestNet50 đào tạo trên, ta xây dựng trang web nhận dạng hình ảnh sản phẩm thương mại điện tử Công nghệ để xây dựng ứng dụng website sử dụng framework Flask Ngơn ngữ lập trình Python dùng IDE Visual Studio Code để chạy ứng dụng 3.4.2 Tạo web với Plask Flask Web Framework nhẹ Python, dễ dàng giúp người bắt đầu học Python tạo website nhỏ Flask dễ mở rộng để xây dựng ứng dụng web phức tạp Flask có tảng Werkzeg WSGI Jinja2 trở thành Web Framework phổ biến Python 3.4.3 Trang web phân loại sản phẩm thương mại điện tử Trong trang web phân loại sản phẩm thương mại điện tử sử dụng chủ yếu API RESTful GET POST frame work Flask Mục đích để POST ảnh truy vấn GET ảnh kết tìm kiếm thông số liên quan 3.4.4 Trang web nhận dạng sản phẩm thương mại điện tử Sau có giao diện hồn chỉnh, kết hợp với mơ hình RestNet50 đào tạo Ta website nhận dạng sản phẩm thương mại điện tử có chức nhận diện phân loại ảnh sản phẩm thương mại điện tử mà người dùng tải ảnh lên Giao diện trang web có nút “Chọn tệp” để upload file ảnh nút “Nhận dạng” để nhận dạng sản phẩm Dưới giao diện trang web nhận dạng sản phẩm thương mại điện tử Trang web có giao diện đơn giản bố cục, dễ sử dụng cho tất người Hình Web hiển thị ảnh sản phẩm kết nhận dạng 3.5 Kết luận chương III Trong chương này, luận văn tiến hành thực nghiệm mơ hình RestNet50 với tập liệu hình ảnh sản phẩm thương mại điện tử Mơ hình RestNet50 sau đào tạo cho độ xác 74.36% tập kiểm thử Xây dựng trang web nhận dạng hình ảnh sản phẩm thương mại điện tử sử dụng mơ hình học sâu ResNet50 huấn luyện Khi ảnh sản phẩm người dùng tải lên trang web trang web hiển thị kết nhận dạng sản phẩm loại sản phẩm thương mại điện tử KẾT LUẬN Kết đạt được:  Luận trình bày chi tiết mặt khái niệm, hình thức, đặc trưng thương mại điện tử ưu nhược điểm tác động đến doanh nghiệp  Luận văn nêu thực trạng thương mại điện tử nước ta giới  Trình bày hạ tầng thương mại điện tử nước ta bao gồm về: pháp lý, kỹ thuật, toán bảo mật  Luận văn nêu khát qt tốn nhận dạng hình ảnh  Nêu khái niệm học máy loại thuật toán học máy viết chi tiết học sâu  Trình cụ thể mạng nơ ron tích chập CNN thành phần cụ thể mạng Nêu trình phát triển mạng CNN trình bày kiến trúc số mạng tiêu biểu Trình bày học chuyển giao giúp tăng hiệu cho mơ hình học sâu  Luận văn viết cụ thể kiến trúc mạng sử dụng phổ biến rộng rãi ResNet  Trình bày kiến trúc mạng ResNet50 kết hợp học chuyển giao sử dụng pretrained model ResNet50 ImageNet dataset để phân loại hình ảnh  Tiến hành đào tạo cho mơ hình ResNet50 sử dụng framework Tensorflow Mơ hình ResNet50 sau đào tạo cho độ xác 74.36% tập kiểm thử  Xây dựng trang web nhận diện sản phẩm thương mại điện tử sử dụng mơ hình ResNet50 huấn luyện với tập thử nghiệm Hướng nghiên cứu tiếp theo:  Với kết trên, hướng nghiên cứu nghiên cứu sâu mơ hình học sâu nhận dạng ảnh kiểu mới, cho kết xác Ứng dụng nhận dạng hình ảnh nhiều để thêm tính hệ thống thương mại điện tử  ... ứng dụng mơ hình học sâu vào tốn nhận dạng hình ảnh thương mại điện tử Chương 3: Giới thiệu nghiên cứu mạng CNN cho tốn nhận dạng hình ảnh Khát qt tốn nhận dạng hình ảnh Nghiên cứu học máy, học. .. thống nhận dạng hình ảnh thương mại điện tử Tiến hành thực nghiệm mơ hình RestNet50 với tập liệu hình ảnh sản phẩm thương mại điện tử Xây dựng trang web nhận dạng hình ảnh sản phẩm thương mại điện. .. thuật, toán bảo mật Đồng thời nêu khát quát ứng dụng mơ hình học sâu vào tốn nhận dạng hình ảnh thương mại điện tử CHƯƠNG II: GIỚI THIỆU VÀ NGHIÊN CỨU CNN CHO BÀI TOÁN NHẬN DIỆN HÌNH ẢNH 2.1