Trí Tuệ Nhân Tạo – Computer Vision Trong Nhân Diện Sushi % Tại Quầy Hàng Ẩm Thực Trong Trung Tâm Thương Mại Aeon Mall Hà Đông.pdf

Một trong số đó phải kể đến ẩm thực Nhật Bản, điển hình là món Sushi.Minh chứng cho điều đó là số lượng các hàng quán về sushi ngày càng gia tăng, chính vì thế mà các dòng sushi ngày càn

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ

BÀI TẬP LỚN TRÍ TUỆ NHÂN TẠO TRONG KINH DOANH

ĐỀ TÀI

Ư꼁NG D唃⌀NG TRÍ TUỆ NHÂN TẠO – COMPUTER VISION TRONG NHÂ%N DIỆN SUSHI TẠI QUẦY HÀNG ẨM THỰC TRONG TRUNG

TÂM THƯƠNG MẠI AEON MALL HÀ ĐÔNG

Hà Nội, ngày 10 tháng 04 năm 2022

Mã nhóm lớp tín chỉ AI : IS02H05

STT Họ tên Mã sinh viên Nhiệm vụ Tỷ lệ đóng góp

1 Nguyễn Thị Mai Anh 22A4020399

Thu thập dữ liệuChạy code

2 Nguyễn Thị Vân Anh 22A4050010 Thu thập dữ liệuTrình bày ra word 32,5%

3 Nguyễn Trâm Anh 22A4020107 Thu thập dữ liệuTrình bày ra word 32,5%

DANH SÁCH THÀNH VIÊN NHÓM 1

M 唃⌀C L唃⌀C

LỜI MỞ ĐẦU 3

NỘI DUNG 4

I ĐẶT VẤN ĐỀ 4

1 Giới thiệu chung về AEON MALL Hà Đông 4

2 Vấn đề tồn tại 4

3 Bài toán ứng dụng thị giác máy tính và lý do chọn bài toán 5

II CÁCH THƯ꼁C THU THẬP DỮ LIỆU 7

1 Xác định dữ liệu ảnh cần thu thập: 7

2 Cách thức thu thập dữ liệu: 7

3 Cách tổ chức lưu trữ dữ liệu trên máy tính 7

III GIỚI THIỆU THUÂ%T TOÁN SỬ D唃⌀NG 8

1 Giới thiệu tổng quan công cụ sử dụng 8

2 Xác định thuật toán sử dụng 8

IV MÃ LỆNH CHƯƠNG TRÌNH 10

1 Xây dựng mô hình 10

2 Kết quả thực nghiệm 15

V ĐÁNH GIÁ MÔ HÌNH 17

1 Đánh giá kết quả 17

2 Ưu điểm và nhược điểm 17

KẾT LUẬN 19

TÀI LIỆU THAM KHẢO 20

2

LỜI MỞ ĐẦU

Thời đại 4.0 kéo theo sự phát triển của rất nhiều lĩnh vực công nghệ khác nhau.Trong đó có thể kể đến AI (Artificial Intelligence) hay còn được gọi là “Trí tuệ nhântạo” Trí tuệ nhân tạp đang dần trở thành một xu hướng, một tương lai chủ đạo trongnền kinh tế toàn cầu Hiện nay AI đã và đang được ứng dụng trong rất nhiều công việc,nhiều ngành như y tế, kinh tế, công nghiệp, giáo dục…và gặt hái được rất nhiều thànhcông

Computer Vision (thị giác máy tính) là một trong số rất nhiều ngành của AI.Bằng việc thu thập và xử lý ảnh kỉ thuật số, nhận dạng và phân tích các hình ảnh từ thếgiới thực sau đó đưa ra những thông tin cần thiết và hữu ích cho cho con người

Xã hội ngày càng phát triển và hội nhập, con người không chỉ có nhu cầu ăn no,mặc ấm mà còn phải ăn ngon, mặc đẹp Sự mở cửa giao thương giữa các nền văn hóakhác nhau trên thế giới giúp cho con người được thưởng thức nhiều món ngon của cácquốc gia Một trong số đó phải kể đến ẩm thực Nhật Bản, điển hình là món Sushi.Minh chứng cho điều đó là số lượng các hàng quán về sushi ngày càng gia tăng, chính

vì thế mà các dòng sushi ngày càng đa dạng và khó phân biệt với khách hàng Việt.Nắm bắt được sự đắn đo, phân vân của khách hàng cũng như sự khó khăn trong việcphân loại của các cửa hàng Sushi tự chọn, nhóm chúng em đã quyết định xây dựng bàitoán “Ứng dụng trí tuệ nhân tạo – Computer Vision trong nhận diện sushi tại quầyhàng ẩm thực trong khu trung tâm thương mại AEON MALL Hà Đông”

Thông qua việc ứng dụng những kiến thức AI đã được học kết hợp việc thamkhảo và tìm tòi, nhóm chúng em đã tiến hành xây dựng và hoàn thiện mô hình trên mộtcách hoàn chỉnh nhất, hy vọng sẽ giúp cho doanh nghiệp tối ưu hóa trải nghiệm củakhách hàng Với sự cố gắng của các thành viên trong nhóm, bài báo cáo đã được chuẩn

bị và kiểm tra một cách kỹ càng, tuy nhiên trong quá trình làm việc vẫn có thể tồn tạinhững sai sót và hạn chế Nhóm 1 rất mong mong cô có thể đánh giá và đưa ra nhữngnhận xét để các thành viên trong nhóm có thể cải thiện và rút kinh nghiệm

Nhóm chúng em xin gửi lời cảm ơn chân thành nhất tới cô!

NỘI DUNG

I ĐẶT VẤN ĐỀ

1 Giới thiệu chung về AEON MALL Hà Đông

- Tên đầy đủ: AEON MALL Hà Đông

- Địa chỉ: Phường Dương Nội, Quận Hà Đông, Thành phố Hà Nội

Trung tâm thương mại AEON MALL Hà Đông là một trong những trung tâmthương mại lớn nhất cả nước Được đầu tư xây dựng mới 100% với sự hợp tác củaAEON Nhật Bản và tập đoàn BIM Group Tọa lạc tại vị trí giao thông chiến lược phíaTây Nam Thủ đô, AEON MALL Hà Đông quy tụ khoảng 220 gian hàng bao gồm Siêuthị và Bách hóa tổng hợp AEON cùng nhiều thương hiệu nổi tiếng trong và ngoài nướcvới các dịch vụ và giải trí phù hợp với mọi gia đình Đến AEON MALL Hà Đông,khách hàng có cơ hội trải nghiệm không gian mua sắm cùng các dịch vụ, giải trí đậmchất Nhật Bản AEON MALL mang đến cho khách hàng những sự lựa chọn đa dạng từthời trang, mỹ phẩm, thiết bị gia dụng đến rạp chiếu phim cùng không gian vui chơirộng lớn bậc nhất miền Bắc Ngoài ra, AEON MALL Hà Đông cũng là điểm đến ănuống không thể bỏ lỡ với khu ẩm thực độc đáo từ các nhà hàng sang trọng đến cácquán ăn nhanh và quán cà phê phù hợp với mọi sở thích của khách hàng

Dựa trên nguyên tắc cơ bản của Tập đoàn bao gồm “Theo đuổi Hòa bình, tôntrọng Nhân quyền và đóng góp cho cộng đồng địa phương, trong đó lấy Khách hànglàm trọng tâm”, AEON MALL Hà Đông đặc biệt tiên phong, đồng hành với kháchhàng khu vực phía Tây thành phố để đóng góp cho địa phương, cùng công dân HàĐông nói riêng và Hà Nội nói chung xây dựng lối sống xanh vì môi trường

Với chủ đề “Chung tay dệt tương lai”, xây dựng không gian xanh – sạch – đẹp,AEON MALL Hà Đông không chỉ là một trung tâm mua sắm thông thường mà còn lànơi để mọi người tận hưởng không gian và lối sống văn minh thông qua các hoạt động

và sự kiện đầy cảm hứng

2 Vấn đề tồn tại

AEON MALL Hà Đông là một trong những trung tâm thương mại lớn nhất cảnước, là trung tâm vui chơi giải trí, ăn uống, mua sắm thu hút đông đảo khách hàngvới những nhu cầu đa dạng Một trong số những đặc điểm nổi bật nhất tại AEONMALL Hà Đông mà các chuỗi trung tâm thương mại và siêu thị khác không có chính

là quầy Sushi tự chọn mở hàng ngày tại sảnh lớn của trung tâm thương mại này.Không giống như các cửa hàng khác, Sushi ở đây được bán riêng lẻ từng loại một,

4

được tự do lựa chọn, mức giá rất phải chăng, phù hợp với cả các bạn học sinh, sinhviên; đưa món ăn này trở nên gần gũi, dễ mua

Vấn đề đặt ra ở đây là: Hiện nay, để bán được mỗi loại sushi, quầy phải bọcnilon hoặc đóng hộp nhựa nhỏ cho từng miếng Sau đó, để phân biết giá của từng loạithì phải dán dấu vàng vào bọc nilon hoặc là phân biệt dựa vào hộp nhựa nhỏ

Điều này sẽ làm người mua cảm thấy bị rắc rối và nhầm lẫn giữa các loại sushi,nhầm lẫn giữa các mức giá Từ đó, trải nghiệm mua hàng của khách sẽ bị ảnh hưởng.Không chỉ vậy, việc không có nhãn cụ thể sẽ làm cho nhân viên tính tiền có thể nhầmlẫn do một số loại sushi có màu sắc giống nhau; không có tên hay mức giá trên bao bìcũng sẽ ảnh hưởng đến hoạt động của thu ngân do trong quá trình vận chuyển có thểlàm rơi mất ký hiệu trên bao nilon Thêm vào đó, sushi bao gồm cả các thành phầntươi sống, việc chế biến số lượng lớn và đóng gói trong nilon, hộp nhựa để bày bán vàtính tiền sẽ làm giảm đi chất lượng của món ăn khi đến tay khách hàng Ngoài ra, quầySushi AEON MALL Hà Đông thuộc sở hữu và quản lý của AEON Nhật Bản, với địnhhướng và chủ đề ban đầu khi xây dựng AEON MALL là “Chung tay dệt tương lai”,xây dựng không gian xanh – sạch – đẹp, việc mỗi miếng sushi nhỏ lại thải ra môitrường một bọc nilon, một hộp nhựa sẽ đi ngược lại với hình ảnh mà trung tâm thươngmại muốn hướng tới

Do đó, để củng cố và phát huy hình ảnh của AEON MALL, nâng cao chấtlượng món ăn của quầy Sushi cũng như mang đến cho khách hàng những trải nghiệm

và tận hưởng tốt nhất, cần có một giải pháp tối ưu hơn cho việc nhận dạng và tính tiềncác loại sushi trong khu vực này

3 Bài toán ứng dụng thị giác máy tính và lý do chọn bài toán

Để giải quyết vấn đề tồn tại trên, nhóm đã đề xuất giải pháp “Ứng dụng trí tuệnhân tạo – Computer Vision trong nhận diện Sushi tại quầy hàng ẩm thực trong trungtâm thương mại AEON MALL Hà Đông”

3.1 Thị giác máy tính là gì?

Thị giác máy tính (Computer vision) là một lĩnh vực khoa học liên ngành liênquan đến việc làm thế nào máy tính có thể đạt được sự hiểu biết ở mức cao từ hình ảnhhoặc video kỹ thuật số

Từ quan điểm của kỹ thuật: tìm cách hiểu và tự động hóa các nhiệm vụ mà hệthống thị giác của con người có thể làm

Thị giác máy tính bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số,phân tích và nhận dạng các hình ảnh và, nói chung là dữ liệu đa chiều từ thế giới thực

để cho ra các thông tin số hoặc biểu tượng, ví dụ trong các dạng quyết định Nói mộtcách đơn giản hơn, thị giác máy tính nhằm tạo ra một hệ thống nhân tạo có thể tiếpnhận các hình ảnh thu được hay tập dữ liệu đa chiều để phân tích, xử lí nó theo ýmuốn

3.2 Lý do chọn bài toán

AEON MALL Hà Đông là một trong những trung tâm thương mại khá mới vớirất nhiều những dịch vụ tiện lợi, mang đến trải nghiệm đặc biệt cho khách hàng Việcnâng cấp các dịch vụ trong trung tâm thương mại sẽ giúp AEON MALL Hà Đông thuhút được số lượng lớn khách hàng, đạt hiệu quả cao hơn trong hoạt động kinh doanh

và khẳng định uy tín với nhiều đối tác lớn Sau khi nhóm mua thử sushi tại Quầy,nhóm nhận thấy cách bày bán và thanh toán hiện nay sẽ làm hạn chế quy trình bánhàng của Quầy Cụ thể, để đưa được miếng sushi đến tay khách hàng phải trải quanhiều nhân viên, đầu tiên là người chế biến nguyên liệu, người cuộn sushi, người đónggói bao bì, người sắp lên quầy bày bán và cuối cùng là người thanh toán Việc sử dụngnhiều nhân viên để đưa được một miếng sushi như thế này tốn nhiều chi phí nhân côngcho hoạt động của quầy, ngoài ra, với tình trạng Covid-19 vẫn đang còn tiếp tục kéodài như hiện tại, việc tiếp xúc thường xuyên giữa người với người sẽ gây cản trở choquá trình chống dịch của trung tâm thương mại

Tiếp theo, việc phân chia giá phải đóng gói bao bì không đồng đều trên cùng 1quầy bán sẽ làm khách hàng và nhân viên thu ngân gặp khó khăn trong việc nhớ giátiền của từng loại sushi để thanh toán Hơn nữa, việc tính giá tiền thông qua bao bì nhưvậy sẽ làm khách hàng không thể nhớ mình ăn loại sushi nào, ngay cả khi nhìn hóađơn Điều này sẽ bất tiện với khách hàng khi muốn quay lại mua lần sau Không chỉvậy, sushi bao gồm các loại nguyên liệu sống như cá hồi, trứng cá chuồn,… Việc phảiqua đóng gói lâu sẽ làm mất hương vị món ăn Quầy bán cũng có thể xác định đượcloại sushi mà khách hàng ưa chuộng nhất để có thể phục vụ, kiểm soát số lượng hàngbán ra Cuối cùng, sử dụng một bao bì cho mỗi chiếc sushi nhỏ sẽ làm tốn rất nhiều chiphí bao bì, ngoài ra, việc này cũng là cho một ngày, quầy sẽ phải thải ra môi trườngnhiều rác thải có hại cho môi trường, trái với mục tiêu vì môi trường xanh – sạch – đẹp

và văn minh của AEON MALL

6

Sau khi xem xét thực trạng và kết nối với đề xuất của mình, nhóm nhận thấy,việc áp dụng thị giác máy tính vào quá trình bán hàng không chỉ cải thiện quy trìnhbán hàng của quầy hàng mà còn củng cố và nâng cao hình ảnh của AEON MALL Cụthể, việc sử dụng thị giác máy tính sẽ giảm số nhân công; giảm thời gian để đóng gói

và thanh toán một cách đáng kể Khách hàng có thể được lựa chọn sushi ngay khi vừalàm xong và tự thanh toán một cách nhanh chóng và chính xác Thị giác máy tính sẽnhận dạng và đưa ra giá tiền tương ứng giúp quầy kiểm soát được số lượng bán ra vàkhách hàng sẽ dễ dàng hơn khi thanh toán và có ngay tên của loại sushi mình muangay trên hóa đơn Việc sử dụng công nghệ này cũng giảm đi các bao bì đóng gói bằngnilon và nhựa để bảo vệ môi trường, nâng cao hình ảnh AEON MALL trong mắt ngườitiêu dùng

II CÁCH THƯ꼁C THU THẬP DỮ LIỆU

1 Xác định dữ liệu ảnh cần thu thập:

Hình ảnh cần thu thập là các loại sushi hiện đang được bày bán tại quầy Sushitrong khu ẩm thực của AEON MALL Hà Đông Đây là những loại sushi phổ biến cónhững mức giá khác nhau và rất được khách hàng ưa chuộng

- Cá hồi tươi Fresh Salmon

- Cơm cuộn

- Nigari thanh cua

- Trứng chiên Tamago

2 Cách thức thu thập dữ liệu:

- Chụp ảnh trực tiếp tại các quầy bán sushi tại AEON MALL Hà Đông

- Thu thập thông tin về hình ảnh thông qua các trang mạng điện tử như Google

Hình ảnh, Chrome và Cốc cốc, Pinterest, …

3 Cách tổ chức lưu trữ dữ liệu trên máy tính

Tất cả dữ liệu hình ảnh thu thập được sẽ được tập hợp tại ổ D của máy tínhD:\ComputerVision-Sushi\Data và được tải lên thư mục trên drive với địa chỉ:https://bitly.com.vn/zgu6yx Thư mục tại drive được đặt tên là Computer-Vision vàtrong đó thư mục lớn là Data Bên trong thư mục lớn này sẽ bao gồm ba thư mục nhỏđược đặt tên là Test, Train và Validation Tại mỗi thư mục nhỏ là Train và Validationđược chia thành 4 thư mục nhỏ tương ứng với 4 loại sushi cần phân biệt này Mỗi loạisushi tương ứng một thư mục trong đó có 80 ảnh Train, 20 ảnh Validation Tổng cộng

có 320 ảnh Train và 80 ảnh Validation Tại thư mục Test là các hình ảnh để thử nghiệmsau khi chạy mô hình.

III GIỚI THIỆU THUÂ%T TOÁN SỬ D唃⌀NG

1 Giới thiệu tổng quan công cụ sử dụng

1.1 Google Colaboratory

Google Colaboratory hay còn được biết đến với những tên gọi ngắn gọn hơn làGoogle Colab hoặc Colab là 1 sản phẩm của Google Research Google Colab là mộtdịch vụ đám mây miễn phí của Google nhằm hỗ trợ cộng đồng nghiên cứu AI pháttriển các ứng dụng học sâu (deep learning) bằng việc cung cấp GPU và TPU miễn phí.Google Colab được cài đặt sẵn những thư viện rất phổ biến trong nghiên cứu DeepLearning như PyTorch, TensorFlow, Keras và OpenCV

1.2 Tensorflow

Tensorflow là thư viện mã nguồn mở hỗ trợ học máy và học sâu nổi tiếng nhấtthế giới, được phát triển bởi các nhà nghiên cứu của Google Việc hỗ trợ mạnh mẽ cácphép toán học để tính toán trong học máy và học sâu đã giúp việc tiếp cận các bài toántrở nên đơn giản, nhanh chóng và tiện lợi TensorFlow có thể được sử dụng online vớiGoogle Colab hoặc cài đặt offline trên máy tính với Anaconda

Kiến trúc TensorFlow hoạt động được chia thành 3 phần: Tiền xử lý dữ liệu, Dựngmodel, Huấn luyện và sử dụng model

2 Xác định thuật toán sử dụng

2.1 Học có giám sát (Supervised Learning)

Học có giám sát là phương pháp sử dụng những dữ liệu đã được gán nhãn từtrước để suy luận ra quan hệ giữa đầu vào và đầu ra Các dữ liệu này được gọi là dữliệu huấn luyện và chúng là cặp các đầu vào-đầu ra Học có giám sát sẽ xem xét cáctập huấn luyện này để từ đó có thể đưa ra dự đoán đầu ra cho 1 đầu vào mới chưa gặpbao giờ Mục tiêu của thuật toán này là tìm ra sự liên kết, quy luật giữa input vàoutput

Đối với chủ đề mà nhóm nghiên cứu, những dữ liệu được đưa vào sẽ là nhữnghình ảnh về các loại sushi của cửa hàng Sushi tại AEON MALL Hà Đông, đầu ra lànhãn của hình ảnh đó Kỹ thuật học máy có giám sát sẽ giúp phát hiện, phân tích, xâydựng, nén dữ liệu hình ảnh để từ đó đưa ra dự đoán cho hình ảnh sản phẩm mới đưavào

8

2.2 Học sâu (Deep Learning)

Học sâu hay còn gọi là Deep Learning là một thuật toán vô cùng tân tiến, được

sử dụng rộng rãi ngày nay và được coi là kỳ quan của trí tuệ nhân tạo Deep Learning

là một nhánh của học máy sử dụng mạng lưới thần kinh với nhiều lớp Mạng DeepLearning thường sẽ cải thiện khi tăng lượng dữ liệu được sử dụng để đào tạo chúng.Tương tự như cách chúng ta học hỏi từ kinh nghiệm, thuật toán học sâu sẽ thực hiệnmột nhiệm vụ nhiều lần, mỗi lần tinh chỉnh một chút để cải thiện kết quả Bất kỳ vấn

đề nào đòi hỏi sự tư duy để tìm ra lời giải học sâu đều có thể học cách giải quyết.2.3 Mạng Nơ-ron tích chập

Để dạy thuật toán nhận diện đối tượng trong hình ảnh, ta sử dụng một loạiMạng Nơ-ron Nhân Tạo (Artificial Neural Network): Convolutional Neural Network(CNN – Mạng nơ-ron tích chập) Tên của nó được dựa trên phép tính quan trọng được

sử dụng trong mạng đó là Tích Chập

CNN là một trong những mô hình Deep Learning tiên tiến giúp cho chúng taxây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay Cáccông ty công nghệ lớn như Google, Facebook, Amazon đang sử dụng CNN cho hệthống xử lý nhận diện ảnh và có chức năng như nhận diện khuôn mặt người dùng, pháttriển xe tự lái, v.v …

CNN so sánh hình ảnh theo từng mảnh, mỗi mảnh đó được gọi là feature (đặctrưng) Mỗi feature được coi như một hình ảnh mini, tức là chúng cũng là những mảnghai chiều nhỏ Các feature sẽ được khớp với các khía cạnh chung của bức ảnh nghĩa làfeature này sẽ tương ứng với khía cạnh nào đó của bức ảnh và chúng sẽ được khớp lạivới nhau

Khi xem một hình ảnh mới, CNN sẽ không biết nó ở vị trí nào và các feature khớpvới nhau ở đâu, vì vậy nó thử chúng ở tất cả các vị trí khác nhau Trong quá trình đóchúng tạo thành một bộ lọc, gọi là filter Và để thực hiện điều này, chúng ta sử dụngphép toán tích chập Phép tích chập là phép nhân giữa mỗi điểm ảnh trong feature vớigiá trị của điểm ảnh tương ứng trong hình ảnh đó

CNN bao gồm tập hợp các lớp cơ bản bao gồm: lớp tích chập (Convolutional); lớpkích hoạt phi tuyến (NonLinearity); lớp lấy mẫu (Pooling); lớp kết nối đầy đủ (Fullyconnected) Các lớp này liên kết với nhau theo một thứ tự nhất định Thông thường,một ảnh sẽ được lan truyền qua lớp tích chập + lớp kích hoạt phi tuyến đầu tiên, sau đó