ỨNG DUNG COMPUTER VISION NHẬN DIỆN CẢM XÚC KHÁCH HÀNG TRONG VIỆC TRẢI NGHIỆM SẢN PHẨM MỚI TẠI THE COFFEE HOUSE

HỌC VIỆN NGÂN HÀNG BÀI TẬP NHĨM Học phần: Trí Tuệ Nhân Tạo ĐỀ TÀI: ỨNG DUNG COMPUTER VISION NHẬN DIỆN CẢM XÚC KHÁCH HÀNG TRONG VIỆC TRẢI NGHIỆM SẢN PHẨM MỚI TẠI THE COFFEE HOUSE Giảng viên : Nguyễn Văn Thủy Lớp : 211IS42A13 Sinh viên thực : Nguyễn Thị Lê - 22A4030307 2.Lê Thùy linh - 22A4030346 3.Đỗ Huyền Trang - 22A4030280 Hà Nội, ngày 03 tháng 10 năm 2021 MỤC LỤC LỜI MỞ ĐẦU I XÁC ĐỊNH VẤN ĐỀ Giới thiệu chung The Coffee House Vấn đề gặp phải Bài toán đặt II CHUẨN BỊ DỮ LIỆU 10 Xác định liệu cần thu thập 10 Ý tưởng mơ hình 10 Xác định kỹ thuật triển khai xây dựng mơ hình 11 III XÂY DỰNG MƠ HÌNH .15 Input Output toán 15 Triển khai xây dựng mơ hình 15 IV ĐÁNH GIÁ 19 Đánh giá kết 19 Ưu điểm 20 Nhược điểm 21 So sánh đánh giá với thuật toán Optimizer SGD 22 Định hướng phát triển vào thực tế .23 Danh sách thành viên nhóm STT Họ tên Nguyễn Thị Lê Lê Thùy Linh Mã sinh viên Cơng việc thực Tỷ lệ đóng góp 22A4030307 Powerpoint, 22A4030346 Chuẩn bị liệu Quay video, Đánh giá, code so sánh Đỗ Huyền Trang 22A4030280 mơ hình Word, Xác định vấn đề xây dựng mơ hình LỜI MỞ ĐẦU Trí tuệ nhân tạo (AI) dần hữu lĩnh vực sống người Không thể phủ nhận bùng nổ với nhiều đột phá AI thời điểm Hiện nay, AI áp dụng vào nhiều lĩnh vực sống tài chính, sản xuất, cơng nghệ hàng khơng, chí pháp luật, hệ thống phủ Trí tuệ nhân tạo đời thúc đẩy gần tồn ngành cơng nghiệp xã hội từ mang thay đổi sống người toàn giới Tại Việt Nam, AI ứng dụng mạnh mẽ nhiều lĩnh vực y tế, giáo dục, nông nghiệp, giao thông, thương mại điện tử Công nghệ AI mang lại cho Việt Nam phát triển vượt bậc thời gian qua Trong thị giác máy tính xem lĩnh vực thuộc AI mang lại ứng dụng thực tiễn sống Đặc biệt, phát triển thị trường đồ uống Việt Nam kéo theo xuất ngày nhiều quán cafe Nhằm nắm bắt tìm hiểu thêm ứng dụng AI hoạt động kinh doanh phục vụ cho kiến thức mơn học Trí Tuệ Nhân Tạo Trong Kinh Doanh nhóm em chọn tìm hiểu nghiên cứu đề tài “Ứng dụng Computer Vision nhận diện cảm khách hàng việc trải nghiệm sản phẩm mới” Đây lần tiếp xúc với môn học, em mong thầy xem xét bổ sung thêm để thu hoạch em hồn thiện Nhóm chúng em xin chân thành cảm ơn! I XÁC ĐỊNH VẤN ĐỀ Giới thiệu chung The Coffee House Chuỗi cà phê The Coffee House thức mắt vào năm 2014 nhanh chóng chiếm quan tâm bạn trẻ nước Cho đến nay, quán có mặt khắp tỉnh thành nước từ Bắc vào Nam Với cửa hàng The Coffee House, thương hiệu lại biến tấu theo cách riêng dựa vào concept có sẵn để tạo khơng gian mang tính địa phương, gần gũi với khách hàng Hiện nay, số tăng lên hàng trăm chi nhánh cạnh tranh quán cafe ngày nở rộ Cả nước có khoảng 18.000 quán cà phê, có 100 cửa hàng The Coffee House Theo số liệu thống kê The Coffee House phục vụ 26 triệu lượt khách hàng Thương hiệu The Coffee House gây ấn tượng mạnh mẽ lịng người dân nước hương vị cafe độc đáo, không gian thiết kế quán cafe ấn tượng, nhân viên thân thiện chất lượng sản phẩm tốt mức giá phù hợp với số đông Không vậy, sau sát nhập phận cà phê Cầu Đất Farm, The Coffee House cung cấp sản phẩm cà phê chất lượng Vấn đề gặp phải Nhu cầu vị khách hàng ln thay đổi Chính vậy, việc thường xuyên cập nhật thức uống quan trọng, đặc biệt thương hiệu đồ uống lớn The Coffee House Và để đáp ứng vị đa dạng khách hàng The Coffee House có kế hoạch mắt loại đồ uống thích hợp cho mùa đơng trà hoa đậu biếc - loại đồ uống nhiều người quan tâm dạo gần Tuy nhiên, loại đồ uống chưa phổ biến nhiều quán cà phê hay đồ uống khác Chính vậy, thương hiệu ln băn khoăn khơng biết liệu thức uống làm hài lịng khách hàng hay khơng ? Bài tốn đặt Trên hết khách hàng mong muốn thưởng thức nhiều loại đồ uống ngon đến The Coffee House Vậy nên, mục tiêu doanh nghiệp phải đáp ứng tất nhu cầu khách hàng, thấu hiểu vị khách hàng Việc đưa đồ uống nhằm giúp thu hút nhiều đối tượng khách hàng hàng không bạn trẻ mà tầm lớp hệ khác Xuất phát từ tình trạng mong muốn đó, The Coffee House tìm giải pháp để phát phản ứng khách hàng thử đồ uống từ giúp doanh nghiệp thực kế hoạch mắt thức sản phẩm cho mùa đông Các giải pháp giá trị:  Sử dụng bảng hỏi phiếu khảo sát Ưu điểm: Có thể biết chi tiết khách hàng thích sản phẩm mức độ nào, độ hài lòng đồ uống Nhược điểm: rườm rà, làm thời gian khách hàng họ phải trả lời nhiều câu hỏi  Thuê thêm nhân viên tư vấn Ưu điểm: lắng nghe trực tiếp ý kiến góp ý khách hàng sản phẩm Nhược điểm: Chi phí trả lương tăng, cần nhiều thời gian để đào tạo nhân viên  Xây dựng mơ hình ứng dụng AI nhận biết cảm xúc khách hàng Ưu điểm: Có thể nhận diện cảm xúc tất khách hàng thử loại đồ uống mới, không gây tốn thời gian khách hàng phải nêu lại cảm nhận, thống kê lượng khách hàng thích hay khơng thích đồ uống Nhược điểm: Cần có đội ngũ chun mơn cao để nghiên cứu chi phí để đầu tư thiết bị cho cửa hàng  Lựa chọn giải pháp: Xây dựng mơ hình ứng dụng AI phát cảm xúc khách hàng thử đồ uống Vì thời đại công nghệ, việc ứng dụng công nghệ bắt kịp xu hướng thời đại việc đáng khuyến khích Đồng thời giải pháp phát cách xác tối ưu giúp nhận diện nhanh chóng giúp doanh nghiệp dễ dàng định có nên mắt đồ uống hay không II CHUẨN BỊ DỮ LIỆU Xác định liệu cần thu thập Dữ liệu cần thu thập hình ảnh động thực tế người dùng cà phê trình trình thử nghiệm hương vị cà phê Dữ liệu bao gồm hình ảnh động chủ yếu có liên quan đến khung miệng người Khung miệng khách hàng cảm thấy hài lòng khung miệng khách hàng cảm thấy không hài lòng Cách thức thu thập liệu: Sử dụng hệ thống camera giám sát đặt vị trí khác cửa hàng bán cà phê để liên tục theo dõi biểu cảm khách hàng sử dụng cà phê Sử dụng hình sau người thưởng thức để phân tích Ý tưởng mơ hình Xây dựng mơ hình nhận diện cảm xúc hài lịng khơng hài lịng khách hàng hương vị cà phê, để từ đưa giải pháp marketing hiệu như: nghiên cứu cải tiến sản phẩm, nghiên cứu sản phẩm mức độ chấp nhận khách hàng sản phẩm cà phê Hệ thống phát cảm xúc hài lòng khách hàng nụ cười – thơng qua việc tính độ chênh lệc khoảng cách môi môi dưới, đa số nụ cười thường nhe dù hay nhiều làm thay đổi việc độ chênh lệch điểm trung bình đường nối mép hai mơi với đỉnh môi môi Và với ngược lại với nhận diện cảm xúc khơng hài lịng khơng có độ chênh lệch khoảng cách mơi môi Tạo file mẫu để phát hiện, nhận diện đặc điểm khn mặt miệng, gị má, mắt… Ở ý đến miệng Tạo file train cho máy để xác định khung miệng xem cười hay khơng cười Sau đọc ảnh từ webcam máy tính camera hệ thống triển khai thực tế thực hiện: + Nếu có độ chênh lệch khoảng cách mơi mơi nhận diện cảm xúc hài lịng + Nếu khơng có độ chênh lệch khoảng cách mơi mơi nhận diện cảm xúc khơng hài lòng Xác định kỹ thuật triển khai xây dựng mơ hình  Kỹ thuật xây dựng mơ hình dựa Google colabratory Google Colaboratory (gọi tắt Google Colab hay Colab) sản phẩm Google Research Colab dựa Jupyter Notebook, người dùng viết thực thi đoạn mã python thơng qua trình duyệt đặc biệt phù hợp với data analysis, machine learning giáo dục Colab không cần yêu cầu cài đặt hay cấu hình máy tính, thứ chạy thơng qua trình duyệt, bạn sử dụng tài nguyên máy tính từ CPU tốc độ cao GPUs TPUs cung cấp cho bạn Colab cung cấp nhiều loại GPU, thường Nvidia K80s, T4s, P4s and P100s, nhiên người dùng chọn loại GPU Colab, GPU Colab thay đổi theo thời gian Vì dịch vụ miễn phí, nên Colab có thứ tự ưu tiên việc sử dụng tài nguyên hệ thống, giới hạn thời gian sử dụng, thời gian sử dụng tối đa lên tới 12 Ngoài việc sử dụng online, bạn cịn download máy dạng file py,ipynb để tiện thao tác + Google Colab miễn phí + Cung cấp phần cứng mạnh cho việc chạy thử code từ CPU, GPU đến TPU + Dễ dàng sử dụng truy cập, kết nối lưu trữ trực tiếp Google Drive, Github + Sử dụng nhiều thư viện phổ dụng dành cho DeepLearning Keras, TensorFlow, PyTorch, OpenCV + Thời gian sử dụng có giới hạn, sau 12 VM colab bị reset + Khơng thể tự lựa chọn cấu hình phần cứng, với account free  Thư viện tensorFlow 10 Tensorflow (TF) library Google phát triển thư viện mã nguồn mở dùng để tính toán số học sử dụng đồ thị luồng liệu node phép tính tốn học cạnh biểu thị luồng liệu Các lợi ích mà thư viện mang lại:  Tích hợp nhiều thư viện Machine Learning  Có khả tương thích mở rộng tốt  Nhận biết phát âm dịch tự động  Phân loại email Gmail  Nhận biết khuôn mặt ảnh Đặc trưng TensorFlow xử lý tất loại liệu biểu diễn dạng data flow graph hay low level xử lý chữ viết tay  Thư viện Keras Keras open source cho Neural Network viết ngơn ngữ Python Nó library phát triển vào năm 205 Francois Chollet, kỹ sư nghiên cứu Deep Learning Keras sử dụng chung với thư viện tiếng Tensorflow, CNTK, Theano Một số ưu điểm Keras như: - Dễ sử dụng, dùng đơn giản Tensor, xây dựng model nhanh - Run CPU GPU - Hỗ trợ xây dựng CNN, RNN hai Với người tiếp cận đến Deep chọn sử dụng Keras để build model đơn giản, dễ nắm bắt thư viện khác  Mạng nơ-ron tích chập 11 Mạng nơron tích chập (cịn gọi ConvNet / CNN) thuật tốn Deep Learning lấy hình ảnh đầu vào, gán độ quan trọng (các trọng số - weights độ lệch - bias học được) cho đặc trưng/đối tượng khác hình ảnh phân biệt đặc trưng/đối tượng với Công việc tiền xử lý yêu cầu cho mạng nơron tích chập nhiều so với thuật toán phân loại khác Trong phương thức sơ khai, lọc thiết kế tay (hand - engineered), với trình huấn luyện để chọn lọc/đặc trưng phù hợp mạng nơron tích chập lại có khả tự học để chọn lọc/ đặc trưng tối ưu Ưu điểm mạng nơ-ron tích chập:  Các tính mơ hình nơ-ron tích chập học cách trực tiếp  Kết nhận dạng xác cao  Có thể học lại, xây dựng nhiệm vụ nhận dạng sở nhiệm vụ nhận dạng cũ III XÂY DỰNG MƠ HÌNH Input Output tốn - Input: Hình ảnh nụ cười khn mặt người - Output: Dự đốn hài lịng hay khơng hài lịng Triển khai xây dựng mơ hình  Bước Đọc liệu, tiền xử lý liệu Khai báo thư viện sử dụng 12 Kết nối với Google Drive để đọc file lưu file Chuẩn bị liệu Dữ liệu chia thành thư mục Train Validation Mỗi lớp tương ứng thư mục với 150 ảnh Train, 25 ảnh Validation Khai báo đường dẫn đến thư mục chứa ảnh để Huấn luyện Kiểm định mơ hình Gán nhãn ảnh: tên thứ tự nhãn tương ứng với tên thứ tự thư mục chứa ảnh huấn luyện kiểm định Chuyển từ file ảnh JPEG thành image_data_generator Chuẩn hóa liệu ảnh 0:1 - rescale  13 liệu số từ 0:255- Hàm Đọc hai liệu train, validation gán nhãn tương ứng với cấu trúc thư mục  Bước 2: Xây dựng mơ hình Mơ hình gồm tầng: Input image -> CNN1 -> CNN2 -> CNN3->Fully connected layer -> Output -Tầng CNN kết nối với đầu vào nên phải mô tả thông tin đầu vào (input_shape) Mỗi tầng CNN: tích chập với 48 lọc (filter) với kích thước lọc (3x3), lớp lấy mẫu có kích thước (2x2), sử dụng hàm kích hoạt ReLU Hàm kích hoạt Relu để loại giá trị âm Flatten: chuyển ảnh từ dạng ma trận mảng chiều 14 Compile: Chọn tham số để huấn luyện mơ hình Optimizer: thuật tốn huấn luyện mơ hình Loss: hàm tính tốn sai số giá trị học giá trị thực tế categorical_crossentropy dùng trường hợp dự đoán nhiều lớp Metrics: thước đo để ta đánh giá độ xác accuracy mơ hình Hàm opimizer RMSPROP tiêu chi huấn luận Accuracy  Bước 3: Huấn luyện mơ hình xác định độ xác mơ hình EPOCHS: Số vịng lặp lặp lại 150 lần 15 batch_size = 32 Thử nghiệm độ xác mơ hình Kết 16 IV ĐÁNH GIÁ Đánh giá kết Nhóm tiến hành test 20 mẫu, kết quả  17/20 mẫu cho kết đúng, chiếm 85% Một số kết mô hình: 17 Ưu điểm Đây mơ hình mẻ, sáng tạo, phát triển áp dụng nhiều lĩnh vực Mơ hình dùng từ việc lấy ảnh qua hệ thống video ghi lại, camera nên nhận diện hình ảnh linh hoạt, dễ dàng, thuận tiện Mơ hình mang đến lợi ích định cho The Coffee House việc nắm bắt tâm tư, tình cảm khách hàng đối sản phẩm sản phẩm cũ chào bán Mơ hình huấn luyện thành cơng với tỷ lệ xác cao 100% , sai số giá trị dự đoán giá trị thực tế 0,25% Ở tập kiểm thử, xác lớn 84% 18 Nhược điểm Hệ thống hạn chế mặt người dùng chụp góc nghiêng, điều khiến mơ hình xác định chậm kết cho khơng xác Tính sai số dựa giá trị dự đoán giá trị thực tế tập kiểm thử cao Trong sai số dựa giá trị dự đoán giá trị thực tế tập huấn luyện lại mức tốt Hiện tại, thử nghiệm mơ hình hoạt động tốt Tuy nhiên chênh lệch loss val_loss điều đặt ra nghi vấn mô hình có bị overfitting hay khơng Trước đây, nhóm thử sử dụng 19 cách tăng lượng dataset lên để huấn luyện có kết xác hơn, nên có lẽ cách làm để tăng xác mơ hình trước áp dụng vào thực tế So sánh đánh giá với thuật toán Optimizer SGD Stochastic Gradient Descent (SGD): Đây thuật toán tối ưu hay sử dụng để giải sở liệu lớn nhiên chưa giải hai nhược điểm lớn learning rate điểm liệu ban đầu Nếu thử dùng thuật toán này, ta thấy loss giảm xuống chậm, acc tăng chậm; val_loss gần đứng nguyên không giảm, val_acc giữ ngun (đóng băng), chênh lệch loss val_loss khơng nhiều Nếu đánh giá sử dụng thuật tốn chưa phù hợp với mơ hình nhiều, ngun nhân thuật tốn khơng phù hợp với mơ hình 20 Cho nên, dựa kết mơ hình có lẽ sử dụng thuật tốn RMSprop tối ưu hơn, khoảng cách loss val_loss xa, val_loss có cao nhưng cải thiện Định hướng phát triển vào thực tế ·   Bảo mật: xác định hành vi đáng ngờ đám đông ngăn chặn tội phạm ·   Chơi game: Cải thiện trải nghiệm chơi trò chơi game thực tế ảo ·   Giáo dục, tiếp thị: Đo thời gian học xác, giới thiệu khóa học sản phẩm tiếp thị ·   Ngân hàng, shop: nhận diện cảm xúc,…     21 ... khoảng 18.000 quán cà phê, có 100 cửa hàng The Coffee House Theo số liệu thống kê The Coffee House phục vụ 26 triệu lượt khách hàng Thương hiệu The Coffee House gây ấn tượng mạnh mẽ lòng người dân... chung The Coffee House Chuỗi cà phê The Coffee House thức mắt vào năm 2014 nhanh chóng chiếm quan tâm bạn trẻ nước Cho đến nay, quán có mặt khắp tỉnh thành nước từ Bắc vào Nam Với cửa hàng The Coffee. .. cập nhật thức uống quan trọng, đặc biệt thương hiệu đồ uống lớn The Coffee House Và để đáp ứng vị đa dạng khách hàng The Coffee House có kế hoạch mắt loại đồ uống thích hợp cho mùa đơng trà hoa