Báo cáo thực tập phân loại khách hàng sử dụng GOOGLE CLOUD PLATFORM

1 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÁO CÁO THỰC TẬP PHÂN LOẠI KHÁCH HÀNG SỬ DỤNG GOOGLE CLOUD PLATFORM Công ty thực tập : OMNIS Người phụ trách : Bùi Long Quy Thực tập sinh : Huỳnh Gia Phát TP Hồ Chí Minh, tháng 12 năm 2020 Huỳnh Gia Phát LỜI MỞ ĐẦU Trong hồn cảnh cơng ty, lượng khách hàng có nhu cầu nhắn tin hỏi thăm vấn đề khách hàng nhiều Cho nên công ty đưa giải pháp sử dụng chatbot để trả lời câu hỏi khách hàng khách hàng nhanh chóng Sau lưu lại đoạn thoại khách hàng chatbot Sau có livechat đó, cơng ty phải phân tích xem đối tượng khách tiềm năng, khách hàng cần hỗ trợ khách hàng chưa giải vấn đề mình, để chăm sóc viên hỗ trợ cho khách hàng Nhưng vấn đề lượng livechat lớn, việc phân tách thủ công nhiều thời gian cơng sức Vì cơng ty hướng đến việc sử dụng GG Cloud Flatform để thực viện phân tích đối tượng khách cho chăm sóc viên Để có nhìn tổng quan GCP em giới thiệu tổng quan: Google Cloud Platform (GCP) dịch vụ Public Cloud Google cung cấp hạ tầng Google Đây hạ tầng cho dịch vụ chủ lực Google Gmail, Youtube, Google Maps,… Người dùng tự sử dụng hạ tầng máy chủ, sản phẩm GCP mà cần trả phí cho sử dụng Chúng ta thao tác nguồn tài nguyên GCP qua giao diện web control, command line web API Một số dịch vụ GCP kể đến máy chủ ảo hay gọi Compute Engine, App Engine dùng để host ứng dụng web mobile, Kubernetes Engine dành cho hệ thống sử dụng k8s docker Hay kể đến Cloud SQL cho dịch vụ database MySQL hay PostgreSQL, Cloud Datastore cho NoSQL Database dịch vụ lưu trữ Cloud Storage Đặc biệt xu hướng cơng nghệ 4.0 nhu cầu phân tích Big Data trở nên cấp thiết Do đó, GCP cung cấp công cụ giúp cho người dùng xây dựng hệ thống phân tích Big Data cách nhanh chóng đầy mạnh mẽ BigQuery cho Data Warehouse Cloud Dataflow để xây dựng hệ thống xử lý pipeline streaming batch Ngồi ra, GCP cịn cung cấp dịch vụ hỗ trợ cho Machine Learning AI Huỳnh Gia Phát Cloud Auto ML hay ứng dụng Vision API hay Speech API giúp cho người dùng xây dựng dễ dàng ứng dụng AI mà khơng cần có kiến thức chuyên sâu Machine Learning GCP sử dụng cho tất ngành nghề, đối tượng với điểm mạnh phân tích Big Data AI, hạ tầng cho ứng dụng game Huỳnh Gia Phát LỜI CẢM ƠN Trân trọng gửi lời cảm ơn Công ty TNHH Thương mại điện tử OMNIS tạo điều kiện cho em có hội thực tập cơng ty Chỉ khoảng thời gian ngắn ngủi hai tháng quý công ty, anh chị hướng dẫn giúp đỡ em tìm hiểu vấn đề khái niệm xử lý ngôn ngữ tự nhiên- NLP, tìm hiểu cơng cụ Google Cloud Flatform để xây dưng chương trình đơn giản để phân loại khách hàng Chân thành cảm ơn anh chị nhóm trainer bỏ nhiều thời gian,cơng sức để hướng dẫn chúng em hoàn thành đợt thực tập Đặc biệt cảm ơn anh Bùi Long Quy, hướng dẫn, giúp đỡ cho chúng em tận tình khó khăn cơng việc, đến khó khăn việc làm quen với môi trường mới, dẫn chúng em cách làm báo cáo, lên kế hoạch, kỹ thiếu; Cũng xin cảm ơn thầy cô khoa Công nghệ phần mềm nhiệt tình hỗ trợ, tạo điều kiện em làm báo cáo Huỳnh Gia Phát TpHCM, ngày 11 tháng 12 năm 2020 Huỳnh Gia Phát NHẬN XÉT CỦA KHOA Huỳnh Gia Phát MỤC LỤC Mục lục báo cáo thực tập Chương 1: Giới thiêu công ty thực tập Giới thiệu công ty TNHH thương mại điện tử OMNIS Tầm nhìn Sứ mệnh Giá trị cốt lõi Chương 2: Nội dung thực tập Tìm hiểu công ty kỹ công ty Nghiên cứu kỹ thuật 2.1 Các công cụ làm việc 2.2 Tìm hiểu ngôn ngữ Python nâng cao 10 2.3 Ứng dụng Tìm hiểu vấn đề Xử lý ngôn ngữ tự nhiên – NLP 10 Thực cơng cụ phân thích đối tượng khách hàng 15 Lịch làm việc 16 Chương 3: Chi tiết project 18 Giới thiệu Chương trình demo Phân tích loại khách hàng 18 Hỗ trợ 20 Kế hoạch & kết 20 3.1 Kế hoạch : 20 3.2 Thực : 20 3.3 Kết : 20 Huỳnh Gia Phát Chương 1: Giới thiêu công ty thực tập Giới thiệu công ty TNHH thương mại điện tử OMNIS Công ty TNHH Thương mại Điện tử Cao Tốc (Cao Tốc Group) thành lập từ năm 2010 với đội ngũ trẻ, nhiệt huyết động Công ty kinh doanh lĩnh vực thương mại điện tử bao gồm: máy tính, máy lạnh, điện tử gia dụng, tranh ảnh mỹ thuật thiết kế website Ngồi ra, chúng tơi cung cấp dịch vụ trực tuyến như: đăng ký tên miền, server, hosting, quảng cáo online (Google, Facebook, CPC ), quản trị chăm sóc trang web Tầm nhìn Với tiêu chí cung cấp loại sản phẩm hãng chất lượng cao đảm bảo giá cạnh tranh thị trường cho đời trang web như: maylanhgiagoc.vn, laptopgiagoc.vn Do bán hàng online theo Catalog (lấy hàng máy lạnh trực tiếp từ hãng đem phân phối lại trực tiếp đến tay người tiêu dùng, không thông qua kênh đại lí trung gian) nên khơng tốn chi phí như: thuê mướn mặt rộng lớn, sở vật chất tối tân, hệ thống đèn điện chiếu sáng, đội ngũ nhân viên tiếp thị, quảng cáo tivi, báo đài so với hệ thống siêu thị lớn nên tiết kiệm chi phí để giảm giá máy lạnh trực tiếp cho người tiêu dùng Dịch vụ Domain, Hosting, Digital Marketing chuyên sâu vào lĩnh vực thiết kế website bao gồm trang web: Website500K.com, Host500K.com, Webshopbanhang.com, CloudPOSS.com Cao tốc xác định tầm nhìn trở thành cơng ty hàng đầu Việt Nam lĩnh vực cung cấp gói dịch vụ Domain, Hosting thiết kế website chất lượng sản phẩm dịch vụ tốt cho khách hàng Sứ mệnh Đối với nhân viên: xây dựng môi trường làm việc chuyên nghiệp- độngsáng tạo- nhân văn, tạo điều kiện hội phát triển công cho tất nhân viên Huỳnh Gia Phát Đối với đối tác: áp dụng triết lí win- win, cam kết trở thành “người đồng hành số 1” Với khách hàng: đối tác tốt khách hàng, đem đến cho khách hàng tin cậy với cam kết chất lượng sản phẩm giá dịch vụ tốt Giá trị cốt lõi Phát triển bền vững Đặt việc quan tâm khách hàng lên hàng đầu Coi trọng chất lượng sản phẩm dịch vụ Hiểu rõ sứ mệnh phục vụ có trách nhiệm đảm nhận nhiệm vụ Tập thể đoàn kết, ứng xử nhân văn Huỳnh Gia Phát Chương 2: Nội dung thực tập Trong khóa thực tập lần với chủ đề AI-Natural Language Processing(NLP) Mực tiêu tìm hiểu khái niệm xử lý ngôn ngữ tự nhiên công cụ Google Cloud Flatform nhằm vào mục đích xây dựng chương trình phân loại khách hàng công ty Nhằm giúp công ty tiết kiệm nhân lực, vật lực tăng hiệu suất công việc đẩy nhanh tốc tộc cơng việc Trong q trình thực tập em học tập, rèn luyện kỹ mềm làm việc nhóm, thuyết trình, giao tiếp với đồng nghiệm Trải nghiệm nơi làm việc nghiêm túc, chuyên nghiệp tham gia vào dự án thực tế Tìm hiểu cơng ty kỹ công ty Thời gian : ngày Nội dung : Giới thiệu công ty, cách tổ chức công ty Được nghe người phụ trách giới thiệu cơng ty, q trình thành lập phát triên (như nhắc đến trên), quy trình làm việc từ cao xuống thấp, cách thức tổ chức cơng ty Ngồi ra, thực tập sinh giới thiệu cách thức làm việc công ty thời gian làm, quy định cần phải tuân thủ, cách sử dụng email công việc… Kết : Hiểu thêm công ty, trình thành lập phát triển Có thêm kỹ việc sử dụng email công việc, làm việc có kế hoạch, có kỷ luật, có trách nhiệm Nghiên cứu kỹ thuật 2.1 Các công cụ làm việc Thời gian : ngày Huỳnh Gia Phát 10 Nội dung : Tìm hiểu cơng cụ sử dụng trình làm việc Trong thời gian này, supervisor hướng dẫn thực tập sinh tìm hiểu cơng cụ giúp ích cho công việc sau Một số phần mềm số Jira, Gitlab - sử dụng làm việc nhóm Thực : Thực hành sử dụng phần mềm nêu Kết : Lập trình sử dụng cơng cụ miễn phí, giúp dễ dàng kết hợp cơng cụ với 2.2 Tìm hiểu ngôn ngữ Python nâng cao Thời gian : 10 ngày Nội dung : Được training kỹ thuật Python nâng cao, Gitlab Thực : - Tham gia đầy đủ buổi training công ty - Làm thực hành, kiểm tra kiến thức học Kết : - Nâng cao kỹ lập trình với ngơn ngữ Python - Có kiến thức quan trọng cho việc lập trình sau - Ngồi cịn biết thêm số quy tắc việc viết code cho chuẩn, dễ đọc, dễ hiểu 2.3 Ứng dụng Tìm hiểu vấn đề Xử lý ngôn ngữ tự nhiên – NLP Thời gian: ngày Nội dung: Những vấn đề NLP - Khái niệm NLP: Xử Lý Ngơn Ngữ Tự Nhiên có vai trò quan trọng ngành Khoa Học Máy Tính Nó có vơ vàn ứng dụng hữu ích sống nghiên cứu Chúng ta điểm qua vài ứng dụng xử lý ngôn ngữ tự nhiên như: Huỳnh Gia Phát 11 Nhận dạng chữ viết: Có hai kiểu nhận dạng, thứ nhận dạng chữ in, ví dụ nhận dạng chữ sách giáo khoa chuyển thành dạng văn điện tử định dạng doc Microsoft Word chẳng hạn Phức tạp nhận dạng chữ viết tay, có khó khăn chữ viết tay khơng có khn dạng rõ ràng thay đổi từ người sang người khác Với chương trình nhận dạng chữ viết in chuyển hàng ngàn đầu sách thư viện thành văn điện tử thời gian ngắn Nhận dạng chữ viết người có ứng dụng khoa học hình bảo mật thông tin (nhận dạng chữ ký điện tử) Nhận dạng tiếng nói: Nhận dạng tiếng nói chuyển chúng thành văn tương ứng Giúp thao tác người thiết bị nhanh đơn giản hơn, chẳng hạn thay gõ tài liệu bạn đọc lên trình soạn thảo tự ghi Đây bước cần phải thực ước mơ thực giao tiếp người với robot Nhận dạng tiếng nói có khả trợ giúp người khiếm thị nhiều Tổng hợp tiếng nói: Từ văn tự động tổng hợp thành tiếng nói Thay phải tự đọc sách hay nội dung trang web, tự động đọc cho Giống nhận dạng tiếng nói, tổng hợp tiếng nói trợ giúp tốt cho người khiếm thị, ngược lại bước cuối giao tiếp robot với người Dịch tự động (Machine translate): Như tên gọi chương trình dịch tự động từ ngơn ngữ sang ngơn ngữ khác Một phần mềm điển hình tiếng Việt chương trình Evtrans Softex, dịch tự động từ tiếng Anh sang tiếng Việt ngược lại, phần mềm trang web vdict.com mua quyền, trang đưa ứng dụng lên mạng Tháng 10 năm 2008 có hai cơng ty tham gia vào lĩnh vực cho ngôn ngữ tiếng Việt công ty Lạc Việt (công ty phát hành từ điển Lạc Việt) Google, thời gian sau Xalo.vn đưa dịch vụ tương tự Tìm kiếm thông tin (Information retrieval): Đặt câu hỏi chương trình tự tìm nội dung phù hợp Thơng tin ngày đầy lên theo cấp số nhân, đặc biệt với trợ giúp Internet việc tiếp cận thông tin trở lên dễ dàng hết Việc khó khăn lúc tìm thơng tin cần bề bộn tri thức đặc biệt Huỳnh Gia Phát 12 thơng tin phải đáng tin cậy Các máy tìm kiếm dựa giao diện web Google hay Yahoo phân tích nội dung đơn giản dựa tần suất từ khoá thứ hạng trang số tiêu chí đánh giá khác để đưa kết luận, kết nhiều tìm kiếm khơng nhận câu trả lời phù hợp, chí bị dẫn tới liên kết khơng liên quan thủ thuật đánh lừa trang web nhằm giới thiệu sản phẩm (có tên tiếng Anh SEO viết tắt từ Search Engine Optimization) Thực tế chưa có máy tìm kiếm hiểu ngơn ngữ tự nhiên người trừ trang www.ask.com đánh giá "hiểu" câu hỏi có cấu trúc dạng đơn giản Mới cộng đồng mạng xôn xao trang Wolfram Alpha, hứa hẹn có khả hiểu ngơn ngữ tự nhiên người đưa câu trả lời xác Lĩnh vực hứa hẹn tạo bước nhảy cách thức tiếp nhận tri thức cộng đồng Tóm tắt văn bản: Từ văn dài tóm tắt thành văn ngắn theo mong muốn chứa nội dung thiết yếu Khai phá liệu (Data mining) phát tri thức: Từ nhiều tài liệu khác phát tri thức Thực tế để làm điều khó, gần mơ q trình học tập, khám phá khoa học người, lĩnh vực giai đoạn đầu phát triển Ở mức độ đơn giản kết hợp với máy tìm kiếm cho phép đặt câu hỏi để từ cơng cụ tự tìm câu trả lời dựa thông tin web mặc cho việc trước có câu trả lời lưu web hay khơng (giống trang Yahoo! hỏi đáp, nơi chuyên đặt câu hỏi để người khác trả lời), nói cách nơm na biết xử lý liệu để trả lời câu hỏi người sử dụng, thay máy móc đáp trả có sẵn nhớ (Nguồn: Wikipedia) Thực : - Tham gia đầy đủ buổi trainning - Làm tập thực hành - Tìm kiếm tài liệu mạng để tìm hiểu thêm Kết : Huỳnh Gia Phát 13 2.4 - Hiểu khái niệm NLP - Học tập áp dụng số thư về NLP Tìm hiểu Google Cloud Flatform Thời gian: 10 ngày Nội dung: Tìm hiểu Google Cloud Flatform - GCF gì? Google Cloud Platform (GCP) dịch vụ Public Cloud Google cung cấp hạ tầng Google Đây hạ tầng cho dịch vụ chủ lực Google Gmail, Youtube, Google Maps,… Người dùng tự sử dụng hạ tầng máy chủ, sản phẩm GCP mà cần trả phí cho sử dụng Chúng ta thao tác nguồn tài nguyên GCP qua giao diện web control, command line web API - Cloud Natural Language Contact Us o Phân tích văn sâu sắc: Ngôn ngữ tự nhiên sử dụng máy học để tiết lộ cấu trúc ý nghĩa văn Bạn trích xuất thơng tin người, địa điểm kiện, đồng thời hiểu rõ cảm xúc mạng xã hội trò chuyện khách hàng Ngôn ngữ tự nhiên cho phép bạn phân tích văn tích hợp với lưu trữ tài liệu bạn Cloud Storage o API ngơn ngữ tự nhiên Các mơ hình mạnh mẽ đào tạo trước API ngôn ngữ tự nhiên cho phép nhà phát triển dễ dàng áp dụng hiểu biết ngôn ngữ tự nhiên (NLU) vào ứng dụng họ với tính bao gồm phân tích tình cảm, phân tích thực thể, phân tích tình cảm thực thể, phân loại nội dung phân tích cú pháp o Ngơn ngữ tự nhiên AutoML Đào tạo mơ hình tùy chỉnh máy học chất lượng cao riêng bạn để phân loại, trích xuất phát cảm xúc với nỗ lực tối thiểu kiến thức chuyên môn máy học cách sử dụng cơng nghệ AutoML Bạn sử dụng Giao diện người dùng ngôn ngữ tự Huỳnh Gia Phát 14 nhiên AutoML để tải lên liệu đào tạo kiểm tra mơ hình tùy chỉnh mà khơng cần dịng mã o Ngơn ngữ tự nhiên chăm sóc sức khỏe AI Nhận phân tích thời gian thực thông tin chi tiết lưu trữ văn y tế khơng có cấu trúc API ngơn ngữ tự nhiên chăm sóc sức khỏe cho phép bạn chắt lọc thông tin chi tiết y tế đọc máy từ tài liệu y tế, tính Khai thác thực thể AutoML cho Chăm sóc sức khỏe giúp bạn dễ dàng xây dựng mơ hình trích xuất kiến thức tùy chỉnh cho ứng dụng chăm sóc sức khỏe khoa học đời sống — không cần kỹ mã hóa Huỳnh Gia Phát 15 Thực cơng cụ phân thích đối tượng khách hàng Sau giai đoạn tìm hiểu kiến thức Python, xử lý ngôn ngữ tự nhiên – NLP, công cụ Google Cloud Flatform Có hai việc cần làm: - Một xây dựng chương trình phân tích đối tượng khách hàng ( chương trình demo) - Hai là, kết hợp với API lấy đoạn livechat công ty Sau lấy livechat phân tích đoạn livechat điền kết vào sheet livechat công ty Huỳnh Gia Phát 16 Lịch làm việc Mức Giai Cơng việc đoạn Người hướng dẫn độ hồn thành - Nhận xét người hướng dẫn Tìm hiểu công ty, Anh Bùi Long Quy cách tổ chức công ty - Làm quen với công cụ làm việc công ty - Học cách trao đổi, làm việc qua email - Tìm hiểu ngơn ngữ lập Anh Bùi Long Quy trình Python & nâng cao - Thực hành Python - Làm test Python - Tìm hiểu NLP Anh Bùi Long Quy - Các thư viện cần - Tìm hiểu Google Anh Bùi Long Quy Cloud Flatform - Tạo project AutoML, công việc cần thiết sử dụng Chuẩn bị dataset Phân Anh Bùi Long Quy tích loại khách hàng thủ cơng Huỳnh Gia Phát 17 Giai đoạn Alpha: - Anh Bùi Long Quy Tạo project với UI sử dung PyQT5 - Lấy key kết nối project GCF - Gởi văn lên GCF lấy kết hình Giai đoạn Beta: - Anh Bùi Long Quy Chỉnh sửa kết tùy chỉnh mốt thông tin CLF - Chỉnh sửa lại UI - Hoàn thành ứng dụng demo Giai đoạn kết thúc, báo Anh Bùi Long Quy cáo : - Tìm cách kết hợp API GCF với API công lấy đoạn live chat - Trao đổi bàn giao lại cho anh hướng dẫn Huỳnh Gia Phát 18 Chương 3: Chi tiết project Giới thiệu Chương trình demo Phân tích loại khách hàng Về ứng dụng này, chúc phân tích Ứng dụng lấy đoạn livechat từ file, sau gởi lên GCF để phân tích đoạn livechat Sau phân tích lấy kết Dựa vào thông số kết mà dự đốn xem loại khách hàng, cần hỗ trợ Để kỹ thuật viên cơng ty liên lạc Hình minh họa Về API phân tích, Cơng ty lấy đoạn livechat chatbot với khách hàng từ trang web công ty facebook, zalo sau lưu Google Sheets Online Lúc GCF làm việc đoạn lấy livechat từ trang cơng ty facebook, zalo phân tích trả kết dự đoán, lưu data Huỳnh Gia Phát 19 Ví dụ minh họa Màn hình phân tích GCF Huỳnh Gia Phát 20 Hỗ trợ Em – Huỳnh Gia Phát team Python công ty Và giúp đỡ tận tình team trainer Kế hoạch & kết 3.1 3.2 3.3 Kế hoạch : - Hồn thành ứng dụng phân tích demo - Sắp xếp, clean data cung cấp cho việc train - Hoàn thành việc gọi API - Áp dụng tiêu chuẩn để code mở rộng - Tìm phương án tốt cho việc phân tích Thực : - Nắm rõ kiến thức Python - Nắm kiến thức NLP - Nắm cách sử dụng GCF - Hoàn thành ứng dụng Kết : - Tất chức hình hồn thành theo u cầu - Thêm số UI Huỳnh Gia Phát 21 TÀI LIỆU THAM KHẢO Python: - https://codelearn.io/learning/python-co-ban - https://pypi.org/project/PyQt5/ - https://pandas.pydata.org NLP: - https://www.mindalife.vn/nlp/ - https://www.saga.vn/so-luoc-ve-lap-trinh-ngon-ngu-tu-duy-nlp~42838 - https://lyhathu.com/105/tong-quan-ve-nlp GCF: - https://cloud.google.com - https://cloud.google.com/natural-language - https://cloud.google.com/natural-language/docs/reference/rest - https://cloud.google.com/natural-language/pricing - https://language.googleapis.com/$discovery/rest?version=v1beta2 - https://cloud.google.com/natural-language/docs/quickstart-client-libraries - https://cloud.google.com/natural-language/docs/sentiment-tutorial Huỳnh Gia Phát 22 TỔNG KẾT Như vậy, vòng mười tuần ngắn ngủi, em nắm khái niệm sử lý ngôn ngữ tự nhiên, kiến thức GCF.Xây dưng ứng dụng demo với tính Do thời gian có hạn nên em chưa thể mở rộng thêm chức năng, chưa app dụng Tuy nhiên dựa vào vào phát triển thêm Chân thành cảm ơn giúp đỡ anh chị nhóm trainer, giúp đỡ nhiệt tình cơng ty, giúp đỡ em khoảng thời gian qua Cảm ơn giúp em hoàn thành báo cáo Huỳnh Gia Phát ... lượng khách hàng có nhu cầu nhắn tin hỏi thăm vấn đề khách hàng nhiều Cho nên công ty đưa giải pháp sử dụng chatbot để trả lời câu hỏi khách hàng khách hàng nhanh chóng Sau lưu lại đoạn thoại khách. .. NLP - Học tập áp dụng số thư về NLP Tìm hiểu Google Cloud Flatform Thời gian: 10 ngày Nội dung: Tìm hiểu Google Cloud Flatform - GCF gì? Google Cloud Platform (GCP) dịch vụ Public Cloud Google cung... hướng dẫn thực tập sinh tìm hiểu cơng cụ giúp ích cho cơng việc sau Một số phần mềm số Jira, Gitlab - sử dụng làm việc nhóm Thực : Thực hành sử dụng phần mềm nêu Kết : Lập trình sử dụng cơng