MÔN CLOUD COMPUTING đ tài AWS comprehend

TRƯỜNG ĐẠI HỌC S Ư PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CƠNG NGHỆ THƠNG TIN 🙞🙞🙞 BÁO CÁO CUỐI KÌ MƠN: CLOUD COMPUTING ĐỀ TÀI: AWS Comprehend GVHD : Cô Trương Thị Ngọc Phượng SVTH : Huỳnh Tấn Lộc 19110236 Huỳnh Nguyễn Tấn Nhạc 19110252 Nguyễn Ng ọc Gia Minh 19110090 TP H Chí Minh, tháng năm 2021 0 LỜI CẢM ƠN Để hoàn thành tố t đề tài báo cáo này, chúng em xin gử i lờ i m n chân thành đế n giả ng viên , ngườ i trự c tiế p hỗ trợ chúng em suố t trình làm đề tài Chúng em m n cô đư a nhữ ng lờ i khuyên từ kinh nghiệ m thự c tiễ n củ a để định hướ ng cho chúng em vớ i yêu cầ u củ a đề tài chọ n, giả i đáp thắ c mắ c đư a nhữ ng góp ý, nh sử a kị p thờ i giúp chúng em khắ c phụ c nhượ c điể m hoàn thành vớ i thờ i hạ n đề Và hơ n hế t, chúng em xin gử i lờ i m n chân thành đế n ban giám hiệ u trườ ng Đạ i Họ c Sư phạ m kỹ thuậ t Thành phố Hồ Chí Minh tạ o điề u kiệ n thuậ n lợ i cho việ c tìm kiế m thông tin nghiên u đề tài Bên cạ nh đó, chúng em xin đượ c gử i lời m n chân thành quý thầ y cô khoa Đào tạ o Chấ t Lượ ng Cao nói chung ngành Cơng Nghệ Thơng Tin nói riêng tậ n tình truyề n đạ t nhữ ng kiế n thứ c cầ n thiế t giúp chúng em có nề n tả ng để làm nên đề tài Cùng vớ i đó, chúng em xin đượ c gử i m n đế n bạ n khóa cung cấ p, trau dồ i thêm cho chúng em nhiề u thơng tin kiế n thứ c hữ u ích giúp chúng em hồn thiệ n hơ n đề tài củ a Đề tài báo cáo đượ c chúng em thự c hiệ n khoả ng thờ i gian ngắ n, vớ i nhữ ng kiế n thứ c hạ n chế nhiề u hạ n chế khác mặ t kỹ thuậ t kinh nghiệ m việ c thự c hiệ n Do đó, q trình làm nên đề tài có nhữ ng thiế u sót điề u tránh khỏ i nên chúng em rấ t mong nhậ n đượ c nhữ ng ý kiế n đóng góp quý báu củ a quý thầ y cô để kiế n thứ c củ a chúng em đượ c hồn thiện chúng em làm tố t hơ n nữ a nhữ ng lầ n sau Chúng em xin chân thành cảm ơn Lờ i cuố i cùng, chúng em xin kính chúc quý thầ y, quý cô thậ t nhiề u sứ c khỏ e, thành công hạnh phúc 0 Mục lục Phần 1: Mở đầu Lý chọn đề tài Tổng quan đề tài Phương pháp nghiên cứu Phần 2: Nội dung Chương AWS Comprehend gì? 1.1 Khái niệm 1.2 Lợi ích sử dụng AWS Comprehend 1.3 Các trường hợp s dụng AWS Comprehend Chương Cách thức hoạt động AWS Comprehend 2.1 Các trường hợp s d ụng AWS Comprehend 2.2 Các tính 2.3 Các cách thực với AWS Comprehend 2.4 Các ngôn ngữ hỗ trợ AWS Comprehend Chương Thực hành sử dụng Amazon Comprehend tạo chương tình phân tích văn 3.1 Chạy thử dịch vụ Amazon Comprehend 3.2 Cài đặt AWS SDK cho python 12 3.3 Tạ o bucket Amazon S3 để lưu trữ tập tin 17 3.4 Cài đặt boto3 sử dụng dịch vụ Amazon Comprehend Amazon S3 18 Chươ ng Kiểm thử phần mềm 18 4.1 Giao diện phần mềm 18 4.2 Chạy phần mềm 19 Tài liệu tham khảo 22 0 PHẦN 1: MỞ ĐẦU Lý chọn đề tài Như biết, cloud platform trở thành xu lậ p trình phổ biế n từ nhiề u năm nay,việ c sử dụ ng service như: Google Cloud Storage hay Amazon S3 để lư u trữ file, Google Cloud Datastore/Cloud Bigtable hay Amazon DynamoDB để lưu trữ liệu không cấu trúc(NoSQL), Google Cloud Stackdriver Logging hay Amazon CloudWatch Logs để ghi log … gầ n trở thành kỹ quen thuộ c vớ i mỗ i developer Cùng với phổ biến củ a cloud platform, việ c liệ u thu thậ p ngày lớ n dẫ n đế n việ c phân tích liệ u rấ t khó khăn địi hỏ i cầ n có biệ n pháp để phân tích liệ u mộ t cách xác nhanh chóng để giả m t thờ i gian chi phí cho doanh nghiệ p Như ng đố i vớ i liệ u khổ ng lồ vậ y ngườ i hồn tồn khơng thể sàng lọ c đượ c hế t nên việ c địi hỏ i công nghệ AI Như ng liệ u có giả i pháp để có thê phân tích liệu số lượ ng lớ n nhanh chóng ? Và AWS Comprehend giả i pháp cho câu hỏi Mục tiêu cho đề tài Tìm hiể u ứ ng dụ ng Amazon Comprehend thơng qua việ c phân tích, trích xuất hiểu nhữ ng thơng tin chi tiế t có giá trị từ văn bả n tài liệ u phụ c vụ cho công việ c củ a cá nhân hay mộ t tổ chức thương mạng Phương pháp nghiên cứu Cả nhóm nghiên u dự a tài liệ u đượ c giả ng viên cung cấp với tìm kiế m thơng tin qua internet Cùng vớ i tìm hiể u lí thuyế t nhóm có thự c lab thự c tế để trả i nghiệ m hiểu hơ n đề tài 0 PHẦN 2: NỘI DUNG Chương 1: AWS Comprehend gì? 1.1 Khái niệm Amazon Comprehend sử dụ ng xử lý ngôn ngữ tự nhiên (NLP) để trích xuấ t thơng tin chi tiết nộ i dung củ a tài liệ u Amazon Comprehend xử lý tệ p văn đị nh dạng UTF8 tài liệ u bán cấ u trúc, tài liệ u PDF Word Nó phát triển nhữ ng hiể u biế t sâu sắc bằ ng cách nhậ n thự c thể , cụ m từ khóa, ngơn ngữ , tình m yếu tố phổ biế n khác mộ t tài liệ u Sử dụ ng Amazon Comprehend để tạ o sả n phẩ m mớ i dự a hiể u biế t cấ u trúc củ a tài liệu Sử dụ ng Amazon Comprehend, bạ n tìm kiế m nguồ n cấp liệ u mạng xã hộ i để đề cậ p đế n sả n phẩ m hoặ c quét toàn kho tài liệ u để tìm cụ m từ Amazon Comprehend bao gồ m thành phần như: ● Thực thể - Amazon Comprehend trả danh sách thực thể, chẳng hạn người, địa điểm vị trí, xác định tài liệu ● Cụm từ khóa - Amazon Comprehend trích xuất cụm từ khóa xuất tài liệu ● PII - Amazon Comprehend phân tích tài liệu để phát liệu cá nhân sử dụng để nhận dạng cá nhân, chẳng hạn địa chỉ, số tài khoản ngân hàng số điện thoại ● Ngôn ngữ - Amazon Comprehend xác định ngơn ngữ tài liệu xác định lên tới 100 ngôn ngữ ● Cảm xúc – Amazon Comprehend xác định cảm xúc tài liệu,có thể tích cực, tiêu cực hỗn hợp ● Cú pháp - Amazon Comprehend phân tích cú pháp từ tài liệu bạn xác định phần lời nói từ 1.2 Lợi ích sử dụng AWS Comprehend Mộ t số lợ i ích củ a việc sử dụ ng AWS Comprehend bao gồm : ● Tích hợp khả xử lý ngơn ngữ tự nhiên mạnh mẽ vào ứng dụng bạn — Amazon Comprehend loại bỏ phức tạp việc xây dựng khả phân tích văn vào ứng dụng bạn cách làm cho xử lý ngôn ngữ tự nhiên xác có sẵn với API đơn giản Bạn khơng cần phân tích văn kiến thức chuyên môn để tận dụng thông tin chi tiết mà Amazon Comprehend tạo ● Xử lý ngôn ngữ tự nhiên dựa học sâu — Amazon Comprehend sử dụng học sâu cơng nghệ phân tích xác văn Các mơ hình đào tạo liên tục với liệu nhiều miền để cải thiện độ xác ● Xử lý ngơn ngữ tự nhiên mở rộng — Amazon Comprehend cho phép bạn phân tích hàng triệu tài liệu để bạn khám phá thơng tin chi tiết mà chúng chứa ● Tích hợp với dịch vụ AWS khác — Amazon Comprehend thiết kế để hoạt động liền mạch với dịch vụ AWS khác Amazon S3, AWS KMS AWS 0 Lambda Lưu trữ tài liệu bạn Amazon S3 phân tích liệu thời gian thực với Kinesis Data Firehose Hỗ trợ AWS Identity Access Management (IAM) giúp bạn dễ dàng kiểm soát an toàn quyền truy cập vào hoạt động Amazon Tồn diện Sử dụng IAM, bạn tạo quản lý người dùng nhóm AWS để cấp quyền truy cập thích hợp cho nhà phát triển bạn kết thúc người dùng ● Mã hóa kết đầu liệu khối lượng —Amazon S3 cho phép bạn mã hóa tài liệu đầu vào Amazon Comprehend cịn mở rộng điều xa Bằng cách sử dụng khóa KMS riêng mình, bạn khơng mã hóa kết đầu cơng việc mà cịn liệu dung lượng lưu trữ gắn với phiên máy tính xử lý cơng việc phân tích Kết khả bảo mật tăng cường đáng kể ● Chi phí thấp — Với Amazon Comprehend, bạn trả tiền cho tài liệu mà bạn phân tích Khơng có phí tối thiểu cam kết trả trước 1.3 - Các trường hợp sử dụng AWS Comprehend Khai thác n ội dung phân tích tổng đài Phát hiệ n m xúc phân tích tươ ng tác củ a khách hàng để i thiện sả n phẩ m dị ch vụ bạn - Lập mục tìm kiếm đánh giá sản phẩm Tậ p trung vào ngữ nh bằ ng cách trang bị cho cơng cụ tìm kiế m củ a bạ n khả lậ p mụ c cụ m từ , thự c thể m nghĩ quan trọ ng, không từ khóa - Hợp lý hóa phiếu hỗ trợ Tự độ ng phân loạ i tài liệ u hỗ trợ gử i đế n, chẳ ng hạ n đánh giá sả n phẩ m trích xuấ t thông tin liên quan để giả i quyế t vấ n đề củ a khách hàng nhanh - Phân loại tài liệu tài Đào tạ o thự c thể tùy nh để trích xuấ t thơng tin liên quan thơng tin chuyên sâu từ tài liệ u dị ch vụ tài chính, chẳ ng hạ n báo giá bả o hiể m hoặ c gói chấ p Chương 2: Cách thức hoạt động AWS Comprehend 0 2.1 Các trường hợp sử dụng AWS Comprehend Amazon Complusive sử dụ ng mộ t mơ hình đượ c đào tạ o trướ c để kiể m tra phân tích mộ t tài liệ u hoặ c tậ p hợ p tài liệ u nhằ m thu thậ p thơng tin chi tiế t Mơ hình đượ c đào tạ o liên tụ c mộ t phầ n lớ n văn bả n để bạ n không cầ n phả i cung cấ p liệ u đào tạ o Amazon Comprehend kiể m tra phân tích tài liệ u bằ ng nhiề u ngôn ngữ khác nhau, tùy thuộ c vào tính cụ thể 2.2 Các tính Vớ i Amazon Comprehend, bạ n thự c hiệ n nhữ ng việ c sau tài liệ u củ a mình: - Phát ngơn ngữ trọng yếu - Phát thực thể - Phát cụm từ - Phát thơng tin nhận dạng cá nhân - Xác định ý kiến - Phân tích cú pháp - Mơ hình hố chủ đề 2.3 Các cách thực với AWS Comprehend Mỗ i thao tác đượ c xử lý theo mộ t số cách: - Xử lý tài liệu - gọi Amazon Comprehend với tài liệu nhận phản hồi đồng - Xử lý đồng nhiều tài liệu - gọi Amazon Comprehend với sưu tập lên đến 25 tài liệu nhận phản hồi đồng - Xử lý hàng loạt không đồng - đặt sưu tập tài liệu vào nhóm Amazon S3 bắt đầu hoạt động khơng đồng để phân tích tài liệu Kết phân tích trả S3 bucket 2.4 Các ngôn ngữ hỗ tr ợ AWS Comprehend 0 Ch ương 3: Th ực hành s d ụng Amazon Comprehend tạo chương trình phân tích văn 3.1 Chạy thử dịch vụ c Amazon Comprehend Tạ i trang Amazon Comprehend chọ n Launch Amazon Comprehend Tạ o file TestComprehend.txt sau trang Amazon S3 chọn Upload 0 Chọ n Add files -> Upload để tả i file TestComprehend.txt lên Tạ i Dashboard bên trái củ a Amazon Comprehend chọ n Analysis jobs -> Create job Nhậ p tên, loạ i phân tích ngôn ngữ job 0 Chọ n file input từ S3 nơi output Chọ n IAM role rồ i nhấn Create job 10 0 Nế u q trình phân tích hồn thành tạ i cộ t status hiệ n chữ Completed Truy cậ p liên kế t Output để download kế t phân tích 11 0 Sau download giả i nén thấ y đượ c kế t phân tích 3.2 Cài đ ặt AWS SDK cho python 1.1 Tạo khóa truy cập tài khoản Trong options củ a tài khoản chọn Security credentials 12 0 Tại trang Your Security Credentials chọn Access keys (access key ID and secret access key) -> Create New Access Key -> Show Access Key Download Key File để xem thông tin Access Key ID Secret Access Key 1.2 Tạo User Ở Dashboard bên trái IAM chọn Users -> Add user 13 0 Bướ c điề n User name tích vào Access key – Programmatic -> Next: Permissions Bướ c chọ n Attach existing policies directly -> AdministratorAccess -> Next: Tags 14 0 Bướ c chọ n Next: Review Bướ c chọ n Create user 15 0 Bướ c tạ o user thành công chọ n Download csv để lư u thông tin user 1.3 Cài đặt AWSCLI cho IDE Trên cử a sổ terminal củ a Pycharm sử dụ ng lệ nh “pip install awscli” để cài đặt package awscli Sau cài đặ t xong package sử dụ ng lệ nh “aws configure profile UserName” để cấu hình theo user tạ o sau nhậ p thơng tin tài khoản vùng sử dụ ng 16 0 3.3 T ạo bucket Amazon S3 đ ể l ưu trữ tập tin Truy cậ p dị ch vụ Amazon S3, chọ n Create bucket Nhậ p tên bucket khu vự c sau chọ n Create bucket 17 0 3.4 Cài đặt boto3 sử dụng d ịch v ụ Amazon Comprehend Amazon S3 Sử dụ ng lệ nh “pip install boto3” để cài đặt package boto3 Tạ i file chươ ng trình, gọ i hàm củ a package boto3 để sử dụ ng dị ch vụ củ a Amazon Các API củ a Amazon Comprehend sử dụ ng là: detect_dominant_language():nhận diện ngôn ngữ văn detect_entities(): nhậ n diệ n thự c thể văn detect_key_phrases(): nhậ n diệ n cụ m từ văn detect_pii_entities(): nhậ n diệ n thơng tin cá nhân có văn detect_sentiment(): nhận diệ n m xúc củ a văn detect_syntax(): nhận diện cú pháp củ a văn API củ a Amazon S3 sử dụ ng là: upload_file(): tả i tệp lên Amazon S3 Chương 4: Kiểm thử phần mề m 4.1 Giao diện phần mềm Textbox: Nhận văn bả n đầu vào để phân tích Button Analyze: Thự c phân tích văn LanguageCode: hiển thị mã ngôn ngữ Sentiment: hiể n thị m xúc củ a văn bả n (Positive, Negative, Neutral, Mixed) 18 0 Sentiment Score: hiể n thị số điể m m xúc củ a văn Entities: hiể n thị danh sách thự c thể , loạ i thự c thể , vị trí bắ t đầ u kế t thúc củ a thự c thể văn Key phrases: hiể n thị danh sách cụ m từ củ a văn bả n, vị trí bắ t đầ u kế t thúc củ a cụm từ PII: hiể n thị danh sách loạ i thông tin củ a ngườ i, vị trí bắ t đầ u kế t thúc củ a cụ m văn Syntax: hiể n thị danh sách ký tự , loạ i ký tự , vị trí bắ t đầ u kế t thúc củ a ký tự cú pháp văn 4.2 Chạy phần mềm Nhậ p đoạ n văn bả n vào textbox sau bấ m nút Analyze Chươ ng trình phân tích, hiể n thị danh sách kế t theo từ ng bả n rồ i ghi file csv lưu vào thư mục 19 0 Các file liệ u đầ u đượ c lư u tạ i thư mụ c củ a ứ ng dụ ng 20 0 Các file đượ c upload lên Amazon S3 21 0 TÀI LIỆU THAM KHẢO Tổng quan AWS Comprehend https://aws.amazon.com/vi/comprehend/ Demo AWS Comprehend https://awsacademy.instructure.com/courses Amazon Comprehend Developer Guide https://docs.aws.amazon.com/comprehend Comprehend — Boto3 Docs 1.20.23 documentation (amazonaws.com) 22 0 ... gọi Amazon Comprehend với sưu tập lên đ? ??n 25 tài liệu nhận phản hồi đ? ??ng - Xử lý hàng loạt không đ? ??ng - đ? ??t sưu tập tài liệu vào nhóm Amazon S3 bắt đ? ??u hoạt đ? ??ng không đ? ??ng đ? ?? phân tích tài liệu... hố chủ đ? ?? 2.3 Các cách thực với AWS Comprehend Mỗ i thao tác đ? ?ợ c xử lý theo mộ t số cách: - Xử lý tài liệu - gọi Amazon Comprehend với tài liệu nhận phản hồi đ? ??ng - Xử lý đ? ??ng nhiều tài liệu... file đ? ?ợ c upload lên Amazon S3 21 0 TÀI LIỆU THAM KHẢO Tổng quan AWS Comprehend https:/ /aws. amazon.com/vi /comprehend/ Demo AWS Comprehend https://awsacademy.instructure.com/courses Amazon Comprehend