MÔN CLOUD COMPUTING đ tài AWS comprehend

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CÔNG NGHỆ THƠNG TIN BÁO CÁO CUỐI KÌ MƠN: CLOUD COMPUTING ĐỀ TÀI: AWS Comprehend GVHD : Cô Trươ ng Thị Ngọc Phượng SVTH : Huỳnh Tấ n Lộc Huỳnh Nguyễ n Tấ n Nhạc Nguyễn Ngọc Gia Minh TP Hồ Chí Minh, tháng năm 2021 LỜI CẢM ƠN Để hoàn thành tố t đề tài báo cáo này, chúng em xin gử i lờ i m n chân thành đến giả ng viên , ngườ i trự c tiế p hỗ trợ chúng em suố t trình làm đề tài Chúng em cảm n cô đư a nhữ ng lờ i khuyên từ kinh nghiệ m thự c tiễ n củ a để đị nh hướng cho chúng em vớ i yêu cầ u củ a đề tài chọ n, giả i đáp thắ c mắ c đư a góp ý, nh sử a kị p thờ i giúp chúng em khắ c phụ c nhượ c điể m hoàn thành vớ i thời hạ n đề Và hơ n hế t, chúng em xin gử i lờ i m n chân thành đế n ban giám hiệu trườ ng Đạ i Họ c Sư phạ m kỹ thuậ t Thành phố Hồ Chí Minh tạ o điề u kiệ n thuậ n lợi cho việ c tìm kiế m thông tin nghiên u đề tài Bên cạ nh đó, chúng em xin đượ c gử i lời m n chân thành quý thầ y cô khoa Đào tạ o Chấ t Lượng Cao nói chung ngành Cơng Nghệ Thơng Tin nói riêng tậ n tình truyề n đạ t nhữ ng kiế n thứ c cầ n thiết giúp chúng em có nề n tả ng để làm nên đề tài Cùng vớ i đó, chúng em xin đượ c gử i m n đến bạ n khóa cung cấ p, trau dồ i thêm cho chúng em nhiề u thông tin kiế n thứ c hữu ích giúp chúng em hồn thiệ n hơ n đề tài củ a Đề tài báo cáo chúng em thự c hiệ n khoả ng thờ i gian ngắ n, vớ i nhữ ng kiế n thứ c hạ n chế nhiề u hạ n chế khác mặ t kỹ thuậ t kinh nghiệ m việ c thự c hiệ n Do đó, q trình làm nên đề tài có nhữ ng thiế u sót điề u khơng thể tránh khỏ i nên chúng em rấ t mong nhậ n đượ c ý kiế n đóng góp quý báu củ a quý thầ y cô để kiế n thứ c củ a chúng em đượ c hoàn thiệ n chúng em làm tố t hơ n nữ a nhữ ng lầ n sau Chúng em xin chân thành m ơn Lờ i cuố i cùng, chúng em xin kính chúc quý thầ y, quý cô thậ t nhiề u sứ c khỏe, thành công hạnh phúc Mụ c lục Phầ n 1: Mở đầu Lý chọn đề tài Tổng quan đề tài Phương pháp nghiên cứu Phần 2: Nội dung Chương AWS Comprehend gì? 1.1 Khái niệm 1.2 Lợi ích sử dụng AWS Comprehend 1.3 Các trường hợp sử dụng AWS Comprehend Chương Cách thức hoạt động AWS Comprehend 2.1 Các trường hợp sử dụng AWS Comprehend 2.2 Các tính 2.3 Các cách thực với AWS Comprehend 2.4 Các ngôn ngữ hỗ trợ AWS Comprehend Chương Thực hành sử dụng Amazon Comprehend tạo chương tình phân tích văn 3.1 Chạy thử dịch vụ Amazon Comprehend 3.2 Cài đặt AWS SDK cho python 12 3.3 Tạo bucket Amazon S3 để lưu trữ tập tin 17 3.4 Cài đặt boto3 sử dụng dịch vụ Amazon Comprehend Amazon S3 18 Chương Kiểm thử phần mềm 18 4.1 Giao diện phần mềm 18 4.2 Chạy phần mềm 19 Tài liệu tham khảo 22 PHẦN 1: MỞ ĐẦU Lý chọn đề tài Như biết, cloud platform trở thành xu lậ p trình phổ biế n từ nhiều năm nay,việ c sử dụ ng service như: Google Cloud Storage hay Amazon S3 để lư u trữ file, Google Cloud Datastore/Cloud Bigtable hay Amazon DynamoDB để lư u trữ liệu không cấu trúc(NoSQL), Google Cloud Stackdriver Logging hay Amazon CloudWatch Logs để ghi log … gầ n trở thành kỹ quen thuộ c vớ i mỗ i developer Cùng vớ i phổ biến củ a cloud platform, việ c liệ u thu thậ p ngày lớ n dẫ n đế n việ c phân tích liệ u khó khăn địi hỏ i cầ n có biệ n pháp để phân tích liệ u cách xác nhanh chóng để giả m t thờ i gian chi phí cho doanh nghiệ p Như ng đố i vớ i liệ u khổ ng lồ vậ y ngườ i hồn tồn khơng thể sàng lọ c đượ c hế t nên việ c địi hỏi cơng nghệ AI Như ng liệ u có giả i pháp để có thê phân tích liệ u số lượ ng lớn nhanh chóng ? Và AWS Comprehend giả i pháp cho câu hỏi Mục tiêu cho đề tài Tìm hiể u ứ ng dụ ng Amazon Comprehend thông qua việ c phân tích, trích xuất hiểu nhữ ng thơng tin chi tiế t có giá trị từ văn bả n tài liệ u phụ c vụ cho công việ c cá nhân hay mộ t tổ chức thươ ng mạng Phương pháp nghiên cứu Cả nhóm nghiên u dự a tài liệ u đượ c giả ng viên cung cấ p với tìm kiế m thông tin qua internet Cùng vớ i tìm hiể u lí thuyế t nhóm có thự c lab thự c tế để trả i nghiệ m hiể u hơ n đề tài PHẦN 2: NỘI DUNG Chương 1: AWS Comprehend gì? 1.1 Khái niệm Amazon Comprehend sử dụ ng xử lý ngơn ngữ tự nhiên (NLP) để trích xuấ t thông tin chi tiết nộ i dung củ a tài liệ u Amazon Comprehend xử lý bấ t kỳ tệ p văn bả n đị nh dạng UTF- tài liệ u bán cấ u trúc, tài liệ u PDF Word Nó phát triể n nhữ ng hiể u biế t sâu sắc bằ ng cách nhậ n thự c thể , cụ m từ khóa, ngơn ngữ , tình m yế u tố phổ biến khác mộ t tài liệ u Sử dụ ng Amazon Comprehend để tạ o sả n phẩ m mớ i dự a hiể u biết cấ u trúc củ a tài liệu Sử dụ ng Amazon Comprehend, bạ n tìm kiế m nguồ n cấ p liệ u mạ ng xã hộ i để đề cậ p đế n sả n phẩ m hoặ c quét toàn kho tài liệ u để tìm cụ m từ Amazon Comprehend bao gồ m thành phần như: ● Thực thể - Amazon Comprehend trả danh sách thực thể, chẳng hạn người, địa điểm vị trí, xác định tài liệu ● Cụm từ khóa - Amazon Comprehend trích xuất cụm từ khóa xuất tài liệu ● PII - Amazon Comprehend phân tích tài liệu để phát liệu cá nhân sử dụng để nhận dạng cá nhân, chẳng hạn địa chỉ, số tài khoản ngân hàng số điện thoại ● Ngôn ngữ - Amazon Comprehend xác định ngơn ngữ tài liệu xác định lên tới 100 ngôn ngữ ● Cảm xúc – Amazon Comprehend xác định cảm xúc tài liệu,có thể tích cực, tiêu cực hỗn hợp ● Cú pháp - Amazon Comprehend phân tích cú pháp từ tài liệu bạn xác định phần lời nói từ 1.2 Lợ i ích sử dụng AWS Comprehend Một số lợi ích việc sử dụng AWS Comprehend bao gồm : ● Tích hợp khả xử lý ngôn ngữ tự nhiên mạnh mẽ vào ứng dụng bạn — Amazon Comprehend loại bỏ phức tạp việc xây dựng khả phân tích văn vào ứng dụng bạn cách làm cho xử lý ngơn ngữ tự nhiên xác có sẵn với API đơn giản Bạn khơng cần phân tích văn kiến thức chun mơn để tận dụng thông tin chi tiết mà Amazon Comprehend tạo ● Xử lý ngôn ngữ tự nhiên dựa học sâu — Amazon Comprehend sử dụng học sâu công nghệ phân tích xác văn Các mơ hình đào tạo liên tục với liệu nhiều miền để cải thiện độ xác ● Xử lý ngơn ngữ tự nhiên mở rộng — Amazon Comprehend cho phép bạn phân tích hàng triệu tài liệu để bạn khám phá thơng tin chi tiết mà chúng chứa ● Tích hợp với dịch vụ AWS khác — Amazon Comprehend thiết kế để hoạt động liền mạch với dịch vụ AWS khác Amazon S3, AWS KMS AWS Lambda Lưu trữ tài liệu bạn Amazon S3 phân tích liệu thời gian thực với Kinesis Data Firehose Hỗ trợ AWS Identity Access Management (IAM) giúp bạn dễ dàng kiểm sốt an tồn quyền truy cập vào hoạt động Amazon Toàn diện Sử dụng IAM, bạn tạo quản lý người dùng nhóm AWS để cấp quyền truy cập thích hợp cho nhà phát triển bạn kết thúc người dùng ● Mã hóa kết đầu liệu khối lượng —Amazon S3 cho phép bạn mã hóa tài liệu đầu vào Amazon Comprehend mở rộng điều xa Bằng cách sử dụng khóa KMS riêng mình, bạn khơng mã hóa kết đầu cơng việc mà cịn liệu dung lượng lưu trữ gắn với phiên máy tính xử lý cơng việc phân tích Kết khả bảo mật tăng cường đáng kể ● Chi phí thấp — Với Amazon Comprehend, bạn trả tiền cho tài liệu mà bạn phân tích Khơng có phí tối thiểu cam kết trả trước 1.3 - Các trườ ng hợ p sử dụng AWS Comprehend Khai thác nội dung phân tích tổng đài Phát hiệ n m xúc phân tích tương tác khách hàng để cải thiện sản phẩm dịch vụ bạn - Lập mục tìm kiếm đánh giá sản phẩm Tậ p trung vào ngữ nh bằ ng cách trang bị cho cơng cụ tìm kiếm bạn khả lập mụ c cụm từ, thực thể cảm nghĩ quan trọng, khơng từ khóa - Hợp lý hóa phiếu hỗ trợ Tự độ ng phân loạ i tài liệu hỗ trợ gửi đến, chẳng hạn đánh giá sản phẩm trích xuất thơng tin liên quan để giải vấn đề khách hàng nhanh - Phân loạ i tài liệu tài Đào tạ o thự c thể tùy nh để trích xuấ t thơng tin liên quan thơng tin chuyên sâu từ tài liệu dị ch vụ tài chính, chẳng hạn báo giá bảo hiểm gói chấp Chương 2: Cách thức hoạt động AWS Comprehend 2.1 Các trườ ng hợ p sử dụng AWS Comprehend Amazon Complusive sử dụ ng mộ t mô hình đượ c đào tạ o trướ c để kiể m tra phân tích tài liệ u hoặ c tậ p hợ p tài liệ u nhằ m thu thậ p thông tin chi tiế t Mơ hình đào tạ o liên tụ c mộ t phầ n lớ n văn bả n để bạ n không cầ n phả i cung cấ p liệ u đào tạo Amazon Comprehend kiể m tra phân tích tài liệ u bằ ng nhiề u ngôn ngữ khác nhau, tùy thuộ c vào tính cụ thể 2.2 Các tính Vớ i Amazon Comprehend, bạ n thự c hiệ n nhữ ng việ c sau tài liệ u mình: - Phát ngơn ngữ trọng yếu - Phát thực thể - Phát cụm từ - Phát thơng tin nhận dạng cá nhân - Xác định ý kiến - Phân tích cú pháp - Mơ hình hố chủ đề 2.3 Các cách thực với AWS Comprehend Mỗ i thao tác xử lý theo số cách: - Xử lý tài liệu - gọi Amazon Comprehend với tài liệu nhận phản hồi đồng - Xử lý đồng nhiều tài liệu - gọi Amazon Comprehend với sưu tập lên đến 25 tài liệu nhận phản hồi đồng - Xử lý hàng loạt không đồng - đặt sưu tập tài liệu vào nhóm Amazon S3 bắt đầu hoạt động không đồng để phân tích tài liệu Kết phân tích trả S3 bucket 2.4 Các ngôn ngữ hỗ trợ AWS Comprehend Chương 3: Thực hành sử dụng Amazon Comprehend tạo chương trình phân tích văn 3.1 Chạy thử dịch vụ Amazon Comprehend Tạ i trang Amazon Comprehend chọn Launch Amazon Comprehend Tạ o file TestComprehend.txt sau tạ i trang Amazon S3 chọn Upload Chọ n Add files -> Upload để tải file TestComprehend.txt lên Tạ i Dashboard bên trái củ a Amazon Comprehend chọn Analysis jobs -> Create job Nhậ p tên, loạ i phân tích ngơn ngữ job Chọ n file input từ S3 nơi output Chọ n IAM role rồ i nhấn Create job 10 Nế u q trình phân tích hồn thành tạ i cộ t status hiệ n chữ Completed Truy cậ p liên kế t Output để download kế t phân tích 11 Sau download giả i nén thấ y đượ c kế t phân tích 3.2 Cài đặt AWS SDK cho python 1.1 Tạo khóa truy cập tài khoản Trong options tài khoản chọn Security credentials 12 Tại trang Your Security Credentials chọn Access keys (access key ID and secret access key) -> Create New Access Key -> Show Access Key Download Key File để xem thông tin Access Key ID Secret Access Key 1.2 Tạo User Ở Dashboard bên trái IAM chọn Users -> Add user 13 Bướ c điền User name tích vào ô Access key – Programmatic -> Next: Permissions Bướ c chọ n Attach existing policies directly -> AdministratorAccess -> Next: Tags 14 Bướ c chọn Next: Review Bướ c chọn Create user 15 Bướ c tạ o user thành công chọ n Download csv để lư u thông tin user 1.3 Cài đặt AWSCLI cho IDE Trên cử a sổ terminal củ a Pycharm sử dụ ng lệ nh “pip install awscli” để cài đặt package awscli Sau cài đặt xong package sử dụng lệnh “aws configure profile UserName” để cấu hình theo user tạo sau nhập thơng tin tài khoản vùng sử dụng 16 3.3 Tạo bucket Amazon S3 để l ưu trữ t ập tin Truy cậ p dị ch vụ Amazon S3, chọn Create bucket Nhậ p tên bucket khu vự c sau chọn Create bucket 17 3.4 Cài đặt boto3 sử dụng dịch vụ Amazon Comprehend Amazon S3 Sử dụ ng lệ nh “pip install boto3” để cài đặt package boto3 Tạ i file chươ ng trình, gọ i hàm củ a package boto3 để sử dụ ng dị ch vụ Amazon Các API củ a Amazon Comprehend đượ c sử dụng là: detect_dominant_language():nhận diệ n ngôn ngữ củ a văn detect_entities(): nhậ n diệ n thự c thể củ a văn detect_key_phrases(): nhậ n diệ n cụ m từ củ a văn detect_pii_entities(): nhậ n diệ n thông tin cá nhân có văn detect_sentiment(): nhậ n diệ n m xúc củ a văn detect_syntax(): nhậ n diệ n cú pháp củ a văn API củ a Amazon S3 đượ c sử dụng là: upload_file(): tả i tệp lên Amazon S3 Chương 4: Kiểm thử phầ n mềm 4.1 Giao diện phầ n mềm Textbox: Nhậ n văn bả n đầ u vào để phân tích Button Analyze: Thự c hiệ n phân tích văn LanguageCode: hiể n thị mã ngôn ngữ Sentiment: hiể n thị m xúc củ a văn (Positive, Negative, Neutral, Mixed) 18 Sentiment Score: hiể n thị số điể m m xúc củ a văn Entities: hiể n thị danh sách thự c thể , loạ i thự c thể , vị trí bắ t đầ u kế t thúc củ a thự c thể văn Key phrases: hiể n thị danh sách cụ m từ củ a văn bả n, vị trí bắ t đầ u kế t thúc cụ m từ PII: hiể n thị danh sách loạ i thông tin củ a ngườ i, vị trí bắ t đầ u kế t thúc củ a cụm văn Syntax: hiể n thị danh sách ký tự , loạ i ký tự , vị trí bắ t đầ u kế t thúc củ a ký tự cú pháp văn 4.2 Chạy phần mềm Nhậ p đoạ n văn bả n vào textbox sau bấm nút Analyze Chươ ng trình phân tích, hiể n thị danh sách kế t theo từ ng bả n rồ i ghi file csv lư u vào thư mục 19 Các file liệ u đầ u đượ c lư u tạ i thư mụ c củ a ứ ng dụng 20 Các file upload lên Amazon S3 21 TÀI LIỆU THAM KHẢO Tổng quan AWS Comprehend https://aws.amazon.com/vi/comprehend/ Demo AWS Comprehend https://awsacademy.instructure.com/courses Amazon Comprehend Developer Guide https://docs.aws.amazon.com/comprehend Comprehend — Boto3 Docs 1.20.23 documentation (amazonaws.com) 22 ... hồi đ? ??ng - Xử lý đ? ??ng nhiều tài liệu - gọi Amazon Comprehend với sưu tập lên đ? ??n 25 tài liệu nhận phản hồi đ? ??ng - Xử lý hàng loạt không đ? ??ng - đ? ??t sưu tập tài liệu vào nhóm Amazon S3 bắt đ? ??u... Tự đ? ?? ng phân loạ i tài liệu hỗ trợ gửi đ? ??n, chẳng hạn đ? ?nh giá sản phẩm trích xuất thơng tin liên quan đ? ?? giải vấn đ? ?? khách hàng nhanh - Phân loạ i tài liệu tài Đ? ?o tạ o thự c thể tùy nh đ? ??... 1.2 Lợi ích sử dụng AWS Comprehend 1.3 Các trường hợp sử dụng AWS Comprehend Chương Cách thức hoạt đ? ??ng AWS Comprehend 2.1 Các trường hợp sử dụng AWS Comprehend 2.2 Các