MẪU ĐỒ ÁN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO THỰC TẬP DOANH NGHIỆP ĐỀ TÀI TRỢ LÝ ẢO AI MỞ ĐẦU Là một sinh v[.]
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO THỰC TẬP DOANH NGHIỆP ĐỀ TÀI: TRỢ LÝ ẢO AI MỞ ĐẦU Là sinh viên năm Khoa Khoa Học Máy Tính – Trường Đại Học Công Nghệ Thông Tin Truyền Thông Việt – Hàn Em nhận thưc rõ tầm quan cần thiết thực tập doanh nghiệp Trong trình học trường, em đào tạo kiến thức chuyên sâu cơng nghệ thơng tin cụ thể lập trình Sau nhận thấy Công ty Global Design IT Co., Ltd cơng ty lớn, có uy tín lĩnh vực cơng nghệ thơng tin ngồi nước, nơi có mơi trường tốt để em thực tập tích lũy kinh nghiệm cho thân em định chọn công ty làm nơi thực tập Cho em rèn luyện kỹ củng cố kiến thức Thực tập hội tốt cho em rèn luyện kỹ vận dụng kiến thức học thời gian học tập tường đại học Bên cạnh đó, thực tập khoảng thời gian quý báu để chúng em tiếp cận làm quen với môi trường làm việc chuyên nghiệp công ty năm bắt kỹ cần thiết mà chúng em phải có để có chuyên nghiệp suy nghĩ hành động để chuẩn bị cho nhận hành trang vững bước vào sống đầy thử thách sau rời ghế nhà trường Hơn thực tập hội tốt để cá nhận em khám phá lợi mình, từ định hướng xác cho nghiệp sau này, khai thác tốt lực thân Trong thời gian thực tập em nhận giúp đỡ tận tình anh chị team công ty Global Design IT Co., Ltd hướng dẫn anh Bống Hịa Trung để em hồn thành q trình thực tập báo cáo thực tập Em xin chân thành cảm ơn! LỜI CẢM ƠN Là sinh viên năm Trường Đại Học Công Nghệ Thông Tin Truyền Thông Việt – Hàn Em ý thức việc phát triển thân, kỹ điều thiết yếu trình làm đồ án Tiếp thu hồn thiện kỹ cịn thiếu q trình học tập trường Để tạo sản phẩm báo cáo hồn thiện mơn thực tập doanh nghiệp Em xin gửi lời cảm ơn đến giảng viên Ngô Lê Quân – giảng viên hướng dẫn báo cáo thực tập doanh nghiệp trang bị cho em kiến thức, kỹ cần có để hồn thành đề tài Tuy nhiên trình nghiên cứu đề tài, kiến thức chuyên ngành hạn chế nên em cịn nhiều thiếu sót tìm hiểu, đánh giá trình bày đề tài Rất mong nhận quan góp ý thầy/cô môn để tài em đầy đủ hoàn chỉnh Em xin chân thành cảm ơn! MỤC LỤC Trang Chương GIỚI THIỆU VỀ GLOBAL DESIGN IT Co., Ltd 1.1 Cơ quan thực tập 1.2 Giới thiệu chung .1 1.3 Mục tiêu hoạt động 1.4 Lĩnh vực hoạt động 1.5 Các sản phẩm, phương án, giải pháp .3 Chương NHỮNG VẤN ĐỀ TỒN ĐỌNG 2.1 Vấn đề đặt mục tiêu .5 Chương ĐỀ XUẤT GIẢI PHÁP CÔNG VIỆC .6 3.1 Giải pháp 3.2 Đề xuất phương pháp xây dựng .7 3.2.1 Ngơn ngữ lập trình Python 3.2.2 Machine Learning 3.2.3 Thư viện OpenCV .8 3.3 Thực sản phẩm .9 3.3.1 Chức chuyển văn thành âm 3.3.2 Chức chuyển âm thành văn 10 3.3.3 Chức giao tiếp, chào hỏi 12 3.3.4 Chức hiển thị thời gian 13 3.3.5 Chức mở ứng dụng hệ thống, Google tìm kiếm từ khóa 13 3.3.6 Chức xem dự báo thời tiết 14 3.3.7 Chức nghe nhạc, xem video Youtube 16 3.3.8 Chức nhận dạng danh tính người dùng 16 3.3.8.1 Tạo sở liệu thông tin người dùng .16 3.3.8.2 Huấn luyện tập liệu thông tin người dùng 20 3.3.8.3 Nhận dạng người dùng qua khuôn mặt camera với huấn luyện22 3.3.9 Sơ đồ code hoàn thiện 22 Chương KẾT QUẢ THỰC NGHIỆM 23 4.1 Kết 23 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 25 DANH MỤC TÀI LIỆU THAM KHẢO .26 DANH MỤC HÌNH Trang Hình Global Design IT Co., Ltd 13 Hình Sản phẩm Website Ban xúc tiền Hỗ trợ đầu tư Đà Nẵng 15 Hình Hệ thống GMS 15 Hình Ứng dụng du lịch dành cho người nước .16 Hình Ứng dụng di lịch Global Design IT 16 Hình Giải pháp Trợ Lý Ảo 18 Hình Ngơn ngữ lập trình Python .19 Hình Machine Learning 20 Hình Chức chuyển văn thành âm 22 Hình 10 Code thực chuyển văn thành giọng nói 22 Hình 11 Sơ đồ trình chuyển giọng nói thành văn 23 Hình 12 Code thực chức chuyển giọng nói thành văn 24 Hình 13 Chức giao tiếp 24 Hình 14 Code thực chức lấy thời gian .25 Hình 15 Chức mở ứng dụng, tìm kiếm 25 Hình 16 Code thực chức mở ứng dụng hệ thống 26 Hình 17 Code thực chức tìm kiếm .26 Hình 18 Code thực chức tìm kiếm Google 26 Hình 19 Chức xem thời tiết .27 Hình 20 Code thực chức xem thời tiết 28 Hình 21 Chức nhận dạng khuôn mặt 28 Hình 22 Thuật tốn huấn luyện phân loại Haar Cascade 29 Hình 23 Phát khn mặt Haar Cascade .30 Hình 24 Code thực chức lấy thơng tin người dùng 31 Hình 25 Sơ đồ thông tin người dùng 31 Hình 26 Thơng tin ảnh người dùng 31 Hình 27 Chức trích chọn đặc trưng khn mặt LBP 32 Hình 28 Cách hoạt động thuật tốn trích chọn đặc trưng LBP 33 Hình 29 Code thực chức huấn luyện ảnh 33 Hình 30 Code thực chức nhận dạng 34 Hình 31 Sơ đồ nhánh hệ thống Trợ lý ảo .34 Hình 32 Giao diện Trợ lý ảo .35 Hình 33 Thực tìm kiếm câu hỏi 35 Hình 34 Server bắt đầu khởi động hệ thống 36 DANH MỤC CỤM TỪ VIẾT TẮT STT 10 Cụm từ Content Mamagement System Bridge Software Engineer Artificial Intelligence GDIT Management System Natural Language Processing Application Programming Interface Region of Interest Histogram of Oriented Gradients Local Binary Patterns Histograms Local Binary Pattern Viết tắt CMS BrSE AI GMS NLP API ROI HOG LBPH LBP Chương GIỚI THIỆU VỀ GLOBAL DESIGN IT Co., Ltd 1.1 Cơ quan thực tập Tên Công ty: Global Design IT Tên Tiếng việt: Công ty TNHH MTV CNTT Thiết Kế Toàn Cầu Địa chỉ: Khu A, tầng 17, tịa nhà Cơng viên phần mềm, 02 Quang Trung, Phường Thạch Thang, Quận Hải Châu, Thành Phố Đà Nẵng, Việt Nam Điện thoại: 0236.3868778 Hình Global Design IT Co., Ltd 1.2 Giới thiệu chung Công ty mẹ: Global Design Công ty Global Design Nhật Bản thành lập vào ngày 20 tháng 01 năm 1997 Công ty Global Design có trụ sở Shizuoka Nhật Bản văn phòng đại diện Tokyo, Yamanashi Từ năm 2016, Công ty đầu tư thành lập Công ty Global Design IT TP Đà Nẵng Thế mạnh bật Công ty Global Design sản phẩm CMS (Hệ thống quản lý nội dung) thiết kế website thông tin, tin tức phục vụ cho quan, đoàn thể Nhà nước Nhật Bản Thông tin liên hệ: GLOBAL DESIGN INC Địa chỉ: tầng 16, tòa nhà AOI, Shizuoka, Nhật Bản Website: http://www.glode.co.jp/ Công ty Việt Nam: Công ty Global Design IT (GDIT) Công ty 100% vốn đầu tư Nhật Bản, thành lập vào ngày 16 tháng 03 năm 2016 Công ty Global Design IT Công ty thành viên Global Design Inc (Nhật Bản) 1.3 Mục tiêu hoạt động Thế mạnh công ty Global Design IT đội ngũ Kỹ sư cầu nối (BrSE) có lực chuyên môn cao với nhiều kinh nghiệm làm việc Nhật Bản Các kỹ sư hỗ trợ từ giai đoạn phân tích yêu cầu, viết tài liệu thiết kế để việc phát triển diễn thuận lợi Thế mạnh Global Design IT: Kinh nghiệm phát triển phong phú: Trong phát triển dành cho doạnh nghiệp Nhật Bản, chất lượng sản phẩm thay đổi tùy thuộc vào mức độ dày dặn kinh nghiệm phát triển Global Design IT có lực phân tích, diễn đạt đạt nhiều thành tích phát triển coding thị trường nội địa Nhật Bản Các đề án giảm thiểu chi phí: đưa đề án với cấu trúc chi phí thấp để phù hợp với nhu cầu khách hàng Không Offshore Đà Nẵng mà phát triển onsite thị trường Nhật Bản cung cấp đề án đáp ứng theo yêu cầu quý khách hàng Đối ứng quy mơ nhỏ: Global Design IT thực đối ứng linh hoạt từ dự án có quy mơ từ 3-5 người Dĩ nhiên dự án quy mô 100man/month đảm bảo thực đối ứng 1.4 Lĩnh vực hoạt động Lĩnh vực hoạt động Công ty GDIT: Thiết kế, phát triển Website, Web app, phát triển mơ hình Labor Offshore Xây dựng, phát triển phần mềm quản lý nội dung website (CMS), phần mềm quản lý doanh nghiệp (GMS) Dịch vụ tư vấn giải pháp phần mềm theo nhu cầu sản xuất, kinh Khách hàng 1.5 Các sản phẩm, phương án, giải pháp Dưới sản phẩm App, Website, Service GlobalDesignIT phát triển tạo Ban xúc tiến Hỗ trợ Đầu tư Đà Nẵng IPA-Đà Nẵng (Ban Xúc tiến Hỗ trợ Đầu tư Đà Nẵng) Ủy ban nhân dân thành phố Đà Nẵng thành lập vào năm 2000, nhằm mục đích xúc tiến đầu tư nước ngồi vào thành phố Đà Nẵng-Việt Nam Với tư cách kênh liên lạc-giao dịch quan hành thành phố Đà Nẵng, IPA-Đà Nẵng hỗ trợ hoạt động đầu tư nhà đầu tư doanh nghiệp giai đoạn Hình Sản phẩm Website Ban xúc tiền Hỗ trợ đầu tư Đà Nẵng GDIT Management System (G.M.S) G.M.S GIẢI PHÁP DÀNH CHO CÁC DOANH NGHIỆP G.M.S (GDIT Management System) phát triển đội ngũ kỹ sư Công ty GDIT, Web app công cụ mang lại giải pháp hữu ích với tính vượt trội, giải pháp hữu hiệu công tác quản lý doanh nghiệp G.M.S sử dụng Cơng ty GDIT mang hiệu tích cực, tiết kiệm nhiều thời gian cho phận Trong năm nay, GDIT tiến hành triển khai dịch vụ cho khách hàng Hình Hệ thống GMS Ứng dụng du lịch dành cho khách nước ngồi Với ứng dụng bạn tìm kiếm nhiều thông tin nhiều cách khách xác nhận thông theo phân chia khu vực hay dùng Map để tìm kiếm thơng tin, dễ dàng để tìm kiếm thơng tin theo mong muốn bạn Hình Ứng dụng du lịch dành cho người nước Ứng dụng du lịch Global Design IT Với việc cài đặt ứng dụng thiết bị di động mình, bạn dễ dàng tìm thấy tất thông tin quán cà phê phong cách hay địa điểm tham quan tiêu biểu Đà Nẵng lúc nơi Bạn tạo lịch trình du lịch riêng chia sẻ kế hoạch du lịch có địa điểm đề xuất tổng hợp Kế hoạch du lịch bạn giới thiệu cho nhiều người dung khác Hình Ứng dụng di lịch Global Design IT SpeechRecognition.stop(): Dừng dịch vụ nhận dạng giọng nói nghe âm đến cố gắng trả lại SpeechRecognitionResultbằng âm thu Nghe kiện cách sử dụng addEventListener() cách định trình nghe kiện cho thuộc tính giao diện audiostart kích hoạt người dùng bắt đầu thu âm thanh, audioend kích hoạt người dùng hòa tất thu âm cuối end kích hoạt dịch vụ nhận dạng giọng nói ngắt kết nối Hình 12 Code thực chức chuyển giọng nói thành văn Trong kiện soundstart kích hoạt phát âm – giọng nói nhận dạng khơng – đa phát soundend kích hoạt âm dịch vụ nhận dạng giọng nói nhận dạng giọng nói phát speechstart kích hoạt âm dịch vụ nhận dạng giọng nói giọng nói phát speechend kích hoạt giọng nói dịch vụ nhận dạng giọng nói khơng phát 3.3.3 Chức giao tiếp, chào hỏi Nội dung chức để giao tiếp thông thường người máy tính Đơn giản như: chào hỏi, hỏi thăm tình hình sức khỏe hay nói thơng tin trợ lý ảo Sử dụng thời gian máy tính để xác định buổi sáng, buổi trưa, buổi chiều buổi tối Chức sử dụng kết hợp với học máy, đưa câu trả lời xác cho người dùng người dùng đưa vào đoạn câu hỏi Bộ sở liệu câu hỏi câu trả lời tạo từ trước với câu hỏi dự đốn sẵn Độ sác phụ thuộc vào khả so Hình 13 Chức giao tiếp sánh tỷ lệ từ, ký tự câu hỏi người dùng Mặc định vừa kích hoạt trợ lý ảo, người dùng nhận câu hỏi từ trợ lý ảo để chào hỏi người dùng bắt đầu sử dụng hệ thống Nếu người dùng thời gian khơng có tác động tới trợ lý ảo tự động ngắt 3.3.4 Chức hiển thị thời gian Nội dung chức để hiển thị thời gian thực tế quốc gia người dùng đứng Thông tin thời gian địa điểm ngày lưu lại xử lý, trợ lý ảo gửi phía người dùng Người dùng muốn thực xem thời gian cách nhập vào đoạn văn “Hôm ngày gì” hay “Bây máy giờ” Bằng cách sử dụng thư datetime để lưu thông tin thời gian địa điểm ngày Với địa điểm tùy chỉnh phù hợp với người dùng Với định dạng thời gian giờ, phút, giây sau trả trợ lý ảo để gửi cho người dùng Hình 14 Code thực chức lấy thời gian 3.3.5 Chức mở ứng dụng hệ thống, Google tìm kiếm từ khóa Đây chức đặc biệt trợ lý ảo Chức mở ứng dụng cài đặt sẵn máy tính hay điện thoại Ví dụ như: mở phần mềm Microsoft Word hay Microsoft Excel, … phần mềm chuyên dụng đồ họa Adobe PhotoShop, Adobe Premiere Adobe After Effect nhiều phần mềm khác Bằng cách sử dụng thư viện có sẵn Python để truy cập phần mềm máy tính Truy cập file exe phần mềm Trợ lý ảo mở lên lệnh gọi người dùng “Mở Google Chorme”, “Microsoft Word” Tìm kiếm từ khóa sử dụng người dùng muốn tìm kiếm câu hỏi Câu hỏi đưa từ khóa lên Google đưa câu trả lời cho người dùng Hình 15 Chức mở ứng dụng, tìm kiếm Khi xuất từ khóa đặc biệt google, word, photoshop hay media câu hỏi người dùng, trợ lý ảo sử dụng hàm os.startfile() để mở file ứng dụng hệ hệ thống Để tăng độ xác cho việc mở ứng dụng, trợ lý ảo tìm thêm từ khóa phía trước “mở”, “kích hoạt” để khơng nhầm lẫn với chức khác Hình 16 Code thực chức mở ứng dụng hệ thống Với chức mở website bất kỳ, sử dụng hàm re.search để tách phần domain đoạn hỏi người dùng text ghép với phần tiền tố https://www Để tạo thành đường dẫn đến trang web Sử dụng webbroser.open(url) để mở trang web người dùng yêu cầu Hình 17 Code thực chức tìm kiếm Với chức tìm kiếm từ khóa Google Thực việc tách từ khóa phía sau chữ “tìm kiếm” đoạn text người dùng gửi vào Gọi hàm webdriver.Chorme(path) để mở dụng Google Chrome vào trang chủ google.com Thực sử dụng hàm driver.find_element_by_path() để lấy thẻ giá trị lưu giá trị Cuối tìm kiếm từ khóa search_for trả kết google Hình 18 Code thực chức tìm kiếm Google