BÁO CÁO THỰC TẬP DOANH NGHIỆP TRỢ LÝ ẢO AI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN KHOA KHOA HỌC MÁY TÍNH BÁO CÁO THỰC TẬP DOANH NGHIỆP TRỢ LÝ ẢO AI Sinh viên thực : Bùi Xuân Thiện Lớp : 18IT3 Giảng viên hướng dẫn : Th.S Hà Thị Minh Phương Đơn vị thực tập : Global Design IT Co., Ltd Người hướng dẫn : Ngô Thành Trung Đà Nẵng, tháng 12 năm 2020 PHIẾU NHẬN XÉT CỦA ĐƠN VỊ THỰC TẬP LỜI CẢM ƠN Khoa ……………… – Lớp…………… MỤC LỤC Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện PHẦN MỞ ĐẦU Là sinh viên năm Khoa Khoa Học Máy Tính – Trường Đại Học Công Nghệ Thông Tin Truyền Thông Việt – Hàn Em nhận thưc rõ tầm quan cần thiết thực tập doanh nghiệp Trong trình học trường, em đào tạo kiến thức chuyên sâu cơng nghệ thơng tin cụ thể lập trình Sau nhận thấy Công ty Global Design IT Co., Ltd cơng ty lớn, có uy tín lĩnh vực cơng nghệ thơng tin ngồi nước, nơi có mơi trường tốt để em thực tập tích lũy kinh nghiệm cho thân em định chọn công ty làm nơi thực tập Cho em rèn luyện kỹ củng cố kiến thức Thực tập hội tốt cho em rèn luyện kỹ vận dụng kiến thức học thời gian học tập tường đại học Bên cạnh đó, thực tập khoảng thời gian quý báu để chúng em tiếp cận làm quen với môi trường làm việc chuyên nghiệp công ty năm bắt kỹ cần thiết mà chúng em phải có để có chuyên nghiệp suy nghĩ hành động để chuẩn bị cho nhận hành trang vững bước vào sống đầy thử thách sau rời ghế nhà trường Hơn thực tập hội tốt để cá nhận em khám phá lợi mình, từ định hướng xác cho nghiệp sau này, khai thác tốt lực thân Trong thời gian thực tập em nhận giúp đỡ tận tình anh chị team công ty Global Design IT Co., Ltd hướng dẫn anh Bống Hịa Trung để em hồn thành q trình thực tập báo cáo thực tập Em xin chân thành cảm ơn! Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện CHƯƠNG I: GIỚI THIỆU VỀ GLOBAL DESIGN IT Co., Ltd CƠ QUAN THỰC TẬP Tên Công ty: Global Design IT Tên Tiếng việt: Công ty TNHH MTV CNTT Thiết Kế Toàn Cầu Địa chỉ: Khu A, tầng 17, tịa nhà Cơng viên phần mềm, 02 Quang Trung, Phường Thạch Thang, Quận Hải Châu, Thành Phố Đà Nẵng, Việt Nam Điện thoại: 0236.3868778 GIỚI THIỆU CHUNG Công ty mẹ: Global Design Công ty Global Design Nhật Bản thành lập vào ngày 20 tháng 01 năm 1997 Cơng ty Global Design có trụ sở Shizuoka Nhật Bản văn phịng đại diện Tokyo, Yamanashi Từ năm 2016, Công ty đầu tư thành lập Công ty Global Design IT TP Đà Nẵng Thế mạnh bật Công ty Global Design sản phẩm CMS (Hệ thống quản lý nội dung) thiết kế website thông tin, tin tức phục vụ cho quan, đoàn thể Nhà nước Nhật Bản Thông tin liên hệ: GLOBAL DESIGN INC Địa chỉ: tầng 16, tòa nhà AOI, Shizuoka, Nhật Bản Website: http://www.glode.co.jp/ Công ty Việt Nam: Công ty Global Design IT (GDIT) Công ty 100% vốn đầu tư Nhật Bản, thành lập vào ngày 16 tháng 03 năm 2016 Công ty Global Design IT Công ty thành viên Global Design Inc (Nhật Bản) Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện MỤC TIÊU HOẠT ĐỘNG Thế mạnh cơng ty Global Design IT đội ngũ Kỹ sư cầu nối (BrSE) có lực chun mơn cao với nhiều kinh nghiệm làm việc Nhật Bản Các kỹ sư hỗ trợ từ giai đoạn phân tích yêu cầu, viết tài liệu thiết kế để việc phát triển diễn thuận lợi Thế mạnh Global Design IT:  Kinh nghiệm phát triển phong phú: Trong phát triển dành cho doạnh nghiệp Nhật Bản, chất lượng sản phẩm thay đổi tùy thuộc vào mức độ dày dặn kinh nghiệm phát triển Global Design IT có lực phân tích, diễn đạt đạt nhiều thành tích phát triển coding thị trường nội địa Nhật Bản  Các đề án giảm thiểu chi phí: đưa đề án với cấu trúc chi phí thấp để phù hợp với nhu cầu khách hàng Không Offshore Đà Nẵng mà phát triển onsite thị trường Nhật Bản cung cấp đề án đáp ứng theo yêu cầu quý khách hàng  Đối ứng quy mô nhỏ: Global Design IT thực đối ứng linh hoạt từ dự án có quy mơ từ 3-5 người Dĩ nhiên dự án quy mô 100man/month đảm bảo thực đối ứng LĨNH VỰC HOẠT ĐỘNG Lĩnh vực hoạt động Công ty GDIT:  Thiết kế, phát triển Website, Web app, phát triển mơ hình Labor Offshore  Xây dựng, phát triển phần mềm quản lý nội dung website (CMS), phần mềm quản lý doanh nghiệp (GMS)  Dịch vụ tư vấn giải pháp phần mềm theo nhu cầu sản xuất, kinh Khách hàng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện CÁC SẢN PHẨM/PHƯƠNG ÁN/GIẢI PHÁP Dưới sản phẩm App, Website, Service GlobalDesignIT phát triển tạo  Ban xúc tiến Hỗ trợ Đầu tư Đà Nẵng IPA-Đà Nẵng (Ban Xúc tiến Hỗ trợ Đầu tư Đà Nẵng) Ủy ban nhân dân thành phố Đà Nẵng thành lập vào năm 2000, nhằm mục đích xúc tiến đầu tư nước vào thành phố Đà Nẵng-Việt Nam Với tư cách kênh liên lạc-giao dịch quan hành thành phố Đà Nẵng, IPA-Đà Nẵng hỗ trợ hoạt động đầu tư nhà đầu tư doanh nghiệp giai đoạn  GDIT Management System (G.M.S) G.M.S GIẢI PHÁP DÀNH CHO CÁC DOANH NGHIỆP G.M.S (GDIT Management System) phát triển đội ngũ kỹ sư Công ty GDIT, Web app công cụ mang lại giải pháp hữu ích với tính vượt trội, giải pháp hữu hiệu công tác quản lý doanh nghiệp G.M.S sử dụng Cơng ty GDIT mang hiệu tích cực, tiết kiệm nhiều thời gian cho phận Trong năm nay, GDIT tiến hành triển khai dịch vụ cho khách hàng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện  Ứng dụng du lịch dành cho khách nước ngồi Với ứng dụng bạn tìm kiếm nhiều thông tin nhiều cách khách xác nhận thông theo phân chia khu vực hay dùng Map để tìm kiếm thơng tin, dễ dàng để tìm kiếm thơng tin theo mong muốn bạn  Ứng dụng du lịch Global Design IT Với việc cài đặt ứng dụng thiết bị di động mình, bạn dễ dàng tìm thấy tất thông tin quán cà phê phong cách hay địa điểm tham quan tiêu biểu Đà Nẵng lúc nơi Bạn tạo lịch trình du lịch riêng chia sẻ kế hoạch du lịch có địa điểm đề xuất tổng hợp Kế hoạch du lịch bạn giới thiệu cho nhiều người dung khác ứng dụng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện CHƯƠNG II: NHỮNG VẤN ĐỀ TỒN ĐỌNG Trong trình thực tập doanh nghiệp công ty Global Design IT, hướng dẫn lập trình viên có nhiều năm kinh nghiệm phần mềm Em tiếp thu nhiều kiến thức quan trọng trình thực tập công ty Được tư vấn, hướng dẫn chuẩn bị kỹ càng, người hướng dẫn đưa nhiều vấn đề công nghệ bị vướng mắc thị trường Việt Nam Khiến cho sản phẩm công nghệ bị lạc hậu Việt Nam chưa có bước tiến triển lớn khâu đột phá Đó sử dụng Trợ lý ảo để áp dụng cho hầu hết máy tính, điện thoại để tăng nhanh chóng cho người dùng Vấn đề đặt mục tiêu Sự bùng nổ cách mạng 4.0 với vấn đề liên quan Trí Tuệ Nhân Tạo, Điện Tốn Đám Mây, Internet Vạn Vật BigData Hiện Trí Tuệ Nhân Tạo xu hướng có tiềm lĩnh vực công nghệ thông tin yếu tố then chốt với vơ số ứng dụng khía cạnh sống Smart Home, xe tự hành, hệ thống nhận dạng Trợ lý ảo tác tử phần mềm có khả thực tác vụ dịch vụ cho cá nhân người sử dụng Cịn có tên gọi khác “ChatBot” để trợ lý ảo truy cập phần mềm chat online Ngày nay, xuất “trợ lý ảo” smartphone Apple Siri, Microsoft Cortana Google now nhiều biết đến, nhiên người dùng Việt Nam sử dụng “trợ lý ảo” chúng không tối ưu cho người Việt chưa phân tích nhận diện ý định người dùng câu lệnh nói tiếng Việt Điều làm cho trợ lý ảo chưa thực trội Việt Nam? Thứ nhất, Siri, Cortana hay Google Now chưa thực hiểu ngơn ngữ Việt Phân tích hiểu ngơn ngữ tự nhiên từ lâu hướng nghiên cứu khó khăn đầy thử thách đa dạng, phong phú cách người diễn đạt vấn đề nhập nhằng mặt câu từ Đây khó khăn chung cho ngôn ngữ tiếng Việt, việc xử lý cịn khó khăn nhiều sau thiếu nhiều tài nguyên quan trọng Điều quan trọng đưa giải pháp gọn nhẹ hiệu để vượt qua khó khăn Thứ hai, Siri, Cortana, … chưa tối ưu mặt thơng tin tính địa phương hóa cho người Việt Rất nhiều tính năng, thơng tin người dùng Việt cần chưa không hỗ trợ trợ lý ảo Vì báo cáo thực tập này, em phát triển sản phẩm với mong muốn đưa kết mang lại tiện lợi công việc trải nghiệm cho người dùng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện  SpeechRecognition.continuous: Kiểm soát xem kết liên tục trả cho lần nhận dạng hay kết Mặc định đơn (false.)  SpeechRecognition.serviceURI: Chỉ định vị trí dịch vụ nhận dạng giọng nói sử dụng SpeechRecognitionđể xử lý nhận dạng thực tế Mặc định dịch vụ giọng nói mặc định tác nhân người dùng Các phương pháp sử dụng Speech to Text:  SpeechRecognition.abort(): Dừng dịch vụ nhận dạng giọng nói nghe âm khơng tìm cách trả lại SpeechRecognitionResult  SpeechRecognition.start(): Bắt đầu dịch vụ nhận dạng giọng nói nghe âm đến với mục đích nhận dạng ngữ pháp liên quan đến SpeechRecognition  SpeechRecognition.stop(): Dừng dịch vụ nhận dạng giọng nói nghe âm đến cố gắng trả lại SpeechRecognitionResultbằng âm thu Nghe kiện cách sử dụng addEventListener() cách định trình nghe kiện cho thuộc tính giao diện audiostart kích hoạt người dùng bắt đầu thu âm thanh, audioend kích hoạt người dùng hòa tất thu âm cuối end kích hoạt dịch vụ nhận dạng giọng nói ngắt kết nối Trong kiện soundstart kích hoạt phát âm – giọng nói nhận dạng khơng – đa phát soundend kích hoạt âm dịch vụ nhận dạng giọng nói nhận dạng giọng nói phát speechstart kích hoạt âm dịch vụ nhận dạng giọng nói giọng nói phát speechend kích hoạt giọng nói dịch vụ nhận dạng giọng nói khơng phát Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện 3.3 Chức giao tiếp, chào hỏi Nội dung chức để giao tiếp thông thường người máy tính Đơn giản như: chào hỏi, hỏi thăm tình hình sức khỏe hay nói thơng tin trợ lý ảo Sử dụng thời gian máy tính để xác định buổi sáng, buổi trưa, buổi chiều buổi tối Chức sử dụng kết hợp với học máy, đưa câu trả lời xác cho người dùng người dùng đưa vào đoạn câu hỏi Bộ sở liệu câu hỏi câu trả lời tạo từ trước với câu hỏi dự đốn sẵn Độ sác phụ thuộc vào khả so sánh tỷ lệ từ, ký tự câu hỏi người dùng Mặc định vừa kích hoạt trợ lý ảo, người dùng nhận câu hỏi từ trợ lý ảo để chào hỏi người dùng bắt đầu sử dụng hệ thống Nếu người dùng thời gian khơng có tác động tới trợ lý ảo tự động ngắt 3.4 Chức hiển thị thời gian Nội dung chức để hiển thị thời gian thực tế quốc gia người dùng đứng Thông tin thời gian địa điểm ngày lưu lại xử lý, trợ lý ảo gửi phía người dùng Người dùng muốn thực xem thời gian cách nhập vào đoạn văn “Hôm ngày gì” hay “Bây máy giờ” Bằng cách sử dụng thư datetime để lưu thông tin thời gian địa điểm ngày Với địa điểm tùy chỉnh phù hợp với người dùng Với định dạng thời gian giờ, phút, giây sau trả trợ lý ảo để gửi cho người dùng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện 3.5 Chức mở ứng dụng hệ thống, Google tìm kiếm từ khóa Đây chức đặc biệt trợ lý ảo Chức mở ứng dụng cài đặt sẵn máy tính hay điện thoại Ví dụ như: mở phần mềm Microsoft Word hay Microsoft Excel, … phần mềm chuyên dụng đồ họa Adobe PhotoShop, Adobe Premiere Adobe After Effect nhiều phần mềm khác Bằng cách sử dụng thư viện có sẵn Python để truy cập phần mềm máy tính Truy cập file exe phần mềm Trợ lý ảo mở lên lệnh gọi người dùng “Mở Google Chorme”, “Microsoft Word” Tìm kiếm từ khóa sử dụng người dùng muốn tìm kiếm câu hỏi Câu hỏi đưa từ khóa lên Google đưa câu trả lời cho người dùng Khi xuất từ khóa đặc biệt google, word, photoshop hay media câu hỏi người dùng, trợ lý ảo sử dụng hàm os.startfile() để mở file ứng dụng hệ hệ thống Để tăng độ xác cho việc mở ứng dụng, trợ lý ảo tìm thêm từ khóa phía trước “mở”, “kích hoạt” để không nhầm lẫn với chức khác Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện Với chức mở website bất kỳ, sử dụng hàm re.search để tách phần domain đoạn hỏi người dùng text ghép với phần tiền tố https://www Để tạo thành đường dẫn đến trang web Sử dụng webbroser.open(url) để mở trang web người dùng u cầu Với chức tìm kiếm từ khóa Google Thực việc tách từ khóa phía sau chữ “tìm kiếm” đoạn text người dùng gửi vào Gọi hàm webdriver.Chorme(path) để mở dụng Google Chrome vào trang chủ google.com Thực sử dụng hàm driver.find_element_by_path() để lấy thẻ giá trị lưu giá trị Cuối tìm kiếm từ khóa search_for trả kết google search 3.6 Chức xem dự báo thời tiết Chức xem dự báo thời tiết OpenWeatherMap OpenWeatherMap dịch vụ cung cấp liệu thời tiết Nó thuộc sở hữu OpenWeather Ltd, có trụ sở London, Vương quốc Anh Nó cung cấp liệu thời tiết tại, dự báo liệu lịch sử triệu khách hàng, bao gồm cơng ty doanh nghiệp tồn cầu Truy cập trang website đường dẫn: Openweathermap.org Trợ lý ảo xử lý chức xem thời biết bước sau:  Nhập từ khóa “thời tiết” để kích hoạt chức thời tiết  Nhập vào địa điểm muốn xem quốc gia giới  Hệ thống kết nối API với trang web openweathermap.org Truy cập lấy api_keys để thao tác truy vấn  Website trả kết trợ lý ảo truy vấn thông tin cần thiết gửi lại cho người dùng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện  Hệ thống dừng 20 giây để trợ lý ảo đọc hết thông tin thời tiết Trợ lý ảo thực bước lưu đường dẫn đến api trang web openweathermap.org Tiếp theo người dùng cần nhập vào địa điểm thông tin thành phố cần truy vấn thời tiết Nếu người dùng không nhập vào trợ lý ảo khơng nghe tên thành phố bỏ qua Sử dụng thư viện request.get(call_url) để lấy thông tin truy vấn từ trang web lưu vào biến response Response.json() chuyển liệu kiểu liệu json Các giá trị gửi bao gồm thông tin thời tiết nhiệt độ, độ ẩm, lượng mưa, thời gian mặt trời mọc, thời gian mặt trời mọc, … Cuối gửi trả liệu đọc cho người dùng Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện 3.7 Chức nghe nhạc Youtube Chức nghe nhạc Youtube chức u thích trợ lý ảo Thay truy cập Youtube tìm kiếm hát người dùng thích Người dùng nhập vào trợ lý ảo Trợ lý ảo hiển thị hát lên bảng giao tiếp Việc lấy từ khóa hát tương tự với tìm kiếm Thực vịng lặp while để kết nối liên tục trường hợp internet yếu không tìm thấy Đưa từ khóa vào đường dẫn lấy kết nhận Dùng hàm webbrowser.open(url) mở đường dẫn url đến hát vừa tìm kiếm youtube để phát nhạc 3.8 Chức nhận dạng danh tính người dùng Hệ thống nhận dạng khn mặt thời gian thực có khả xác định xác minh người từ máy ảnh video Để nhận khuôn mặt khung ảnh, trước tiên bạn cần phải phát xem có mặt người xuất khung hình hay khơng Nếu có, đánh dấu vùng chứa khn mặt (ROI), trích xuất ROI xử lý để nhận khn mặt Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện 3.8.1 Tạo sở liệu thông tin người dùng Để tạo tập liệu người dùng cần phải phát khn mặt người dùng ảnh Thuật toán nêu thuật toán ViolaJones Thuật toán Viola-Jones lần xuất vào năm 2001 Paul Viola Michael Jones báo năm 2001 họ, Rapid Object Detection using a Boosted Cascade of Simple Features, báo trở thành báo trích dẫn nhiều tài liệu computer vision Trong báo này, Viola Jones đề xuất thuật tốn có khả phát vật thể hình ảnh, vị trí tỷ lệ chúng hình ảnh Hơn nữa, thuật tốn chạy thời gian thực, giúp phát đối tượng video stream Cụ thể, Viola Jones tập trung vào việc phát khn mặt ảnh, thuật tốn sử dụng để huấn luyện máy dị tìm vật thể tùy ý, xe hơi, tòa nhà, dụng cụ nhà bếp chí trái chuối Mặc dù khung Viola-Jones chắn mở cánh cửa để phát đối tượng, vượt xa phương pháp khác, chẳng hạn sử dụng Histogram of Oriented Gradients (HOG) + Linear SVM Deep Learning Nhưng nghĩ điều quan trọng quan tâm đến thuật tốn có hiểu biết mức độ cao mà diễn bên Để phát người ảnh, thuật tốn trượt cửa số có kích thước cố định hình ảnh nhiều tỷ lệ Tại giai đoạn này, cửa sổ dừng lại, tính tốn số tính sau phân loại khu vực có khn mặt hay khơng Điều cần đòi hỏi chút học máy Một phân loại đào tạo để sử dụng mẫu positive negative khuôn mặt Điểm liệu positive ví dụ khu vực có chứa khuôn mặt Các điểm liệu negative ví dụ vùng khơng chứa khn mặt Dựa vào điểm liệu này, đào tạo phân loại để nhận biết liệu vùng định hình ảnh có chứa khn mặt hay khơng OpenCv phát khuôn mặt cách sử dụng Haar Cascade đào tạo trước Điều đảm bảo không cần phải cung cấp mẫu positive negative riêng mình, huấn luyện phân loại riêng lo lắng việc điều chỉnh tham số xác Thay vào đó, người dùng cần tải lên trình phân loại đào tạo trước phát khuôn mặt ảnh Đối với Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện điểm dừng dọc theo đường dẫn cửa sổ trượt, năm tính hình chữ nhật tính Để có tính cho khu vực năm hình chữ nhật này, cần trừ tổng số pixel vùng trắng cho tổng số pixel vùng đen Thật thú vị, tính có tầm quan trọng thực bối cảnh nhận diện khn mặt: - Vùng mắt có xu hướng tối vùng má - Vùng mũi sáng vùng mắt Do đó, với năm vùng hình chữ nhật này, tạo thành đặc điểm phân loại phần khn mặt Sau đó, tồn tập hợp tính năng, sử dụng thuật tốn AdaBoost để chọn tính tương ứng với vùng khn mặt hình ảnh Để chống lại điều này, Viola Jones đưa khái niệm cascade stages Tại điểm dừng dọc theo đường dẫn cửa sổ trượt, cửa sổ phải vượt qua loạt thử nghiệm thử nghiệm đắt mặt tính tốn so với trước Nếu thử nghiệm thất bại, cửa sổ tự động bị loại bỏ Một số lợi ích Haar cascade họ nhanh việc tính tốn Haar-like features, sử dụng hình ảnh tích hợp (cịn gọi bảng tổng hợp) Chúng hiệu để lựa chọn tính thơng qua việc sử dụng thuật tốn AdaBoost Có lẽ quan trọng nhất, họ phát khn mặt hình ảnh vị trí hay quy mơ khn mặt Cuối cùng, thuật tốn Viola-Jones để phát đối tượng có khả chạy thời gian thực Sau phát khuôn mặt, việc chụp lại ảnh khuôn mặt lưu vào tập liệu Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện  Chụp lại ảnh người để nhận dạng khn mặt sau chạy tập lệnh GetData.py Nó tự động tạo thư mục Train thư mục Database có chứa khuôn mặt để công nhận  Trong tạo sở liệu, hình ảnh khn mặt phải có biểu cảm khác nhau, lý chậm trễ 0.38 giây đưa để tạo tập liệu Trong ví dụ này, lấy khoảng 100 hình ảnh / người, chuyển hình ảnh sang màu xám lưu vào thư mục sở liệu với tên Dùng camera để chụp ảnh liệu, nhập thông tin người dùng lưu tập liệu Sử dụng thư viện OpenCv để mở camera từ máy tính Hình ảnh nhận vào, hệ thống xử lý cắt khn mặt khỏi hình, chuyển sang hệ màu xám Hình ảnh khn mặt lưu với thông tin lưu vào tập liệu Dataset Trong trình lấy ảnh, người dùng thiết lập lấy 100 ảnh để tăng độ xác Sau lấy đủ 100 tấm, hệ thống tự động tắt camera Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện [1] [2] [3] 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.8.1 3.8.2 Huấn luyện tập liệu Công việc huấn luyện phần mềm để nhận biết người có sở liệu hay khơng Sử dụng Train.py Thuật toán sử dụng Local Binary Patterns Histograms (LBPH) Local Binary Pattern (LBP) phương pháp trích xuất kết cấu hình ảnh thành vector đặc trưng gọi đặc trưng LBP Ý tưởng ban đầu phương pháp Ojala cộng [9] đưa ra, bước đầu xử lý ảnh xám Ví dụ: pixel xem xét vùng lân cận sử dụng giá trị pixel trung tâm để chia tỷ lệ giá trị vùng lân cận Kết chuỗi bit nhị phân có độ dài tương ứng với điểm lân cận xác định theo thứ tự định Chuỗi bit chuyển thành thập phân giá trị thập phân thay giá trị ban đầu điểm ảnh xem xét Số lượng điểm lân cận thay đổi theo bán kính Hình 4.a mơ tả quy trình tính tốn LBP cho tốn nhận dạng khn mặt [10] Trong MB-LBP, hình 1b, Tốn tử so sánh pixel đơn LBP đơn giản thay cách so sánh giá trị trung bình xám tiểu vùng Mỗi tiểu vùng khối lập phương bao gồm pixel lân cận Chúng ta đếm kích thước lọc dạng tham số s x s viết tắt quy mơ tốn tử MB-LBP (Đặc biệt 3X3 MB-LBP thực tế LBP ban đầu) Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện Trong dự án này, nhận diện khuôn mặt LBPH sử dụng, hàm createLBPHFaceRecognizer() LBP hoạt động hình ảnh có tỷ lệ xám Đối với pixel ảnh có tỷ lệ xám, vùng lân cận chọn xung quanh điểm ảnh giá trị LBP tính cho pixel sử dụng vùng lân cận Sau tính giá trị LBP điểm ảnh tại, vị trí pixel tương ứng cập nhật mặt nạ LBP (cùng chiều cao chiều rộng với hình ảnh đầu vào) với giá trị LBP tính hình Trong hình ảnh, có tám điểm ảnh lân cận Nếu giá trị pixel lớn giá trị pixel lân cận, bit tương ứng mảng nhị phân đặt thành Nhưng giá trị pixel nhỏ giá trị pixel lân cận, bit tương ứng mảng nhị phân đặt thành Các bước thực để training hình ảnh người dùng lưu trữ  Load đường dẫn file thư mục dataset  Tách ID từ tên, add mảng vào mảng ID Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện  Huấn luyện ảnh lưu vào file h5 3.8.3 Nhận dạng người dùng qua khuôn mặt camera với huấn luyện Các bước thực để nhận dạng người dùng:      Mở camera để bắt đầu nhận dạng Lấy thơng tin người dùng từ database Lấy hình ảnh từ camera So sánh với huấn luyện Hiển thị thông tin người lên hình Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện KIẾN NGHỊ VÀ KẾT LUẬN Sau thời gian bắt đầu thực tập từ 02/11/2020 đến ngày 02/01/2021 thực tế công ty Global Design IT, em nhận kỹ lập trình phát triển phần mềm Sản phẩm đề xuất từ công ty giao hoàn thành 95% Trợ lý ảo hoạt động đưa lên lưu trữ đám mây Heroku Các chức hoàn thiện 90% Tuy nhiên với chức đặc thù trợ lý ảo Em chưa hoàn thiện hoàn chỉnh sản phẩm Sản phẩm thuyết trình trước công ty với tham gia giám đốc, team leader nhóm, người hướng dẫn thực tập có tham gia thành viên công ty Sản phẩm khen ngợi cho kết mong đợi Sản phẩm tiếp tục nâng cấp demo tuần tới để đưa sản phẩm đạt độ hoàn thành 100% Cách giải sử dụng trợ lý ảo cho việc tự động xử lý chức cần thiết Trợ lý ảo giúp cho người dùng tiết kiệm chút thời gian công việc Trong sản phẩm trợ lý ảo này, em tiếp thu nhiều kinh nghiệm từ anh, chị team Giúp em hoàn thành sản phẩm Nâng cao kỹ xử lý tính tốn thực lập trình sản phẩm Qua sản phẩm này, em tiếp tục hoàn thiện thêm sản phẩm Để đưa sản phẩm đến với người Và tiếp tục nâng cấp thêm nhiều tính như: xác thực danh tính quyền truy cập, tự động hóa q trình phát giọng nói người dùng, chuẩn hóa ngơn ngữ tiếng việt, hỗ trợ đa ngơn ngữ với người nước ngồi để họ tiếp xúc với trợ lý ảo cách dễ dàng Hy vọng sau kết thúc thực tập công ty Global Design IT Quay q trình học tập trường, đem kinh nghiệm thực tế áp dụng cho đồ án tốt nghiệp sản phẩm mang tính thực tế hơn, chia cho nhiều bạn sinh viên học tập trường để tiếp xúc với mơi trường thực tế đơn vị doanh nghiệp Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện TÀI LIỆU THAM KHẢO [1] https://uniduc.com/vi/blog/cung-tim-hieu-ve-thuat-toan-nhan-dien- khuon-mat-face-detection-su-dung-opencv [2] https://www.stdio.vn/computer-vision/opencv-voi-python-trong- ung-dung-phat-hien-khuon-mat-trong-buc-anh-dYG31n1 [3] https://congnghe102.com/p/nhan-dang-khuon-mat-thoi-gian-thuc- bang-python-va-opencv.html [4] https://codelearn.io/sharing/lap-trinh-tro-ly-ao-tieng-viet-python [5] https://vi.wikipedia.org/wiki/Tr%E1%BB%A3_l %C3%BD_Google [6] https://quantrimang.com/google-assistant-la-gi-163466 [7] https://cloud.google.com/text-to-speech [8] https://cloud.google.com/speech-to-text/ [9] https://openweathermap.org/api [10] https://docs.python.org/3/ [11] https://docs.opencv.org/ [12] https://pypi.org/project/ChatterBot/ Lưu ý rằng: Tổng số trang báo cáo thực tập tối thiểu 30 trang Khoa Khoa Học Máy Tính – Lớp 18IT3 Bùi Xuân Thiện