báo cáo thực tập doanh nghiệp xây dụng ứng dụng sửa lỗi chính tả cho tiếng việt

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM THỰC TẬP DOANH NGHIỆP XÂY DỰNG ỨNG DỤNG SỬA LỖI CHÍNH TẢ CHO TIẾNG VIỆT Cơng ty thực tập: Công ty Cổ phần VCCORP Người phụ trách: TS Huỳnh Ngọc Tín Thực tập sinh: Dương Xuân Hiệp - 16520376 TP Hồ Chí Minh, ngày 14 tháng năm 2021 Dương Xuân Hiệp TS Huỳnh Ngọc Tín NHẬN XÉT Dương Xuân Hiệp TS Huỳnh Ngọc Tín Dương Xuân Hiệp TS Huỳnh Ngọc Tín MỤC LỤC CHƯƠNG 1: GIỚI THIỆU CƠNG TY THỰC TẬP I.Giới thiệu chung công ty II.Sản phẩm công ty CHƯƠNG 2: NỘI DUNG THỰC TẬP I Tìm hiểu cơng ty kỹ công ty Nghiên cứu kỹ thuật 2Lịch làm việc 13 CHƯƠNG 3: CHI TIẾT PROJECT 14 I.Giới thiệu toán 14 II.Thực 15 III.Kế hoạch 15 IV.Kết thu 16 DANH MỤC TÀI LIỆU THAM KHẢO 17 Tổng Kết 18 Dương Xn Hiệp TS Huỳnh Ngọc Tín LỜI NĨI ĐẦU Ngày nay, lĩnh vực AI lên với nhu cầu cấp bách đầy thiết yếu Các ứng dụng AI gây nên phần tác động lớn trải nghiệm người dùng tính chất thương mại hóa cơng ty Cùng với xu phát triển giới, Việt Nam có bước phát triển mạnh mẽ, trở thành kinh tế hội nhập, động, hấp dẫn đầu tư khu vực Trong bối cảnh phát triển hội nhập quốc tế, với phát triển mạnh mẽ cách mạng công nghiệp 4.0, Việt Nam xác định tập trung phát triển cơng nghệ trí tuệ nhân tạo (AI) - mũi nhọn, dự báo trở thành ngành công nghệ đột phá tương lai Sau bốn năm học tập trường, muốn tiếp xúc, học hỏi lợi ích mà AI mang lại , nhờ may mắn gặp gỡ thầy Tín tạo hội cho em tiếp xúc truyền cảm hứng cho em lĩnh vực CNTT AI Và qua đó, muốn tiếp cận, tìm hiểu quy trình tạo tốn AI để giải vấn đề tại, VCCorp cơng ty lý tưởng em thực dự định có thêm kinh nghiêm để rèn giũa thân thật tốt trước trường Dương Xuân Hiệp TS Huỳnh Ngọc Tín LỜI CẢM ƠN Em xin gửi lời cảm ơn tới anh chị cơng ty VCCorp nói chung thầy Huỳnh Ngọc Tín nói riêng tạo điều kiện cho em có hội thực tập công ty Chỉ thời gian ngắn, nhờ dẫn nhiệt tình anh chị công ty, buổi seminar hàng tuần Em học hỏi nhiều điều kỹ cứng mềm Đồng thời hịa nhập với văn hóa cơng ty hoạt động ngoại khóa nói riêng Đặc biệt em xin cảm ơn anh Tùng người hỗ trợ em từ lúc vào cơng ty, anh tận tình hướng dẫn em từ thủ tục cần thiết tới cài đặt mơi trường làm việc, anh góp ý thêm điều em cịn sai sót để sửa lại làm việc tốt Cám ơn anh Tùng bạn Hiếu giúp đỡ em vấn đề kỹ thuật, cách làm việc, phương pháp tìm hiểu tiếp cận toán cụ thể Và cảm ơn em Phạm Huỳnh Tấn Đạt em Nguyễn Trường Khoa Nguyên làm partners em suốt trình thực tập, hỗ trợ em trao đổi củng cố lại kiến thức, kỹ thuật thiếu sai sót Em cảm ơn thầy khoa Cơng nghệ phần mềm nhiệt tình hỗ trợ, tạo điều kiện cho em làm báo cáo Dương Xuân Hiệp TP Hồ Chí Minh, ngày 14 tháng 01 năm 2020 Dương Xuân Hiệp TS Huỳnh Ngọc Tín CHƯƠNG 1: GIỚI THIỆU CÔNG TY THỰC TẬP I Giới thiệu chung công ty Logo VCCorp - Được thành lập vào năm 2006, Công ty CP VCCorp (VCCorp) công ty tiên phong lĩnh vực công nghệ nội dung số Với 10 năm hình thành phát triển, VCCorp xây dựng hệ sinh thái Internet rộng lớn với nhiều sản phẩm sáng tạo, hữu ích nhiều lĩnh vực (quảng cáo trực tuyến, thương mại điện tử, trò chơi trực tuyến ) phủ sóng 90% người sử dụng Internet mobile, có giá trị đóng góp lớn vào phát triển Internet Việt Nam - thập kỷ qua Công ty chia thành nhiều phận khác Trong đó, phận mà em thực tập Admicro - VCCorp sở hữu thương hiệu quảng cáo trực tuyến Admicro đơn vị quảng cáo trực tuyến lớn với hệ thống quảng cáo 200 website uy tín hàng đầu, gần 30 website số thuộc sở hữu VCCorp VCCorp đơn vị độc quyền khai thác quảng cáo Với độ phủ tới 50 triệu độc giả, tương đương 90% người dùng Internet mobile Việt Nam, với sức mạnh công nghệ, sáng tạo không ngừng, Admicro vị dẫn đầu thị trường, giúp trang báo trang thông tin điện tử Việt Nam có nguồn thu tốt Dương Xuân Hiệp TS Huỳnh Ngọc Tín để cung cấp thơng tin cho người dân cạnh tranh website dịch vụ nước ngồi II Sản phẩm cơng ty Là Công ty công nghệ hàng đầu Việt Nam, sản phẩm VCCorp có độ phủ sóng mạnh hầu hết lĩnh vực công nghệ internet như: thương mại điện tử, quảng cáo trực truyến, online media, mobile content, social media… Trên 90% lượng người dùng Internet Việt Nam sử dụng sản phẩm VCCorp ngày khẳng định phong phú đa dạng sản phẩm lĩnh vực mà công ty công nghệ đạt Các sản phẩm công ty: - Thương mại điện tử: Luôn tiên phong, khai phá thị trường TMĐT Việt Nam - khối TMĐT VCCorp khẳng định tên tuổi thị phần việc chiếm thị phần lớn nhất, với lượng khách hàng lên tới 10 triệu số giao dịch chiếm 30% tổng dung lượng giao dịch TMĐT thị trường - Online Media: Khối nội dung trực thuộc VCCorp hoạt động lĩnh vực xuất bản, phát hành thông tin chuyên nghiệp Internet (Cafef, cafebiz, kenh14, afamily,…) - Mobile Adnetwork : Tiếp cận 95% người dùng Mobile, hệ thống Mobile Adnetwork tiếp cận người dùng mobile web & mobile app - Adtech : Sở hữu 45 tỉ view/tháng, AdTech áp dụng hầu hết công nghệ tân tiến vào Adnetwork Dương Xuân Hiệp TS Huỳnh Ngọc Tín CHƯƠNG 2: NỘI DUNG THỰC TẬP Đợt thực tập vừa qua với chủ đề “Xây dựng ứng dụng sửa lỗi tả cho Tiếng Việt” nhằm giúp cho sinh viên tiếp cận phương pháp học máy, nắm quy trình giái quyết, áp dụng tốn AI vào thực tế I Tìm hiểu cơng ty kỹ công ty Thời gian: ngày Nội dung: Giới thiệu công ty, cách tổ chức công ty Được nghe người phụ trách giới thiệu cơng ty, q trình thành lập phát triển, quy trình làm việc từ cao xuống thấp, cách thức tổ chức cơng ty Ngồi ra, thực tập sinh giới thiệu cách thức làm việc công ty thời gian làm, quy định cần phải tuân thủ, cách sử dụng email công việc, setup môi trường cần thiết wifi, VPN, git, redmine giới thiệu qua toán mà team giải Kết quả: Hiểu phận Admicro, trình thành lập phát triển Có kỹ việc sử dụng email cơng việc, làm việc có kế hoạch, có kỷ luật, có trách nhiệm Nghiên cứu kỹ thuật 1.1 Công cụ làm việc Thời gian: ngày Nội dung: Tìm hiểu cơng cụ sử dụng trình làm việc Dương Xuân Hiệp TS Huỳnh Ngọc Tín Trong thời gian này, thực tập sinh anh chị team hướng dẫn sử dụng công cụ hỗ trợ công việc sau OpenVPN: Sử dụng để làm việc nhóm, server Hệ điều hành Linux: Cài đặt package cần thiết để bắt đầu làm việc, chạy thử chương trình Skype: Kênh trao đổi, liên lạc thành viên team Visual Studio Code: IDE sử dụng cho việc thực cài đặt đánh giá, thử nghiệm cho toán Jupyter Notebook: Setup chạy thử nghiệm cho thuật toán Thực hiện: Thực hành sử dụng phần mềm nêu Kết quả: Lập trình sử dụng cơng cụ miễn phí, giúp dễ dàng kết hợp cơng cụ với 1.2 Tìm hiểu Machine Learning Thời gian: ngày Nội dung: Được training kiến thức toán thuật toán máy học • Tìm hiểu tổng quan thuật ngữ supervised unsupervised • Đọc tài liệu thuật tốn máy học: Linear Regression, Logistic Regression, … Thực hiện: • Tham gia đầy đủ buổi training cơng ty • Kiểm tra kiến thức học Kết quả: Nắm kiến thức Machine Learning 10 Dương Xuân Hiệp TS Huỳnh Ngọc Tín 1.3 Tìm hiểu Deep Learning Thời gian: 15 ngày Nội dung: Tìm hiểu, áp dụng kiến thức giải thuật Edit Distance, thuật ngữ Neural Network cấu trúc mạng liên quan như: Ngram Word2Vec Khái niệm Edit Distance: giải thuật thể khoảng cách khác biệt chuỗi ký tự Giải thuật tính khoảng cách chuỗi S chuỗi T dựa vào số bước biến chuỗi S thành chuỗi T thơng qua phép biến đổi là: • Xố ký tự • Thêm ký tự • Thay ký tự ký tự khác Khái niệm Neural Network: Neural Network (Mạng thần kinh nhân tạo), thể loại giải thuật học máy, lấy cảm hứng từ não người Nó giải thuật phổ biến sử dụng giới học máy Mục đích để giải task cụ thể thông qua việc liên kết neuron mạng neural tương tự cách người thực Khái niệm Word2Vec: kỹ thuật xử lý ngơn ngữ tự nhiên Thuật tốn sử dụng mơ hình mạng thần kinh để học liên kết từ (sự liên quan từ) từ kho ngữ liệu văn có dung lượng lớn Sau huấn luyện, mơ hình phát từ đồng nghĩa gợi ý từ bổ sung cho phần câu Các vectơ lựa chọn cẩn thận cho hàm toán học đơn giản cho biết mức độ độ tượng tự ngữ nghĩa từ 11 Dương Xuân Hiệp TS Huỳnh Ngọc Tín Khái niệm Ngram: Trong lĩnh vực ngơn ngữ học tính tốn xác suất, n-gram chuỗi tiếp giáp n phần tử từ mẫu văn hay lời nói cho trước Các phần tử âm tiết, chữ cái, từ cặp sở tùy theo ứng dụng Các n-gram thu thập điển hình từ tập liệu văn tập liệu lời nói Thực hiện: • Tham gia đầy đủ buổi training cơng ty • Seminar kiến thức học Kết quả: Nắm kiến thức học sâu vận dụng vào toán 1.4 Tìm hiểu thư viện hỗ trợ cho tốn Thời gian: ngày Numpy: Numpy thư viện lõi phục vụ cho khoa học máy tính Python, hỗ trợ cho việc tính tốn mảng nhiều chiều, có kích thước lớn với hàm tối ưu áp dụng lên mảng nhiều chiều Numpy đặc biệt hữu ích thực hàm liên quan tới Đại Số Tuyến Tính Pandas: Pandas là thư viện mã nguồn mở với hiệu cao cho phân tích liệu Python phát triển Wes McKinney năm 2008 Chỉ với năm phát triển trở thành thư viện chuẩn cho việc phân tích liệu dùng Python, số tính bật pandas: Python: Python ngơn ngữ lập trình hướng đối tượng, cấp cao, mạnh mẽ, tạo Guido van Rossum Nó dễ dàng để tìm hiểu lên ngơn ngữ lập trình nhập mơn tốt cho người lần đầu tiếp xúc với ngôn ngữ lập trình Python có cấu trúc liệu cấp cao mạnh 12 Dương Xuân Hiệp TS Huỳnh Ngọc Tín mẽ cách tiếp cận đơn giản hiệu lập trình hướng đối tượng Thực hiện: Tham gia đầy đủ buổi training Kết quả: Sử dụng thư viện hỗ trợ vào tốn tìm hiểu Thực project Sau tháng training thực hành, thực tập sinh nắm kiến thức học máy thư viện kèm Trong tháng thứ hai, thực tập sinh áp dụng kiến thức học để thực tốn thực tế Chi tiết đồ án nói phần sau Lịch làm việc Tuần Công Việc Tìm hiểu cơng ty Người hướng dẫn Mức độ Nhận xét hoàn người hướng thành dẫn Anh Tuyên 100% Anh Tuyên 100% quy tắc cần tuân thủ trình làm việc Làm quen với cơng cụ hữu ích cơng việc Tìm hiểu học máy Bạn Hiếu 13 Dương Xuân Hiệp TS Huỳnh Ngọc Tín Anh Tùng Tìm hiểu giải thuật tính Anh Tuyên khoảng cách chuỗi 95% Bạn Hiếu Anh Tùng Tìm hiểu mơ hình Thầy Huỳnh Ngọc Tín mạng học máy Tìm hiểu paper liên Anh Tùng quan đến tốn sửa lỗi Bạn Hiếu tả Thầy Huỳnh Ngọc Tín Triển khai Model Anh Tùng theo paper Thầy Huỳnh Ngọc Tín Thực nghiệm đánh giá Anh Tùng 95% 100% 100% Thầy Huỳnh Ngọc Tín 10 So sánh, cài đặt model Anh Tùng 100% khác để đánh giá, cải Thầy Huỳnh Ngọc Tín thiện CHƯƠNG 3: CHI TIẾT PROJECT I Giới thiệu toán Tự động phát sửa lỗi tả (Spell Correction) tốn xử lý ngơn ngữ tự nhiên Tính có 14 Dương Xn Hiệp TS Huỳnh Ngọc Tín ứng dụng soạn thảo văn bản, nhập liệu, nhận dạng… Với việc viết văn điện thoại di động dễ sinh lỗi, tính tự động sửa lỗi tả thành phần khơng thể thiếu bàn phím Các kỹ thuật spell correction phát triển hoạt động tốt với nhiều ngôn ngữ, tiếng Anh Trong tiếng Việt, spell correction tốn dai dẳng, địi hỏi kiên trì người học 1.1 Paper tham khảo Unsupervised Context-Sensitive Spelling Correction of Clinical FreeText with Word and Character N-Gram Embedding 1.2 Thuật toán - Xây dựng từ điển Tiếng Việt hỗ trợ cho q trình huấn luyện mơ hình - Crawl liệu (Tiếng Việt) từ nhiều nguồn khác Internet nhằm tạo tập liệu lớn hỗ trợ cho q trình tạo mơ hình - Xây dựng mơ hình biểu diễn ngữ nghĩa từ nhờ Word2Vec - Áp dụng Edit Distance nhằm tạo ứng viên, từ xếp hạng ứng 1.3 II viên nhằm tìm từ xác để sửa (nếu câu có từ sai) Dataset 20000 câu (gồm câu sai đúng) Thực Dương Xuân Hiệp III Kế hoạch Giai đoạn tìm hiểu paper liên quan: - Paper Edit Distance - Paper Word2Vec Giai đoạn training model - Xây dụng tập data 20000 câu - Chia thành 15000 liệu train 5000 liệu test 15 Dương Xuân Hiệp TS Huỳnh Ngọc Tín Giai đoạn thử nghiệm - Tuning tham số nhằm cải thiện trình sửa lỗi Giai đoạn đánh giá - Sử dụng độ đánh giá Recall Precision Giai đoạn cải tiến - Tham khảo paper giúp khả cải thiện mơ hình IV Kết thu Mơ hình lại kết tốt với Recall 90% Precision 84% 16 Dương Xuân Hiệp TS Huỳnh Ngọc Tín DANH MỤC TÀI LIỆU THAM KHẢO [1] http://chuvietnhanh.sourceforge.net/SoatLoiChinhTaTiengViet.htm [2] https://viblo.asia/p/so-luoc-word2vec-6J3ZgBoAKmB [3] https://sites.google.com/a/jnlp.org/viet/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tunhien/mo-hinh-ngon-ngu [4] http://viet.jnlp.org/home/nguyen-van-hai/cong-cu-xu-ly-tieng-viet-nguon-mo [5] Python for w2v and ngram 17 Dương Xuân Hiệp TS Huỳnh Ngọc Tín Tổng Kết Như vậy, vịng thời gian thực tập, em xây dựng mơ hình để hồn thành mục tiêu cơng việc, đồng thời từ tiếp tục xây dựng phát triển nghiên cứu để cải thiện toán tương lai Chân thành cảm ơn giúp đỡ anh công ty Cảm ơn thầy Huỳnh Ngọc Tín giúp em hồn thành báo cáo 18 ... AdTech áp dụng hầu hết công nghệ tân tiến vào Adnetwork Dương Xuân Hiệp TS Huỳnh Ngọc Tín CHƯƠNG 2: NỘI DUNG THỰC TẬP Đợt thực tập vừa qua với chủ đề ? ?Xây dựng ứng dụng sửa lỗi tả cho Tiếng Việt? ??... IDE sử dụng cho việc thực cài đặt đánh giá, thử nghiệm cho toán Jupyter Notebook: Setup chạy thử nghiệm cho thuật toán Thực hiện: Thực hành sử dụng phần mềm nêu Kết quả: Lập trình sử dụng cơng... dụng thư viện hỗ trợ vào tốn tìm hiểu Thực project Sau tháng training thực hành, thực tập sinh nắm kiến thức học máy thư viện kèm Trong tháng thứ hai, thực tập sinh áp dụng kiến thức học để thực