Bộ dữ liệu của chúng tôi được tạo ra dựa trên các bài báo chính thống, những mau truyện dan gian, truyện ngụ ngôn, truyện cười của văn học Việt Nam dé dam bảo được tính khách quan, độ ch
BiLSTM 88EE272:s eooasf TTA LH LH He 7 1.2 Hướng nghiên cứu chính của khóa luận -‹- ¿5+ 8 CHƯƠNG 2: CƠ SỞ VÀ PHƯƠNG PHAP NGHIÊN CỨU
BiLSTM (Bidirectional Long Short-Term Memory) là một mô hình mang nâng cấp dựa trên mang LSTM Thay vì chi quan tâm đến ngữ cảnh nằm ở trước từ được xét như LSTM thì BiLSTM còn có thé quan tâm đến ngữ cảnh của những từ sau từ được xét Mô hình làm được như vậy bởi vì nó sử dụng 2 mô hình LSTM cho 2 chiều phải và trái [5] Ngoài ra vì cốt lõi vẫn là LSTM nên BiLSTM được thừa hưởng hết những đặc tính của LSTM Với sự nâng cấp trên, mô hình BiLSTM rất thích hợp đề áp dụng để giải bài toán của chúng tôi.
1.2 Hướng nghiên cứu chính của khóa luận
Luận văn của chúng tôi được phát trién dựa trên mô hình mạng BiLSTM.
Dựa vào BiLSTM chúng tôi tạo ra một bộ dữ liệu mà trong đó mỗi dòng dữ liệu của chúng tôi sẽ chứa các thông tin của từ phía trước và từ phía sau của từ được xét Nhưng thay vì quan tâm hết tất cả thì chúng tôi sẽ xét cứng có bao nhiêu dữ liệu được quan tâm so với một từ được xét Điều này giúp tăng tốc độ xử lí và trong quá trình huấn luyện máy có thê học được nhiều hơn Dưới đây là 2 ví dụ so sánh giữa BILSTM và hướng nghiên cứu của chúng tôi:
Ví dụ 1: Cách làm việc của model BiLSTM:
DỮ KIÊN PHÍA TRƯỚC VÀ
Hình 1 4: Mô tả cách thức hoạt động cua BiLSTM, mô hình sé dùng hai LSTM để thu thập thông tin về những từ đứng trước và đứng sau từ “năng” nhằm xác định ngữ cảnh của từ trong câu.
Ví dụ 2: Cách xây dựng bộ dữ liệu của luận văn bằng cách lấy thông tin về ba từ đứng trước và ba từ đứng sau của từ “năng” nhăm xác định ngữ cảnh của từ trong câu.
J Điểm nổi bật của Trend Micro Titanium Bo là khi|nâng hoạt động mượt] mà trên cả những hệ thống có cấu hình không quá mạnh.
DỮ KIÊN PHÍA TRƯỚC VÀ
Hình 1 5: Mô tả cách thức xây dựng bộ dữ liệu.
CHƯƠNG 2: CƠ SỞ VÀ PHƯƠNG PHÁP NGHIÊN CỨU
Sơ lược về bộ dữ liệu sử dụng trong luận văn
Sơ lược về bộ dữ liệu -ccetttrrkrriiiiiiiirrrrre 10 2.1.2 Tìm hiểu về VnCoreNLP -ccccccvvvvvveeeeeeccee 10 2.1.3 Phân tích bộ dữ liệu -¿-¿- ¿cty 12 2.2 Tìm hiểu và phân tích thuật toán - ¿-+z++22+++++vx+zrrzrrxse 13 2.2.1 Thuật toán SVM(Support Vector Machine) -‹ 13 2 SVM HH re 13
Như đã nói ở trên, cách để tạo ra bộ dữ liệu là phương pháp nghiên cứu chính của đự án Dựa trên nguyên lí hoạt động của mô hình mạng BILSTM, chúng tôi áp dụng và điều chỉnh đề tạo ra bộ dữ liệu và đưa bài toán của chúng tôi về bài toán phân lớp (Classification) Dựa trên những mẫu báo, mẫu truyện được trích xuất và đưa qua VnCoreNLP dé có thé lay được những thông tin cần thiết cho việc tái lập ngữ cảnh của từ được xét Dưới đây là quy trình thiết lập ra bộ dữ liệu:
Trích xuất những thông tin cân thiệt và dán nhãn cười Văn học Việt Nam
Hình 2 1: Sơ đô mô tả về quá trình tạo ra bộ dữ liệu cho luận văn 2.1.2 Tìm hiểu về VnCoreNLP
VnCoreNLP là một đường dẫn chú thích Java NLP cho tiếng Việt Nó hỗ trợ các tác vụ xử lý ngôn ngữ tự nhiên (NLP) chính bao gồm phân đoạn từ, gắn thẻ một phần giọng nói (POS), nhận dạng thực thể được đặt tên (NER) và phân tích cú pháp phụ thuộc, đồng thời thu được các kết quả hiện tại (SOTA) cho những nhiệm vụ [6] Việc phát hành VnCoreNLP dé cung cap các chú thích ngôn ngữ
10 phong phú nhằm tạo điều kiện thuận lợi cho công việc nghiên cứu về NLP Việt
Nam. im hd es +r O-Q #6 ®@ 2+ ff Package Explorer $3 = ỉỡVnCoreNLPExamplejava #3
BS public class Vn NLPExample
Y test i void main(String[] args) throws IOException [{
> wi JRE System Library [JavaSE-1.8)
` mi Referenced Libraries ệ h đang làm việc tại Dai học Quốc gia Hà Nội.
> © VnCoreNLP-1.0.1.jar ko ng DU a, see vedo te See
[Bì LICENSE System out.printin( ÍS) Readme.md
VnCoreNLPExample (1) [Java Application] /Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk/Contents/Home 2018-03-18 11:30:52 INFO WordSegmenter:24 - Loading WordSegmenter
2018-03-18 11:30:52 INFO PosTagger:21 - Loading POS Tagging model 2018-03-18 11:30:57 INFO NerRecognizer:33 - Loading NER model
2018-03-18 11:31:11 INFO DependencyParser:28 - Loading Dependency Parsing model a Ong Ne 0 4 sub
2 Nguyễn Khắc_ ChúcNp B-PER 1 nmod dang R lôm_việcV tợi E Đại _học N
Hình 2 2: Chỉ tiết về những thông tin có trong kết quả của VnCoreNLP. Ở hình trên cho thấy sau khi chúng tôi đưa một đoạn văn vào chương trình chúng ta thu được 5 cột dữ liệu bao gồm: e Form: Phân loại từ. e Postag: Chi dạng từ. e NerLabel: Nhận dạng thực thê được đặt tên (chỉ nhận dạng được tên riêng trong dạng viết hoa). e Head: Chỉ mục đầu của từ hiện tại. e DepLabel: Kiểu quan hệ phụ thuộc.
2.1.3 Phân tích bộ dữ liệu
Người xưa có câu: “Phong ba bão táp không bằng ngữ pháp Việt Nam” Do số lượng từ ngữ phong phú và sự đa dạng của từ ngữ địa phương với việc đặt tên không theo bat kì quy luật nào nên bộ dữ liệu của chúng tôi sẽ dựa vào “ ngữ cảnh
” của từng từ dé phân biệt chúng Hãy xem vi dụ bên dưới:
> Ví dụ: “Anh Lừa đã lừa hết tiền của bạn thân dé đi cá độ bóng đá”. Ở trong câu ta thấy có 2 từ lừa được xuất hiện, có thé thay rằng từ “lừa” thứ nhất trong câu là tên riêng khi từ này đứng sau đại từ xưng hô “Anh” và đứng trước phó từ “đã”, trong khi từ “lừa” thứ 2 là động từ vì đứng sau phó từ “đã” và đứng trước tính từ “hết”.
Thông qua ví dụ trên ta có thé thay được việc xác định tên riêng dựa trên “ngữ cảnh” của từng từ hữu ích như thế nào trong việc xây dựng bộ dữ liệu cho luận văn.
Bộ dữ liệu * của chúng tôi gồm 22 cột bao gồm các thông tin postag, nerlabel, deplabel cho từ được xét và 3 thông tin như vậy cho 3 từ đứng trước và
3 từ đứng sau của từ được xét trong cùng 1 câu Chúng tôi chon 3 từ đứng trước và 3 từ đứng sau vì đây là độ dài phù hợp đề xét một “ngữ cảnh” cho một từ Tránh trường hợp “học thuộc lòng” của máy và giúp cho việc dự đoán của máy được đa dạng hơn, chính xác hơn.
4 Thông tin về bang dữ liệu chúng tôi đã đề cập tại mục 2 phần Phụ Lục.
12 etna pusTag nghhẻ deplabel posTaglegn netabeBegnt deabeBegh! posTaghegn2 nưườsy2 delabeBegr? posTaghegn3 nơibiewi deplabeBegh3 poiaglei ngiẻgARei cepLabelfer! poílgAMfvl nerabeAfes2 dơiðeMle2 paiaglfei esate} dọbaAfei vil Íp 8ŒG mi L 0 &t N 0 ob 0 moi œ 0 coud ® b3 ay te b3 moi
1 RG mỹ A 0 moi te BORG mai ô 0 oud Lễ 3 mời a 0 pact œ 0 pect
1% TRG md tp RG moi Ẳœ 0 cod Yo 206 mi a 0 nưd Cu] pact N 0 sb
1% BAR sb ON 0 sb a 0 punct t 0 m a 0 punct w det œ 0 pd
1 Íp BORG mi N 0 ob A 0 mai a pact Y 0 te v veod E 0 moi
1 BG mb 0 cE) v 0 vd B vmod a 0 nc " det œ 0 dt
1 Íp PR mi ƠI 0 pact M 0 et ứ pnt Y 0 vui 8 0 ủb œ 0 pect
1 wm RO sb ¥ 0 vod 8 0 ob œ nd v 0 vmod ý veod E 0 mui
1 BƠ bY 0 wod v 0 vod E mai a 0 ad w et œ 0 pect
0 BR pb ON 0 ob A 0 mai E moi N 0 moi v 0 moủ a 0 dt
1 lp BC mm H 0 eet a 0 purct Ny mời A 0 mời k 0 mủ 'o HR mơi
1 FR md tp tức mod A 0 mọi Ne amd E 0 PP 0 pact ý 0 mi
1% BŒ mb lạ 0 mod v 0 mai E vmod E 0 m v 0 _ œ 0 pct
1 BŒG mh lọ 0 sb v 0 ep E 0 boc a 0 and % #RG sb ý 0 vmod
0 G@ 0 pet ¥ 0 co) B 0 k 'o HRG nh tp ĐỨC sẽ v 0 veod A 0 vod
1% BƠ sb E 0 boc % BORG pb bì 0 pect v 0 vui A vod 0 eb
1% BŒG sb ƠI 0 panct w 0 et œ nnẻ A 0 vmod ep M 0 #t
1 BRR mi Œ 0 pnet v 0 vod Ne 0 ob a 0 nnẻ w tr a 0 pect
0 G 0 mm ¥ vod & 0 ob Yo HR moi M 0 tmp a 0 pact te BB sb
M me 0 ob te BPR rod œ 0 pnt a 0 pact % HR sb A 0 mi
0 0 0 mứ Ww HR moủ œ 0 purct M tp ® BR sb A 0 gủ to ERG mơi
1 ot BR sb GH 0 panct M 0 op œ 0 pare A 0 ed " 0C mod œ 0 ad
0 A 0 pi M 0 tr a 0 punct 'o HR sb LÔ BORG mod a 0 pact te ERG sb
1% BORG mmi GH 0 pact % BR sb A 0 mi a 0 pnt % #06 sb ý 0 ứ
0 G 0 prt Ww HR sb A 0 od o RG rod ® BORG sb v 0 ep A 0 vmod
1% BG sb A 0 wd w BORG rad œ 0 paret v 0 te A 0 voi N 0 ab
1% BORG md VY 0 moi N 0 vod ty 0 moi ai a parc % RG mọi qi 0 pect
0 G 0 mm N 0 wai Ny 0 moi 'o BR mai ® B086 moi a 0 pact M 0 et
1 Íp BƠG mơi lý 0 moi ® ERG mai œ 0 rẻ a 0 pet M 0 tet œ 0 pect
1% 8G ob} 0 ob A 0 vod E 0 be œ 0 nnt ® BORG sb V 0 mui
0 0 0 mm A wuủ £ 0 be 'o 24086 eb tp 806 sb v 0 vod 0 mod
1 % BŒG sb E 0 boc % BORG pb a 0 pant ý 0 vmod A vod E 0 vai
1 lp B mi ƠI 0 pnt M 0 moi a pant a 0 pact N mai Œ 0 oud
1 BR md tp 0 mod N 0 m M 0 et E 0 boc N nh œ 0 pect
0 € 0 kh N 0 ot M 0 tet Yo HR rad N 0 nh a 0 pect te ERG sb
0 oN m OM 0 det w BPR smd t boc a 0 and ® RG sb ý 0 root Œ pet Np 32 mod Ẹ 0 boc W ob to BA sẽ v 0 root 0 vai
Hình 2 3: Chỉ tiết về những thông tin có trong bộ dit liệu.
2.2 Tìm hiểu và phân tích thuật toán
Trong luận văn này, chúng tôi sẽ áp dụng những thuật toán phân lớp của máy học đề áp dụng và nghiên cứu.
Chúng tôi hướng đến 2 thuật toán thông dụng và ứng dụng tốt trong những bài toán phân lớp đó là SVM(Support Vector Machine) và Decision Tree (cây quyết định).
2.2.1 Thuật toán SVM(Support Vector Machine)
SVM(Support Vector Machine) là một thuật toán hoc may có giám sat được sử dụng rất phô biến ngày nay trong các bài toán phân lớp (Classification) hay hồi qui (Regression).
SVM được đề xuất boi Vladimir N Vapnik và các đồng nhiệp của ông vào năm 1963 tại Nga và sau đó trở nên phô biến trong những năm 90 nhờ ứng dụng
13 giải quyết các bài toán phi tuyến tính (nonlinear) bằng phương pháp Kernel Triek.
2.2.1.2 Cách thức hoạt động cia SVM Ý tưởng của SVM là tìm một siêu phẳng (hyper lane) dé phân tách các điểm dữ liệu Siêu phăng này sẽ chia không gian thành các miền khác nhau và mỗi miền sẽ chứa một loại dir liệu.
Hình 2 4: Mô tả về mặt siêu phẳng (hyper lane)
Siêu phăng được biểu diễn bằng hàm số =b (W và X là các vector là tích vô hướng ) Hay WT=b ( WT là ma trận chuyến vị).
Hình 2 5: Minh họa về việc xuất hiện nhiêu mặt siêu phẳng trong không gian dữ liệu tuyén tinh.
Van dé là có rất nhiều siêu phăng, chúng ta phải chon cái nào dé tối ưu nhất ?
2.2.1.2.1 Cách chọn mặt phẳng tối ưu
Giả sử chúng ta phải phân loại tập dữ liệu các lớp dương (màu xanh) nhãn là
“1” và các dữ liệu lớp âm (màu đỏ) nhãn là “-1” (tập dit liệu có thé phân tách tuyến tính).
Siêu phang phân tách hai lớp giữ liệu Ho thỏa mãn + b =0 Siêu phẳng nay tạo ra hai nửa không gian (half space) dữ liệu:
- Không gian các dữ liệu lớp âm Xj thỏa mãn +b =1.
Hình 2 6: Mô tả về margin? trong SVM và các tham số liên quan.
- Tiếp theo ta chọn hai siêu phăng lề H; đi qua điểm thuộc lớp âm và Ha đi qua điểm thuộc lớp dương đều song song với Ho: e Hi: +b=-1 e Ho: +b=l
- Khoảng cách từ Hi đến Ho là d.
- Khoảng cách từ H› đến Ho là d+
- m=d.+ d được gọi là mức lề.
- Siêu phang tối ưu mà chúng ta cần chọn là siêu phăng phân tách có lề lớn nhất Lý thuyết hoc máy đã chi ra rằng một siêu phẳng như vậy sẽ cực tiêu hóa giới hạn lỗi mặc phải.
5 Margin: khoảng cách giữa 2 điểm dữ liệu.
- Khoảng cách từ một điểm Xx đến siêu phăng Ho là —l# Trong đó
IIWI|| là độ dài của vector W: IIWIl = =,/ w? + wŸ + - W¿
- _ Khoảng cách từ một điêm Xj năm trên H; đên Ho là d = ae = wi
- _ Khoảng cách từ một diém Xj; năm trên Hạ đên Ho là d.= — = mm
Từ đó ta có thé tinh được mức lề m = d + dy = wi
Gio thì ban đã hiéu vì sao các diém năm trên hai siêu phăng Hi va H2 được gọi là các Support Vector.
Vậy việc training trong giải thuật SVM tương đương với bài toán cực tiểu hóa có ràng buộc sau đây:
Nhân hai về bat dang thức của (1) và (2) với yi ta được điều kiện thu gọn: yi ( 1Vi =I n
Bài toán tương đương với: e Minimize’: |IWII
Support Vector: Vector hỗ trợ.
7 Minimize: Thuật ngữ hạn chê tôi da.
17 e Subject toŸ: yi () > 1Vi= I n (3)
Với điều kiện nay, đây chính là bài toán hard-margin° của SVM.
Việc xác định siêu phăng Ho được giả sử trong điều kiện lý tưởng tập dữ liệu có thể phân tách tuyến tinh, tìm được hai siêu phăng lề Hi và H› ma không có điểm dữ liệu nào nằm giữa chúng Vậy trong trường hợp tập dữ liệu có nhiều điểm gây nhiễu, các điểm này không thỏa mãn điều kiện (3) bài toán không tìm được lời giai.
XÂY DUNG VÀ PHÁT TRIEN KHÓA LUẬN
Cài đặt, thiết lập, phương thức hoạt động ở Frond-end
React Js là một thư viện viết bang javascript, dùng dé xay dung giao dién người dùng (UI) React được sử dung rộng rãi va có hệ sinh thai đa dang phong phú Giao diện tat nhiên là quan trọng, nhưng không phải là tất cả Dé phát triển ứng dụng hoàn chỉnh, một mình React Js là không làm được tất cả, bạn sẽ cần thêm:
- Server side language: dé xử lý logic và lưu trữ dữ liệu trên server.
- HTML/CSS: nếu bạn làm ứng dụng Web.
- Flux/Redux: là một kiến trúc giúp bạn tô chức code rõ ràng và sạch sẽ.
- Objective C: nếu ban sử dung React đề xây dựng app cho iOS.
React Js là một thư viện javascript dùng dé xây dựng UL, UI ở đây được dùng chính ở 2 nền tảng Web và Mobile Ở lĩnh vực Web, sử dung React Js có thé dem lai trai nghiệm tốt cho người dùng, cũng như kha năng Hot Reload '”giúp ban lập trình nhanh hơn.
17 Hot Reload: là dé giữ cho ứng dụng chạy và đưa vào các phiên ban mới của tệp mà bạn đã chỉnh sửa trong thời gian chạy Bằng cách này, bạn không bị mat bat kỳ trạng thái nào, điều này đặc biệt hữu ích nếu bạn đang điều chỉnh giao diện người dùng.
Hình 3.1: Logo của React-Js.
- Create-react-app là bộ công cụ giúp ta tạo ra cau trúc cho project
- Cai đặt Create-react-app: npm install create-react-app -g
- Tao project react mới: create-react-app
Hình 3 2: Cách khởi tạo dự án React-js.
Axios là một HTTP client được viết dựa trên Promises ‘duoc dùng dé hỗ trợ cho việc xây dựng các ứng dụng API từ đơn giản đến phức tạp và có thê được sử dụng cả ở trình duyệt hay Node.Js.
Việc tạo ra một HTTP request dùng dé lay hay lưu dữ liệu là một trong những nhiệm vụ thường thấy mà một ứng dụng Javascript phía client cần phải làm khi muốn giao tiếp với phía server Các thư viện bên thứ 3, đặc biệt là JQuery từ xưa đến nay vẫn là một trong những cách phô biến dé giúp cho các browser API tương tác tốt hơn, rõ ràng mạch lạc hơn và xóa đi những điểm khác biệt giữa các browser với nhau.
- Su dụng câu lệnh: npm install axios-save.
3.1.1.3 Phương thức hoạt động của frond-end
Các chức năng của trang Home:
- Tiép nhận yêu câu phân tích câu của người dùng.
18 Thực hiện các yêu cầu HTTP dé tìm nạp hoặc lưu dữ liệu là một trong những tác vụ phô biến nhất mà ứng dụng JavaScript phía máy khách sẽ cần thực hiện.
- Hién thị chuỗi đã được dự đoán từ server.
- Người dùng có thé kiểm duyệt về kết quả, có thé báo cáo sai sót gặp phải, nhằm tạo nên sự gắn kết từ 2 phía người dùng và nhà phát hanh, cùng chung tay tạo nên một ứng dụng Web có độ chính xác cao hơn.
Comment: hoàng là m¿htfP: //localhost: 5000
"7add_ text “request: i — a fa ae er er wt: //localhost j :5000/delete
Hoà IS g là Một Chang trai t6t_bung ttp://localhost:5000/train
| view on http://localhost:5000/ detail
Hoàng là Một Chang trai tua
Hoàng là Một b:“ trai tốt bụng http: Mocalhost: :5000/
Hình 3 4: Mô tả về cách điều hướng API của các chức năng có trong trang
G @ locahoscsoo0 Ê) nhập, dữuliệu đầu oi —— = vào
Hoàng là Một Chàng trai tốt_bụng
Hoàng là Một Chang trai tốt bụng
Một Chàng trai tốt bụng
Hình 3 5: Thông tin chỉ tiết về các tính năng có trong trang Home.
Những chức năng và thông tin tại trang Report:
- Hién thị các báo cáo của khách hàng về những trường hợp sai sót mà họ gặp phải.
- Kiểm tra, phê duyệt những trường hợp cần thêm vào cho bộ dữ liệu và cân nhắc loại bỏ những trường hợp không cần thiết. Đây là trarltftÐ://l ocalh ost: 5000
““nạaiea'người dùng gồm' = : co cột:GŠâu:tôn"tại từ: bị khiếu nại, ‘http:lilocalhest:S000 mg câu:†hú,bae nhiêu trong đoạn : odimodity aa thuý, kiều và thu van là 2 chị em ọ Ea
Hình 3 6: Chi tiết về các tính năng và cách điều hướng API có trong trang
Chức năng và thông tin tai trang History: Hién thi lịch sử nhập của người dùng, kết quả và ngày giờ nhập của dùng giúp người dùng xem lại kết quả dễ dàng hơn tránh tình trạng mat thời gian nhập lai.
Hình 3 7: Chi tiết về các thông tin hiển thị trên trang History.
Chức năng và thông tin tại trang Accept: Chứa các báo cáo về trường hợp sai xót đã được phê duyệt Giúp cho người dùng có thể kiểm tra những báo cáo của họ đã
42 được phê duyệt hoặc giúp cho cấp trên kiểm tra lại lịch sử phê duyệt của các kiểm duyệt viên.
Hình 3 8: Chi tiết về các thông tin hiển thị trên trang Accept.
Chức năng và thông tin tại trang Login: Là trang đăng nhập của các admin, cấp quyên phê duyệt khiếu nại cho kiểm duyệt viên. ©® loeahhost3000/0gi Đăng nhập
Hình 3 9: Trang đăng nhập cua các Admin
