Ứng dụng học sâu vào xây dựng mô hình rút trích thông tin

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– BÙI LÊ NGỌC MIN ỨNG DỤNG HỌC SÂU VÀO XÂY DỰNG MƠ HÌNH RÚT TRÍCH THƠNG TIN Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, 7/2022 ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– BÙI LÊ NGỌC MIN ỨNG DỤNG HỌC SÂU VÀO XÂY DỰNG MƠ HÌNH RÚT TRÍCH THƠNG TIN Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, 7/2022 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán hướng dẫn khoa học: Cán chấm nhận xét 1: Cán chấm nhận xét 2: Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm 2022 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH TR I H C QU C GIA TP.HCM NG I H C BÁCH KHOA C NG HÒA XÃ H I CH NGH A VI T NAM c l p - T - H nh phúc NHI M V LU N V N TH C S H tên h c viên: BỐI LÊ NG C MIN MSHV: 2070105 Ngày, tháng, n m sinh: 10/08/1996 N i sinh: Phú Yên Chuyên ngành: Khoa h c Máy tính Mã s : 8480101 I TÊN TÀI: NG D NG H C SÂU VÀO XÂY D NG H TH NG RÚT TRÍCH THÔNG TIN II NHI M V VÀ N I DUNG: - Nghiên c u, xây d ng h th ng rút trích th c th quan h s d ng mơ hình h c sâu - Nghiên c u đ xu t ph - Th c nghi m đánh giá k t qu c a ph ng pháp nh m c i thi n đ xác c a mơ hình ng pháp đ xu t III NGÀY GIAO NHI M V : 06/09/2021 IV NGÀY HOÀN THÀNH NHI M V : 06/06/2022 V CÁN B H NG D N: PGS.TS Qu n Thành Th , TS.Nguy n Thiên Bình Tp HCM, ngày 07 tháng 06 n m 2022 CÁN B H NG D N (H tên ch ký) CH NHI M B MÔN ÀO T O (H tên ch ký) Qu n Thành Th TR NG KHOA KHOA H C VÀ K THU T MÁY TÍNH (H tên ch ký) LỜI CÁM ƠN Sau thời gian tiến hành triển khai nghiên cứu, em hoàn thành nội dung luận văn Luận văn hồn thành khơng cơng sức thân tác giả mà cịn có giúp đỡ, hỗ trợ tích cực nhiều cá nhân tập thể Trước hết, em xin gửi lời cảm ơn chân thành sâu sắc đến PGS.TS Quản Thành Thơ, thầy người hướng dẫn trực tiếp trình thực luận văn, nhờ lắng nghe đóng góp ý kiến thầy giúp em hình thành hoàn thiện nhiều ý tưởng Hơn hết thầy người truyền cảm hứng cho em nhiều niềm đam mê với học máy, học sâu, xử lí ngơn ngữ tự nhiên Em xin gửi lời cảm ơn đến chị Nguyễn Võ Thùy Trang giúp đỡ, động viên em nhiều thời gian ban đầu, khoảng thời gian khó khăn em trình thực luận văn, tâm niềm đam mê chị động lực lớn cho em cố gắng ngày Em xin gửi lời cảm ơn đến toàn thể anh, chị, em đồng nghiệp công ty KARGO365 tạo điều kiện cho em trình học thực luận văn tốt nghiệp Em xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, anh, chị lớp cao học động viên, quan tâm giúp đỡ em trình học tập thực luận văn TÓM TẮT LUẬN VĂN Rút trích thực thể quan hệ tác vụ quan trọng tốn rút trích thơng tin, thực thể thường danh từ, tên riêng, địa chỉ, quan hệ thể mối liên quan ngữ nghĩa hai thực thể Trước đây, phương pháp truyền thống thường sử dụng mơ hình “pipeline”, xác định thực thể trước, sau xác định quan hệ cặp thực thể có Điều dẫn đến việc lan truyền lỗi từ bước rút trích thực thể sang bước rút trích quan hệ Đồng thời chưa thể rõ ràng đóng góp quan hệ vào việc rút trích thực thể Do nội dung luận văn này, học viên tập trung khai thác tốn rút trích thơng tin theo hướng rút trích đồng thời thực thể quan hệ (joint entity and relation extraction) , đưa ba đề xuất cải thiện độ xác mơ hình so với mơ hình tham khảo • Sử dụng thơng tin loại thực thể vào dự đốn quan hệ: học viên sử dụng thông tin loại thực thể (entity type) cho việc dự đoán loại quan hệ hai thực thể Trong học viên dùng thêm cổng cập nhật để lọc lượng thông tin cần dùng từ loại thực thể nhằm hạn chế vấn đề cascading errors đồng thời thay đổi cách huấn luyện mô hình từ teacher-forcing sang non-teacher-forcing để mơ hình làm quen tự điều chỉnh bước rút trích thực thể sai • Sử dụng thơng tin quan hệ vào dự đoán loại thực thể: để phần chia sẻ thơng tin từ việc rút trích quan hệ cho việc rút trích thực thể, sau rút trích quan hệ, học viên nhúng thông tin loại quan hệ vào hai thực thể cấu thành quan hệ, thực phân lớp thực thể, thực thể lúc gắn thêm nhãn thể thực thể có đóng góp vào mối quan hệ hay khơng Điều cung cấp thêm thơng tin cho mơ hình, giúp cải thiện độ xác • Tích hợp thơng tin dependency parse vào dự đốn quan hệ: học viên tích hợp thông tin dependency parse từ câu vào vector biểu diễn quan hệ Thông tin dependency parse từ lấy việc sử dụng thư viện sciSpacy (đối với tập liệu lĩnh vực khoa học) Theo quan sát thực nghiệm chứng tỏ việc tích hợp thêm thơng tin dependency parse góp phần cải thiện độ xác cho việc dự đốn quan hệ ABSTRACT OF DISSERTATION Entity and relation extraction is one of the most essential tasks in information extraction, entities are nouns, names, and addresses, a relation is a semantic relation between two entities The traditional method often uses “pipeline” models which address these tasks as independent components of a pipeline This causes cascading errors from the entity recognition task to the relation extraction task And also these “pipeline” models can’t show the contribution of the relation extraction task to the entity recognition task Therefore, in this dissertation, I focus on the joint entity and relation extraction task, which is an end-to-end model for extracting entity and relation, and I have proposes to improve the performance of the baseline model: • Use entity type in relation extraction task: I use the information of two entity types to extract their relation type I also use an update gate to filter essential information of entity types to alleviate cascading errors and change the way train model from teacher forcing to non-teacher forcing to help the model can adapt if entity type is wrong • Use relation type in entity recognition task: to share information from relation extraction task to entity recognition task, after predicting the relation type of two entities, I concatenate relation type information to vector represent entity mention and then classify entity type Tprovidesvide information to entities, and helps increase model performance • Intergrate dependency parse in relation extraction task: I intergrate dependency parse tag of each word in vector represent relation I use sciSpacy (in domain science) to get dependency parse ishowsmation As experience show that using dependency parse Information can improve performance in relation extraction tasks LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp: “ỨNG DỤNG HỌC SÂU VÀO XÂY DỰNG HỆ THỐNG RÚT TRÍCH THƠNG TIN” cơng trình nghiên cứu thân Những phần sử dụng tài liệu tham khảo luận văn nêu rõ phần tài liệu tham khảo Các số liệu, kết trình bày luận văn hoàn toàn trung thực, sai tơi xin chịu hồn tồn trách nhiệm chịu kỷ luật môn nhà trường đề Mục lục Chương GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu đề tài 1.2 Mô tả tốn rút trích đồng thời thực thể quan hệ 1.3 Mục tiêu nhiệm vụ luận văn 1.4 Giới hạn đề tài 1.5 Đóng góp luận văn 1.6 Tóm tắt nội dung Chương CƠ SỞ KIẾN THỨC 2.1 Mơ hình Artificial Neural Network - ANN 2.2 Mơ hình Recurrent Neural Network - RNN 11 2.3 Mơ hình Long Short-Term Memory 14 2.4 Cơ chế Attention 17 Chương CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 21 3.1 Hướng tiếp cận span-based 22 3.2 Mô hình đa tác vụ cho tốn rút trích quan hệ thực thể 23 3.2.1 Mơ hình đa tác vụ 23 3.2.2 Sử dụng đa tác vụ kết hợp đồ thị 26 3.3 BERT đời trở lại hệ thống pipeline 27 Chương MƠ HÌNH ĐỀ XUẤT 30 4.1 Mơ hình tham khảo 30 4.2 Phương pháp đánh giá 33 4.2.1 precision, reall f1-score 33 4.2.2 micro-F1 macro-F1 34 i 4.3 Đề xuất 1: Sử dụng thông tin loại thực thể vào dự đoán quan hệ 35 4.3.1 Động lực ý tưởng 35 4.3.2 Mơ tả mơ hình 36 4.3.3 Tham số cấu hình mơ hình 38 4.3.4 Kết thực nhiệm thảo luận 39 4.4 Đề xuất 2: Sử dụng thông tin loại quan hệ vào dự đoán thực thể 41 4.4.1 Động lực ý tưởng 41 4.4.2 Mơ tả mơ hình 42 4.4.3 Tham số cấu hình mơ hình 43 4.4.4 Kết thực nhiệm thảo luận 44 4.5 Đề xuất 3: Tích hợp thơng tin dependency parse vào dự đoán quan hệ 46 4.5.1 Động lực ý tưởng 46 4.5.2 Mơ tả mơ hình 47 4.5.3 Tham số cấu hình mơ hình 49 4.5.4 Kết thực nhiệm thảo luận 51 Chương KẾT LUẬN 53 Tài liệu tham khảo 56 ii ngờ ý tưởng cải thiện tác vụ entity recognition kết thực nghiệm lại cho thấy cải thiện lớn hai tác vụ rút trích quan hệ Nguyên nhân span đầu vào lớp entity classification tạo nên nhờ relation type lớp relation classification, tính hàm mát mát Le2 , tầng relation classification phần tinh chỉnh lại trọng số, điều giúp FFNN lớp relation classification huấn luyện tốt Việc sử dụng FFNN cho entity classification entity classification gượng ép, nhiên so sánh với việc sử dụng hai FFNN khác kết thực nghiệm cho thấy dùng FFNN cho độ xác cao hẳn Ngoài ra, học viên thử vài cách tích khác cho hàm mát L cho mơ hình, L = Lr + Le1 + Le2 L = Lr + Le2 , nhiên kết mang lại không tốt Nếu trọng số Le1 Le2 ngang với Lr gây việc cân việc cập nhật trọng số, bỏ qua Le1 tính Le1 lại khơng nên, entity mention đầu tầng entity classification đầu vào cho tầng relation classification Vấn đề F1-score cho entity recognition khơng cải thiện nhiều bị ảnh hưởng cách tính hàm mát, hàm mát Le2 (đầu tác vụ entity recognition) bị giảm nửa tính mát tổng cho mơ hình (theo cơng thức 4.5) Do việc tìm cơng thức tính hàm mát mát tốt giúp tăng thêm F1-score cho tác vụ entity recognition, điểm cần cải thiện tương lai 45 4.5 Đề xuất 3: Tích hợp thơng tin dependency parse vào dự đốn quan hệ 4.5.1 Động lực ý tưởng Động lực cho đề xuất bắt nguồn từ cơng trình SpERT.PL [19], theo tác giả tích hợp thơng tin POS (Part-Of-Speech) vào tác vụ rút trích thực thể Từ câu nói đầu vào, tác mơ hình sử dụng spacy (scispacy[24] lĩnh vực khoa học) để rút trích nhãn POS cho từ Mỗi nhãn embedding tương ứng với vector ma trận pos embedding Vector pos embedding nối vào vector biểu diễn span (tương tự token SpERT, span có nhiều từ lấy maxpooling tất vector pos embedding) đưa qua FFNN để rút trích loại thực thể Mơ hình cho thấy kết đươc cải thiện việc tận dụng nhãn POS từ cung cấp nhiều thơng tin cho mơ hình, chẳng hạn thực thể khả cao phải danh từ, hay ngược lại động từ, tính từ, trạng từ khơng thể thực thể Từ đó, học viên hình thành ý tưởng việc tìm cách tích hợp thơng tin dependency parse vào mơ hình rút trích thực thể quan hệ Dependency parse thể phụ thuộc cú pháp từ câu Một dependency parse gồm có thành phần, Head từ được bổ nghĩa, Dependent từ bổ nghĩa Label thể quan hệ phụ thuộc hai từ Như câu “Gus is learning piano” Ta thấy có mối quan hệ (learning, Gus, nsubj) thể từ learning bổ nghĩa từ Gus, Gus chủ thể hành động learning (nsubj tương ứng với chủ thể), hay quan hệ (learning, piano, dobj) thể đối tượng hành động learning piano (dobj: tân ngữ trực tiếp) 46 Hình 4.4: Các quan hệ Dependency parse câu Đối với dataset sciERC thuộc lĩnh vực khoa học, học viên sử dụng thư viện scispacy [24] để rút trích nhãn dependency parse từ câu Mỗi câu có từ có nhãn ROOT, thường động từ nhãn từ lại thể cho mối quan hệ bổ nghĩa từ với ROOT Trong SpERT.PL sử dụng thơng tin POS cho tác vụ rút trích thực thể, học viên sử dụng thông tin dependency parcing cho tác vụ rút trích quan hệ Ngồi ra, để kiểm tra ảnh hưởng việc tích hợp dependency parse vào mơ hình bất kì, học viên thực tích hợp dependency parse vào SpERT.PL để tận dụng khả tương tác hai tác vụ rút trích thực thể rút trích quan hệ, với SpERT.PL tích hợp POS cịn SpERT.DP tích hợp dependency parse 4.5.2 Mơ tả mơ hình Theo mơ hình SpERT.DP (SpERT + Dependency Parse), thấy tất bước: embedding, span representation, entity classification, entity filter, relation classification kế thừa từ mô hình tham khảo Điểm khác 47 Hình 4.5: Mơ hình đề xuất SpERT.DP, tận dụng thông tin Dependency parse vào rút trích quan hệ biệt bước relation representation, học viên nối thêm vector dependency embedding (màu vàng) lấy từ ma trận dependency embedding cho hai span cần dự đoán quan hệ, vector ngữ cảnh hai span Vector dependency embedding thể cho nhãn dependency parse thực thể, có nhiều từ span lấy maxpooling giá trị dependency embedding tất từ span đó, tương tự với vector ngữ cảnh Số lượng nhãn dependency parse có giới hạn, có 76 nhãn scispacy Nhằm mục đích kiểm tra mức độ ảnh hưởng dependency parse vào mơ hình rút trích thực thể quan hệ tận dụng khả tương tác hai tác vụ rút trích thực thể rút trích quan hệ, học viên kết hợp SpERT.PL (tích hợp thơng tin POS vào vector biểu diễn thực thể) SpERT.DP (tích hợp thơng tin dependency parse vào vector biểu diễn quan hệ) Theo hình 4.6, vector biểu diễn token, ngồi thơng tin sau 48 Hình 4.6: Mơ hình đề xuất SpERT.PDP, kết hợp POS Dependency Parse encode BERT (màu xanh dương) kết hợp thêm thông tin POS (màu xanh cây), embedding từ ma trận POS embedding, nhãn POS tương ứng với vector Vector biểu diễn token sử dụng cho tác vụ rút trích thực thể quan hệ Khác với SpERT.PL, học viên nhận thấy việc sử dụng vector entity classification từ tầng entity classifier cho tác vụ rút trích quan hệ khơng giúp cải thiện độ xác mơ hình 4.5.3 Tham số cấu hình mơ hình Bảng 4.5 4.6 Bảng mơ tả tham số dùng cho mơ hình SpERT.DP SpERT.PDP Giống mơ tham khảo, hai mơ hình học viên sử dụng BERTBASE (cased) cho tầng embedding, mơ hình huấn luyện với bacth size 10, 25 epoch Số lượng negative entity negative relation 100, FFNN có tầng dropout với tỉ lệ 0.1 số learning 49 Tham số batch size epochs neg entity count neg relation count learning rate dropout prob max span size size embedding dependency parse size embedding relation filter threshold Giá trị 10 25 100 100 5e-5 0.1 10 25 25 0.4 Bảng 4.5: Các tham số cho mơ hình SpERT.DP Tham số batch size epochs neg entity count neg relation count learning rate dropout prob max span size size embedding dependency parse size embedding pos tagging size embedding relation filter threshold Giá trị 10 25 100 100 5e-5 0.1 10 25 25 25 0.4 Bảng 4.6: Các tham số cho mơ hình SpERT.PDP rate 5e − 5, kích lớn lớn span 10 từ Ngưỡng dùng để lọc quan hệ tầng relation classification 0.4 Vector biểu diễn kích thước span (size embedding) có độ dài 25 Vector biểu diễn nhãn dependency parse có độ dài 25, với SpERT.PDP có thêm vector biểu diễn nhãn POS với độ dài 25 50 4.5.4 Kết thực nhiệm thảo luận Mơ hình/Tác vụ SpERT SpERT.PL SpERT.DP SpERT.PDP Entity Recognition 70.33 70.53 70.45 70.71 Strickly RE 50.84 51.25 51.73 51.94 Non-Strickly RE 38.57 39.41 39.88 40.68 Bảng 4.7: Kết thực nghiệm mơ hình SpERT.DP SpERT.PDP so với mơ hình tham khảo tập dataset SciERC Các số ghi bảng 4.7 tính trung bình sau 30 lần chạy mơ hình.Thơng số bảng độ đo micro F1-score SpERT SpERT.PL hai mơ hình mơ hình tham khảo, Spert.RT SpERT.PDP hai mơ hình học viên đề xuất Có ba tác vụ mơ hình entity recognition (rút trích thực thể), non-strickly RE (rút trích quan hệ khơng có điều kiện loại thực thể 1.2) strickly RE (rút trích quan hệ có điều kiện loại thực thể 1.2) So với mơ hình tham khảo, SpERT.DP cải thiện 0.12 F1-score cho tác vụ rút trích thực thể, 0.89 tác vụ non-strickly RE 1.31 cho tác vụ strickly RE Đối với SpERT.PDP, kết hợp thêm thơng tin POS, mơ hình cải thiện thêm 0.26 F1-score cho tác vụ entity recognition, 0.21 cho tác vụ nonstrickly RE 0.8 cho tác vụ strickly RE Có thể thấy việc tích hợp thêm thơng tin POS hay dependency parse cách hợp lí vào mơ hình mang lại kết tốt hơn, đồng thời mơ hình SpERT.DP, mơ hình thêm thơng tin dependency parse tác vụ rút trích quan hệ mơ hình cải thiện F1-score cho tác vụ rút trích thực thể (tăng 0.12) Đây ưu điểm lớn mơ hình end-to-end, mơ hình tác vụ có 51 thể tác động qua lại lẫn bổ sung cho Song không hẳn lúc điều mang lại kết tích cực, thấy mơ hình SpERT.RE đề xuất Chương 4.4, mơ hình có cải thiện F1-score tích hợp thông tin quan hệ vào thực thể, số cải thiện khơng lớn kì vọng (0.11) việc chia sẻ giá trị hàm mát trình cập nhật trọng số Mục tiêu hầu hết cơng trình nêu đề xuất học viên luận văn cố gắng làm giàu thông tin vector biểu diễn entity mention quan hệ Có thể sử dụng thông tin nội suy (thay đổi cấu trúc mô hình, cố gắng tận dụng triệt để thơng tin sẵn có dataset quan hệ, corereference resolution, tận dụng loại thực thể, loại quan hệ) thông tin từ bên ngồi (POS, dependency parse) Tuy có nhược điểm nhỏ mơ hình bị phụ thuộc vào thư viện ngồi này, có phần tương tự phương pháp truyền thống bị phụ thuộc vào ontology, rule-based cho lĩnh vực, ngôn ngữ, dataset, xong điểm cải thiện thư viện ngày tổng quát, phục vụ cho nhiều lĩnh vực, ngôn ngữ khác 52 Chương KẾT LUẬN Nội dung luận văn tập trung vào tốn rút trích thơng tin cụ thể hướng rút trích đồng thời thực thể quan hệ mơ hình, giới thiệu sơ lược tốn, cơng trình liên quan sử dụng phương pháp span-based để biểu diễn entity mention Đồng thời đề xuất ba phương pháp giúp cải thiện độ xác tốn rút trích đồng thời thực thể quan hệ dựa mơ hình tham khảo SpERT Đầu tiên phương pháp sử dụng thơng tin loại thực thể cho việc rút trích quan hệ sử dụng cổng cập nhật (update gate) để định lượng thông tin cần dùng loại thực thể Đồng thời thay đổi cách lấy mẫu trình huấn luyện cho tác vụ rút trích quan hệ, đổi từ teacher forcing sang non-teacher forcing, sử dụng thực thể lấy từ tác vụ rút trích thực thể để huấn luyện cho tác vụ rút trích quan hệ Tiếp theo tận dụng quan hệ hai entity mention để dự đoán loại thực thể chúng Sau rút trích quan hệ hai entity mention, mơ hình sử dụng thơng tin loại quan hệ vị trí entity mention quan hệ để tạo thành hai nhãn, gắn nhãn vào vector biểu diễn entity mention trước phân loại thực thể Cuối phương pháp tích hợp thơng tin dependency parse vào vector biểu diễn quan hệ Mơ hình sử dụng scispacy để rút trích nhãn dependency parse từ cấu thành hai entity mention ngữ cảnh, sử dụng nhãn tích hợp vào thơng tin vector biểu diễn quan hệ hai entity mention Trong tương lai, việc cải thiện vấn đề cịn tồn đọng mơ hình đề xuất, học viên nghiên cứu thêm số hướng khác tốn 53 rút trích thơng tin Về vấn đề cịn tồn đọng mơ hình đề xuất, bàn luận đề xuất Chương 4.4 đề xuất Chương 4.5, vấn đề quan sát toán end-to-end vấn đề trọng số hàm tác vụ với Ở mơ hình end-to-end trước [18], [14], [15], [2], [22] trọng số tác vụ mơ hình ngang tính tổng mát mơ hình Điều có ưu điểm giúp mơ hình cải thiện tất vụ nhiên nhược điểm mơ hình khó tập trung nhiều vào tác vụ cụ thể Mơ hình đạt SOTA tác vụ rút trích quan hệ cho dataset sciERC marker-PL [20], với F1-score cho tác vụ non-strickly RE 53.2 F1-score cho tác vụ entity recognition 69.9, mô hình mơ hình pipeline khơng phải end-to-end Dựa vào phần thấy mơ hình tập trung vào tác vụ định hiệu mang lại cho tác vụ tốt việc phải chia sẻ tập trung cho nhiều tác vụ, coi đánh đổi khác mơ hình end-to-end pipeline Do vấn đề học viên cần nghiên cứu tương lai vấn đề tính hàm mát mơ hình end-to-end việc thay đổi trọng số giá trị mát tác vụ cách hợp lí Thứ hai hướng tiếp cận khơng giám sát (unsupervised) cho tốn rút trích thơng tin Một vấn đề lớn tốn rút trích thơng tin theo hướng có giám sát (supervised) số lượng tập dataset có gán nhãn, có chất lượng thực cịn hạn chế Trái lại, lượng liệu chưa gán nhãn gán nhãn phần tồn nhiều nhiều lĩnh vực khác Việc xây dựng mơ hình tự động chuyển liệu không gán nhãn gán nhãn phần thành tập liệu có nhãn chất lượng tốt toán thú vị mang lại lợi ích to lớn Có thể bắt đầu nghiên cứu áp dụng mơ hình GAN [25], autoencoder vào tốn rút trích thơng tin theo hướng tiếp cận khơng giám 54 sát Ngoài ra, sử dụng GNN vào tốn rút trích thơng tin hướng có nhiều thử thách hội Đặc biệt, có ngày nhiều phương pháp ánh xạ đỉnh cạnh đồ thị vào mơ hình không đơn giản đỉnh đại diện cho thực thể, cạnh đại diện cho quan hệ phương pháp truyền thống trước Do đó, GNN hướng tiềm tận dụng tốt mối quan hệ thực thể quan hệ, thực thể nhiều câu khác nhau, , vào việc giải vấn đề hạn chế mặt liệu tốn rút trích thông tin 55 Tài liệu tham khảo [1] K Lee, L He, M Lewis, and L Zettlemoyer, “End-to-end neural coreference resolution,” arXiv preprint arXiv:1707.07045, 2017 [2] M Eberts and A Ulges, “Span-based joint entity and relation extraction with transformer pre-training,” arXiv preprint arXiv:1909.07755, 2019 [3] J J Hopfield, “Artificial neural networks,” IEEE Circuits and Devices Magazine, vol 4, no 5, pp 3–10, 1988 [4] Y LeCun, Y Bengio, and G Hinton, “Deep learning,” nature, vol 521, no 7553, pp 436–444, 2015 [5] T Mikolov, M Karafiát, L Burget, J Cernockỳ, and S Khudanpur, “Recurrent neural network based language model.,” in Interspeech, vol 2, pp 1045–1048, Makuhari, 2010 [6] S Hochreiter and J Schmidhuber, “Long short-term memory,” Neural computation, vol 9, no 8, pp 1735–1780, 1997 [7] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” arXiv preprint arXiv:1409.0473, 2014 [8] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, Ł Kaiser, and I Polosukhin, “Attention is all you need,” Advances in neural information processing systems, vol 30, 2017 [9] I Sutskever, O Vinyals, and Q V Le, “Sequence to sequence learning with neural networks,” Advances in neural information processing systems, vol 27, 2014 56 [10] J Devlin, M.-W Chang, K Lee, and K Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” arXiv preprint arXiv:1810.04805, 2018 [11] Y Luan, M Ostendorf, and H Hajishirzi, “Scientific information extraction with semi-supervised neural tagging,” arXiv preprint arXiv:1708.06075, 2017 [12] S Gupta and C D Manning, “Analyzing the dynamics of research by extracting key aspects of scientific papers,” in Proceedings of The 5th International Joint Conference on Natural Language Processing (IJCNLP ), pp 1–9, 2011 [13] K Gábor, D Buscaldi, A.-K Schumann, B QasemiZadeh, H Zargayouna, and T Charnois, “Semeval-2018 task 7: Semantic relation extraction and classification in scientific papers,” in International Workshop on Semantic Evaluation (SemEval-2018), pp 679–688, 2017 [14] Y Luan, L He, M Ostendorf, and H Hajishirzi, “Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction,” arXiv preprint arXiv:1808.09602, 2018 [15] Y Luan, D Wadden, L He, A Shah, M Ostendorf, and H Hajishirzi, “A general framework for information extraction using dynamic span graphs,” arXiv preprint arXiv:1904.03296, 2019 [16] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space,” arXiv preprint arXiv:1301.3781, 2013 57 [17] J Pennington, R Socher, and C D Manning, “Glove: Global vectors for word representation,” in Proc Conf Empirical Methods Natural Language Process (EMNLP), pp 1532–1543, 2014 [18] M Miwa and M Bansal, “End-to-end relation extraction using lstms on sequences and tree structures,” arXiv preprint arXiv:1601.00770, 2016 [19] T Santosh, P Chakraborty, S Dutta, D K Sanyal, and P P Das, “Joint entity and relation extraction from scientific documents: Role of linguistic information and entity types,” 2021 [20] D Ye, Y Lin, and M Sun, “Pack together: Entity and relation extraction with levitated marker,” arXiv preprint arXiv:2109.06067, 2021 [21] I Beltagy, K Lo, and A Cohan, “Scibert: A pretrained language model for scientific text,” arXiv preprint arXiv:1903.10676, 2019 [22] S Lyu and H Chen, “Relation classification with entity type restriction,” arXiv preprint arXiv:2105.08393, 2021 [23] Z Yan, C Zhang, J Fu, Q Zhang, and Z Wei, “A partition filter network for joint entity and relation extraction,” arXiv preprint arXiv:2108.12202, 2021 [24] M Neumann, D King, I Beltagy, and W Ammar, “Scispacy: fast and robust models for biomedical natural language processing,” arXiv preprint arXiv:1902.07669, 2019 [25] I Goodfellow, J Pouget-Abadie, M Mirza, B Xu, D Warde-Farley, S Ozair, A Courville, and Y Bengio, “Generative adversarial nets,” Advances in Neural Information Processing Systems, vol 27, 2014 58 PH N LÝ L CH TRÍCH NGANG H tên: Bùi Lê Ng c Min Ngày, tháng, n m sinh: 10/08/1996 N i sinh: Phú Yên a ch liên l c: 656/78 CMT8, ph ng 11, qu n 3, TP HCM QUÁ TRÌNH ÀO T O Tháng 9/2014 – tháng 11/2019: Sinh viên, chuyên ngành k thu t máy tính, đ i h c Bách Khoa – DHQG-HCM Tháng 9/2020 – nay: H c viên cao h c, chuyên ngành khoa h c máy tính, đ i h c Bách Khoa – DHQG-HCM Q TRÌNH CƠNG TÁC Tháng 6/2018 – tháng 6/2020: L p trình viên cơng ty c ph n công ngh MIDEAS Tháng 6/2020 – nay: L p trình viên cơng ty c ph n cơng ngh KARGO365 ...ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– BÙI LÊ NGỌC MIN ỨNG DỤNG HỌC SÂU VÀO XÂY DỰNG MƠ HÌNH RÚT TRÍCH THƠNG TIN Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 8480101... mơ hình rút trích thực thể quan hệ với câu S đầu vào 1.3 Mục tiêu nhiệm vụ luận văn Mục tiêu luận văn hướng đến việc nghiên cứu xây dựng mô hình rút trích thơng tin sử dụng phương pháp học sâu. .. 31 iii 4.2 Mơ hình đề xuất SpERT.ET, tận dụng thơng tin loại quan hệ vào rút trích thực thể 37 4.3 Mơ hình đề xuất tận dụng thơng tin loại thực thể vào rút trích quan hệ