Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)

Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)Khám phá quan tâm của người dùng trên mạng xã hội phục vụ công tác truyền thông tuyển sinh của trường đại học (Luận văn thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - ĐỖ NGỌC SƠN KHÁM PHÁ QUAN TÂM CỦA NGƯỜI DÙNG TRÊN MẠNG XÃ HỘI PHỤC VỤ CÔNG TÁC TRUYỀN THÔNG TUYỂN SINH CỦA TRƯỜNG ĐẠI HỌC LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2020 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - ĐỖ NGỌC SƠN KHÁM PHÁ QUAN TÂM CỦA NGƯỜI DÙNG TRÊN MẠNG XÃ HỘI PHỤC VỤ CÔNG TÁC TRUYỀN THÔNG TUYỂN SINH CỦA TRƯỜNG ĐẠI HỌC Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN ĐÌNH QUẾ HÀ NỘI - 2020 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết đưa luận văn trung thực chưa cơng bố cơng trình khác Tác giả luận văn Đỗ Ngọc Sơn LỜI CẢM ƠN Để hoàn thành luận văn, nghiên cứu cố gắng thân, xin cảm ơn PGS.TS Trần Đình Quế - người thầy trực tiếp hướng dẫn, tận tình bảo định hướng cho tơi suốt trình thực luận văn Xin gửi lời cảm ơn chân thành lòng biết ơn sâu sắc tới thầy! Tôi xin gửi lời cảm ơn chân thành tới tất thầy cô giáo Học viện Cơng nghệ Bưu Viễn thơng giảng dạy, hướng dẫn dìu dắt tơi trong suốt trình học tập trường Trong trình nghiên cứu thực luận văn, hướng dẫn nhiệt tình thầy giáo PGS.TS Trần Đình Quế nỗ lực thân nhiên khơng thể tránh khỏi hạn chế, thiếu sót Tơi mong nhận ý kiến đóng góp, sửa chữa từ quý Thầy, Cô bạn bè đồng nghiệp để luận văn hoàn thiện Trân trọng cảm ơn! Tác giả Đỗ Ngọc Sơn MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT v DANH MỤC BẢNG BIỂU vi DANH MỤC HÌNH VẼ vii MỞ ĐẦU Chương 1: TỔNG QUAN VỀ NGHIÊN CỨU QUAN TÂM NGƯỜI DÙNG TRÊN MẠNG XÃ HỘI 1.1 Tổng quan Mạng xã hội 1.1.1 Giới thiệu Mạng xã hội 1.1.2 Đặc điểm Mạng xã hội .6 1.1.3 Ứng dụng Mạng xã hội .6 1.2 Bài toán nghiên cứu quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học 1.2.1 Bài toàn nghiên cứu quan tâm người dùng mạng xã hội 1.2.2 Bài toán nghiên cứu quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học .11 1.2.3 Ý nghĩa toán .15 1.2.4 Những thách thức toán .15 1.3 Khai phá liệu biểu diễn liệu văn .15 1.3.1 Giới thiệu khai phá liệu (datamining) 15 1.3.2 Khai phá liệu văn 18 1.3.3 Mơ hình biểu diễn liệu văn .22 1.4 Kết luận .26 Chương 2: MƠ HÌNH GIẢI QUYẾT BÀI TOÁN 27 2.1 Xác định đặc trưng 27 2.1.1 Tầm quan trọng Xác định đặc trưng .27 2.1.2 Một số ví dụ Xác định đặc trưng 27 2.2 Mô hình túi từ 29 2.2.1 Túi từ 29 2.2.2 Phương pháp Phương pháp Tần số xuất từ - Tần số văn nghịch đảo (TF-IDF) 29 2.2.3 Phương pháp Phân rã giá trị số - SVD .31 2.3 Một số thuật tốn học có giám sát 32 2.3.1 Thuật tốn Nạve Bayes 32 2.3.2 Thuật toán vector hỗ trợ 35 2.4 Phương pháp khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học dựa xử lý ngôn ngữ tự nhiên 39 2.5 Kết luận 40 Chương 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 41 3.2 Dữ liệu 41 3.2.1 Thu thập liệu 41 3.2.2 Mô tả liệu 42 3.3 Phần mềm công cụ sử dụng 43 3.4 Xử lý liệu 44 3.5 Kết thử nghiệm đánh giá 47 KẾT LUẬN 50 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 51 PHỤ LỤC 53 DANH MỤC TỪ VIẾT TẮT Từ viết tắt BOW IDF KDD KPDL MXH NB SVD SVM TF Tiếng Anh Bag of words Inverse Document Frequency Knowledge Discovery in Tiếng Việt Túi từ Tần số văn nghịch đảo Phát tri thức sở Databases Data mining Social network Naïve Bayes Singular Value liệu Khai phá liệu Mạng xã hội Naïve Bayes Decomposition Support Vector Machine Term Frequency Phân rã giá trị số Máy vector hỗ trợ Tần số xuất từ DANH MỤC BẢNG BIỂU Bảng 1.1 Các từ dừng (stopwords) tiếng việt 22 Bảng 3.1 Môi trường thử nghiệm 44 Bảng 3.2 Bảng độ lớn vector từ khóa thuộc ngành học .49 DANH MỤC HÌNH VẼ Hình 1.1 Trang Thơng tin Chính phủ Việt Nam mạng xã hội Facebook Hình 1.2 Sử dụng mạng xã hội để kinh doanh, quảng cáo trở nên phổ biến nở rộ Hình 1.3 Những dòng trạng thái Tổng thống Donald Trump nhận lượng tương tác lớn mạng xã hội Twitter Hình 1.4 Người dùng tương tác với viết thông tin tư vấn tuyển sinh mạng xã hội Facebook 10 Hình 1.5 Fanpage trường Đại học Kiến trúc Hà Nội mạng xã hội Facebook .12 Hình 1.6 News feed ơng chủ Facebook Mark Zuckerberg .14 Hình 1.7 Các bước Data Mining & KDD 17 Hình 1.8 Lược đồ thống kê tần số từ theo định luật Zipf .24 Hình 1.9 Biểu diễn vector văn không gian chiều 25 Hình 2.1 Ba thành phần SVD 34 Hình 2.2 Hình Siêu phẳng phân chia liệu học thành lớp + – với khoảng cách biên lớn 37 Hình 2.3 Minh họa toán phân lớp phương pháp SVM 38 Hình 3.1 Giao diện phần mềm Simple UID 42 Hình 3.2 Dữ liệu người dùng thu từ Facebook 43 Hình 3.3 Dữ liệu viết người dùng Facebook .44 Hinh 3.4 Dữ liệu sau trình tách từ 45 Hình 3.5 File stopwords từ điển .45 Hình 3.6 Dữ liệu thu sau vector hóa 47 Hình 3.7 Kết thu với từ khóa ngành học 48 Hình 3.8 Biểu đồ tỉ lệ quan tâm người dùng tới ngành học 50 Bước 5: Tiến hành đánh giá kết thu bước bước Với từ khóa xây dựng bước 4, tiến hành trích xuất liệu vector đại diện từ khóa từ CSDL thu bước Như trình bày chương II đồ án, độ lớn vector đại diện từ khóa thể cho cường độ xuất chúng liệu văn Bởi vector đại diện cho từ khố ngành học lớn cường độ xuất từ nhiều thước đo cho quan tâm người dùng tới từ khố, ngành học Độ lớn vector khơng gian tính theo cơng thức: - ||A|| độ lớn vector A=[]; - trọng số vector A 3.5 Kết thử nghiệm đánh giá Luận văn tiến hành thử nghiệm mô hình Bag of Words (BoW) liệu thu từ mạng xã hội Facebook Đồng thời đánh giá kết áp dụng vào thực tiễn công tác truyền thông tuyển sinh Trường Đại học Kiến trúc Hà Nội Sau trình Xử lý liệu nêu trên, tác giả thu thông số cho từ khóa ngành học Hình 3.7 Kết thu với từ khóa ngành học Từ kết sau q trình vector hóa văn bản, tác giả biết độ lớn vector biểu diễn từ khố từ tính tốn tỉ lệ tương quan quan tâm người dùng ngành học Từ khóa cấp_nước thốt_nước khơng thu kết khơng xuất sở liệu Độ lớn vector đại diện cho từ khoá sau: Bảng 3.2 Bảng độ lớn vector từ khóa thuộc ngành học Ngành học Xây dựng Kiến trúc – Quy hoạch Kỹ thuật Hạ tầng đô thị Mỹ thuật – Nội thất Quản lý Đơ thị Từ khóa vật_liệu cơng_trình kết_cấu thi_công xây_dựng kiến_trúc quy_hoạch thiết_kế cấu_trúc cảnh_quan môi_trường cấp_nước thốt_nước giao_thơng hạ_tầng mỹ_thuật đồ_họa điêu_khắc hội_họa thời_trang kinh_tế quản_lý môi_giới đầu_tư kinh_doanh Độ lớn vector 3.31786 2.77719 3.237185 3.109306 2.462262 3.346985 3.622615 2.846713 2.888134 3.343251 3.070959 0.0 0.0 3.383439 3.632892 4.282763 4.183288 3.427316 3.707231 3.906045 3.048389 2.621017 3.359173 3.468024 2.848544 Như trình bày vector đại diện cho từ khố ngành học lớn cường độ xuất từ nhiều thước đo cho quan tâm người dùng tới từ khố, ngành học Vì từ độ lớn vector thuộc tính từ khóa, tác giả biết tỉ lệ quan tâm người dung tới ngành đào tạo hình 29 Mỹ thuật - Nội thất 21 Kiến trúc - Quy hoạch Hạ tầng đô thị Quản lý đô thị Xây dựng 13 19 18 Hình 3.8 Biểu đồ tỉ lệ quan tâm người dùng tới ngành học Với kết thu sau trình xử lý liệu tác giả nhận thấy người dùng 22 tuổi khu vực Hà Nội có quan tâm nhiều tới ngành học Mỹ thuật – Nội thất cao chiếm 29% tiếp đến Kiến trúc – Quy hoạch 21%, cịn lại Quản lý thị 19%, Xây dựng 18% Hạ tầng đô thị 13% 3.6 Kết luận Chương luận văn trình bày phương pháp lấy liệu viết người dùng mạng xã hội Facebook, cách xử lý liệu Kết thử nghiệm phương pháp xử lý ngơn ngữ tự nhiên với mơ hình Túi từ, với kết thu cho biết tỉ lệ quan tâm người dùng mạng xã hội tới ngành học trường ĐH Kiến trúc Hà Nội Kết tương đồng với thực tế ghi nhận Trường Đại học Kiến trúc năm gần ngành liên quan đến nghệ thuật đón nhận có số lượng thí sinh dự thi tăng đột biến KẾT LUẬN Những kết đạt được: Với mục tiêu nghiên cứu đề ra, luận văn sâu nghiên cứu vấn đề xung quanh toán khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học đạt kết sau: - Khảo sát số thuật tốn học có giám sát vấn đề biểu diễn xử lý liệu văn - Phát biểu xây dựng mơ hình xử lý toán khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học triển khai giải tốn theo mơ hình - Xây dựng từ khóa tương ứng ngành học Trường ĐH Kiến trúc Hà Nội áp dụng chương trình thử nghiệm Tiến hành thử nghiệm với mơ hình xử lý ngôn ngữ tự nhiên, đưa kết phân loại quan tâm người dùng ngành học áp dụng vào công tác truyền thông tuyển sinh Trường Đại học Kiến trúc triển khai tập trung mạnh vào việc thông tin, quảng bá hai ngành học Mỹ thuật – Nội thất Kiến trúc – Quy hoạch địa bàn thành phố Hà Nội Hướng phát triển luận văn: Trong trình thực luận văn, khơng tránh khỏi có số hạn chế điều kiện mặt thời gian trình độ học viên Vì vậy, hướng nghiên cứu học viên là: - Ngoài việc sử dụng viết, luận văn hướng đến việc sử dụng thông tin khác mà người dùng chia sẻ mạng xã hội để khám phá vấn đề mà họ quan tâm Cũng như, không dừng lại mạng xã hội Facebook mà cịn mở rộng cho mạng xã hội phổ biến khác - Bài toán khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học có ứng dụng rộng rãi cho nhiều lĩnh vực Kết toán công cụ đắc lực để sở giáo dục có điều chỉnh, định hướng cơng tác truyền thơng sau tác động đến quan điểm người dùng Do đó, luận văn tiếp tục phát triển theo hướng ứng dụng toán DANH MỤC CÁC TÀI LIỆU THAM KHẢO Danh mục tài liệu tiếng Việt: [1] Nguyễn Thị Hội, Trần Đình Quế, ‘2018’, “Ước lượng quan tâm người dùng mạng xã hội dựa tương tự viết”, Tạp chí khoa học cơng nghệ Đại học Đà Nẵng, ‘số 7’ [2] Nguyễn Thị Hội, Đàm Gia Mạnh, Trần Đình Quế (2017), Độ tương đồng ngữ nghĩa viết mạng xã hội dựa Wikipedia, Hội nghị Khoa học Quốc gia lần thứ X – Nghiên cứu ứng dụng CNTT (FAIR'10), Đà Nẵng [3] Bùi Khánh Linh, Nguyễn Thị Thu Hà, Nguyễn Thị Ngọc Tú, Đào Thanh Tĩnh (2016), Phân loại văn tiếng việt dựa mơ hình chủ đề, Hội nghị Khoa học Quốc gia lần thứ IX ―Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9), Cần Thơ Danh mục tài liệu tiếng Anh: [4] Bing Liu (2007), Web Data Mining, Department of Computer Science University of Illinois at Chicago, Springer, Berlin, Germany [5] Diana Palsetia, Md Mostofa, Ali Patwary, Kunpeng Zhang, Kathy Lee, Christopher Moran, Yves Xie, Daniel Honbo, Ankit Agrawal, Wei-keng Liao, Alok Choudhary, User-Interest based Community Extraction in Social Networks, ACM, NY, USA, 2012 [6] Mehdi Allahyari, Seyed Amin Pouriyeh, Mehdi Assefi, Saied Safaei, Elizabeth D Trippe, Juan B Gutierrez, Krys J Kochut, ‘2017’, “A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques”, arXiv:1707.02919 [cs.CL] [7] M F Schwartz and D C M Wood (1993), “Discovering shared interests using graph analysis”, Communications of the ACM, pp 78–89 [8] TH Nguyen, DQ Tran, GM Dam, MH Nguyen, Estimating the similarity of social network users based on behaviors, Vietnam Journal of Computer Science, 2018 [9] X Li, L Guo, and Y E Zhao (2008), “Tag-based social interest discovery”, World Wide Web New York, NY, USA: ACM, pp 675–684 Danh mục website tham khảo: [10] https://vinaresearch.net/, nhập ngày 24/02/2020 PHỤ LỤC Danh sách từ stop words tiếng Việt: a_ha à_ơi á_à bập_bà_bậ p_bõmbập_bõm bất_chợt bất_cứ bất_đồ bất_giác bỗng_chốc bỗng_dưng bỗng_đâu bỗng_khơng bỗng_nhiên chết_nỗi chết_tiệt chết_thật chí_chết Chín có có có_thể bất_kể bỏ_bố ạ_ơi ai_ai ai_nấy ái_chà ái_dà ái_khanh anh_ta ăn ắt_hẳn ắt_là âu_là ầu_ơ ba bàn bán_mạng bao_giờ bất_kì bất_kỳ bất_luận bất_nhược bất_quá bất_thình_l bất_tử bây_bẩy bây_chừ bây_giờ bây_giờ bây_nhiêu bấy_giờ bấy_chầy bấy_chừ bấy_giờ bấy_lâu bấy_lâu_na bấy_nay bấy_nhiêu bị bỏ_mẹ bởi_chung bởi_nhưng bởi_thế bởi_vậy bởi_vì cả_thảy cả_thảy cả_thể cần căn_cắt cật_lực cật_sức cha_chả chành_chạnh chao_ơi chính_là chính_thị Choa Chú mày chùn ch n cóc khơ coi coi mịi cịn cơng nhiên hồ mà với vậy thơi ình y bao_lăm bao_lâu bao_nả bao_nhiêu bay_biến bằng_ấy bằng_không bằng_nấy bắt_đầu_từ dùng dƣới đạt đoạn biết_bao biết_bao_n hiêu biết_chừng _nào biết_đâu biết_đâu_c hừng biết_đâu_đ biết_mấy bội_phần đến đến đến đều đó đố đơi đơi thật chắc_hẳn chăn_chắn chằn_chặn chẳng_lẽ chẳng_những chẳng_nữa chẳng_phải chầm_chập hàng h ng hiện_nay hèn hết lị Hơi hỡi Hịn Hơn Hung Ít Kém dành không_thể kì lại làm đằng đâu đầu để lơng lốc thể tiện mãi đưa eo gặp giờ nên ngay lập lúc tức tức khắc ngày hết nước hết hình hị khoan hồi nhiều nhóm không thể tuồng Khá khi Khi khơng khiến khó khơn khơn xiết khơng biết khơng có khơng dưng khơng khéo khơng khơng phải phỏng Phụt mực rón rốt sau mặt miễn mơ phật phép số muốn nào nãy năm làhoạ mười thái ngồi ngơi ngƣơi định loạt luật mực sinh tâm tề thiết những nhược oai ối ối hay ô ối tình độ đỗi thể trời ƣ xá trò rằng rất chi đỗi sau so so_sánh số sống tự tất thành thảo thật thêm thế tháo thực tiếp tỏ tị te tồ t khói tơi trời đất tuần từ từ_tốn tức ứừ vả vạn vậy veo vì chƣng vì ví ví vơ hình trung vơ kể vừa vừa xin ... cứu quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học Như nói khám phá quan tâm người dùng mạng xã hội thu hút nhiều quan tâm nghiên cứu Với việc khai phá. .. Ý nghĩa toán Bài toán khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học nói riêng tốn khám phá quan tâm người dùng mạng xã hội nói chung có ý nghĩa... vậy, tác giả chọn đề tài ? ?Khám phá quan tâm người dùng mạng xã hội phục vụ công tác truyền thông tuyển sinh trường đại học? ?? Luận văn dựa việc phân tích viết (status) người dùng mạng xã hội để khám