báo cáo chuyên đề lập TRÌNH ỨNG DỤNG DEMO

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT KHOA KỸ THUẬT CÔNG NGHỆ Tên đề tài: BIỂU DIỄN KẾT QUẢ THEO DÕI CÁC CHỦ ĐỀ TRÊN TẠP CHÍ ĐIỆN TỬ VỚI THUẬT TỐN RÚT TRÍCH TỪ KHĨA VÀ CƠ SỞ DỮ LIỆU ĐỒ THỊ Mã số: Tên báo cáo chuyên đề: LẬP TRÌNH ỨNG DỤNG DEMO Chủ nhiệm đề tài: ThS Võ Thị Hồng Thắm Người chủ trì thực chuyên đề: ThS Võ Thị Hồng Thắm Bình Dương, 06/2019 LẤY DỮ LIỆU TỪ TRANG WEB Phần trình bày cách cài đặt mô-đun thu thập liệu a Cài đặt NetBeans Đầu tiên, thực tải NetBeans từ đường liên kết sau (xem hình 1): https://netbeans.org/downloads/ Hình 1: Giao diện tải NetBean Nếu hệ thống chưa cài đặt JDK, tải cài JDK trước theo đường liên kết sau (xem hình 2): http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads2133151.html Hình 2: giao diện tải JDK Chọn để cài vào hệ thống b Vận hành mơ – đun crawler Cấu hình đường dẫn liên kết đến trang web cần thu thập liệu fiel config.txt Hệ thống tự động tải liệu kích hoạt Dữ liệu lưu trữ theo cấu trúc thiết kế Hình trình bày đoạn mã vận hành mơ – đun crawler Hình 3: Vận hành mơ – đun crawler XỬ LÝ DỮ LIỆU Phần trình bày cách cài đặt Apache Spark window 10 a Cài đặt Scala 2.10.5 Tải Scala từ https://scala-lang.org/download/2.10.5.html (xem hình 4) Giải nén lưu vào ổ đĩa D:\Scala Hình 4: Giao diện tải Scala Thiết lập biến môi trường: o Variable name: SCALA_HOME: o Variable value: D:\Scala Thiết lập biến hệ thống: o Variable: Path o Value: %SCALA_HOME%\bin b Cài đặt Java Tải Java theo đường dẫn http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads2133151.html Thiết lập biến môi trường: Biến người dùng: o Variable name: JAVA_HOME o Variable value: C:\Program Files\Java\jdk1.8.0_131 Biến người dùng o Variable: Path o Value: %JAVA_HOME%\bin c Cài đặt Spark 1.6.3 Tải Apache Spark từ đường dẫn http://spark.apache.org/downloads.html (xem hình 5) Giải nén lưu trữ vào D:\Server\spark Hình 5: Giao diện tải Spark Thiết lập biến môi trường: Biến người dùng: o Variable name: SPARK_HOME o Variable value: D:\Server\spark Biến người dùng: o Variable: Path o Value: %SPARK_HOME%\bin d Cài đặt Windows Utilities 2.6.x Tải file winutils.exe từ đường dẫn https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.4/bin Lưu file vào D:\Server\hadoop- winutils\2.6.4\bin Chọn đường dẫn phù hợp với phiên dử dụng (Xem hình 6) Hình 6: Giao diện tải winutils Thiết lập biến môi trường: Biến người dùng: o Variable name: HADOOP_HOME o Variable value: D:\Server\hadoop-winutils\2.6.4 Biến người dùng: o Variable: Path o Value: %HADOOP_HOME%\bin e Chạy Spark command line để kiểm tra kết cài đặt (xem hình 7) Hình 7: Kiểm tra kết cài đặt Windows Utilities f Cài đặt Maven 3.3 Tải Maven from the link: http://apache.mivzakim.net/maven/maven-3/3.3.9/binaries/apache-maven3.3.9-bin.zip Giải nén lưu C:\Program Files Thiết lập biến môi trường: Biến người dùng: o Variable name: MAVEN_HOME o Variable value: C:\Program Files\apache-maven-3.3.9 Biến người dùng: o Variable: Path o Value: %MAVEN_HOME%\bin Thiết lập MAVEN cho IntelliJ IDEA: Biến người dùng: o Variable name: M2_HOME o Variable value: C:\Program Files\apache-maven-3.3.9 Biến người dùng: o Variable: Path o Value: %M2_HOME%\bin g Kiểm tra việc cài đặt Maven JDK (xem hình 8) Hình 8: Kiểm tra kết cài đặt JDK Maven ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ a Cài đặt Neo4j 3.2 Tải Neo4j từ đường dẫn https://neo4j.com/download/other-releases/ (xem hình 9) Hình 9: Giao diện tải Neo4j b Cài đặt apache-tomcat-9.x Tải Apache Tomcat từ đường dẫn https://tomcat.apache.org/download-90.cgi Tải tập tin nén: apache-tomcat-9.0.0.M22-windowx64.zip (xem hình 10) Hình 10: Giao diện tải apache-tomcat c Install IntelliJ IDEA Tải từ đường dẫn https://www.jetbrains.com/idea/download/#section=windows (xem hình 11) Hình 11: Giao diện tải IntelliJ IDEA Chọn phiên ultimate có hỗ trợ phát triển web d Tải vis.js Tải vis.min.js vis.js.css http://visjs.org/ Có thể thêm vào thư viện project Thực theo hướng dẫn sau e Import library in libs Mở File  Project Structure  SDKs tab Sau đó, click vào nút dấu cộng màu xanh để mở thư viện: ${project_path}/libs f Import local library in libs sử dụng command line Có thành phần cần thêm vào thư viện (xem hình 12) Hình 12: Các thành phần cần thêm vào thư viện Các bước thực hiện: Tải tập tin jar từ trang web Tạo thư mục lưu trữ tập tin vừa tải Thực thi lệnh sau mvn install:install-file -Dfile= -DgroupId= -DartifactId= -Dversion= Dpackaging= Ví dụ: Muốn thêm file jar vào thư mục ${project_dir} thư viện, chạy lệnh: mvn install:install-file -Dfile=${project_dir}/src/main/resources/libs/commons-math-1.2.jar -DgroupId=org.apache.commons.math -DartifactId=commons-math -Dversion=1.2 -Dpackaging=jar Tiếp theo, tập tin pom.xml, thêm đoạn mã sau: org.apache.commons.math commons-math 1.2 KẾT QUẢ TÍNH TỐN CỦA THUẬT TỐN TF-IDF Bảng trình bày kết rút trích số từ khóa dựa vào thuật tốn TF-IDF, tính tốn theo cơng thức thuật tốn so sánh với kết chạy chương trình lưu vào sở liệu đồ thị Bảng 1: Kết rút trích số từ khóa dựa vào thuật tốn TF-IDF, tính tốn thử 03 báo Từ rút trích từ báo Số từ Số tài liệu TF Log(3/số tài liệu) TF-IDF Apple 0.172413793 0.405465108 0.069907777 thương_hiệu 0.068965517 1.098612289 0.075766365 đắt_giá 0.034482759 1.098612289 0.037883182 10 hành_tinh 0.034482759 1.098612289 0.037883182 thống_trị 0.034482759 1.098612289 0.037883182 táo 0.034482759 1.098612289 0.037883182 khuyết 0.034482759 1.098612289 0.037883182 sở_hữu 0.034482759 1.098612289 0.037883182 sát_thủ 0.034482759 1.098612289 0.037883182 smartphone 0.034482759 0.405465108 0.013981555 Android 0.034482759 1.098612289 0.037883182 iPhone 0.068965517 thú_nhận 0.034482759 1.098612289 0.037883182 lỗi 0.034482759 0.405465108 0.013981555 kết 0.034482759 1.098612289 0.037883182 nối_mạng 0.034482759 1.098612289 0.037883182 Apple_Watch 0.034482759 1.098612289 0.037883182 sản_xuất 0.034482759 0.405465108 0.013981555 đại_trà 0.034482759 1.098612289 0.037883182 dữ_liệu 0.034482759 1.098612289 0.037883182 Face 0.034482759 1.098612289 0.037883182 ID 0.034482759 1.098612289 0.037883182 đánh_cắp 0.034482759 1.098612289 0.037883182 11 0 Từ rút trích từ báo Số từ Số tài liệu TF Log(3/số tài liệu) TF-IDF iPhone 0.073170732 Plus 0.073170732 0.405465108 0.029668179 đánh_bại 0.073170732 1.098612289 0.080386265 camera 0.097560976 1.098612289 0.107181687 smartphone 0.097560976 0.405465108 0.039557572 Samsung 0.097560976 1.098612289 0.107181687 trải_nghiệm 0.048780488 1.098612289 0.053590843 cây_bút 0.024390244 1.098612289 0.026795422 công_nghệ 0.048780488 1.098612289 0.053590843 kết_luận 0.024390244 1.098612289 0.026795422 12 0 coi 0.024390244 1.098612289 0.026795422 vua 0.024390244 1.098612289 0.026795422 sản_xuất 0.024390244 0.405465108 0.009889393 ra_mắt 0.024390244 1.098612289 0.026795422 Galaxy 0.024390244 1.098612289 0.026795422 S7 0.024390244 1.098612289 0.026795422 đầu 0.024390244 1.098612289 0.026795422 người_dùng 0.024390244 1.098612289 0.026795422 máy 0.024390244 1.098612289 0.026795422 chuyên_gia 0.024390244 1.098612289 0.026795422 lên_tiếng 0.024390244 1.098612289 0.026795422 mẫu 0.024390244 1.098612289 0.026795422 điện_thoại 0.024390244 1.098612289 0.026795422 Apple 0.024390244 0.405465108 0.009889393 13 Từ rút trích từ báo Số từ Số tài liệu TF Log(3/số tài liệu) TF-IDF Pin 0.15 iPhone 0.25 Plus 0.15 0.405465108 0.060819766 dòng 0.05 1.098612289 0.054930614 ưu_điểm 0.05 1.098612289 0.054930614 vượt_trội 0.05 1.098612289 0.054930614 ai_ngờ 0.05 1.098612289 0.054930614 hàng 0.05 1.098612289 0.054930614 tố 0.05 1.098612289 0.054930614 mắc 0.05 1.098612289 0.054930614 lỗi 0.05 0.405465108 0.020273255 14 1.098612289 0.164791843 0 đàm_thoại 0.05 15 1.098612289 0.054930614 XÁC NHẬN THỰC HIỆN CHUYÊN ĐỀ Bình Dương, ngày 20 tháng 06 năm 2019 Người chủ trì thực chuyên đề Võ Thị Hồng Thắm 16 ... đàm_thoại 0.05 15 1.098612289 0.054930614 XÁC NHẬN THỰC HIỆN CHUYÊN ĐỀ Bình Dương, ngày 20 tháng 06 năm 2019 Người chủ trì thực chuyên đề Võ Thị Hồng Thắm 16 ... lưu vào ổ đĩa D:Scala Hình 4: Giao diện tải Scala Thiết lập biến môi trường: o Variable name: SCALA_HOME: o Variable value: D:Scala Thiết lập biến hệ thống: o Variable: Path o Value: %SCALA_HOME%in... D:Serverhadoop- winutils2.6.4in Chọn đường dẫn phù hợp với phiên dử dụng (Xem hình 6) Hình 6: Giao diện tải winutils Thiết lập biến môi trường: Biến người dùng: o Variable name: HADOOP_HOME o