Tiểu luận môn học kỹ thuật lập trình trong phân tích dữ liệu phân tích dữ liệu của trang vietnamnet

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT CÔNG NGHỆ TIỂU LUẬN MƠN HỌC KỸ THUẬT LẬP TRÌNH TRONG PHÂN TÍCH DỮ LIỆU PHÂN TÍCH DỮ LIỆU CỦA TRANG VIETNAMNET GV: ThS Hồ Ngọc Trung Kiên SVTH: Trần Quay Tín MSSV: 2024802010221 Nguyễn Hồng Hiệp MSSV: 2024802010235 BÌNH DƯƠNG - 04/2021 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT CÔNG NGHỆ TIỂU LUẬN MÔN HỌC KỸ THUẬT LẬP TRÌNH TRONG PHÂN TÍCH DỮ LIỆU PHÂN TÍCH DỮ LIỆU CỦA TRANG VIETNAMNET GV: ThS Hồ Ngọc Trung Kiên SVTH: Trần Quay Tín MSSV: 2024802010221 Nguyễn Hồng Hiệp MSSV: 2024802010235 BÌNH DƯƠNG - 04/2021 i MỤC LỤC MỤC LỤC ii DANH MỤC HÌNH iii MỞ ĐẦU CHƯƠNG PKHẢO SÁT VÀ PHÂN TÍCH BÀI TỐN .2 1.1 Phát biểu toán 1.2 Phân tích chức .2 CHƯƠNG THIẾT KẾ GIAO DIỆN 2.1 CHƯƠNG THIẾT KẾ CHƯƠNG TRÌNH 3.1 KẾT LUẬN TÀI LIỆU THAM KHẢO ii DANH MỤC HÌNH Hình 2.1: Giao diện Trang Chủ iii DANH MỤC BẢNG iv LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi hướng dẫn khoa học ThS Hồ Ngọc Trung Kiên Các nội dung nghiên cứu, kết đề tài trung thực chưa công bố hình thức trước Những số liệu bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá tác giả thu thập từ nguồn khác có ghi rõ phần tài liệu tham khảo Ngồi ra, báo cáo cịn sử dụng số nhận xét, đánh số liệu tác giả khác, quan tổ chức khác có trích dẫn thích nguồn gốc Nếu phát có gian lận tơi xin hồn tồn chịu trách nhiệm nội dung báo cáo Trường Đại học Thủ Dầu Một không liên quan đến vi phạm tác quyền, quyền tơi gây q trình thực (nếu có) CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 Lý chọn đề tài CHƯƠNG Website vietnamnet trang web lớn phổ biến Việt Nam, với nhiều thông tin đa dạng, phong phú nhiều lĩnh vực khác như: trị, xã hội, văn hố, thể thao, cơng nghệ, giải trí, thơng tin cập nhật liên tục Chính thế, trang web cung cấp cho chúng em nguồn liệu vô lớn đa dạng để tiến hành phân tích liệu CHƯƠNG Phân tích liệu trang giúp chúng em hiểu rõ xu hướng, thị trường, tin tức vấn đề xã hội quan tâm Việt Nam Đây đồng thời hội cho chúng em thực hành, trải nghiệm thực tế việc phân tích liệu, giúp củng cố kiến thức mà chúng em học thời gian qua 3.1 Mục tiêu nghiên cứu CHƯƠNG Sử dụng công cụ thư viện Python để tiến hành thu thập liệu từ website như: Tiêu đề, thể loại, mô tả, nội dung CHƯƠNG Xử lý phân tích liệu vửa thu thập được:  Xoá tab HTML xoá số  Chuyển văn thành chữ thường  Chuẩn hoá văn (Cách gõ dấu tiếng Việt)  Xoá Stopword  Chuyển liệu sang dạng ngữ nghĩa  Chuyển liệu sang dạng Vector  Tìm kiếm so khớp văn 5.1 Đối tượng nghiên cứu CHƯƠNG Nghiên cứu tập trung vào chủ đề phổ biến website, từ khóa sử dụng nhiều, viết, đăng (ví dụ: tin nhất, thể thao, kinh doanh, đời sống…) 6.1 Phạm vi nghiên cứu CHƯƠNG Phân tích liệu thu thập từ trang web Vietnamnet CHƯƠNG Xử lý liệu để chuẩn hóa làm liệu, loại bỏ kí tự đặc biệt, loại bỏ từ khơng có nghĩa tiếng việt CHƯƠNG Phân tích liệu 1000 tin tức lấy từ trang web CHƯƠNG 10 Việc phân tích liệu thực thi cách: thu thập liệu, xử lý liệu so khớp liệu CHƯƠNG 11 Chương Cơ sở lý thuyết CHƯƠNG 12 CƠ SỞ LÝ THUYẾT 12.1 Giới thiệu công cụ Google Colab CHƯƠNG 13 Google Colaboratory (hay Google Colab) tảng đám mây miễn phí cung cấp Google cho phép người dùng tạo chạy tệp notebook Jupyter để phát triển thực thi mã Python Nó cho phép người dùng sử dụng tài ngun tính tốn CPU, GPU nhớ đám mây Google mà không cần phải cài đặt cấu hình mơi trường phát triển máy tính Nó cung cấp cho người dùng tảng thuận tiện dễ dàng sử dụng để phát triển chia sẻ dự án Python Hình 13.1.1.1: Cơng cụ Google Colab 13.2 Giới thiệu thư viện python 13.2.1 Thư viện Numpy CHƯƠNG 14 NumPy thư viện Python mã nguồn mở sử dụng để làm việc với mảng nhiều chiều ma trận Nó cung cấp hàm tính tốn khoa học, bao gồm phép tính tốn ma trận, đại số tuyến tính, thống kê phép biến đổi Fourier NumPy sử dụng rộng rãi ứng dụng khoa học liệu tính tốn số phân tích liệu, xử lý ảnh âm thanh, học máy CHƯƠNG 15 Các ưu điểm NumPy bao gồm hiệu suất tính tốn cao, hỗ trợ nhiều phép tính tốn ma trận hàm tính tốn khoa học, tính tương thích với thư viện công cụ phát triển khác SciPy, Pandas Matplotlib NumPy thư viện quan trọng cộng đồng khoa học liệu tính tốn số Python 15.1.1 Thư viện pandas