CHƯƠNG 2 MIDDLEWARE

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ KHOA CƠNG NGHỆ THƠNG TIN MINH MƠN: HỆ PHÂN BỐ BÁO CÁO CUỐI KÌ ĐỀ TÀI: PHÂN TÍCH SỐ LƯỢNG CÁC HASHTAG TRÊN TWITTER NHÓM 12 GVHD: TS NGUYỄN THIÊN BẢO DANH SÁCH THÀNH VIÊN NHĨM 12 • 19133068 • 19133023 NGUYỄN QUỐC VIỆT • 19133046 • 19133032 LÊ THỊ THANH PHƯƠNG LÊ PHƯƠNG NAM NGUYỄN THỊ MỸ LINH BỐ CỤC TRÌNH BÀY • TÌM HIỂU VỀ SPARK_STREAMING • XÂY DỰNG ỨNG DỤNG TÌM HIỂU VỀ SPARK_STREAMING APACHE SPARK Apache Spark cơng cụ phân tích hợp mã nguồn mở để xử lý liệu quy mô lớn Spark cung cấp giao diện cho cụm lập trình với tính song song liệu ngầm định khả chịu lỗi Apache Spark gồm có thành phần : Spark Core, Spark Streaming, Spark SQL, MLlib GraphX CƠNG NGHỆ STREAMING Streaming cơng nghệ truyền liệu liên tục Nếu trước đây, xem video, ta cần download tồn video streaming chia video thành nhiều phần nên ta cần loading trước lượng liệu nhỏ Hiện nay, streaming dần trở thành phần quan trọng phát triển Internet SPARK-STREAMING Spark Streaming dựa Spark Core, phần bổ sung cho Spark để xử lý lượng liệu lớn tức đảm bảo chống chịu lỗi Tính Spark-Streaming Scaling: dễ dàng scale lên hàng nghìn node Speed: có khả giảm độ trễn xuống mức vài trăm milliseconds Fault Tolerance: chia nhỏ task cho nhiều node, có node bị lỗi, node khác thay công việc node Integration: hàm spark dung để xử lý Business Analysis: dùng thư viện Mlib, SQL, GraphX để phân tích liệu HỆ THỐNG SPARK-STREAMING FLASK VÀ APECCHARTS Flask Flask là một Web Framework rất nhẹ của Python, dễ dàng giúp người bắt đầu học Python tạo website nhỏ Flask cũng dễ mở rộng để xây dựng ứng dụng web phức tạp Flask có tảng Werkzeug Jinja2 trở thành Web Framework phổ biến Python FLASK VÀ APECCHARTS APECCHARTS ApexCharts.js thư viện JavaScript mã nguồn mở để hiển thị biểu đồ đáp ứng cho giao diện người dùng Bạn thấy thân thiện sử dụng, đặc biệt với tài liệu tồn diện Thư viện hoạt động tốt với nhiều biểu đồ Kết hợp loại biểu đồ khác lưới điểm mạnh XÂY DỰNG ỨNG DỤNG ĐỀ TÀI: PHÂN TÍCH SỐ LƯỢNG CÁC THẺ BẮT ĐẦU BẰNG # TRÊN TWITTER SƠ ĐỒ HOẠT ĐỘNG TỔ CHỨC ỨNG DỤNG Twitter_app.py TRIỂN KHAI ỨNG DỤNG Twitter_app.py Spark_app.py TRIỂN KHAI ỨNG DỤNG Twitter_app.py Spark_app.py App.py TRIỂN KHAI ỨNG DỤNG Twitter_app.py Spark_app.py App.py Index.html DEMO ...DANH SÁCH THÀNH VIÊN NHĨM 12 • 19133068 • 19133 023 NGUYỄN QUỐC VIỆT • 19133046 • 191330 32 LÊ THỊ THANH PHƯƠNG LÊ PHƯƠNG NAM NGUYỄN THỊ MỸ LINH BỐ CỤC TRÌNH... website nhỏ Flask cũng dễ mở rộng để xây dựng ứng dụng web phức tạp Flask có tảng Werkzeug Jinja2 trở thành Web Framework phổ biến Python FLASK VÀ APECCHARTS APECCHARTS ApexCharts.js thư viện