2.1.2.1. Kiến trúc triển khai tổng thể
Giải pháp tổng thể triển khai tại MobiFone có kiến trúc logic các chức năng thành phần sau:
- Khối chức năng xử lý realtime các luồng dữ liệu: Thành phần này
cung cấp khả năng xử lý dữ liệu lớn và đa dạng về cấu trúc dữ liệu từ nhiều nguồn khác nhau. Hỗ trợ người ra quyết định, thu thập những thông tin dữ liệu có tính realtime.
- Khối chức năng xử lý ETL, làm sạch, đảm bảo chất lượng dữ liệu:
Đây là thành phần với năng lực tích hợp và chuyển đổi dữ liệu sang các khuôn dạng có ý nghĩa, làm sạch dữ liệu, đảm bảo chất lượng dữ liệu cho lưu trữ trên Big Data.
- Khối chức năng lưu trữ dữ liệu: Đây là nơi lưu trữ dữ liệu đã qua xử
lý phục vụ phân tích, xây dựng các mô hình data mart theo từng chủ đề quan tâm.
- Khối chức năng phân tích chuyên sâu: Bao gồm các công cụ, thuật
toán phân tích dữ liệu. Hỗ trợ xử lý phân tích trên các loại dữ liệu khác nhau như dữ liệu hoạt động, files, dữ liệu phi cấu trúc... Nguồn dữ liệu được phân tích sẽ được lấy từ kho dữ liệu, sau khi được xử lý sẽ ghi ngược lại vào kho dữ liệu.
- Các công cụ báo cáo
- Khối chức năng phục vụ quản lý, phát triển các chương trình khuyến
Hình 2.1 : Kiến trúc triển khai tổng thể
2.1.2.2. Thành phần hệ thống
Hệ thống kho dữ liệu tập trung Big Data được xây dựng và khai thác, bao gồm các thành phần sau:
FTP: Máy chủ FTP thực hiện thu thập và lưu trữ dữ liệu file đầu vào phục
vụ các tiến trình xử lý và tổng hợp thông tin các nguồn dữ liệu từ các hệ thống tác nghiệp.
Data Analytics: Triển khai IBM SPSS Modeler là phần mềm phân tích data mining áp dụng các kỹ thuật và thuật toán để phân tích nguồn dữ liệu lớn.
Report: Triển khai IBM Cognos BI là phần mềm hỗ trợ xây dựng (kéo, thả) báo cáo kết quả triển khai campaign Big Data.
ETL: Triển khai IBM DataStage là máy chủ xử lý, thu thập dữ liệu, thực
thi extract dữ liệu và chuẩn hóa dữ liệu tổng hợp từ các định dạng file thành dữ liệu chuẩn để có thể import được vào kho dữ liệu tập trung Big Data.
VDI Desktop: Cài đặt các công cụ để khai thác, phân tích dữ liệu (SPSS
Modeler client, Aginity…), người dùng tại các đơn vị Công ty kinh doanh