Được sự hỗ trợ của Ban Giám đốc Trung tâm CNTT MobiFone và Lãnh đạo Tổng Công ty, đã giải quyết được các khó khăn, vướng mắc. Bên cạnh đó, bản than tôi đã chủ động tìm hiểu cách thức thực hiện trên trang chủ Cloudera, các trang web chia sẻ kinh nghiệm về Cloudera, đây là nguồn tài nguyên để tôi triển khai và xử lý các lỗi phát sinh trong quá trình triển khai. Trải qua quá trình thực nghiệm và xây dựng thành công hệ thống, tôi đã đúc kết được một số các kinh nghiệm trong quá trình triển khai một hệ thống như sau:
Cần xác định rõ phiên bản server, các phần mềm cài đặt cho tương thích.
Cấp phát phần cứng, mở kết nối đáp ứng yêu cầu triển khai.
Đội triển khai phải có cán bộ chuyên sâu về hệ thống (OS Linux, CSDL).
Phân quyền đầy đủ khi thực hiện cài đặt.
Trong quá trình triển khai phải tuân thủ chặt chẽ các bước cài đặt. Ghi nhận
lại từng thông tin để có thể kết nối các thành phần. Thực hiện cài đặt lần lượt bằng dòng lệnh thay vì sử dụng các script có sẵn.
Các mô đun của Cloudera khá độc lập, vì thế cần hoàn thiện từng mô đun
trước khi chuyển sang mô đun khác.
Khi có lỗi xảy ra cần tìm trong thư mục log để hiểu rõ nguyên nhân, sau đó tra cứu trên cộng đồng Cloudera để được hỗ trợ.
KẾT LUẬN 1. Những đóng góp của luận văn
Hệ thống Cloudera vừa tiết kiệm chi phí đầu tư phần cứng, không yêu cầu các phần cứng có cấu hình cao, vừa có thể chủ động trong việc cài đặt phần mềm, do đó hoàn toàn có khả năng áp dụng trên phạm vi rộng. Việc triển khai sẽ giúp tối ưu chi phí, giảm sự phục thuộc vào đối tác khi nghiên cứu công nghệ và triển khai bài toán.
2. Hướng phát triển luận văn
Hiện tại hệ thống Cloudera mới được thử nghiệm trên phạm vi nhỏ, với các máy chủ là các server ảo. Trong tương lai, sẽ tiếp tục mở rộng theo các hướng như sau :
Mở rộng phạm vi triển, bổ sung thêm nhiều nguồn dữ liệu, nghiên cứu các thuật toán mới để giải quyết các bài toán hỗ trợ kinh doanh và kỹ thuật trong phạm vi rộng.
Nghiên cứu các thành phần khác của hệ thống Cloudera, giúp tăng khả năng
áp dụng Cloudera trong thực tế.
Phát triển tính năng Streaming của Apache Spark, áp dụng trong việc thực
DANH MỤC CÁC TÀI LIỆU THAM KHẢO
[1]. https://en.wikipedia.org/wiki/Big_data: Định nghĩa Big Data trên wikipedia. [2]. https://www.cloudera.com/documentation.html: Tài liệu Cloudera từ chính hãng Cloudera
[3]. http://community.cloudera.com/: Cộng đồng Cloudera
[4]. http://www.cloudera.com/partners.html: Danh sách các công ty thành viên tài trợ Cloudera.
[5]. http://www.cloudera.com/customers.html: Top các công ty sử dụng sản phẩm Cloudera