ứng dụng công nghệ hdp vào việc tối ưu lưu trữ dữ liệu tại tổng công ty mạng lưới lao telecom tỉnh attapeu nước chdcnd lào

TELECOM, TỈNH ATTAPEU NƯỚC CHDCND LÀOLUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đà Nẵng – 2023 luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep,

Trang 1

TELECOM, TỈNH ATTAPEU NƯỚC CHDCND LÀO

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Đà Nẵng – 2023

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 2

TELECOM, TỈNH ATTAPEU NƯỚC CHDCND LÀO

Chuyên ngành: Hệ thống thông tin

Trang 3

Trang 4

Trang 5

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 6

123docz.net - File bi loi xin lienhe: lethikim34079@hotmail.com

Trang 7

2 Mục tiêu nghiên cứu 2

3 Đối tượng và phạm vi nghiên cứu 3

4 Phương pháp nghiên cứu 3

5 Ý nghĩa khoa học và thực tiễn của đề tài 3

6 Kết quả dự kiến 3

7 Bố cục luận văn 3

CHƯƠNG 1 ĐẶT VẤN ĐỀ VỀ BÀI TOÁN TÍNH CƯỚC ĐANG DÙNG TẠI LAO TELECOM 5

1.1 Mô hình, hiện trạng và nghiệp vụ của hệ thống Lao Billing 5

1.1.1 Giới thiệu mô hình hệ thống Lao Billing 5

2.1.1 Mô hình vật lý hệ thống Billing hiện tại 15

2.1.2 Mô hình logic hệ thống Billing hiện tại 16

2.2Mô hình giải pháp hệ thống Billing mới và hoàn toàn miễn phí[10] 17

2.3 Mô hình giải pháp miễn phí kết hợp có phí 21

2.4 So sánh giải pháp miễn phí hoàn toàn và giải pháp kết hợp có phí 26

Trang 8

3.8 Triển khai các tùy chọn của Hadoop 33

3.9 Cài đặt Hortonworks Sandbox trên windows sử dụng Oracle VirtualBox 34

3.9.1 Cài đặt trên Windows bằng cách sử dụng Oracle VirtualBox 34

3.9.2 Import tập tin Sandbox: File-> Import Appliance 35

3.9.3 Cửa sổ Import Virtual Appliance xuất hiện 36

3.9.4 Import Virtual Applicance 36

3.9.5 Màn hình cài đặt thiết bị xuất hiện Bạn có thể phân bổ RAM nhiều hơn so với mặc định để nâng cao hiệu suất 37

3.9.6 Thiết bị được Import 38

3.9.7 Mở Sandbox 38

3.9.8 Đợi máy ảo khởi động lên 39

3.9.9 Sử dụng trình duyệt trên máy chủ để mở các URL hiển thị trên giao diện điều khiển 39

3.10 Kết chương 40

CHƯƠNG 4 ĐÁNH GIÁ THỰC NGHIỆM SO SÁNH GIẢI PHÁP CŨ VÀ GIẢI PHÁP MỚI 41

4.1 Mô hình logic hệ thống thực nghiệm 41

4.2 Phương pháp lấy số liệu thực nghiệm 42

4.3 Phân tích, so sánh số liệu thực nghiệm giữa hai hệ thống 53

4.4 Kết chươmg 57

KẾT LUẬN, KHUYẾN NGHỊ 59

DANH MỤC TÀI LIỆU THAM KHẢO 60

Trang 9

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT

Từ viết tắt Từ gốc Giải nghĩa - Tạm dịch

KPI Key Performance Indicator

Là chỉ số đánh giá công việc, công cụ đo lường nhằm phản ảnh hiệu quả hoạt động

Trang 10

DANH MỤC BẢNG

Số hiệu

4.3 Thông tin chi tiết máy chủ trong quá trình chạy chạy script 43

4.5 Dữ liệu chi tiết tải máy chủ trong một lần chạy thực nghiệm 45

4.7 Số liệu thực nghiệm trên công nghệ cũ với dung lượng 2G 47 4.8 Số liệu thực nghiệm trên công nghệ cũ với dung lượng 4G 48 4.9 Số liệu thực nghiệm trên công nghệ cũ với dung lượng 5G 49 4.10 Số liệu thực nghiệm trên công nghệ mới với dung lượng 2G 50 4.11 Số liệu thực nghiệm trên công nghệ mới với dung lượng 4G 51 4.12 Số liệu thực nghiệm trên công nghệ mới dung lượng 5G 52

Trang 11

2.4 Mô hình giải pháp kết hợp có phí và miễn phí 22 3.1 Hadoop trong một mô hình kiến trúc hiện đại 29 3.2 Hortonworks Data Platform: Enterprise Hadoop 30

4.3 Công thức và kết quả tính cỡ mẫu thực nghiệm 54

4.5 Mối liên hệ giữa thời gian thực nghiệm và dung lượng dữ liệu 55 4.6 So sánh thời gian import giữa hai hệ thống 56 4.7 Biểu diễn phân bố dữ liệu thực nghiệm của hai hệ thống 57 luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 12

MỞ DẦU 1 Lý do chọn đề tài

Công nghệ thông tin ngày càng đóng vai trò quan trọng trong phát triển kinh tế, xã hội Công nghệ thông tin và viễn thông là một trong những động lực chính tạo nên bộ mặt thế kỷ 21 Ngoài ra, công nghệ thông tin và viễn thông còn là một trong những điều kiện chính quyết định sự phát triển của nền kinh tế thế giới Nó tác động sâu sắc đến cách chúng ta đang sống, học tập và làm việc; đến cách thức nhà nước giao tiếp với dân Nó cũng tạo ra những thách thức kinh tế, xã hội trước các cá nhân, doanh nghiệp, cộng đồng ở mọi nơi trên trái đất nhằm đạt hiệu quả và tính sáng tạo cao hơn Tất cả chúng ta đang đứng trước và cần nắm bắt cơ hội này

Theo nghiên cứu của Tổng công ty mạng lưới Lao Telecom – là một trong năm công ty hàng đầu về lĩnh vực công nghệ thông tin tại Lào, ngành công nghệ thông tin sẽ đóng góp khoảng 1,16 nghìn tỷ USD vào GDP của châu Ả - Thái Bình Dương với tỷ lệ tăng trưởng hằng năm 0,8% Năm 2017, chiếm khoảng 6% GDP của châu Ả - Thái Bình Dương đến từ các sản phẩm và dịch vụ công nghệ thông tin, thông qua việc sử dụng các công nghệ số Tổng công ty mạng lưới Lao Telecom dự báo con số này sẽ tăng lên 60% GDP khu vực châu Ả - Thái Bình Dương vào năm 2021 Cũng theo số liệu Tổng công ty mạng lưới Lao Telecom, khoảng 84% các tổ chức, doanh nghiệp trong khu vực đã và đang trong hành trình chuyển đổi số Tuy nhiên, chỉ có 7% là các doanh nghiệp tiên phong và đây là những đơn vị có chiến lược phát triển công nghệ thông tin

Trong cuộc đua phát triển và đổi mới công nghệ, ai nhanh hơn người đó sẽ chiếm thế thượng phong và đạt được nhiều thành tựu Chính vì vậy, một điều rất quan trọng đó là các doanh nghiệp phải thường xuyên đổi mới công nghệ, cập nhật các công nghệ mới để áp dụng vào quá trình sản xuất kinh doanh Đặc biệt là đối với các công ty công nghệ, ngoài việc cập nhật công nghệ mới nhất còn phải đầu tư để nghiên cứu chuyên sâu về công nghệ Một công ty phát triển bền vững cần phải có các nghiên cứu cơ bản hoặc có các sản phẩm cốt lõi làm nền tảng cho công ty mình

Đo lường cũng là một trong những thành phần rất quan trọng trong việc phát triển và đổi mới công nghệ Các công ty và doanh nghiệp cần phải sử dụng các chỉ số đo lường (Key Performance Indicator-KPI) để đo các chỉ số như hiệu quả của quy trình, vốn dữ liệu, sự ủng hộ của khách hàng, sự hài lòng của khách hàng, tài nguyên hệ thống Bất kỳ sự phát triển hoặc thay đổi nào đều phải đo đạc được trước và sau luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 13

khi áp dụng công nghệ mới, từ đó mới có đánh giá chính xác được sự thay đổi này có thực sự hiệu quả hay không

Tuy nhiên việc thực hiện áp dụng và nghiên cứu áp dụng công nghệ thông tin vào quá trình sản xuất tại các doanh nghiệp còn chậm Nhiều công ty vẫn còn sử dụng các công nghệ trước thời điểm hiện tại cả chục năm, mặc dù công nghệ thay đổi hàng ngày và đặc biệt là đối với ngành công nghệ thông tin Đối với các công ty chuyên sâu về công nghệ vẫn chưa có nhúng nghiên cứu cơ bản hoặc có các sản phẩm cốt lõi có tiếng vang trên thị trường Đây là một điểm yếu làm cho ngành công nghệ thông tin của nước ta chưa phát triển đạt được như kỳ vọng

Xuất phát từ thực trạng này, tác giả đưa ra một vấn đề không mới nhưng vẫn chưa được khắc phục tại một số các doanh nghiệp lớn về viễn thông Viễn thông và công nghệ thông tin phải đi liền với nhau và viễn thông cần áp dụng rất nhiều các công nghệ mới của ngành công nghệ thông tin Đề tài “Ứng dụng công nghệ HDP vào việc tối ưu lưu trữ dữ liệu tại Tổng công ty mạng lưới Lao Telecom, tỉnh Attapeu nước CHDCND Lào” sẽ chỉ ra những hạn chế của hệ thống Billing hiện tại và đưa ra phương án khắc phục

2 Mục tiêu nghiên cứu

Áp dụng những công nghệ mới này vào việc lưu trú và xử lý dữ liệu lớn Trong ngành viễn thông thì dữ liệu là cực kỳ lớn, nhất là đối với dữ liệu liên quan đến cuộc gọi, tin nhắn và hành vi sử dụng dữ liệu Đối với nhà mạng Lao Telecom thì những dữ liệu này phát sinh khoảng 2,5TB đến 3T trong một tháng, đối với nhà mạng Lao Telecom thì dữ liệu này khoảng 1,5T đến 2TB một tháng Độ lớn của dữ liệu phụ thuộc vào số lượng thuê bao của mỗi nhà mạng và các thông tin liên quan mà tổng đài sẽ ghi nhận lại

Đề tài này sẽ chỉ ra nếu nhà mạng áp dụng các công nghệ mới thì tốc độ Import dữ liệu có thể tăng lên đến 1,5 đến 2 lần so với công nghệ cũ Các số liệu trong đề tài là được chạy trên hệ thống LAB có cấu hình cao, dung lượng mỗi mẫu từ 1 ngày đến 3 ngày so với dữ liệu thật Kết quả so sánh là thực nghiệm của việc sử dụng bởi ngôn ngữ R giữa hai mẫu dữ liệu sử dụng công nghệ mới và công nghệ cũ

Trong phạm vi đề tài này, tác giả chỉ tập trung vào phần tối ưu Import dữ liệu CDR vào Database

Trang 14

3 Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu:

Các phương pháp sử dụng công nghệ HDP trong việc xử lý và lưu trữ dữ liệu Phạm vi nghiên cứu:

Dữ liệu CDR của nhà mạng Lao Telecom

4 Phương pháp nghiên cứu

Tìm hiểu lý thuyết về công nghệ HDP Tìm hiểu về các phương pháp sử dụng

5 Ý nghĩa khoa học và thực tiễn của đề tài

Về mặt Khoa học: Nghiên cứu, tìm hiểu phương pháp sử dụng cộng nghệ HDP để ứng dụng vào thực tế

Về mặt thực tiễn: Kết quả nghiên cứu sẽ góp phần lớn vào việc lưu trữ và xử lý dữ liệu của nhà mạng Lao Telecom

Chương 1 Đặt vấn đề về bài toán tính cước đang dùng tại Lao Telecom

Giới thiệu về mô hinh, hiện trạng và quy trình nghiệp vụ của hệ thống Lao Biling, các mô hình nghiệp vụ… Đặt vấn đề về bài toán tính cước đang dùng tại Lao Telecom việc trình bày về sự cần thiết và quan trọng của việc xem xét lại cách tính cước hiện tại đang được áp dụng tại viễn thông Lao Telecom

Chương 2 Phân tích, lựa chọn và thiết kế giải pháp

Phân tích các mô hình vật lý, mô hình logic, đưa ra các giải pháp và so sánh các giải pháp Phân tích, lựa chọn và thiết kế giải pháp quá trình xác định, đánh giá và chọn lựa giải pháp tốt nhất để giải quyết một vấn đề cụ thể Quá trình này đòi hỏi sự luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 15

tập trung vào từng khía cạnh của vấn đề để có thể đưa ra các giải pháp phù hợp và đáp ứng được yêu cầu của khách hàng hoặc đối tượng sử dụng

Chương 3 Ứng dụng công nghệ HORTONWORKS DATA

Chương này giới thiệu và tìm hiểu cài đặt, ứng dụng công nghệ HortonWork Data để giải quyết bài toán Ý nghĩa của ứng dụng công nghệ HORTONWORKS DATA là việc sử dụng nền tảng dữ liệu Hadoop của Hortonworks để xử lý và phân tích các dữ liệu lớn Công nghệ này được sử dụng để giải quyết các vấn đề phức tạp và xử lý các tập dữ liệu lớn, đa dạng và phức tạp

Chương 4 Đánh giá thực nghiệm so sánh giải pháp cũ và giải pháp mới

Sau khi thực hiện chương trình hoàn thành, tiến hành đánh giá và so sánh các giải cũ và mới Đánh giá thực nghiệm so sánh giải pháp cũ và giải pháp mới quá trình đánh giá hiệu quả của một giải pháp mới bằng cách so sánh với giải pháp cũ đã được sử dụng trước đó Mục đích của quá trình này là để xác định xem giải pháp mới có tốt hơn, hiệu quả hơn, hoặc cần được cải tiến hay không so với giải pháp cũ

Trang 16

Mô hình hệ thống Lao Billing được xây dựng từ những năm 2006 và được phát triển cho tới ngày nay Nhưng cơ bản không có sự khác biệt lớn về mặt công nghệ, chủ yếu là được bo sung thêm tài nguyên để hệ thống có thể xử lý được khối lượng dữ liệu lớn hơn

Tuy vậy, việc bổ sung thêm tài nguyên không thể bù đắp được cho sự phát triển nhanh chóng về mặt dữ liệu Ngoài ra, việc bổ sung thêm nhiều tài nguyên sẽ làm cồng kềnh bộ máy vận hành khai thác do số lượng node mạng tăng lên nhanh, kết nối giữa các hệ thống cũng phức tạp hơn

Hệ thống được chia làm ba nhóm chính:

- Nhóm hệ thống tổng đài thuộc nhóm các thiết bị viễn thông, các hệ thống tổng đài sau khi kết nối để thực hiện cuộc gọi cho khách hàng sẽ đẩy ra CDR để tính cước cho khách hàng Năm 2006 có khoảng 5 tổng đài, nhưng đến năm

2019 thì số lượng tổng đài đã lên tới con số 30;

- Nhóm hệ thống Billing Gateway, dùng để chung chuyển dữ liệu CDR về hệ thống Billing Toàn bộ dữ liệu tổng đài sẽ được đẩy về hệ thống

Billing Gateway Hiện tại có khoảng 15 máy chủ để phục vụ cho hệ thống Billing Gateway, tổng dữ liệu chung chuyển lên tới 100G/ngày;

Trang 17

- Nhóm hệ thống Billing dùng để import dữ liệu vào trong Database, tính cước cuộc gọi và hiển thị dữ liệu cho khách hàng tra cứu

Cụ thể mô tả chức năng của từng nhóm như sau: a Hệ thống tổng đài

+ Hệ thống có khoảng 30 tổng đài thuộc nhiều đối tác khác nhau

+ Toàn bộ các thông tin về cuộc goi, tin nhắn và lịch sử truy nhập dữ liệu đều được các tổng đài ghi nhận lại

+ Dữ liệu này định kỳ sẽ được đẩy về hệ thống Billing Gateway b Hệ thống Billing Gateway

+ Đây là nơi lưu trữ trung gian toàn bộ dữ liệu chuyển từ tổng đài về hệ thống Billing

+ Dữ liệu được lưu dưới dạng text hoặc dạng binary

+ Dữ liệu trên hệ thống này sẽ được lưu ngắn hạn và sẽ được backup trước khi xóa

+ Mục đính của hệ thống này để: Lưu dữ liệu tập trung cho hệ thống Billing, có đủ dung lượng để lưu khi hệ thống Billing cần tính lại cước (Tổng đài không đủ dung lượng để lưu), backup dữ liệu tập chung

c Hệ thống Billing

+ Đây là hệ thống lưu trữ toàn bộ dữ liệu tổng đài dưới dạng bảng + Hệ thống chạy trên nền tảng máy chủ Linux và cơ sở dữ liệu Oracle + Dữ liệu import 1 tháng khoảng gần 2 TB

+ Sau khi dữ liệu được import vào thì các nghiệp vụ tính cước đều chạy trên dữ liệu này

1.1.2 Các nghiệp vụ tính cước

Các nghiệm vụ tính cước đều rất phức tạp, mỗi lần chạy đều chiếm một lượng lớn tài nguyên máy chủ, xử lý với một khối lượng lớn dữ liệu Kết quả cuối cùng là tính ra được tiền sử dụng của từng thuê bao đã phát sinh cước

Để có thể hiểu được độ phức tạp của quá trình xử lý, dưới đây là các mô tả của quá trình xử lý hệ thống tính cước:

a Nghiệp vụ Lấy dữ liệu từ hệ thống Billing Gateway + Bước 1: Quét thư mục chứa dữ liệu tổng đài

Trang 18

+ Bước 2: Kiểm tra mẫu định dạng của file CDR:

- Nếu không đúng mẫu định dạng thì không xử lý file đó - Nếu đúng mẫu định dạng file:

Nếu tiến trình được chia thành nhiều tiến trình nhỏ: thực hiện lọc file theo MOD (sequence, 10), chuyển sang Bước 3

Nếu chỉ 1 tiến trình không thực hiện lọc file theo MOD (sequence, 10), chuyển sang Bước 3

+ Bước 3: Kiểm tra dung lượng ổ cứng trên máy local: Nếu dung lượng ổ cứng đủ thì chuyển sang Bước 4

Nếu dung lượng ổ cứng không đủ thì nhắn tin cảnh báo và quay lại Bước 1 + Bước 4: Download về thư mục trên máy Local và chuyển sang Bước 5 + Bước 5: Xử lý với những file đã được download với 1 trong 4 tùy chọn: - Xóa file

- Thay đổi tên file

- Chuyển file sang một thư mục khác trên FTP Server b Nghiệp vụ Import dữ liệu vào Database

+ Bước 1: Quét thư mục chứa file đã download về

Format: Tên dịch vụ + ngày + tháng +năm

+ Bước 2: Kiểm tra mẫu định dạng file

- Nếu không đúng mẫu định dạng thì không xử lý - Nếu đúng mẫu định dạng file thì chuyển sang Bước 3 + Bước 3: Đọc nội dung trong file

+ Bước 4: Kiểm tra cấu trúc nội dung file

- Nếu không đúng cấu trúc thì lưu file đến thư mục Unrate và ghi log - Nếu đúng cấu trúc thì chuyển sang Bước 5

Trang 19

+ Bước 5: Insert theo batch vào Database

- Nếu insert không thành công thì ghi thông tin ra log và lưu file đến thư mục Unrate và chuyển sang Bước 6

- Nếu insert thành công thì lưu file đến thư mục Rate và chuyển sang Bước 6 + Bước 6: Backup file

- Tất cả các file chứa trong thư mục tạm trên máy Local được lưu lại vào thư mục Backup

b Nghiệp vụ Tổng hợp cước định kỳ

+ Bước 1: Khi được kích hoạt hệ thống sẽ tự load các bill item

+ Bước 2: Hệ thống Billing đọc dữ liệu chi tiết cước trong chu kỳ chốt sổ + Bước 3: Hệ thống tổng hợp theo các tiêu chí

+ Bước 4: Cập nhật dữ liệu tổng hợp vào bảng tổng hợp c Nghiệp vụ Tổng hợp cước nóng

+ Bước 1: Tìm kiếm thông tin về thuê bao, hợp đồng cần chốt cước nóng

Khi có yêu cầu từ khách hàng muốn thực hiện chốt cước nóng cho các thuê bao, hợp đồng, người dùng sẽ thực hiện tìm kiếm thông tin cần chốt vào hệ thống

+ Bước 2: Thực hiện chốt cước nóng

Sau khi tìm kiếm thông tin cần chốt, người dùng kích hoạt sự kiện chốt cước nóng cho thuê bao, hợp đồng

+ Bước 3: Tính toán số liệu phát sinh trong kỳ cho thuê bao, hợp đồng

Hệ thống sẽ tính toán số liệu phát sinh từ đầu chu kỳ cho đến thời điểm chốt cước nóng của thuê bao, hợp đồng cần chốt

+ Bước 4: Tính toán số liệu điều chỉnh trong kỳ cho thuê bao, hợp đồng

- Đối với các điều chỉnh cho thuê bao, hợp đồng cần chốt cước nóng từ đầu kỳ, hệ thống cũng tổng hợp số liệu các điều chỉnh này

+ Bước 5: Tính toán công nợ cho các thuê bao, hợp đồng của khách hàng - Công nợ của các thuê bao, hợp đồng cần chốt cước nóng được tính theo công thức như sau:

Cước nóng = Tổng số đầu kỳ - Tổng số tiền đã thanh toán + Tổng số phát sinh trong kỳ + Tổng số điều chỉnh trong kỳ

Trang 20

+ Bước 6: Nhân viên tính cước chuẩn bị câu lệnh SQL để kiểm tra việc thực hiện khóa sổ

d Nghiệp vụ Phân tích giao dịch treo

Giao dịch treo là các giao dịch phát sinh trong thời điểm đang khóa sổ, hoặc sau thời điểm khóa sổ, nhưng giao dịch trước đấy của hợp đồng đang là giao dịch treo

+ Bước 1: Lấy danh sách tất cả các giao dịch treo, thông tin cần lấy bao gồm(bao gồm cả 2 trường hợp khách hàng chỉ ra thuê bao và không chỉ ra thuê bao cần thanh toán)

+ Bước 2: Phân tích giao dịch treo theo nguyên tắc gạch nợ, phần này tham khảo nguyên tắc gạch nợ bên payment (cập nhật thông tin thanh toán chi tiết từng tháng theo thuê bao và theo hợp đồng), sau đó đánh dấu là giao dịch đã được phân tích

Đối với số tiền đã fill vào thuê bao thì sẽ phân tích xuống theo thuê bao theo nguyên tắc từ tháng xa đến tháng gần

Đối với số tiền chưa fill vào thuê bao nào thì phân tích theo nguyên tắc như một thanh toán mới từ đầu, tức là sẽ phải chọn thuê bao theo nguyên tắc trên hệ thống, sau mới fill số tiền theo nguyên tắc phân tích nợ

+ Bước 3: Kiểm tra lại xem còn giao dịch nào được đay vào thêm không

+ Bước 4: Nếu không còn giao dịch thì kết thúc Nếu còn giao dịch thì quay lại Bước 1

e Nghiệp vụ Khóa sổ

+ Bước 1: Tìm kiếm danh sách cần điều chỉnh

Đối với quy trình điều chỉnh thì phải xác định được danh sách các thuê bao (hoặc hợp đồng) để điều chỉnh Các thông tin cơ bản để tìm kiếm bao gồm:

Số CMT/Hộ chiếu, mã số thuế

Số hợp đồng có thuê bao cần điều chỉnh Số thuê bao cần điều chỉnh

+ Bước 2: Nhập số liệu điều chỉnh

Sau khi xác định được danh sách thuê bao (hoặc hợp đồng) cần điều chỉnh, phải thực hiện nhập số tiền cần điều chỉnh cho các thuê bao (hợp đồng) đó

Trang 21

+ Bước 3: Kiểm tra xem có phải điều chỉnh cho hợp đồng hay không? Nếu là điều chỉnh cho hợp đồng thì thực hiện Bước 3, nếu là điều chỉnh cho thuê bao thì thực hiện Bước 4

+ Bước 4: Tính toán số liệu điều chỉnh cho thuê bao trong hợp đồng theo quy tắc cấu hình

Hệ thống có các tham số cấu hình để áp dụng các quy tắc phân bổ điều chỉnh cho các thuê bao trong hợp đồng, các quy tắc phân bổ này có thể là:

Phân bổ đều cho các thuê bao trong hợp đồng Phân bổ theo tỷ lệ phần trăm của cước phát sinh

Phân bổ theo tỷ lệ phần trăm của số tiền phải thanh toán

Sau khi áp dụng quy tắc phân bổ cho từng hợp đồng sẽ tính toán được số liệu điều chỉnh cho từng thuê bao trong hợp đồng đó

+ Bước 5: Thực hiện điều chỉnh cho thuê bao

Đối với điều chỉnh thuê bao thì bắt đầu thực hiện điều chỉnh, đối với điều chỉnh hợp đồng thì sau khi tính toán ra số liệu điều chỉnh cho từng thuê bao trong hợp đồng, sẽ bắt đầu thực hiện điều chỉnh

+ Bước 6: Xác định xem loại điều chỉnh công nợ có phải là điều chỉnh âm không? Nếu là giao dịch điều chỉnh âm thì thực hiện Bước 8, nếu là giao dịch điều chỉnh dương thì thực hiện Bước 7

+ Bước 7: Nếu giao dịch điều chỉnh là giao dịch điều chỉnh dương thì lưu lại giá trị điều chỉnh để thực hiện chốt sổ cuối kỳ

+ Bước 8: Phân tích lại công nợ của thuê bao

Nếu loại điều chỉnh là giao dịch điều chỉnh âm thì lập danh sách công nợ chi tiết của thuê bao với thứ tự từ kỳ nợ cước xa đến kỳ nợ cước gần, sau đó đối với mỗi bản ghi công nợ chi tiết thực hiện

Xác định số tiền điều chỉnh đối với thuê bao đó (ĐC0)

Nếu số tiền điều chỉnh lớn hơn số tiền còn nợ của kỳ nợ xa (N0) nhất thì: Ghi số tiền điều chỉnh cho kỳ nợ xa nhất bằng số tiền nợ (N0)

Số tiền điều chỉnh cho kỳ nợ gần hơn (N1) = ĐC0 - N0

Thực hiện liên lục cho đến khi số tiền điều chỉnh mới (ĐCn) nhỏ hơn số tiền nợ (Nn)

Nếu số tiền điều chỉnh nhỏ hơn số tiền còn nợ của kỳ nợ xa nhất thì: luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 22

Trừ bớt nợ cuối kỳ trước của thuê bao đó số tiền bằng với số tiền điều chỉnh + Bước 9: Cập nhật công nợ của thuê bao, hợp đồng

f Nghiệp vụ Khuyến mại

+ Bước 1: Liệt kê các chương trình khuyến mại còn hiệu lực

Khi thực hiện tính toán số liệu khuyến mại cần lên danh sách các chương trình khuyến mại đang có hiệu lực Các chương trình khuyến mại đang có hiệu lực lấy trong danh mục khuyến mại

+ Bước 2: Tìm kiếm danh sách thuê bao, hợp đồng thỏa mãn chương trình khuyến mại Mỗi chương trình khuyến mại sẽ tham chiếu đến một danh sách các thuê bao thỏa mãn các điều kiện của chương trình khuyến mại đó, bước này thiết lập để tìm ra được danh sách thuê bao, hợp đồng

+ Bước 3: Sắp xếp các chương trình khuyến mại theo thứ tự ưu tiên

Các chương trình khuyến mại sẽ được sắp xếp theo thứ tự ưu tiên phục vụ cho việc chạy chương trình khuyến mại nào trước trong hệ thống

Các thông tin cơ bản:

Mã chương trình khuyến mại

Thứ tự ưu tiên của các chương trình khuyến mại

+ Bước 4: Khuyến mại là dành cho các hợp đồng hay là cho thuê bao? Nếu là khuyến mại dành cho hợp đồng thì chuyển sang Bước 5, nếu không thì chuyển sang Bước 6 + Bước 5: Tìm kiếm danh sách của các thuê bao trong hợp đồng

Đối với khuyến mại cho hợp đồng, phải tìm được danh sách các thuê bao trong hợp đồng để phân bổ các khuyến mại cho các thuê bao đó, sau đó sẽ tổng hợp khuyến mại lên mức hợp đồng

+ Bước 6: Áp dụng và tính số khuyến mại cho thuê bao

Khi đã tìm được danh sách các thuê bao được khuyến mại, hệ thống sẽ thực hiện tính toán các chương trình khuyến mại cho từng thuê bao Cách tính khuyến mại được lưu trữ trong các script của từng chương trình khuyến mại

+ Bước 7: Cập nhật số liệu khuyến mại cho hợp đồng

Số liệu khuyến mại sau khi được tính toán cho thuê bao sẽ được cập nhật lên mức hợp đồng

Trang 23

g Nghiệp vụ Kiểm tra

+ Bước 1: Nhân viên tính cước chuẩn bị câu lệnh SQL để kiểm tra việc thực hiện khóa sổ

+ Bước 2: Thực hiện câu lệnh kiểm tra dữ liệu đã tổng hợp với dữ liệu vừa thực hiện tổng hợp, nếu dữ liệu đúng thì kết thúc Nếu dữ liệu bị sai lệch thì sẽ thực hiện tiếp Bước 3

+ Bước 3: Thực hiện kiểm tra dữ liệu theo các hướng (Bill Item), nếu có hướng sai thì sẽ kiểm tra tại Bước 4 Ở bước này ta sẽ có danh sách các hướng bị lệch, ta thực hiện tiếp kiểm tra từng hướng bị lệch

+ Bước 4: Thực hiện kiểm tra dữ liệu theo ngày của hướng bị lệch Ở bước này ta sẽ có danh sách các ngày bị lệch của hướng đấy, và thực hiện kiểm tra tiếp đến mức nhỏ hơn + Bước 5: Kiểm tra dữ liệu tổng hợp của thuê bao, và đưa ra danh sách các thuê bao bị lệch cước

+ Bước 1: Thực hiện Import các dữ liệu đã tính cước vào CSDL

+ Bước 2: Kiểm tra lại số lượng các bản ghi trong CSDL được Import của Công ty cước và dữ liệu trên cơ sở dữ liệu Billing có chính xác không Nếu không chính xác phải Import lại

+ Bước 3: Tìm khách hàng có đầy đủ các hướng gọi (Ví dụ: Điều kiện là đầy đủ dịch vụ, đầy đủ các gói sản phẩm, đầy đủ các khuyến mại hiệu lực, đầy đủ các dịch vụ VAS )

Trang 24

+ Bước 4: Tiến hành in thử khách hàng vừa tìm được thỏa mãn các điều kiện trên + Bước 5: Kiểm tra thông tin trên thông báo cước, chi tiết cước in thử, nếu chính các thì nhân viên phòng Billing ký xác nhận

1.2 Những tồn tại của hệ thống

Với độ phức tạp của quá trình xử lý như trên, dữ liệu của hệ thống ngày càng lớn, vì vậy việc thay đổi công nghệ để hệ thống có thể đáp ứng được yêu cầu của thực tế là việc bắt buộc phải làm

a Các nhược điểm của hệ thống:

Theo quy định KPI về hệ thống, dữ liệu về cuộc gọi của khách hàng chậm nhất là 45 phút phải hiển thị lên để CSKH thực hiện tra cứu và giải đáp cho khách hàng nếu có khiếu nại [9]

Khi hệ thống gặp sự cố, dữ liệu không import được vào Database (Lỗi trên hệ thống Billing Gateway, lỗi hệ thống mạng hoặc lỗi do tiến trình import cước, lỗi Database lưu dữ liệu cước) thì dữ liệu hiện thị lên cho CSKH tra cứu sẽ bị chậm Thực tế, nếu sự cố xảy ra khoảng 1 giờ mới có the khắc phục thì hệ thống cần đến 2 giờ để import hết số lượng dữ liệu tồn trong khoảng thời gian sự cố

Dữ liệu trung bình tháng trong năm 2018 là khoảng 1.5TB, nhưng sang đến năm 2019 thì dữ liệu trung bình tháng khoảng 2TB tương ứng với khoảng 50 triệu thuê bao Dữ liệu chi tiết này tăng cao do số lượng thuê bao tăng hàng năm, ngoài ra nhu cầu sử dụng của khách hàng cũng tăng

Qua các thông số trên ta thấy hệ thống có nguy cơ quá tải rất cao, nhu cầu cấp thiết là phải nâng cấp hệ thống Việc nâng cấp hệ thống có 2 giải pháp là: nâng cấp tài nguyên phần cứng và nâng cáp giải pháp phần mềm

b Những yêu cầu cải tiến:

- Nếu xảy ra sự cố thì hệ thống phải hoàn thành import cước chậm nhất để không bị tồn là 45 phút Đây là KPI của Tập đoàn cũng như là KPI của Bộ Thông tin và truyền thông

- Nâng khả năng import của hệ thống lên khoảng 1.5 đến 2 lần so với hiện tại để phục vụ được nhu cầu thực tế Với chính sách chuyển mạng dữ số thì việc các thuê bao của mạng khác có thể chuyển sang dùng mạng của Viettel là hoàn toàn có khả năng xảy ra, vì vậy cần nâng cấp hệ thống sẵn sàng để có thể đáp ứng được nhu cầu kinh doanh

Trang 25

1.3 Kết chương

Việc đặt vấn đề này đề cập đến những thách thức mà khách hàng đang gặp phải khi sử dụng dịch vụ của công ty, như sự không minh bạch trong cách tính cước hoặc tính cước không công bằng

Bằng cách đặt vấn đề về bài toán tính cước, chúng ta hy vọng rằng công ty sẽ cân nhắc việc thay đổi phương thức tính cước để đáp ứng nhu cầu và yêu cầu của khách hàng Việc giải quyết vấn đề này sẽ giúp cải thiện chất lượng dịch vụ của công ty, tăng tính minh bạch và đảm bảo sự công bằng trong việc tính toán cước cho khách hàng

Trang 26

CHƯƠNG 2 PHÂN TÍCH, LỰA CHỌN VÀ THIẾT KẾ GIẢI PHÁP 2.1 Mô hình giải pháp cũ

2.1.1 Mô hình vật lý hệ thống Billing hiện tại

Đây là mô hình vật lý truyền thống của một hệ thống công nghệ thông tin, bao gồm các thiết bị mạng, thiết vị máy chủ và thiết bị lưu trữ Các thành phần vật lý đều có dự phòng đảm bảo rằng một node mạng vật lý bị down sẽ không ảnh hưởng đến hệ thống

Với mô hình này, việc mở rộng các thành phần vật lý rất đơn giản, trong khoảng từ năm 2006 đến năm 2018 [10] thì số lượng node mạng đã tăng lên khoảng 10 lần, tương ứng với khoảng 3.000 node mạng (bao gồm các thiết bị như: firewall, switch, load blancer, server, storage, tape) Số lượng node mạng lớn sẽ làm cho công tác vận hành khai thác khó hơn, tốn nhiều nhân sự để thực hiện công tác vận hành khai thác

Hình 2.1 Mô hình vật lý hệ thống Billing

Trang 27

b Nhóm các thiết bị máy chủ

Thiết bị máy chủ được chia làm hai nhóm chính, nhóm ứng dụng vào nhóm Database Nhóm ứng dụng có cấu hình thấp hơn so với máy chủ nhóm Database nhưng có số lượng nhiều hơn

2.1.2 Mô hình logic hệ thống Billing hiện tại

Mô hình được phân theo các khối chức năng khác nhau, được chia làm bốn khối:

- Khối import chi tiết cước; - Khối tính cước;

- Khối giao diện với cửa hàng; - Khối lưu trữ dữ liệu

Hình 2.2 Mô hình logic hệ thống Billing

Trang 28

a Khối import chi tiết cước

Đây là khối cung cấp dữ liệu đầu vào cho hệ thống Toàn bộ thông tin chi tiết về cuộc gọi, tin nhắn, dữ liệu đều được import vào Database phục vụ cho việc tính cước và tra cứu cước

b Khối tính cước

Khối tính cước có chức năng tổng hợp cước định kỳ, tính khuyến mại và khóa sổ cuối tháng và in thông báo cước cho khách hàng Toàn bộ nghiệp vụ tính cước đều nằm trên khối này, đây cũng là khối chức năng chiếm tài nguyên nhiều nhất

c Khối giao diện với khách hàng

Khối này là giao diện cho nhân viên tại cửa hàng Các chức năng chính như: đăng ký thuê bao mới, cập nhật thuê bao, thu cước, in chi tiết cước d Khối lưu trữ dữ liệu

Toàn bộ dữ liệu đều đuợc lưu trữ trên hai Database Oracle Database thứ nhất lưu toàn bộ dữ liệu về cuộc gọi của khách hàng Database thứ hai lưu dữ liệu về khách hàng và thông tin về tiền cước của khách hàng

2.2 Mô hình giải pháp hệ thống Billing mới và hoàn toàn miễn phí[10]

Hiện nay có nhiều giải pháp sử dụng công nghệ Open Source, trong đề tài này tác giả chọn mô hình giải pháp của Hortonworks Giải pháp này do Apache phát triển và đang được sử dụng rộng rãi, phù hợp với việc xử lý dữ liệu lớn và có cấu trúc hoặc phi cấu trúc

Hình 2.3 Mô hình giải pháp hoàn toàn miễn phí

Trang 29

a Khối chức năng import (ETL)

Red Hat Fuse: là một nền tảng tích hợp mã nguồn mở dựa trên Apache Camel Nó là một nền tảng tích hợp phân tán cung cấp một phương pháp, cơ sở hạ tầng và công cụ được chuẩn hóa để tích hợp các dịch vụ, các dịch vụ nhỏ và các thành phần ứng dụng JBoss Fuse sử dụng công nghệ (Java Business Integration-JBI) làm nền tảng tích hợp ứng dụng Nhờ vậy, JBoss Fuse thừa kế các tính năng trên JBI như: các bộ định tuyến và chuẩn hoá thông điệp, các tác vụ để quản lý và cài đặt các thành phần trong trục tích hợp

b Khối chức năng lưu tạm thời (cache)

Kafka: là hệ thống truyền thông điệp phân tán, độ tin cậy cao, dễ dàng mở rộng và có thông lượng cao Kafka cung cấp cơ chế offset (có the hieu như tương tự như chỉ số của một mảng) để lấy thông điệp một cách linh hoạt, cho phép các ứng dụng xử lý có thể xử lý lại dữ liệu nếu việc xử lý trước đó bị lỗi Ngoài ra, cơ chế “đăng ký” theo dõi cho phép việc lấy thông điệp ra gần như tức thời ngay khi dữ liệu đi vào hàng đợi Kafka được thiết kế hỗ trợ tốt cho việc thu thập dữ liệu thời gian thực

Tốc độ nhanh: Với một máy đơn cài đặt Kafka có thể xử lý số lượng dữ liệu từ việc đọc và ghi lên tới hàng trăm megabyte trong một giây từ hàng ngàn máy khách

Khả năng mở rộng: Kafka được thiết kế cho phép dễ dàng được mở rộng và trong suốt với người dùng (nghĩa là không có thời gian chết - ngừng hoạt động trong khi thêm một nút máy chủ mới vào cụm) Khi Kafka chạy trên một cụm, luồng dữ liệu sẽ được phân chia và được vận chuyển tới các nút trong cụm, do đó cho phép trung chuyển các dữ liệu mà có khối lượng lớn hơn nhiều so với sức chứa của một máy đơn

Độ tin cậy: Dữ liệu vào hàng đợi sẽ được lưu trữ trên ổ đĩa và được sao chép tới các nút khác trong cụm để ngăn ngừa việc mất dữ liệu, như vậy Kafka đảm bảo tính chịu lỗi cao

c Khối quản lý, lưu trữ dữ liệu(storage)

Trang 30

HDFS: là 1 hệ thống lưu trữ chính được dùng bởi Hadoop Nó cung cấp truy cập hiệu suất cao đến dữ liệu trên các cụm Hadoop Nó thường được triển khai trên các phần cứng chi phí thấp Các máy chủ chi phí thấp này rất dễ xảy ra lỗi phần cứng Vì lý do này mà HDFS được xây dựng để có khả năng chịu lỗi cao Tốc độ truyền dữ liệu giữa các nodes trong HDFS là rất cao, dẫn đến giảm thiểu nguy cơ lỗi

YARN: là một framework hỗ trợ phát triển ứng dụng phân tán YARN cung cấp daemons và APIs cần thiết cho việc phát triển ứng dụng phân tán, đồng thời xử lý và lập lịch sử dụng tài nguyên tính toán (CPU hay memory) cũng như giám sát quá trình thực thi các ứng dụng đó

MapReduce: Đây là hệ thống dựa trên YARN dùng để xử lý song song các tập dữ liệu lớn MapReduce framework gồm một single master (máy chủ) JobTracker và các slave (máy trạm) TaskTracker trên mỗi cluster-node Master có nhiệm vụ quản lý tài nguyên, theo dõi quá trình tiêu thụ tài nguyên và lập lịch quản lý các tác vụ trên các máy trạm, theo dõi chúng và thực thi lại các tác vụ bị lỗi Những máy slave TaskTracker thực thi các tác vụ được master chỉ định và cung cấp thông tin trạng thái tác vụ (task-status) để master theo dõi

Zookeeper: là một dịch vụ tập trung để duy trì thông tin cấu hình, đặt tên, cung cấp sự đồng bộ phân tán và cung cấp các dịch vụ nhóm Nói đơn giản trong Hadoop Cluster có nhiều nodes khác nhau và có một node là master Giả sử master node bị lỗi với bất kỳ lý do gì thì vai trò của master node được chuyển cho một node khác Vai trò chính của master node là quản lý việc ghi theo thứ tự giữa các nodes Zookeeper sẽ gán master node mới và đảm bảo rằng Hadoop cluster thực hiện tiếp việc xử lý và không gặp vấn đề gì Zookeeper là phương pháp phối hợp tất cả các yếu tố của hệ thống phân tán Hadoop HBase: là một hệ cơ sở dữ liệu mã nguồn mở được xây dựng dựa trên BigTable được mô tả trong nghiên cứu “BigTable: A Distributed Storage Systemystem for Structure Data” HBase cung cấp khả năng lưu trữ dữ liệu lớn lên tới hàng tỷ bản ghi, hàng triệu cột khác nhau cũng như hàng petabytes dung lượng HBase là một NoSQL điển hình bởi vậy các tables của HBase không có một schemas cố định và không có các quan hệ giữa các bảng, không cung cấp phép join giữa các bảng Hadoop có khả năng mở rộng tốt và được thiết kế để mở rộng theo chiều ngang (Scale horizontally)

d Khối truy cập dữ liệu (access)

Trang 31

Apache Oozie: có khả năng định nghĩa một luồng tiến trình trong đó các tiến trình con có the được thực hiện song song hay kết hợp một cách rất linh hoạt Oozie còn hỗ trợ một thành phần đóng vai trò như một máy chủ sẽ kiểm soát và thống kê số liệu về những tiến trình đã đang và sẽ được thực thi Đối với một tiến trình đơn lẻ hay đối với luồng dữ liệu kiểu micro, việc tiến trình sẽ chỉ được định nghĩa chứ không the được thực thi một cách tự động, việc khởi chạy một tiến trình nào đó sẽ phải thực hiện một cách thủ công Còn đối với Oozie, các luồng tiến trình có thể được thực thi tự động tại một thời điểm cụ thể với một tần suất cụ thể được định nghĩa ra bởi các coordinators của nó Pig: là một nền tảng cấp cao để tạo các chương trình MapReduce được dùng với Hadoop và ngôn ngữ chúng ta dùng cho nền tảng này được gọi là PIG Latin Pig được thiết kế để giúp Hadoop thân thiện với người dùng hơn và thích hợp hơn PIG là một môi trường thực thi tương tác hỗ trợ ngôn ngữ Pig Latin Ngôn ngữ Pig Latin hỗ trợ nạp và xử lý dữ liệu đầu vào với một chuỗi các biến đổi để tạo ra kết quả mong muốn PIG có hai môi trường thực thi khác nhau 1) Local Mode - tất cả scripts chạy trên 1 máy đơn 2) Hadoop - tất cả scripts chạy trên Hadoop Cluster

Hive: là hạ tầng kho dữ liệu cho Hadoop Nhiệm vụ chính là cung cấp sự tổng hợp dữ liệu, truy vấn và phân tích Nó hỗ trợ phân tích các tập dữ liệu lớn được lưu trong HDFS của Hadoop cũng như trên Amazon S3 Điểm hay của HIVE là hỗ trợ truy xuất giống SQL đến dữ liệu có cấu trúc, được biết với tên HiveSQL (hoặc HQL) cũng như phân tích big data với MapReduce Hive không được xây dựng để hồi đáp nhanh các câu truy vấn nhưng nó được xây dựng cho các ứng dụng khai thác dữ liệu Các ứng dụng khai thác dữ liệu có thể mất nhiều phút đến nhiều giờ để phân tích dữ liệu và HIVE được dùng chủ yếu

e Khối xử lý dữ liệu (process)

HCatalog: là lớp trừu tượng siêu dữ liệu để tham chiếu dữ liệu mà không sử dụng tên tệp hoặc định dạng cơ bản Nó cách ly người dùng và tập lệnh từ cách thức và nơi dữ liệu được lưu trữ trên thực tế HCatalog được xây dựng trên đỉnh của di tích Hive và kết hợp các thành phần từ Hive DDL HCatalog cung cấp giao diện đọc và ghi cho Pig và MapReduce và sử dụng giao diện dòng lệnh của Hive để phát hành các lệnh xác định dữ liệu và tìm kiếm siêu dữ liệu Spark: cho phép xây dựng các mô hình dự đoán nhanh chóng với việc tính toán được thực hiện trên một nhóm các máy tính, có có the tính toán cùng luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 32

lúc trên toàn bộ tập dữ liệu mà không cần phải trích xuất mẫu tính toán thử nghiệm Tốc độ xử lý của Spark có được do việc tính toán được thực hiện cùng lúc trên nhiều máy khác nhau Đồng thời việc tính toán được thực hiện ở bộ nhớ trong (in-memories) hay thực hiện hoàn toàn trên RAM

Solr: là một nền tảng mã nguồn mở dựa trên Apache Lucence có khả năng cung cấp sử dụng Lucene Java làm thư viện cho việc index(đánh chỉ số) và search(tìm kiếm) dữ liệu Solr nhập dữ liệu dưới dạng XML thông qua HTTP, hoặc sử dụng thư viện để nhập khối lượng lớn dữ liệu Người dùng có thể truy vấn dữ liệu này thông qua HTTP GET và nhận về một kết quả dạng XML Sok chạy bên trong một Java servlet container như Tomcat, Jetty hay Resin

f Khối hiển thị dữ liệu (visualization)

Metabase: là một công cụ mã nguồn mở hiển thị dữ liệu thông minh Nó cho phép đặt câu hỏi về dữ liệu của mình và hiển thị câu trả lời ở định dạng có ý nghĩa, cho dù đó là biểu đồ, bảng biểu hay bảng chi tiết Câu hỏi của bạn có thể được lưu lại sau, giúp bạn dễ dàng quay lại với chúng hoặc bạn có the nhóm các câu hỏi thành các trang tổng quan Metabase cũng giúp bạn dễ dàng chia sẻ câu hỏi và trang tổng quan với nhóm của bạn

Apache Zeppelin: là một phần mềm hiển thị dữ liệu dựa trên web cho phép phân tích dữ liệu tương tác Bạn có thể tạo tài liệu hướng dẫn, tương tác và hợp tác dữ liệu đẹp với SQL, Scala Bạn có thể sử dụng Zeppelin để lấy dữ liệu phân tán từ bộ đệm Ignite bằng cách sử dụng trình thông dịch Ignite SQL Hơn nữa, trình thông dịch Ignite cho phép bạn thực thi bất kỳ mã Scala nào trong trường hợp SQL không phù hợp với yêu cầu của bạn - Ví dụ, bạn có the điền dữ liệu vào bộ nhớ cache Ignite hoặc thực hiện các phép tính phân tán

2.3 Mô hình giải pháp miễn phí kết hợp có phí

Mục đích của giải pháp này là kết hợp giữa các công nghệ có license và open source Đây là giải pháp tối ưu nguồn lực, chi phí và thời gian triển khai Với mô hình open source thì cần một đội ngũ có trình độ để nghiên cứu và phát triển phù hợp với từng doanh nghiệp Ngoài ra với những công nghệ mới có phí cũng có nhiều tính năng vượt chội so với mô hình có phí trước đây Trong các công nghệ dưới đây, chỉ có Kafka là công cụ miễn phí, Mulesoft và MemSql là công cụ có phí

Trang 33

Hình 2.4 Mô hình giải pháp kếp hợp có phí và miễn phí a Khối thu thập dữ liệu (ETL)

Mule ESB là một trục tích hợp(Enterprise Service Bus-ESB) của hãng Mulesoft, gọn nhẹ được viết bằng ngôn ngữ Java, là nền tảng tích hợp cho phép các nhà phát triển kết nối các ứng dụng nhanh chóng và dễ dàng Mule cho phép các ứng dụng có the trao đoi dữ liệu với nhau, dễ dàng tích hợp các hệ thống đang tồn tại bất ke chúng đang sử dụng các công nghệ khác nhau như JMS, web services, JDBC, HTTP,

Tính năng định tuyến(Routing): là tính năng dựa trên việc kiểm tra nội dung của bản tin để định tuyến bản bin này đến một kênh được định nghĩa trước Định tuyến có thể dựa trên một số tiêu chí như sự tồn tại của trường, giá trị của trường cụ thể Trong các kịch bản phức tạp hơn, bộ định tuyến theo nội dung có the thực hiện dưới dạng một bộ quy tắc, khi đó việc định tuyến đến kênh nào hoàn toàn dựa trên bộ quy tắc này

Tính năng chuyên đoi dữ li»u(Transformation): là quá trình chuyển đổi dữ liệu từ một định dạng (ví dụ: tệp cơ sở dữ liệu, tài liệu XML hoặc trang tính Excel) sang một định dạng khác Bởi vì trong doanh nghiệp dữ liệu thường nằm ở các vị trí và có nhiều định dạng khác nhau, nên việc chuyển đổi dữ liệu là cần thiết để đảm bảo dữ liệu có the liên kết với nhau hoặc có the được dùng bởi hệ thống khác

Tính năng quản lý giao dịch(Transaction management): là một hoạt động trong ứng dụng để đảm bảo rằng kết quả là xác định và chính xác Trong quá trình chuyển đổi hoặc định tuyến sẽ có nhiều bước, để đảm bảo các bước này thành công và dữ liệu là thống nhất thì bạn phải đóng gói các bước thành một luồng Trong luồng xử lý dữ liệu này sẽ không có giao dịch thành công một phần hoặc không đầy đủ Nếu việc này xảy ra thì Mulesoft sẽ rollback lại dữ liệu và thực

Trang 34

hiện lại luồng xử lý từ đầu

Tính năng bảo mật(Security): cung cấp một lớp bổ sung các khả năng trên hệ thống đã có Đây là lớp trên cùng và bao gồm toàn bộ các lớp còn lại Lớp bảo mật này là một bộ các tính năng bảo mật toàn diện, giúp các nhà phát triển phát triển ứng dụng an toàn và tin cậy

Chặn truy cập trái phép vào hệ thống thông qua bộ lọc và các chính sách Ngăn chặn sự tiếp xúc của dữ liệu nhạy cảm với mã hóa và chữ ký số

Kiểm soát quyền truy cập vào các API có tiêu chuẩn bảo mật đã được chứng minh như OAuth2, SAML và LDAP

Dữ liệu sau khi đi qua hệ thống Mulesoft được xử lý(chuyển đổi, quản lý giao dịch, bảo mật) sẽ được chuyển đến khối tiếp theo là khối hàng đợi Khối này làm nhiệm vụ lưu cache các giao dịch và hoàn toàn hoạt động trên bộ nhớ trong(RAM) vì vậy có tốc độ cao, đảm bảo được yêu cầu làm hệ thống làm việc với dữ liệu lớn

a Khối hàng đợi (cache)

Khối hàng đợi được chia làm ba phần chính là khối tiếp nhận dữ liệu đầu vào (Producer), khối lưu trữ cache dữ liệu(các topic) và khối dữ liệu đầu ra (Consumer) Khối này cho phép chạy Cluster trên nhiều node để tăng tốc độ xử lý và đảm bảo tính dự phòng Mỗi loại dữ liệu sẽ được lưu vào các Topic, mỗi Topic sẽ có nhiều Partition, trên một node sẽ lưu một hoặc nhiều Partition

Producer: có nhiệm vụ đẩy dữ liệu vào một hoặc nhiều topic Người dùng có thể quyết định liệu những thông điệp (mỗi dòng của dữ liệu) nào sẽ cùng thuộc vào một partition thông qua một chuỗi khóa đính kèm với thông điệp Nếu không producer sẽ gán một khóa ngẫu nhiên và quyết định đích đến của thông điệp dựa trên giá trị băm của khóa Topic: là một hàng đợi của thông điệp (mỗi dòng dữ liệu) có tên do người dùng đặt Các thông điệp mới do một hoặc nhiều producer đẩy vào, sẽ luôn luôn được thêm vào cuối hàng đợi Bởi vì mỗi thông điệp được đẩy vào topic sẽ được gán một offset tương ứng (ví dụ: thông điệp đầu tiên có offset là 1, thông điệp thứ hai là 2, ) nên consumer có thể dùng offset này để điều khiển quá trình đọc thông điệp Nhưng cần lưu ý là bởi vì Kafka sẽ tự động xóa những thông điệp đã quá cũ ( thông điệp đẩy vào đã quá hai tuần hoặc xóa bởi vì luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 35

bộ nhớ cho phép để chứa thông điệp đã đầy) vì vậy sẽ gặp lỗi nếu truy cập vào các thông điệp đã bị xóa Thông điệp được đẩy vào topic nào phụ thuộc vào giá trị băm của chuỗi số đó, điều này đảm bảo số lượng thông điệp trên mỗi partition là tương tự nhau

Partition: là nơi lưu trữ dữ liệu trên từng máy chủ (broker) Với mỗi partition, tùy thuộc vào người dùng cấu hình sẽ có một số bản sao chép nhất định để đảm bảo dữ liệu không bị mất khi một node trong cụm bị hỏng, tuy nhiên số lượng bản sao không được vượt quá số lượng broker trong cụm, và những bản sao đó sẽ được lưu lên các broker khác Broker chứa bản chính của partition gọi là broker "leader" Những bản sao chép này có tác dụng giúp hệ thống không bị mất dữ liệu nếu có một số broker bị lỗi, với điều kiện số lượng broker bị lỗi không lớn hơn hoặc bằng số lượng bản sao của mỗi partition Ví dụ một partition có hai bản sao được lưu trên 3 broker sẽ không bị mất dữ liệu nếu có một broker bị lỗi Còn một điều quan trọng nữa phải lưu ý, do các phiên bản sao chép này không nhận dữ liệu trực tiếp từ producer hay được đọc bởi consumer, mà nó chỉ đồng bộ với paritition chính vì vậy nó không làm tăng khả năng song song hóa việc đọc và ghi

Consumer: có nhiệm vụ kéo dữ liệu từ một topic chỉ định về Tùy thuộc vào mục đích sử dụng, Kafka cung cấp hai hàm API như sau: High Level Consumer: API này hướng tới những ứng dụng không quan tâm về việc điều khiển việc đọc thông điệp (mỗi dòng của dữ liệu), người dùng chỉ có thể đọc từ thông điệp cũ nhất hoặc đọc từ thông điệp mới nhất API này luôn lưu lại offset của thông điệp được lấy về mới nhất của mỗi partition vào Zookeeper Simple Consumer: Việc sử dụng API này tương đối phức tạp hơn API trên nhưng nó cho phép điều khiển việc đọc một cách linh hoạt dựa trên offset Do đó, API này cho phép ứng dụng có thể xử lý lại thông điệp nếu gặp lỗi trong quá trình xử lý trước đó

b Khối lưu trữ dữ liệu (storage)

Pipeline: cho phép nhập dữ liệu thời gian thực từ các nguồn bên ngoài, nó sẽ trỏ vào từng Consumer của Kafka để lấy dữ liệu, transform và load vào trong hệ thống MemSql Thực tế Pipeline là một thành phần của MemSql nó cho phép load dữ liệu từ các hệ thống khác Đặc biệt Pipeline làm việc với Kafka thì việc xử lý luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 36

dữ liệu hoàn toàn nằm trên bộ nhớ trong, vì vậy dữ liệu được xử lý với tốc độ cực cao Pipeline có khả năng mở rộng theo nền tảng cluster vì vậy có hiệu suất và tính dự phòng cao

MemSQL: là cơ sở dữ liệu trên bộ nhớ (In-memory database - IMDB), đây không phải là công nghệ quá mới và thực tế có rất nhiều tên tuổi lâu đời trong làng IMDB như Redis, VoltDB, hay các DBMS nổi tiếng cũng có tính năng hoặc sản phẩm tương tự như Microsoft Hekaton, Oracle hoặc SAP HANA Tuy nhiên, MemSQL nhanh chóng phát triển và vượt qua nhiều tên tuổi lớn trở thành số 1 về kho cơ sở dữ liệu thời gian thực Các tính năng nổi bật của MemSQL:

• Compiled query: Các câu lệnh SQL được biên dịch lại, nhờ vậy tốc độ thực hiện câu lệnh tăng rõ rệt ở lần chạy thứ 2 Ưu điểm này phù hợp với các hệ thống cơ sở dữ liệu thời gian thực, vì công việc truy vấn lại dữ liệu trong một khoảng thời gian (windows frame) được thực hiện tương đối thường xuyên

• Hỗ trợ JSON: MemSQL hỗ trợ JSON tương đối tốt bằng cách hỗ trợ loại dữ liệu là JSON, có the đánh chỉ mục (indexing) trên một đối tượng thuộc JSON trực tiếp thay vì phải tách dữ liệu rồi mới đánh chỉ mục như hầu hết các CSDL khác MemSQL còn hỗ trợ truy cập trực tiếp một đối tượng trong JSON bằng DML, nhờ đó có thể truy vấn, lọc bớt, chuyển đổi một vài dữ liệu thuộc JSON thành chuỗi, số và có the thực hiện tính toán được Thậm chí có the truy vấn các đối tượng lồng nhau trong JSON

• Kiểu dữ liệu địa lý: MemSQL hỗ trợ tương đối đầy đủ kiểu dữ liệu địa lý, các hàm thực hiện tính toán địa lý như tính khoảng cách, tính giao cắt, tính khoanh vùng v.v Tuy nhiên, cũng không phải tất cả Một số hàm tính toán địa lý phức tạp cũng không được hỗ trợ

• JOIN: Cơ sở dữ liệu có quan hệ đương nhiên hỗ trợ JOIN, và MemSQL cũng không ngoại lệ MemSQL hỗ trợ cả Spatial Join Do dữ liệu nằm hoàn toàn trong bộ nhớ nên thao tác spartial join được thực hiện khá nhanh

• Lưu dữ liệu snapshot trên ổ cứng: MemSQL không chỉ lưu dữ liệu trên bộ nhớ mà còn hỗ trợ lưu các ảnh của cơ sở dữ liệu (snapshot) xuống ổ cứng đầy đủ Và khi có sự cố mất điện, hoặc phải khởi động lại máy chủ, dữ liệu được nạp luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop

Trang 37

lại nguyên vẹn từ ổ cứng, thao tác này trong trường hợp cơ sở dữ liệu có kích thước lớn làm chậm tương đối việc khởi động lại cơ sở dữ liệu Dĩ nhiên, có the tuỳ chỉnh tuỳ theo nhu cầu Các dữ liệu lưu trên ổ cứng được nén lại làm giảm đáng kể dung lượng ổ cứng sử dụng

Clustering: MemSQL có kiến trúc theo dạng một node làm node tính toán, và có nhiều node làm node chứa dữ liệu MemSQL cũng hỗ trợ sẵn giao diện dạng web để quản lý các node

2.4 So sánh giải pháp miễn phí hoàn toàn và giải pháp kết hợp có phí

Đầu tiên chúng ta xem xét module dùng để import dữ liệu vào hệ thống Với các công nghệ trước đây chúng ta hay dùng một chương trình được viết bằng Java để import dữ liệu vào hệ thống Công nghệ này không thể import với số lượng lớn dữ liệu, ngoài ra với nhiều nguồn dữ liệu khác nhau thì cũng gặp nhiều khó khăn trong việc viết code để có the import hết từ các nguồn dữ liệu Hiện tại ta có khái niệm Trục tích hợp (Enterprise Service Bus-ESB)

Trục tích hợp là mô hình tích hợp ứng dụng được đánh giá có nhiều ưu thế nhất hiện nay, giải pháp này đang được sử dụng rộng rãi bởi các tổ chức lớn trong nhiều lĩnh vực khác nhau (Ebay, Logicoy ) tại nhiều quốc gia nhờ vào những tính năng tích hợp mạnh mẽ mà nó cung cấp vượt trội ESB là một hạ tầng tích hợp ứng dụng phân tán, đồng thời tận dụng được những điểm mạnh hướng thông điệp và sử dụng các chuẩn mở của công nghệ Web Services ESB cung cấp các dịch vụ định tuyến, chuyển đổi và quản lý giao dịch để hỗ trợ cho việc tương tác giữa những ứng dụng và dịch vụ tách biệt phân tán trong một cách thức an toàn và tin cậy Gartner đã đưa ra bảng so sánh giữa các nhà cung cấp dịch vụ EBS như sau:

Bảng 2.1 So sánh tính năng EBS của các nhà cung cấp dịch vụ

Mulesoft Oracle Microsoft Red Dell

Trang 38

Data mapping and Transformation

Integration flow development and life cycle management

Quality of Technical Support 4.5 3.9 4.2 3.9 4.2

Trong Bảng 2.1 ta thấy trục tích hợp của nhà cung cấp Mulesoft có chất lượng sản phẩm là tốt nhất (4.4 điểm) Trong đề tài này tôi chọn trục tích hợp của Mulesoft để sử dụng như một công cụ import dữ liệu vào hệ thống Database Tiếp theo chúng ta so sánh công nghệ tại lớp lưu trữ dữ liệu Để lưu trữ được dữ liệu lớn và có cấu trúc thì có rất nhiều nhà cung cấp dịch vụ có sản phẩm tốt như: Microsoft, Oracle, MemSQL, MariaDB, Hortonworks Trong đó có hai sản phẩm MariaDB và Hortonworks là miễn phí Theo Gartner chấm điểm các nhà cung cấp dịch vụ:

Bảng 2.2 So sánh Database của các nhà cung cấp dịch vụ

MemSQL Microsoft Oracle Hortonworks MariaDB

Trang 39

Integration and 4.3 4.4 4.2 4 4

Từ Bảng 2.2 so sánh ta thấy công nghệ lưu trữ dữ liệu MemSQL đang có số điểm cao nhất (4.5 điểm) MemSQL có khả năng lưu một phần hoặc lưu cả bảng hoàn toàn trên memory vì vậy việc ghi dữ liệu là nhanh hơn Ngoài ra MemSQL làm việc rất tốt với Kafka để load dữ liệu Vì vậy trong giải pháp này tôi sẽ xử dụng công nghệ MemSQL

2.5 Kết chương

Phân tích, lựa chọn và thiết kế giải pháp là một quá trình quan trọng để giải quyết các vấn đề cụ thể, tạo ra giá trị cho khách hàng và đưa ra các giải pháp hiệu quả cho tổ chức

Trong quá trình phân tích, các chuyên gia sẽ tìm hiểu vấn đề và đưa ra những giả thuyết về các nguyên nhân gây ra vấn đề đó Sau đó, thông qua việc đánh giá và so sánh các giải pháp khác nhau, người thực hiện sẽ lựa chọn giải pháp phù hợp nhất

Sau khi chọn được giải pháp tốt nhất, quá trình thiết kế giải pháp được thực hiện để đưa ra một kế hoạch chi tiết và các bước thực hiện để triển khai giải pháp đó Quá trình này bao gồm việc xác định các yếu tố kỹ thuật, phân bổ tài nguyên và các hoạt động cụ thể để triển khai giải pháp

Trang 40

CHƯƠNG 3 ỨNG DỤNG CÔNG NGHỆ HORTONWORKS DATA PLATFORM

3.1 Hortonworks Data Platform

Là một nền tảng phát triển và xây dựng hoàn toàn mở, HDP được thiết kế để đáp ứng nhu cầu xử lý dữ liệu lớn của doanh nghiệp HDP là linh hoạt, cung cấp khả năng mở rộng tuyến tính, mở rộng lưu trữ và tính toán trên một loạt các phương pháp truy cập (access methods), batch và real-time, search và streaming

Nó bao gồm một tập hợp toàn diện các khả năng xử lý dữ liệu cho doanh nghiệp như: governance, integration, security và operation

HDP cho phép triển khai Hadoop bất cứ nơi nào bạn muốn, từ cloud cho đến hệ thống tại chỗ, trên cả Linux và Windows

Hình 3.1 Hadoop trong một mô hình kiến trúc hiện đại

Sự xuất hiện và bùng nổ của các loại dữ mới trong những năm gần đây đã gây áp lực không nhỏ về kiến trúc dữ liệu cho các tổ chức Để đối phó, nhiều người đã chuyển sang Apache Hadoop để quản lý sự bùng nổ của dữ liệu

Apache Hadoop có nguồn gốc là để quản lý và truy cập dữ liệu, và chỉ bao gồm 2 thành phần là: Hadoop Distributed File System (HDFS) và MapReduce, một khuôn khổ xử lý cho dữ liệu lưu trữ trong HDFS Theo thời gian, nền tảng Hadoop mở rộng kết hợp với một loạt các dự án khác để thành một nền tảng hoàn chỉnh Nền tảng này luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop