Mục này tập trung vào mụ tả thiết kế hệ thống chuyển đổi dữ liệu cước.
3.2.1.Xõy dựng ý tưởng về hệ thống chuyển đổi dữ liệu cước
Yờu cầu thực tế là dữ liệu mà hệ thống tớnh cước kết nối cần thu thập chỉ là thụng tin về cuộc gọi, cỏc thụng tin này bao gồm:
- Chủ gọi
- Bị gọi
- Thời gian bắt đầu cuộc gọi - Thời gian thực hiện cuộc gọi
- Incoming Route
- Outgoing Route
Ngoài ra mọi thụng tin khỏc nếu cú được thu thập thỡ cũng chỉ để phõn biệt được cỏc cuộc gọi trong tổng thể cỏc cuộc gọi được thu thập như cỏc cuộc gọi transit, cỏc cuộc gọi liờn đài…
Hơn nữa dữ liệu cũng cần phải được lưu trữ tập trung để phục vụ cụng tỏc kiểm tra đối soỏt về sau khi cú cỏc yờu cầu phỏt sinh.
Do cỏc yờu cầu truy xuất thụng tin xột về bản chất là tương đối giống nhau nờn ý tưởng được lựa chọn khi xõy dựng hệ thống chuyển đổi số liệu cước phục vụ cho hệ thống tớnh cước kết nối chớnh là mụ hỡnh dữ liệu tập trung.
Data Source 1 Data Source 2 Data Source n Data Source 1' Data Source 2' Data Source n’
IP Network Central Data
Source
56
Tại mỗi nguồn dữ liệu mọi thụng tin cước do cỏc phần tử mạng ghi lại đều sẽ được phõn tớch (phõn tớch mọi loại thụng tin), sau đú tựy theo yờu cầu thực tế đặt ra như cỏc tiờu chớ chuẩn húa, cỏc tiờu chớ lọc cuộc gọi mà ngoài cỏc thụng tin cơ bản đó chỉ ra ở trờn hệ thống cú thể yờu cầu thu thập thờm một vài thụng tin khỏc… Như vậy dữ liệu nguyờn thủy ban đầu sẽ được lấy (get) và chuyển đổi (transform) sang một dạng khỏc để sau đú truyền về trung tõm xử lý để tớch hợp vào một nguồn dữ liệu duy nhất.
Tại mỗi nguồn dữ liệu cỏc thụng tin sẽ được phõn tớch và thu thập một cỏch cục bộ tuy nhiờn cỏc thụng tin cần thu thập lại phải được thiết lập từ trung tõm xử lý. Như vậy cỏch thức phõn tớch (get) và chuyển đổi số liệu (transform) phải mang tớnh cục bộ tức là nú phải được xõy dựng độc lập với hệ thống yờu cầu thu thập thụng tin từ trung tõm xử lý.
a) Phương ỏn phõn tớch và tớch hợp thụng tin
Phần lớn cỏc phần tử mạng chỉ cú thể lấy dữ liệu cước qua băng từ nờn khả năng thu thập dữ liệu on-line rất khú khăn vỡ nú khụng chỉ phụ thuộc vào cỏc tớnh năng của từng tổng đài, của từng nhà cung cấp thiết bị (do cỏc tớnh năng này cựng được bỏn riờng khụng kốm theo thiết bị) mà cũn phụ thuộc vào cỏc chương trỡnh thu thập dữ liệu on-line do nú phải đảm bảo tớnh an toàn của hệ thống, khả năng thực hiện...
Do tớnh đa dạng của nhà sản xuất việc xõy dựng một ứng dụng cú khả năng thu thập dữ liệu on-line trong giai đoạn hiện tại là khụng khả thi. Do đú giải phỏp được lựa chọn ở đõy là cỏc file nhị phõn được thu thập bằng nhõn cụng.
Tuy nhiờn việc phõn tớch và chuyển đổi thụng tin phải cú khả năng đỏp ứng được cỏc khuụn dạng mới mà khả năng tỏc động đến hệ thống là ớt nhất. Giải phỏp được đưa ra ở đõy là phần engine chuyển đổi sẽ được tỏch khỏi phần phõn tớch khuụn dạng dữ liệu. Khi đú hệ thống chuyển đổi sẽ được phõn tỏch làm hai phần:
- Phần phõn tớch cấu trỳc dữ liệu cước được đại diện bởi một file DLL. Khi cú một
khuụn dạng dữ liệu mới được bổ sung vào hệ thống thỡ chỳng ta chỉ cần bổ sung file DLL để phõn tớch khuụn dạng dữ liệu đú mà khụng phải chỉnh sửa chương trỡnh.
- Phần engine chuyển đổi sẽ giao tiếp với cỏc file DLL để chuyển đổi cỏc khuụn dạng cước khỏc nhau ra một khuụn dạng thống nhất được chọn là dbf.
57
Cấu trỳc hệ thống chuyển đổi được minh họa như sau:
Hỡnh 3-21. Phương ỏn phõn tớch và chuyển đổi số liệu
3.2.2.Mụ tả hệ thống
a) Chức năng của hệ thống chuyển đổi dữ liệu cước
Hệ thống chuyển đổi dữ liệu cước đúng vai trũ trung gian chuyển đổi và xử lý số liệu giữa cỏc cỏc lớp: lớp cỏc hệ thống phần tử mạng, hệ thống quản lý phần tử mạng ở phớa dưới và lớp cỏc hệ thống quản lý mạng, cỏc hệ thống quản lý kinh doanh, cỏc hệ thống quản lý dịch vụ ở phớa trờn.
Hệ thống được xõy dựng để thực hiện cỏc chức năng chớnh sau: - Thu thập dữ liệu từ cỏc nguồn
- Chuyển đổi số liệu - Chuẩn húa số liệu - Lọc dữ liệu
- Kiểm tra tớnh đỳng đắn của dữ liệu (Với dữ liệu phục vụ cỏc hệ thống tớnh cước cỏc chức năng được thực hiện bao gồm xử lý trựng, xử lý chờm, ghộp cuộc và đỏnh mó cho cỏc cuộc gọi)
58
b) Cấu trỳc của hệ thống chuyển đổi dữ liệu cước Sơ đồ khối của hệ thống
Khối thu thập và xử lý dữ liệu
Khối tiền kiểm tra và phân lớp
Khối tinh chỉnh và đánh mã dữ liệu
Khối điều khiển
Khối chuyển đổi số liệu
Khối chuẩn hóa và lọc dữ liệu
Khối truyền dữ liệu về trung tâm
Khối load dữ liệu
Khối tiền kiểm tra & phân lớp dữ liệu
Khối load dữ liệu Khối xử lý số liệu
59
Chức năng của cỏc khối trong hệ thống
X.25 over TCP/IP Switch CDR file Tape Tape manual Tape Conversion Binary File Hệ thống thu thập số liệu (Area Mediation) Dbf File Ftp Server (Central Office) Ftp
Hệ thống tiền kiểm tra & phân lớp dữ liệu (Central Mediation)
Database
Hệ thống xử lý & đánh mã dữ liệu
Hỡnh 3-23. Quy trỡnh tổng thể của hệ thống thu thập và xử lý số liệu
Hệ thống chuyển đổi số liệu cước được chia thành 4 nhúm chức năng chớnh cú cỏc nhiệm vụ và chức năng tỏch biệt được mụ tả như sau:
-Hệ thống thu thập số liệu (Area Mediation): chạy tại cỏc điểm thu thập số liệu, cú nhiệm vụ thu thập cỏc file dữ liệu nhị phõn, chuyển đổi dữ liệu ra một khuụn dạng thống nhất, chuẩn húa số liệu đó chuyển đổi, lọc số liệu và truyền dữ liệu tiền xử lý (sau khi đó hoàn thành cỏc bước trờn) về trung tõm xử lý số liệu. Hệ thống này cú thể chạy độc lập với cỏc quy trỡnh khỏc.
-Hệ thống tiền kiểm tra và phõn lớp số liệu (Central Mediation): chạy tại trung tõm xử lý số liệu, do dữ liệu được gửi về rất đa dạng như dữ liệu phục vụ hệ thống tớnh cước khỏch hàng, dữ liệu phục vụ hệ thống tớnh cước kết nối, dữ liệu về chất lượng mạng... nờn mục đớch sử dụng cỏc dữ liệu này cũng khỏc nhau. Để xử lý một cỏch linh hoạt và triệt để đồng thời cũng phục vụ mục đớch lưu trữ, cỏc dữ liệu này sẽ được load vào database để xử lý dựa thụng qua cỏc hàm, thủ tục.
60
Với hệ thống cước việc xử lý phải đảm bảo hai yờu cầu chớnh sau: Loại bỏ cỏc cuộc gọi trựng (cỏc cuộc gọi được ghi nhiều lần), ghộp cỏc cuộc gọi dài, ghi cỏc cuộc gọi lỗi, cỏc cuộc gọi bị khúa và phõn lớp số liệu (dữ liệu được phõn chia ra cỏc kỳ cước khỏc nhau).
-Hệ thống tinh chỉnh và đỏnh mó cuộc gọi (Data Process Mediation): chạy tại trung tõm xử lý số liệu và chỉ được dựng để phục vụ cỏc hệ thống tớnh cước. Số liệu cước sau khi đó được tiền kiểm tra và phõn lớp sẽ được đưa qua chức năng này để kiểm tra dữ liệu bao gồm: Kiểm tra chờm và ghộp cuộc. Quỏ trỡnh này phải đảm bảo tớnh đỳng đắn của số liệu giữa cỏc lần xử lý khỏc nhau. Mỗi cuộc gọi sau khi đó được tinh chỉnh sẽ được đỏnh một mó duy nhất trước khi chuyển qua hệ thống tớnh cước.
-Hệ thống thiết lập tham số thu thập và xử lý số liệu (Mediation Parameters System): Hệ thống này chịu trỏch nhiệm thiết lập toàn bộ cỏc tham số cú ảnh hưởng đến quỏ trỡnh thu thập và xử lý số liệu cho hệ thống tớch cước kết nối.
Hai chức năng cuối đều tỏc động vào cựng một nguồn dữ liệu trong database nờn khụng thể chạy đồng thời. Vỡ vậy phải cú sự đồng bộ giữa hai chức năng này.
Mỗi một chức năng trong hệ thống thu thập và xử lý số liệu lại được thực hiện theo nhiều giai đoạn riờng biệt, mỗi giai đoạn xử lý một tập dữ liệu đầu vào và dữ liệu ra của giai đoạn trước sẽ là dữ liệu đầu vào của giai đoạn sau. Ngoài ra dữ liệu của mỗi phần tử mạng đều được thực hiện một cỏch riờng biệt.
Hệ thống thu thập số liệu Area Mediation Giai đoạn thu thập số liệu
Chức năng của giai đoạn này là thu thập cỏc file dữ liệu nhị phõn do tổng đài ghi ra. Việc thu thập được tiến hành theo hai hỡnh thức: On-line và Off-line.
-On-line: Hệ thống sẽ tự kết nối đến tổng đài để lấy dữ liệu cước theo một chu kỳ nào đú. Điều này phụ thuộc vào bản thõn tổng đài cũng như sự hỗ trợ của nhà sản xuất. Do tớnh đa dạng của cỏc chủng loại tổng đài đang được khai thỏc trờn mạng lưới viễn thụng Việt Nam nờn hiện tại hệ thống chưa được trang bị chức năng thu thập dữ liệu on-line.
-Off-line: Tổng đài sẽ tự động đẩy file cước ra một thư mục nào đú hoặc phải sử dụng nhõn cụng để đọc cỏc băng cước của tổng đài. Hiện tại rất nhiều tổng đài đó
61
cú khả năng tự động đẩy file cước ra một thư mục trong hệ thống nờn việc thu thập số liệu sẽ chỉ là quột cỏc thư mục để lấy file. Do tớnh đơn giản nhưng vẫn đảm bảo cỏc yờu cầu của hệ thống tớnh cước như cú thể thu thập số liệu cước theo chu kỳ nờn cỏch này đó được lựa chọn để xõy dựng trong hệ thống thu thập số liệu Area Mediation.
Giai đoạn chuyển đổi số liệu
Dữ liệu đầu vào của giai đoạn này là cỏc file nhị phõn lưu trữ cỏc thụng tin theo một khuụn dạng nào đú tựy thuộc vào chủng loại và version của tổng đài. Hiện tại cú rất nhiều cỏc chủng loại tổng đài đang được khai thỏc trong mạng lưới viễn thụng Việt Nam, ngoài ra cựng với sự phỏt triển nhanh chúng của cỏc loại hỡnh dịch vụ rất nhiều loại tổng đài mới cũng sắp được đưa vào khai thỏc. Với cỏc file cước thỡ thụng tin được lưu trữ chớnh là cỏc bản tin CDR (Call Detail Record), bản tin này lưu trữ cỏc thụng tin chi tiết về một cuộc gọi như chủ gọi, bị gọi, thời gian bắt đầu cuộc gọi, thời gian thực hiện cuộc gọi...
Cấu trỳc của cỏc file nhị phõn này là rất đa dạng, cú loại rất đơn giản như cỏc chủng loại VKX, E10 hay một số loại được lưu trữ dưới dạng text nhưng cũng cú những loại rất phức tạp như EWSD, AXE... Hiện tại cú thể cú đến hàng trăm cỏc khuụn dạng file cước khỏc nhau đang được khai thỏc trờn mạng lưới viễn thụng Việt Nam.
Hệ thống phải thực hiện được cỏc yờu cầu sau:
- Nhận diện cỏc khuụn dạng tổng đài mà hệ thống cú thể chuyển đổi do tại mỗi điểm
thu thập số liệu thường chỉ cú một vài loại.
- Cú cơ chế để hệ thống tự động cập nhật cỏc khuụn dạng dữ liệu mới mà khụng cần
phải sửa lại chương trỡnh
- Chuyển đổi chớnh xỏc dữ liệu được lưu trữ trong file nhị phõn ra một khuụn dạng thống nhất. Đõy là một yờu cầu rất quan trọng vỡ đõy chớnh là khõu sẽ được kiểm tra và kiểm soỏt đầu tiờn để đảm bảo tớnh chớnh xỏc cho hệ thống tớnh cước kết nối.
Giải phỏp được đưa ra để đảm bảo cỏc yờu cầu trờn là :
- Mỗi một cỏch thức chuyển đổi ứng với mỗi một khuụn dạng tổng đài sẽ được đại
diện bởi file dll cú giao diện thống nhất đối với core của hệ thống. Cụ thể giao diện của cỏc file dll được thể hiện thụng qua cỏc hàm sau:
62
+ char* getLibraryIdentify(void): nhận diện khuụn dạng mà file dll này cú thể thực hiện chuyển đổi.
+ void* setBinaryFileName(const char* filename): xỏc định file nhị phõn sẽ được chuyển đổi.
+ char* getFieldValueByName(void* p,const char* fieldname): Mỗi bản tin CDR sẽ bao gồm nhiều trường thụng tin, mỗi trường cú một định danh cố định và duy nhất. Hàm này cho phộp lấy thụng tin của một trường trong một bản tin CDR thụng qua tờn.
+ char* getFieldValueByIndex(void* p,unsigned int index): Mỗi trường trong bản tin CDR nằm ở một vị trớ cố định vỡ vậy hàm này giỳp lấy thụng tin của trường thụng qua vị trớ của trường đú.
+ bool openBinaryFile(void* p): Hàm này được sử dụng để mở file nhị phõn. + unsigned int getNumBytesProcessed(void* p): Hàm này cú tỏc dụng theo dừi
tiến trỡnh thực hiện quỏ trỡnh convert, nú trả về số byte đó được xử lý trong file nhị phõn đú.
+ bool getRecordStatus(void* p): Xỏc định trạng thỏi của quỏ trỡnh chuyển đổi dữ liệu.
+ bool getNextRecord(void* p): Chuyển đến bản tin CDR tiếp theo + void closeBinaryFile(void* p): Đúng file nhị phõn.
+ void setYearParameters(void* p,unsigned int iStartYear_Para,bool bTwoYearData_Para): Cú một số tổng đài ghi khụng lưu thụng tin về năm trong bản tin cước. Vỡ vậy để xỏc định chớnh xỏc thời điểm thực hiện cuộc gọi cần phải cú cỏc thụng tin về năm bắt đầu và cú xảy ra trường hợp file lưu cỏc cuộc gọi nằm giữa hai năm hay khụng.
- Phần core của hệ thống chuyển đổi cú nhiệm vụ tỡm cỏc file dll này, để thụng qua đú xõy dựng nờn danh sỏch cỏc khuụn dạng mà nú cần để chuyển đổi dữ liệu đối với mỗi điểm thu thập. Như vậy khi cú một khuụn dạng dữ liệu mới xuất hiện chỳng ta chỉ cần bổ sung file dll xử lý dữ liệu mà khụng cần bất cứ một sự chỉnh sửa nào. Nhiều tổng đài cú thể cú cựng một khuụn dạng ghi cước nờn sau đú hệ thống phải xõy dựng nờn danh sỏch cỏc tổng đài cần thu thập số liệu.
63 - Cỏc file DLL được sử dụng để chuyển đổi dữ liệu.
- Cỏc thiết lập tham số chuyển đổi số liệu như danh sỏch cỏc tổng đài điều này được thể hiện qua danh sỏch cỏc thư mục dữ liệu đầu vào ứng với mỗi tổng đài. Nếu tham số này được thiết lập thỡ tổng đài đú là một trong những điểm cần thu thập số liệu, ngược lại nếu khụng thỡ tổng đài đú được bỏ qua.
- Mỗi một khuụn dạng dữ liệu cước lại cú một danh sỏch cỏc trường thụng tin khỏc
nhau, hơn nữa việc sử dụng cỏc thụng tin này đụi khi cũng rất khỏc nhau. Vớ dụ ở thời điểm này ta lấy thụng tin về số bị gọi ở một trường nhưng ở thời điểm khỏc do cú sự thay đổi hoặc bổ sung dịch vụ ta lại phải lấy thụng tin số bị gọi ở một trường khỏc. Chớnh vỡ vậy hệ thống phải cú khả năng lấy thụng tin ở bất cứ trường nào và ỏnh xạ nú với một trường nào đú trong file dữ liệu chuyển đổi. Quỏ trỡnh này phải được thực hiện thụng qua việc thiết lập tham số để đảm bảo tớnh mềm dẻo và linh hoạt trong quỏ trỡnh chuyển đổi.
Đầu ra của giai đoạn chuyển đổi này: Là cỏc file dữ liệu đó được chuyển đổi ra một khuụn dạng thống nhất được chọn ở đõy là cỏc file dbf do tớnh phổ dụng và dễ sử dụng của nú.
Do đặc trưng thường xuyờn cần tạo ra cỏc file DLL của mỗi tổng đài để phục vụ chức chuyển đổi dữ liệu cước, cỏc thư viện này thường xuyờn được cập nhật khi tổng đài được nõng cấp hoặc cú tổng đài mới do đú tụi đó sử dụng thiết kế miền chuyờn biệt để sinh ra cỏc dll tự động theo đặc trưng của từng tổng đài.
Giai đoạn chuẩn húa và lọc số liệu
Dữ liệu cước được ghi ở mỗi tổng đài bao gồm tất cả cỏc cuộc gọi phỏt sinh thuộc mọi loại hỡnh dịch vụ như cỏc cuộc gọi nội hạt, nội tỉnh, liờn tỉnh, quốc tế, VOIP, quay số truy cập Internet, cỏc cuộc gọi hội nghị, ISDN... Hơn nữa để trỏnh mất