a) Chức năng của hệ thống chuyển đổi dữ liệu cước
Hệ thống chuyển đổi dữ liệu cước đúng vai trũ trung gian chuyển đổi và xử lý số liệu giữa cỏc cỏc lớp: lớp cỏc hệ thống phần tử mạng, hệ thống quản lý phần tử mạng ở phớa dưới và lớp cỏc hệ thống quản lý mạng, cỏc hệ thống quản lý kinh doanh, cỏc hệ thống quản lý dịch vụ ở phớa trờn.
Hệ thống được xõy dựng để thực hiện cỏc chức năng chớnh sau: - Thu thập dữ liệu từ cỏc nguồn
- Chuyển đổi số liệu - Chuẩn húa số liệu - Lọc dữ liệu
- Kiểm tra tớnh đỳng đắn của dữ liệu (Với dữ liệu phục vụ cỏc hệ thống tớnh cước cỏc chức năng được thực hiện bao gồm xử lý trựng, xử lý chờm, ghộp cuộc và đỏnh mó cho cỏc cuộc gọi)
b) Cấu trỳc của hệ thống chuyển đổi dữ liệu cước Sơ đồ khối của hệ thống
Khối thu thập và xử lý dữ liệu
Khối tiền kiểm tra và phân lớp
Khối tinh chỉnh và đánh mã dữ liệu
Khối điều khiển
Khối chuyển đổi số liệu
Khối chuẩn hóa và lọc dữ liệu
Khối truyền dữ liệu về trung tâm
Khối load dữ liệu
Khối tiền kiểm tra & phân lớp dữ liệu
Khối load dữ liệu Khối xử lý số liệu
Chức năng của cỏc khối trong hệ thống X.25 over TCP/IP Switch CDR file Tape Tape manual Tape Conversion Binary File Hệ thống thu thập số liệu (Area Mediation) Dbf File Ftp Server (Central Office) Ftp
Hệ thống tiền kiểm tra & phân lớp dữ liệu (Central Mediation)
Database
Hệ thống xử lý & đánh mã dữ liệu
Hỡnh 3-23. Quy trỡnh tổng thể của hệ thống thu thập và xử lý số liệu
Hệ thống chuyển đổi số liệu cước được chia thành 4 nhúm chức năng chớnh cú cỏc nhiệm vụ và chức năng tỏch biệt được mụ tả như sau:
-Hệ thống thu thập số liệu (Area Mediation): chạy tại cỏc điểm thu thập số liệu, cú nhiệm vụ thu thập cỏc file dữ liệu nhị phõn, chuyển đổi dữ liệu ra một khuụn dạng thống nhất, chuẩn húa số liệu đó chuyển đổi, lọc số liệu và truyền dữ liệu tiền xử lý (sau khi đó hoàn thành cỏc bước trờn) về trung tõm xử lý số liệu. Hệ thống này cú thể chạy độc lập với cỏc quy trỡnh khỏc.
-Hệ thống tiền kiểm tra và phõn lớp số liệu (Central Mediation): chạy tại trung tõm xử lý số liệu, do dữ liệu được gửi về rất đa dạng như dữ liệu phục vụ hệ thống tớnh cước khỏch hàng, dữ liệu phục vụ hệ thống tớnh cước kết nối, dữ liệu về chất lượng mạng... nờn mục đớch sử dụng cỏc dữ liệu này cũng khỏc nhau. Để xử lý một cỏch linh hoạt và triệt để đồng thời cũng phục vụ mục đớch lưu trữ, cỏc dữ liệu này sẽ được load vào database để xử lý dựa thụng qua cỏc hàm, thủ tục.
Với hệ thống cước việc xử lý phải đảm bảo hai yờu cầu chớnh sau: Loại bỏ cỏc cuộc gọi trựng (cỏc cuộc gọi được ghi nhiều lần), ghộp cỏc cuộc gọi dài, ghi cỏc cuộc gọi lỗi, cỏc cuộc gọi bị khúa và phõn lớp số liệu (dữ liệu được phõn chia ra cỏc kỳ cước khỏc nhau).
-Hệ thống tinh chỉnh và đỏnh mó cuộc gọi (Data Process Mediation): chạy tại trung tõm xử lý số liệu và chỉ được dựng để phục vụ cỏc hệ thống tớnh cước. Số liệu cước sau khi đó được tiền kiểm tra và phõn lớp sẽ được đưa qua chức năng này để kiểm tra dữ liệu bao gồm: Kiểm tra chờm và ghộp cuộc. Quỏ trỡnh này phải đảm bảo tớnh đỳng đắn của số liệu giữa cỏc lần xử lý khỏc nhau. Mỗi cuộc gọi sau khi đó được tinh chỉnh sẽ được đỏnh một mó duy nhất trước khi chuyển qua hệ thống tớnh cước.
-Hệ thống thiết lập tham số thu thập và xử lý số liệu (Mediation Parameters System): Hệ thống này chịu trỏch nhiệm thiết lập toàn bộ cỏc tham số cú ảnh hưởng đến quỏ trỡnh thu thập và xử lý số liệu cho hệ thống tớch cước kết nối.
Hai chức năng cuối đều tỏc động vào cựng một nguồn dữ liệu trong database nờn khụng thể chạy đồng thời. Vỡ vậy phải cú sự đồng bộ giữa hai chức năng này.
Mỗi một chức năng trong hệ thống thu thập và xử lý số liệu lại được thực hiện theo nhiều giai đoạn riờng biệt, mỗi giai đoạn xử lý một tập dữ liệu đầu vào và dữ liệu ra của giai đoạn trước sẽ là dữ liệu đầu vào của giai đoạn sau. Ngoài ra dữ liệu của mỗi phần tử mạng đều được thực hiện một cỏch riờng biệt.
Hệ thống thu thập số liệu Area Mediation Giai đoạn thu thập số liệu
Chức năng của giai đoạn này là thu thập cỏc file dữ liệu nhị phõn do tổng đài ghi ra. Việc thu thập được tiến hành theo hai hỡnh thức: On-line và Off-line.
-On-line: Hệ thống sẽ tự kết nối đến tổng đài để lấy dữ liệu cước theo một chu kỳ nào đú. Điều này phụ thuộc vào bản thõn tổng đài cũng như sự hỗ trợ của nhà sản xuất. Do tớnh đa dạng của cỏc chủng loại tổng đài đang được khai thỏc trờn mạng lưới viễn thụng Việt Nam nờn hiện tại hệ thống chưa được trang bị chức năng thu thập dữ liệu on-line.
-Off-line: Tổng đài sẽ tự động đẩy file cước ra một thư mục nào đú hoặc phải sử dụng nhõn cụng để đọc cỏc băng cước của tổng đài. Hiện tại rất nhiều tổng đài đó
cú khả năng tự động đẩy file cước ra một thư mục trong hệ thống nờn việc thu thập số liệu sẽ chỉ là quột cỏc thư mục để lấy file. Do tớnh đơn giản nhưng vẫn đảm bảo cỏc yờu cầu của hệ thống tớnh cước như cú thể thu thập số liệu cước theo chu kỳ nờn cỏch này đó được lựa chọn để xõy dựng trong hệ thống thu thập số liệu Area Mediation.
Giai đoạn chuyển đổi số liệu
Dữ liệu đầu vào của giai đoạn này là cỏc file nhị phõn lưu trữ cỏc thụng tin theo một khuụn dạng nào đú tựy thuộc vào chủng loại và version của tổng đài. Hiện tại cú rất nhiều cỏc chủng loại tổng đài đang được khai thỏc trong mạng lưới viễn thụng Việt Nam, ngoài ra cựng với sự phỏt triển nhanh chúng của cỏc loại hỡnh dịch vụ rất nhiều loại tổng đài mới cũng sắp được đưa vào khai thỏc. Với cỏc file cước thỡ thụng tin được lưu trữ chớnh là cỏc bản tin CDR (Call Detail Record), bản tin này lưu trữ cỏc thụng tin chi tiết về một cuộc gọi như chủ gọi, bị gọi, thời gian bắt đầu cuộc gọi, thời gian thực hiện cuộc gọi...
Cấu trỳc của cỏc file nhị phõn này là rất đa dạng, cú loại rất đơn giản như cỏc chủng loại VKX, E10 hay một số loại được lưu trữ dưới dạng text nhưng cũng cú những loại rất phức tạp như EWSD, AXE... Hiện tại cú thể cú đến hàng trăm cỏc khuụn dạng file cước khỏc nhau đang được khai thỏc trờn mạng lưới viễn thụng Việt Nam.
Hệ thống phải thực hiện được cỏc yờu cầu sau:
- Nhận diện cỏc khuụn dạng tổng đài mà hệ thống cú thể chuyển đổi do tại mỗi điểm
thu thập số liệu thường chỉ cú một vài loại.
- Cú cơ chế để hệ thống tự động cập nhật cỏc khuụn dạng dữ liệu mới mà khụng cần
phải sửa lại chương trỡnh
- Chuyển đổi chớnh xỏc dữ liệu được lưu trữ trong file nhị phõn ra một khuụn dạng thống nhất. Đõy là một yờu cầu rất quan trọng vỡ đõy chớnh là khõu sẽ được kiểm tra và kiểm soỏt đầu tiờn để đảm bảo tớnh chớnh xỏc cho hệ thống tớnh cước kết nối.
Giải phỏp được đưa ra để đảm bảo cỏc yờu cầu trờn là :
- Mỗi một cỏch thức chuyển đổi ứng với mỗi một khuụn dạng tổng đài sẽ được đại
diện bởi file dll cú giao diện thống nhất đối với core của hệ thống. Cụ thể giao diện của cỏc file dll được thể hiện thụng qua cỏc hàm sau:
+ char* getLibraryIdentify(void): nhận diện khuụn dạng mà file dll này cú thể thực hiện chuyển đổi.
+ void* setBinaryFileName(const char* filename): xỏc định file nhị phõn sẽ được chuyển đổi.
+ char* getFieldValueByName(void* p,const char* fieldname): Mỗi bản tin CDR sẽ bao gồm nhiều trường thụng tin, mỗi trường cú một định danh cố định và duy nhất. Hàm này cho phộp lấy thụng tin của một trường trong một bản tin CDR thụng qua tờn.
+ char* getFieldValueByIndex(void* p,unsigned int index): Mỗi trường trong bản tin CDR nằm ở một vị trớ cố định vỡ vậy hàm này giỳp lấy thụng tin của trường thụng qua vị trớ của trường đú.
+ bool openBinaryFile(void* p): Hàm này được sử dụng để mở file nhị phõn. + unsigned int getNumBytesProcessed(void* p): Hàm này cú tỏc dụng theo dừi
tiến trỡnh thực hiện quỏ trỡnh convert, nú trả về số byte đó được xử lý trong file nhị phõn đú.
+ bool getRecordStatus(void* p): Xỏc định trạng thỏi của quỏ trỡnh chuyển đổi dữ liệu.
+ bool getNextRecord(void* p): Chuyển đến bản tin CDR tiếp theo + void closeBinaryFile(void* p): Đúng file nhị phõn.
+ void setYearParameters(void* p,unsigned int iStartYear_Para,bool bTwoYearData_Para): Cú một số tổng đài ghi khụng lưu thụng tin về năm trong bản tin cước. Vỡ vậy để xỏc định chớnh xỏc thời điểm thực hiện cuộc gọi cần phải cú cỏc thụng tin về năm bắt đầu và cú xảy ra trường hợp file lưu cỏc cuộc gọi nằm giữa hai năm hay khụng.
- Phần core của hệ thống chuyển đổi cú nhiệm vụ tỡm cỏc file dll này, để thụng qua đú xõy dựng nờn danh sỏch cỏc khuụn dạng mà nú cần để chuyển đổi dữ liệu đối với mỗi điểm thu thập. Như vậy khi cú một khuụn dạng dữ liệu mới xuất hiện chỳng ta chỉ cần bổ sung file dll xử lý dữ liệu mà khụng cần bất cứ một sự chỉnh sửa nào. Nhiều tổng đài cú thể cú cựng một khuụn dạng ghi cước nờn sau đú hệ thống phải xõy dựng nờn danh sỏch cỏc tổng đài cần thu thập số liệu.
- Cỏc file DLL được sử dụng để chuyển đổi dữ liệu.
- Cỏc thiết lập tham số chuyển đổi số liệu như danh sỏch cỏc tổng đài điều này được thể hiện qua danh sỏch cỏc thư mục dữ liệu đầu vào ứng với mỗi tổng đài. Nếu tham số này được thiết lập thỡ tổng đài đú là một trong những điểm cần thu thập số liệu, ngược lại nếu khụng thỡ tổng đài đú được bỏ qua.
- Mỗi một khuụn dạng dữ liệu cước lại cú một danh sỏch cỏc trường thụng tin khỏc
nhau, hơn nữa việc sử dụng cỏc thụng tin này đụi khi cũng rất khỏc nhau. Vớ dụ ở thời điểm này ta lấy thụng tin về số bị gọi ở một trường nhưng ở thời điểm khỏc do cú sự thay đổi hoặc bổ sung dịch vụ ta lại phải lấy thụng tin số bị gọi ở một trường khỏc. Chớnh vỡ vậy hệ thống phải cú khả năng lấy thụng tin ở bất cứ trường nào và ỏnh xạ nú với một trường nào đú trong file dữ liệu chuyển đổi. Quỏ trỡnh này phải được thực hiện thụng qua việc thiết lập tham số để đảm bảo tớnh mềm dẻo và linh hoạt trong quỏ trỡnh chuyển đổi.
Đầu ra của giai đoạn chuyển đổi này: Là cỏc file dữ liệu đó được chuyển đổi ra một khuụn dạng thống nhất được chọn ở đõy là cỏc file dbf do tớnh phổ dụng và dễ sử dụng của nú.
Do đặc trưng thường xuyờn cần tạo ra cỏc file DLL của mỗi tổng đài để phục vụ chức chuyển đổi dữ liệu cước, cỏc thư viện này thường xuyờn được cập nhật khi tổng đài được nõng cấp hoặc cú tổng đài mới do đú tụi đó sử dụng thiết kế miền chuyờn biệt để sinh ra cỏc dll tự động theo đặc trưng của từng tổng đài.
Giai đoạn chuẩn húa và lọc số liệu
Dữ liệu cước được ghi ở mỗi tổng đài bao gồm tất cả cỏc cuộc gọi phỏt sinh thuộc mọi loại hỡnh dịch vụ như cỏc cuộc gọi nội hạt, nội tỉnh, liờn tỉnh, quốc tế, VOIP, quay số truy cập Internet, cỏc cuộc gọi hội nghị, ISDN... Hơn nữa để trỏnh mất cước một cuộc gọi cú thể được ghi ở nhiều tổng đài. Do đú nảy sinh một vấn đề là phải tỡm và lọc bỏ cỏc cuộc gọi khụng cần thiết cho mục đớch của một hệ thống tớnh cước. Vớ dụ với cỏc hệ thống tớnh cước kết nối cỏc cuộc gọi nội hạt, nội tỉnh, cỏc cuộc gọi lỗi như cỏc cuộc gọi khụng thể nhận diện được một số đặc điểm đặc trưng của một cuộc gọi như chủ gọi, bị gọi là cỏc cuộc gọi khụng được đưa vào tớnh cước.
Tuy nhiờn việc lọc bỏ số liệu chỉ được thực hiện chớnh xỏc trờn một nền dữ liệu chuẩn húa, điều này nảy sinh do dữ liệu được ghi phụ thuộc hoàn toàn vào việc thiết lập tham số ghi cước của mỗi tổng đài. Vớ dụ cú tổng đài khụng ghi số „0‟ ở đầu số bị gọi với mỗi cuộc gọi liờn tỉnh hoặc khụng ghi „00‟ ở đầu số bị gọi với cỏc cuộc gọi quốc tế, việc nhận biết cỏc yếu tố này phụ thuộc vào một vài thụng tin khỏc trong bản tin CDR. Mặc dự việc lọc và chuẩn húa số liệu được thực hiện chung trong cựng một giai đoạn nhưng việc chuẩn húa phải được hoàn thành trước quỏ trỡnh lọc số liệu.
Do việc chuẩn húa và lọc số liệu là rất đa dạng hoàn toàn khụng phụ thuộc vào một yếu tố nhất định nào nờn quỏ trỡnh này phải được thực hiện một cỏch mềm dẻo và linh hoạt một cỏch tối đa cú thể.
Giải phỏp được đưa ra là việc chuẩn húa và lọc số liệu được thực hiện dựa trờn một ngụn ngữ script tạo độ mềm dẻo và linh hoạt đối đa cho hệ thống.
Quỏ trỡnh này sẽ tạo ra hai luồng dữ liệu là cỏc dữ liệu đó được chuẩn húa và xử lý và cỏc dữ liệu bị loại bỏ. Tựy theo yờu cầu của người thiết lập và sử dụng hệ thống cả hai loại dữ liệu này đều cú thể được truyền về trung tõm xử lý số liệu hoặc chỉ cú phần dữ liệu chuẩn húa được truyền về. Cỏch chuẩn húa và lọc dữ liệu cú thể được thiết lập riờng biệt cho mỗi phần tử mạng.
Giai đoạn truyền dữ liệu về trung tõm xử lý
Cỏc file dữ liệu sau khi tiền xử lý (chuẩn húa và lọc) sẽ được truyền về trung tõm xử lý thụng qua giao thức Ftp.
Quy trỡnh thực hiện
Bước 1: Nhận diện cỏc khuụn dạng dữ liệu mà nú cú thể chuyển đổi (Phần chuyển đổi của mỗi khuụn dạng được đại diện bởi một file DLL được lưu tại thư mục Application\Lib).
Bước 2: Yờu cầu kết nối đến Mediation Database Server. Nếu khụng kết nối được hệ thống sẽ kết thỳc. Ngược lại sẽ chuyển xuống bước 3.
Bước 3: Xỏc định cỏc tham số
- Phần tử mạng mà hệ thống cú thể thực hiện chuyển đổi cỏc dữ liệu mà nú đẩy ra. - Cỏc thư mục đầu vào dữ liệu của từng phần tử mạng (Hệ thống sẽ thực hiện cỏc quy trỡnh một cỏch tự động thụng qua việc định thời gian xử lý).
Bước 4: Kiểm tra thời gian xem đó đến cỏc mốc được thiết lập hay chưa (hoặc nhận được yờu cầu thực hiện). Nếu đến thời gian thu thập và xử lý dữ liệu hệ thống sẽ thực hiện theo thứ tự:
- Chuyển đổi cỏc dữ liệu ra file Dbf (File kết quả được lưu vào cỏc thư mục đó được chỉ định sẵn)
- Chuẩn húa cỏc thụng tin dựa trờn cỏc tham số - Lọc bỏ cỏc cuộc gọi hay thụng tin khụng cần thiết - Lưu file đó được chuẩn húa ra thư mục chỉ định
- Lưu file chứa cỏc thụng tin bị loại bỏ ra thư mục chỉ định
- Truyền dữ liệu về trung tõm thụng qua giao thức truyền file (Ftp).
Bước 5: Quay lại thực hiện bước 4 hoặc đúng chương trỡnh
Hệ thống tiền kiểm tra và phõn lớp số liệu
Dữ liệu cước được thu thập cú thể phõn chia làm hai loại chớnh là CDR (Call Detail Record) và TAX (dữ liệu ghi thụng tin về thời gian thực hiện cỏc cuộc gọi nội hạt giống như chỉ số đồng hồ). Để cú thể kiểm tra dữ liệu hệ thống cần phải xõy dựng