HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA --- PHẠM CAO CƯỜNG HỆ THỐNG GIÁM SÁT, CẢNH BÁO CHO CÁC DỊCH VỤ VÀ THIẾT BỊ MẠNG, SERVER CỦA CÔNG TY MOBIFONE PLUS CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ
Cơ sở lý thuyết và các mô hình giám sát
Nghiên cứu các giao thức giám sát
Trong quá trình hoạt động của các thiết bị, nhiều tập tin ghi log được phát sinh và ghi lại diễn tả tất cả trạng thái động theo thời gian, nhằm phục vụ việc khắc phục sự cố về sau
Vấn đề nảy sinh khi có quá nhiều thiết bị trên hệ thống và việc phân tích log của từng thiết bị để biết lỗi xảy ra ở đâu, là một điều vô cùng khó khăn Vì vậy, giao thức Syslog đã được ra đời nhằm tập trung hóa việc ghi log cho nhiều thiết bị Các thông điểm (messages) được gởi về một server tập trung, sau đó được phần mềm phân loại và ghi vào hệ cơ sở dữ liệu hoặc file, phục vụ việc phân tích
Dựa trên những thông tin lưu trữ, các phương pháp phân tích log đã được áp dụng nhằm giúp người quản trị phân tích sự cố một cách hiệu quả và chính xác hơn
Syslog hoạt động trên giao thức TCP, port 514 Tính năng chính của syslog là:
- Truyền log tin cậy: việc truyền log dùng giao thức TCP đảm bảo các message không bị mất (Syslog có thể hoạt động trên UDP, nhưng việc này có thể gây mất mát dữ liệu, thường ít dùng)
- Log an toàn (secure) dùng TLS (Transport Layer Security)
- Lưu giữ log message trong database (MySQL, Oracle, PostgreSQL, SQLite) cho phép dễ dàng tìm kiếm và tương tác với các ứng dụng phân tích log
- Hỗ trợ Ipv4 và Ipv6
TELNET (viết tắt của TErminaL NETwork) là một giao thức mạng (network protocol) được dùng trên các kết nối với Internet hoặc các kết nối tại mạng máy tính cục bộ LAN Tài liệu của IETF, STD 8, (còn được gọi là RFC 854 và RFC 855) có nói rằng:
Trang 6 Mục đích của giao thức TELNET là cung cấp một phương tiện truyền thông chung chung, có tính lưỡng truyền, dùng độ rộng 8 bit, định hướng byte
TELNET thường được dùng để cung cấp những phiên giao dịch đăng nhập, giữa các máy trên mạng Internet, dùng dòng lệnh có tính định hướng người dùng
Tên của nó có nguồn gốc từ hai chữ tiếng Anh "telephone network" (mạng điện thoại), vì chương trình phần mềm được thiết kế, tạo cảm giác như một thiết bị cuối được gắn vào một máy tính khác Đối với sự mở rộng của giao thức, chữ "telnet" còn ám chỉ đến một chương trình ứng dụng, phần người dùng của giao thức - hay còn gọi là trình khách (clients)
Trong bao nhiêu năm qua, TELNET vốn được cài đặt sẵn trong hầu hết các hệ điều hành Unix, song với sự tiến triển gần đây của mình, SSH (Secure Shell) trở nên một giao thức có ưu thế hơn trong việc truy cập từ xa, cho các máy dùng hệ điều hành có nền tảng là Unix SSH cũng được cài đặt sẵn cho hầu hết các loại máy vi tính Trên rất nhiều hệ thống, chương trình ứng dụng "telnet" còn được dùng trong những phiên giao dịch tương tác TCP ở dạng sơ đẳng (interactive raw-TCP sessions), và còn được dùng để thông nối với những dịch vụ trên các máy chủ POP3 (Email)
Thông qua giao thức telnet, người quản trị có thể giao tiếp với thiết bị từ xa, từ đó lấy được những thông tin cần thiết phục vụ việc quản trị thiết bị
SSH (tiếng Anh: Secure Shell) là một giao thức mạng dùng để thiết lập kết nối mạng một cách bảo mật SSH hoạt động ở lớp trên trong mô hình phân lớp TCP/IP
Các công cụ SSH (như là OpenSSH, ) cung cấp cho người dùng cách thức để thiết lập kết nối mạng được mã hoá để tạo một kênh kết nối riêng tư Hơn nữa tính năng tunneling của các công cụ này cho phép chuyển tải các giao vận theo các giao thức khác Do vậy có thể thấy khi xây dựng một hệ thống mạng dựa trên SSH, chúng ta sẽ có một hệ thống mạng riêng ảo VPN đơn giản
Cũng giống với giao thức telnet, ssh cho phép người quản trị giao tiếp với thiết bị từ xa, nhưng theo một cách an toàn hơn Từ đó, có thể xem được nhiều thông tin
Trang 7 liên quan đến hoạt động của thiết bị, giúp cho việc phân tích hoạt động chính xác hơn
HTTP là một giao thức ở tầng ứng dụng trong các hệ thống thông tin phân tán, cộng tác, siêu phương tiện (hypermedia), cho phép một máy khách gửi yêu cầu đơn giản dạng tệp siêu văn bản đến máy chủ và nhận đáp ứng từ máy chủ
HTTP cho phép một tập các phương thức hoặc câu lệnh (methods/commands) và các tiêu đề mở-đóng (open-ended header) để chỉ ra mục đích của một yêu cầu
HTTP được xây dựng trên nguyên tắc tham chiếu được cung cấp bởi định danh tài nguyên thống nhất (Uniform Resource Identifier - URI), hoặc định vị tài nguyên thống nhất (Uniform Resource Locator - URL) hay tên tài nguyên thống nhất (Uniform Resource Name - URN), nhằm chỉ ra nguồn tài nguyên áp dụng phương thức Thông điệp được gửi theo định dạng tương tự với định dạng sử dụng thư Internet theo quy định của MIME
HTTP được ứng dụng trong các phần mềm máy chủ Web và trong các trình duyệt Web để trao đổi thông tin giữa máy chủ Web và máy khách Web trên môi trường mạng
Nghiên cứu các câu lệnh, thư viện phục vụ trong giám sát các dịch vụ và các ứng dụng
Khái niệm cơ bản nhất của mô hình SOAP là việc sử dụng các tài liệu XML như những thông điệp trao đổi Điều này có nhiều ưu điểm hơn các giao thức truyền dữ liệu khác Các thông điệp XML có thể được tổng hợp và đọc với một bộ soạn thảo text đơn giản, ta có thể làm việc với XML trên hầu hết mọi nền tảng
SOAP có những đặc điểm chính:
- SOAP được thiết kế đơn giản và dễ mở rộng
- SOAP có thể hoạt động trên nhiều bất kỳ giao thức như HTTP, SMTP, TCP, UDP, hoặc JMS)
- Hoạt động độc lập, không bị ràng buộc bởi bất kỳ ngôn ngữ lập trình nào
- Tất cả các message SOAP đều được mã hóa sử dụng XML
2.2 Nghiên cứu các câu lệnh, thƣ viện phục vụ trong giám sát các dịch vụ và các ứng dụng
2.2.1 Lệnh wget, wpost Đây là một command được sử dụng trong linux, wget có thể tải dữ liệu không tương tác (non-interactive) nghĩa là nó có thể chạy nền (background) trong khi user không đăng nhập vào hệ thống Wget hỗ trợ các giao thức phổ biến như HTTP, HTTPS và FTP cũng như thông qua các HTTP proxy
Cách sử dụng hàm wget: wget [option] [URL]
Các tham số (option) dùng tùy vào hoàn cảnh
URL là đường link tới file (nội dung) cần tải
Wget có thể tải nội dung của một website bất kỳ do đó có thể ứng dụng vào việc kiểm tra nội dung các website Việc thực hiện có thể thực hiện như sau:
Trang 9 Bước 1: Dùng lệnh wget download nội dung website
Bước 2: Tìm kiếm trong nội dung keyword nhận dạng riêng
Bước 3: Xuất kết quả kiểm tra, trường hợp đúng keyword nhận dạng nghĩa là website vẫn đang hoạt động Nếu website bị thay đổi nội dung nghĩa là keyword nhận dạng không còn đúng nữa giúp ta biết được website đang có vấn đề
Lệnh grep được sử dụng để tìm kiếm văn bản hoặc tìm kiếm các tập tin nhất định phù hợp với các dòng có chứa nội dung mẫu ở dạng chuỗi hay những ký tự cần tìm kiếm Lệnh grep chấp nhận các biểu thức chính quy, và có thể xuất ra kết quả ở nhiều định dạng khác nhau Ngoài ra nó còn cung cấp nhiều tùy chọn với những tính năng rất hữu ích Lệnh grep được coi là một trong các lệnh hữu ích nhất trên Linux và các hệ điều hành Unix
Cú pháp tìm kiếm với lệnh grep:
$ grep pattern filename this is the line containing pattern hoặc
$ grep "pattern" filename this is the line containing pattern
2.2.3 Tìm hiểu các lệnh trong database MySQL
Trong cơ sở dữ liệu MySQL có rất nhiều câu lệnh để quản trị cơ sở dữ liệu, tuy nhiên trong việc giám sát thường dùng hai lệnh cơ bản là select và count để lấy thông tin từ các bảng cơ sở dữ liệu cho việc thống kê và phát hiện lỗi của dịch vụ và ứng dụng sử dụng cơ sở dữ liệu MySQL
- Lệnh select: SELECT column_name(s) FROM table_name
Hoặc có thể select toàn bộ bảng:
- Lệnh Count kết hợp với lệnh select để đếm số lượng của các column trong bảng dữ liệu
Trang 10 - SELECT COUNT(column_name) FROM table_name;
- SELECT COUNT(*) FROM table_name;
Ngoài ra còn kết hợp với các câu lệnh điều kiện như where, limit, like để đáp ứng với từng yêu cầu cụ thể trong việc thu thập dữ liệu của các ứng dụng và các dịch vụ
2.2.4 Tìm hiểu về Exception trong Java
Exception (Ngoại lệ) là sự kiện xảy ra khi một chương trình đang chạy mà phát sinh ra lỗi, sẽ làm gián đoạn chương trình Việc bắt lại các exception này là cần thiết cho việc theo dõi các ứng dụng và các dịch vụ sử dụng Java làm ngôn ngữ lập trình Các exception sau khi bắt được sẽ được lưu vào database để phục vụ việc phân tích, theo dõi và cảnh báo các lỗi
Ví dụ về việc catch exception: try { //Protected code }catch(ExceptionName e1) {
Sigar API cung cấp những hàm cho việc thu thập thông tin hệ thống như:
- System memory, swap, cpu, load average, uptime, logins
- Per-process memory, cpu, credential info, state, arguments, environment, open files
- File system detection and metrics
- Network interface detection, configuration info and metrics
- TCP and UDP connection tables
Hỗ trợ đa nền tảng: Linux, Window, MAC OS X, Solaris…
Trang 11 Hỗ trợ đầy đủ các ngôn ngữ lập trình: Java, Perl, Ruby, Python, Erlang, PHP and C#
Bao gồm các lệnh phổ biến để kiểm tra hệ thống như: countfile, cpu, dirsize, dsk, grep, mem, ping, ps, sql, telnet, wget, wpost, filesize
2.2.6 Nghiên cứu các công cụ giám sát Để quản lý và giám sát hệ thống mạng, hiện nay đã có rất nhiều phần mềm thương mại có bản quyền và cả những chương trình mã nguồn mở, được xếp thành các nhóm chức năng như sau:
- Giám sát dịch vụ mạng: Nagios, Zenoss - Giám sát performance: Cacti, SolarWind, WhatsUp, MRTG - Giám sát lưu lượng và log hệ thống: Ntop, Syslog
Là công cụ giám sát mã nguồn mở dựa trên nền web, hoạt động trên Unix/Linux Tích hợp khả năng lưu trữ dữ liệu của RRDTool và tính năng đồ họa, khả năng quản lý user truy cập tốt Với giao diện dễ sử dụng, Cacti có thể áp dụng trong mạng với hàng trăm thiết bị Cacti giúp cung cấp thông tin về tình trạng mạng, CPU, bộ nhớ, băng thông sử dụng Đặc biệt Cacti hỗ trợ hệ thống plugin cho phép người dùng mở rộng thêm các tính năng cần thiết
Ngoài ra, hệ thống cacti còn cho phép vẽ lưu đồ hệ thống tương ứng với lưu lượng đi qua các cổng vật lý
Hình 2.1: Phần mềm giám sát Cacti
Nagios là chương trình mã nguồn mở, hoạt động trên Unix/Linux, giám sát hiệu năng và các dịch vụ mạng, có hỗ trợ cấu hình theo kiểu file hay các template sẵn có Cho phép người dùng định nghĩa plugin để thực hiện các tính năng cần thiết Hiệu suất xử lí dữ liệu cao, có giao diện web thân thiện Nagios giúp cung cấp dữ liệu thời gian thực cho các chương trình đồ họa như RRDTool, MRTG và có thể giao tiếp với các chương trình khác
Mỗi đối tượng mà Nagios tương tác đều được người sử dụng định nghĩa Ví dụ như khi plugin trả về trạng thái nguy cấp, Nagios biết rằng sẽ phải gửi thông báo nhưng không biết sẽ phải gửi thông báo thế nào? Người sử dụng phải định nghĩa cú pháp lệnh mà Nagios sử dụng để thông báo các trạng thái Phổ biến nhất là dạng thông báo bằng mail Trong Nagios, định nghĩa quan trọng nhất là host và service Định nghĩa về hai đối tượng này là cơ sở cho tất cả các định nghĩa khác:
Trang 13 - Host được xem là một thực thể vật lý (server, các thiết bị mạng,…) Có thể coi host như bất kì đối tượng nào sử dụng được TCP
- Service là thực thể logic mà các host cung cấp (như Web server Deamon)
Một host đơn có thể thực thi nhiều ứng dụng và host có thể up hay down, available hay unavailable Nagios cho phép người sử dụng định nghĩa check host và service check cho từng host Các định nghĩa host_check và service_check cho Nagios biết nên gọi plugin nào để biết được tình trạng của host hay service
Hình 2.2: Phần mềm giám sát Nagios
Syslog là một ứng dụng mã nguồn mở rất linh hoạt, thích hợp cho giải pháp ghi log hệ thống tập trung và tin cậy Tính năng chính của syslog là:
- Truyền log tin cậy, việc truyền log dùng giao thức TCP đảm bảo các message không bị mất
- Log an toàn dùng TLS (Transport Layer Security)
- Lưu giữ log message trong database (MySQL, Oracle, PostgreSQL, SQLite) cho phép dễ dàng tìm kiếm và tương tác với các ứng dụng phân tích log
- Hỗ trợ Ipv4 và Ipv6
2.3 Các phương thức cảnh báo:
- Cảnh báo qua tin nhắn SMS
- Cảnh báo âm thanh qua giao diện Web
- Cảnh báo push tin tới điện thoại cho người quản trị hệ thống và những người có liên quan thông qua notify trên màn hình điện thoại sử dụng phần mềm PushBullet.
Tổng quan về hệ thống giám sát, cảnh báo hạ tầng và ứng dụng trên mạng
Xây dựng mô hình chung
Luận văn tận dụng bộ thư viện mã nguồn mở Sigar API để làm phần sensor giúp thu thập dữ liệu từ các server và lưu dữ liệu thu thập được về database máy chủ giám sát
3.1.2 Các thành phần thêm vào
- Xây dựng một modul khai báo các câu lệnh để giám sát các dịch vụ và các ứng dụng
- Xây dựng một database MySql để phục vụ phân tích, giám sát và cảnh báo
- Xây dựng dashboard để tập trung thông tin sự cố và cảnh báo bằng âm thanh
- Xây dựng syslog server để tập trung syslog từ các server và cơ sở dữ liệu riêng
3.1.3 Xây dựng các Sensor thu thập dữ liệu Để thực hiện việc giám sát, và cảnh báo, hệ thống được thiết kế các Sensor giám sát thực thi các tính năng sau:
- Giám sát tăng giảm doanh thu, sản lượng MO/MT, số lượng khách hàng đăng ký, hủy
- Theo dõi các tiến trình có đang chạy trên các server không
- Giám sát các website có đang hoạt động không
- Theo dõi tài nguyên server đang chạy dịch vụ: cpu, ram, ổ cứng
- Kiểm tra số lượt login fail vào hệ thống, check các ip login server
- Giám sát hoạt động của các server như CPU, RAM, HDD
- Giám sát truy cập của user vào các server và ứng dụng VPN, FTP, MySQL
Trang 16 - Giám sát các kết nối tới các nhà mạng và các đối tác cung cấp dịch vụ và nội dung khác, đồng thời giám sát kết nối tới các hệ thống lân cận.
Mô hình mạng của MobiFone Plus
Hệ thống mạng của MobiFone Plus được phân thành các thành phần chính như sau:
- Lớp mạng core: các liên kết nội bộ (Mạng core của công ty) Liên kết giữa các server, các thiết bị mạng của công ty Đây là thành phần chính
Các ứng dụng, dịch vụ của MobiFone Plus được cài đặt trên các server ở hệ thống này
- Lớp gateway: liên kết với các nhà mạng khác Ở phần này gồm các router, modem và bộ chuyển đổi quang điện để kết nối tới các nhà mạng như MobiFone, Viettel, Vinaphone, Vietnammobile, Gtel
- Lớp truy cập: liên kết với các nhà cung cấp nội dung, dịch vụ khác Các nhà cung cấp nội dung, dịch vụ kết nối với mạng của MobiFone Plus thông qua phần mềm VPN, đường internet, hoặc đường MetroNet Các nhà cung cấp dịch vụ, nội dung kết nối với mạng của MobiFone Plus như: VMG, VHT, BlueSea…
Hình 3.1: Mô hình Hệ thống mạng của MobiFone Plus
Giám sát các ứng dụng, dịch vụ
Hình 3.2: Mô hình tổng quan hệ thống theo dõi và cảnh báo
Khi phát sinh sự cố, các hệ thống đẩy thông tin cảnh báo về hệ thống theo dõi và cảnh báo tập trung Hệ thống này có nhiệm vụ phân tích và gửi các bản tin SMS/Email đến nhân viên trực hệ thống hoặc nhân viên phụ trách dịch vụ
Hình 3.3: Mô hình chi thiết hệ thống theo dõi và cảnh báo
Hệ thống theo dõi và cảnh báo Nhân viên hệ thống
• Platform: Hệ thống dịch vụ độc lập, VD: SDP sub, Sức khỏe vàng,
• Module: Các module trong một platform, VD: module trừ cước, SMS, app, website
• Server: Server vật lý, các module có thể deploy chung trên một server hoặc chung server với platform khác
• Sensor giám sát: Ứng dụng theo dõi tài nguyên hệ thống cũng như hoạt động của các module, mỗi server cài duy nhất 1 ứng dụng này
• Command: Các lệnh theo dõi, được Sensor sử dụng để theo dõi tài nguyên server, các kết nối từ server cũng như các module đang hoạt động
• Module monitor syslog của các server
3.3.3 Giám sát các ứng dụng, dịch vụ
Mô hình chi tiết trên là một điển hình của các dịch vụ đang được triển khai ở công ty Mỗi dịch vụ bao gồm đầy đủ các module: như website/wapsite, module gửi nhận tin SMS, module cước và database Ngoài ra còn có các kết nối tới các nhà mạng để gửi nhận file cước, kết nối tới các đối tác cung cấp nội dung khác Như vậy việc giám sát và cảnh báo không chỉ dừng lại ở các kết nối mạng thông thường mà cần phải giám sát các module này để đảm bảo các module hoạt động ổn định
Mỗi sensor sẽ được cài trên các server chứa các ứng dụng và dịch vụ để nhằm thu thập các thông tin khác nhau Sau đó thông tin sẽ được gửi hệ thống cảnh báo dựa trên webservice Mô hình thường chia ra module website/wapsite riêng một server và server chứa các ứng dụng và database riêng nên việc theo dõi cũng cần phải đồng thời để không bị gián đoạn dịch vụ vì một module xảy ra sự cố
Chi tiết cơ chế giám sát các module ứng dụng như sau:
- Đối với module Website/wapsite: Việc giám sát sẽ theo dõi hoạt động của các trang này có còn hoạt động hay không Công cụ hỗ trợ giám sát là lệnh wget hoặc wpost đã được trình bày ở trên Lệnh này sẽ download nội dung website và kiểm tra với keyword nhận diện riêng của từng
Trang 19 website Nếu sai thì hệ thống sẽ xuất hiện cảnh báo báo cho đội trực và nhân viên hệ thống được biết và xử lý
- Module SMS, module database: Thường module này có tiến trình để gửi
MT tin nhắn và nhận MO từ nhà mạng sang khi khách hàng nhắn tin sử dụng dịch vụ sẽ được đồng bộ sang cho đối tác kết nối Nội dung tin
MO/MT này sẽ được lưu vào database phục vụ việc tra cứu về sau và đồng thời sẽ được lưu lại vào log để lưu trữ
Việc giám sát ở module này là giám tiến trình gửi tin MT có hoạt động không và kiểm tra database tình trạng queue của các tin MO/MT Bên cạnh đó, các tiến trình gửi tin MT thường sử dụng java để lập trình nên thường các tiến trình sẽ tự động đẩy các exception ra và các exception này sẽ được ghi vào database của dịch vụ theo từng mức độ nguy hiểm và sẽ được đẩy lên hệ thống cảnh báo trên trang alert đồng thời sẽ gửi thông tin lỗi đến người quản trị để xử lý
Một số hệ thống các bản tin queue có cơ chế tự động gửi lại theo khoảng thời gian để đảm báo các tin được đi hết xuống cho khách hàng đối với tin MT hoặc đồng bộ qua hết cho các nhà cung cấp nội dung
Dưới đây là một ví dụ về exception được ghi ra log với mức độ nguy hiểm khác nhau, thông tin này cũng sẽ được ghi vào database để xuất lên monitor và alert
Hình 3.4 Exception được ghi log
- Đối với các nhà cung cấp nội dung, hệ thống còn cho phép giám sát kết nối về mặt network giống như các đề tài trước đã thực hiện Ngoài ra hệ thống còn cho phép kiểm tra các webservice của đối tác khi kết nối với dịch vụ này Đây chính là ưu điểm của hệ thống giúp sớm nhận biết sự
Trang 20 cố từ đối tác và có thể cảnh báo đối tác khắc phục sớm hơn, tránh gây ảnh hưởng tới dịch vụ Ví dụ khi đồng bộ bản tin MO từ khách hàng gửi lên qua cho đối tác cung cấp nội dung thông qua webserive, các exception bắt được ghi lại trình trạng gọi sang webservice của đối tác có vấn đề gì hay không như timeout, connection refused do chập chờn mạng, response not correct do đối tác trả response về sai định dạng…
3.3.4 Bộ phận giám sát và chức năng
Các công ty chuyên cung cấp dịch vụ và hạ tầng mạng viễn thông, thông thường đều có một đội giám sát hệ thống 24/7 để đảm bảo hệ thống và dịch vụ hoạt động tốt nhất, kịp thời phát hiện lỗi phát sinh từ hệ thống và xử lý nếu lỗi thông thường
Bộ phận giám sát theo dõi thông qua các phần mềm giám sát hệ thống và thông báo cho đối tác hoặc các bộ phận liên quan về lỗi được phát hiện
Ngoài việc giám sát, theo dõi hệ thống và cảnh báo, bộ phận còn theo dõi sản lượng, doanh thu theo ngày của các giao dịch trên hệ thống, so sánh với các ngày khác, từ đó phân tích được khả năng lỗi của hệ thống hoặc ứng dụng, dịch vụ
Các cảnh báo được thực hiện bằng nhiều phương pháp như qua tin nhắn SMS, Email, điện thoại đến các người liên quan
CHƯƠNG 4: XÂY DỰNG HỆ THỐNG GIÁM SÁT, CẢNH BÁO HẠ TẦNG, DỊCH VỤ TRÊN MẠNG MOBIFONE PLUS
Dựa trên những ý tưởng từ việc nghiên cứu các công cụ giám sát ở mục 2.2, hệ thống giám sát dịch vụ và hạ tầng mạng của MobiFone Plus sẽ được xây dựng đáp ứng các yêu cầu như sau: a Các yêu cầu chung
- Xây dựng mô hình tập trung các hệ thống riêng lẻ trên một hệ thống cảnh báo duy nhất
- Có giao diện theo dõi cảnh báo được phân thành các cấp độ ưu tiên
- Có module để người quản trị có thể nhập lệnh để cảnh báo cho hệ thống quản lý
- Module dành cho người trực hệ thống có thể xử lý các thao tác ban đầu để xác định lại chính xác lỗi xảy ra và kiểm tra sự hoạt động của hệ thống như các lệnh ping, telnet tới hệ thống của nội bộ của công ty và hệ thống của đối tác
- Chức năng cảnh báo cho người trực hệ thống và người quản trị hệ thống, ban lãnh đạo của công ty
- Chức năng phân tích, đưa ra hướng xử lý ban đầu cho người trực hệ thống b Đối với hạ tầng mạng, server
- Theo dõi các tiến trình có đang chạy trên các server không, theo dõi kết nối database, telnet đến các hệ thống xung quanh
Các thành phần hệ thống dịch vụ của mạng MobiFone Plus cần giám sát, cảnh báo
a Đối với hạ tầng mạng, server
- Trạng thái hoạt động của server: Trạng thái CPU, HDD, RAM
- Giám sát user truy cập
- Giám sát kết nối mạng tới các nhà mạng Viễn thông
- Giám sát kết nối mạng tới các đối tác cung cấp dịch vụ, nội dung b Đối với các ứng dụng và dịch vụ
- Giám sát các tiến trình dịch vụ đang chạy trên hệ thống: MySQL, CDR, SMSC …
- Kiểm tra kết nối tới các website
- Theo dõi việc ghi log, backup file, ghi CDR, kích thước file
- Query Database lấy số người dùng, sản lượng, từ đó xem xét độ biến động của dịch vụ và đưa ra kết luận
- Có thể kiểm tra log, grep log để biết thông tin, các lỗi xảy ra của ứng dụng, phân tích thành phần trong log và cảnh báo cho người quản trị.
Module khai báo các câu lệnh cho từng hệ thống
Ở module này được thực hiện trên web quản trị, người quản trị hệ thống được cấp quyền để có thể khai báo các câu lệnh kiểm tra hệ thống Các câu lệnh này sẽ được đưa vào database của hệ thống cảnh báo tập trung
Các câu lệnh cơ bản thực hiện việc thu thập thông tin dịch vụ và hệ thống server như sau: countfile, cpu, dirsize, dsk, grep, mem, ping, ps, sql, telnet, wget, wpost, filesize
Trang 23 Có thể thiết lập thời gian check cho từng dịch vụ.
Định nghĩa các lệnh dùng trong module khai báo
4.3.1 Lệnh countfile Ý nghĩa: Đếm số lượng file trong một thư mục local hoặc trên FTP server
- Đếm số lượng file local: local;path VD: local;/home/abc/
- Đếm số lượng file trên FTP server: ftp;ip/path;ftpusername (account được cấu hình trong file config.txt trên server) VD: ftp;10.20.30.40/home/abc/;abc
Các giá trị trả về: r1: Số file - VD: 5
4.3.2 Lệnh cpu Ý nghĩa: Kiểm tra tải CPU
Format lệnh: Bỏ trống ở khung khai báo command
Các giá trị trả về:
4.3.3 Lệnh dirsize Ý nghĩa: Đếm tổng kích thước file trong một thư mục local hoặc trên FTP server
Format nội dung lệnh: r1: %cpu used - VD: 40 r2: cpu name - VD: Intel Xeon (4x2400) r3: %user r4: %sys r5: %idle r6: %wait r7: %nice r8: %irq r9: %softirq r10: %stolen
Trang 24 - Đếm kích thước file local: local;path
- Đếm kích thước file trên FTP server: ftp;ip/path;ftpusername (account được cấu hình trong file config.txt trên server)
VD: ftp;10.20.30.40/home/abc/;abc Các giá trị trả về: r1: Tổng kích thước file (byte) - VD: 1024000
4.3.4 Lệnh dsk Ý nghĩa: Kiểm tra dung lượng ổ cứng
Format lệnh: Bỏ trống ở khung khai báo command
Các giá trị trả về: r1: Tỷ lệ % free thấp nhất trong số các ổ - VD: 20 r2: tên ổ % free thấp nhất - VD: /home
4.3.5 Lệnh grep Ý nghĩa: Đếm số dòng có chứa 1 chuỗi trong 1 file (lệnh grep) Lệnh này chỉ chạy trên HĐH Linux
Format lệnh: grep;-c;searchtxt;path/filename Các giá trị trả về: r1: Số dòng match - VD: 5
4.3.6 Lệnh mem Ý nghĩa: Kiểm tra dung lượng bộ nhớ
Format lệnh: Bỏ trống ở khung khai báo command
Các giá trị trả về:
4.3.7 Lệnh ping Ý nghĩa: Ping đến địa chỉ IP đích
Format lệnh: ip đích VD: 10.54.2.234 Các giá trị trả về: r1 Với 0:thành công; 1: thất bại
4.3.8 Lệnh ps Ý nghĩa: Kiểm tra tiến trình có đang chạy không
VD: Trong process list Linux có dòng sau: java:mtsender.MTSender -cp Violet_MTSenderSub.jar:lib/*.jar: -Xms256m -Xmx1024m mtsender.MTSender
Nếu tìm chuỗi Violet_MTSenderSub.jar sẽ trả về giá trị 0 nghĩa là đang chạy
Còn giá trị trả về là 1 thì tiến trình này đang bị dừng
Các giá trị trả về: r1 Với 0:có tìm thấy; 1: không tìm thấy
4.3.9 Lệnh sql Ý nghĩa: Câu lệnh sử dụng querry các hàm của cơ sở dữ liệu để thu thập thông tin cần thiết để cảnh báo
Format lệnh: dbname;query hoặc dbname;query;danh,sach,cot,can,lay
VD: vio_SMSgw;select count(*) from bl_users where datediff(now(), date)=0 r1: Tỷ lệ % free thấp nhất (free mem, free swap) -
VD: 15 r2: mem total (byte) - VD 1000000000 r3: mem used (byte) r4: mem free (byte) r5: mem actual used (byte) r6: mem actual free (byte) r7: swap total (byte) r8: swap used (byte) r9: swap free (byte)
Trang 26 Để đếm số khách hàng đăng ký campaign trong ngày ở bảng vio_SMSgw
(thông số kết nối đến db được cấu hình trong file config.txt của sensor được cài đặt trên server)
Các giá trị trả về:
Các cột của dòng đầu tiên của kết quả được lưu lần lượt vào r1 r10 (nếu có) r1: giá trị cột 1 r2: giá trị cột 2 r10: giá trị cột 10
4.3.10 Lệnh telnet Ý nghĩa: Telnet đến ip với port của server bất kỳ
VD: 10.54.2.58:8080 Các giá trị trả về: r1 Với 0: thành công; 1: thất bại
4.3.11 Lệnh wget Ý nghĩa: Thực hiện lệnh HTTP GET đến URL cần kiểm tra
VD: http://10.54.2.58/cskh/;f_password - để mở trang CSKH SDP xem có hiện ra phần đăng nhập không, nếu không nghĩa là web đang bị lỗi
Các giá trị trả về: r1 Với 0: không có lỗi, chuỗi cần tìm có trong source của trang; 1: có lỗi (network hoặc không tìm thấy chuỗi)
4.3.12 Lệnh wpost Ý nghĩa: Thực hiện lệnh HTTP POST đến URL cần kiểm tra.
Format lệnh: url;postdata;searchtxt
Trang 27 VD: http://10.54.2.58/cskh/index.php?action=login2;f_username=test&f_password34 56;Cảm ơn bạn, bạn đã đăng nhập thành công Để post username và password đến trang login, xem có login được không?
Các giá trị trả về: r1 Với 0: không có lỗi, chuỗi cần tìm có trong source của trang; 1: có lỗi (network hoặc không tìm thấy chuỗi)
4.3.13 Lệnh filesize Ý nghĩa: Check kích thước file
- Check kích thước file local: local;path VD: local;/home/abc/a.rar
- Check kích thước file trên FTP server: ftp;ip/path;ftpusername (account được cấu hình trong file config.txt trên server)
VD: ftp;10.20.30.40/home/abc/a.rar;abc Các giá trị trả về: r1: Kích thước file (byte) - VD: 1024000
Cơ chế giám sát
Hệ thống giám sát có hai cơ chế kiểm tra:
- Add thêm code kiểm tra lỗi vào từng ứng dụng, khi có lỗi, code này sẽ đẩy cảnh báo về hệ thống và hiển thị trên giao diện cảnh báo lỗi, hoặc thông báo cho nhân viên quản lý thông qua tin nhắn SMS, Email
- Cài sensor lên các server, sensor sẽ quét định kỳ và gửi các báo cáo thu thập được từ câu lệnh đã khai báo ở mục 4.1 về hệ thống
Hình 4.1: Cơ chế giám sát của hệ thống cảnh báo
Phân cấp mức độ cảnh báo
Hệ thống phân cấp thành 5 mức độ cảnh báo theo 5 màu khác nhau
- CRITICAL: Mức độ cảnh báo nguy hiểm nhất
- ERROR: Hệ thống, dịch vụ đã xảy ra lỗi nguy hiểm cần phải báo ngay cho người quản trị
- WARNING: Hệ thống đang ở mức cảnh báo, cần giám sát
- OK: Hệ thống và dịch vụ hoạt động ổn định
- UNKNOWN: lỗi chưa xác định hoặc cấu hình lỗi của người quản trị chưa đúng với hệ thống, dịch vụ.
Các thành phần hỗ trợ phân tích và khắc phục sự cố, cảnh báo
Ngoài ra, phần mềm còn có dashboard tập trung các thông tin sự cố, cảnh báo dạng âm thanh Giúp bộ phận quản trị dễ dàng nhận biết sự cố
Hệ thống có khả năng phân tích sơ bộ lỗi của dịch vụ và hệ thống giúp cho nhân viên trực dễ dàng xử lý những lỗi đơn giản được nhanh chóng
Hệ thống sẽ căn cứ vào loại sự cố và mức nghiêm trọng để gởi cảnh báo Việc xác định tính quan trọng của sự cố được phân loại trong việc cấu hình câu lệnh hoặc lập trình đẩy alert về hệ thống cảnh báo tập trung
Phương thức cảnh báo được chọn là Email, tin nhắn (SMS) và âm thanh qua giao diện dashboard (WEB UI: giao diện web), pushnote notify
Hình 4.4 Cảnh báo bằng Push Bullet Hình 4.3 Cảnh báo bằng
Email Hình 4.2 Cảnh báo bằng
Sensor giám sát
Sử dụng các câu lệnh cpu, mem, dsk để khai báo câu lệnh kiểm tra trạng thái của CPU, HDD và RAM trên từng server Tùy hạn mức mà ta để mức độ cảnh báo khác nhau Ví dụ: Nếu HDD hoạt động đến 80% dung lượng ổ cứng thì xuất ra cảnh báo WARNING trên trang monitor đồng thời xuất alert trên trang alert và cảnh báo âm thanh cho người trực theo dõi Nếu mức cảnh báo trên 90% dung lượng ổ cứng thì xuất mức cảnh báo ERROR và trên 95% thì mức cảnh báo cao nhất CRITICAL đồng thời báo cáo kết quả cho người quản trị qua SMS và Email Chúng ta có thể cấu hình sao cho phù hợp với từng server cụ thể
Hình 4.5: Cấu hình giám sát hoạt động server
Trang 31 Kết quả cảnh báo:
Hình 4.6: Cảnh báo trên monitor hoạt động server
4.7.1.2 Sensor giám sát các user đăng nhập vào server qua ssh hoặc sử dụng dịch vụ FTP
Với module này hỗ trợ người trực và quản trị hệ thống có thể giám sát các user đang đăng nhập vào hệ thống có lỗi hay không Qua việc giám sát này giúp sớm phát hiện các trường hợp tấn công đa truy cập (DDOS) Cảnh báo này được monitor trên trang Syslog và cảnh báo âm thanh
USER_NAME=$(who am i|awk '{printf $1}') TTY=$(who am i|awk '{printf $2}')
SOURCE_HOST=$(who am i|awk '{printf $5}') DEST_HOST=$(ip route get 10.54.2.241 | awk 'NR==1 {print $NF}')
Hình 4.7: Giám sát hoạt động user login trên server
4.7.1.3 Giám sát các kết nối với nhà mạng, các CP/SP và các hệ thống lân cận trong mạng nội bộ
Việc giám sát này sử dụng các câu lệnh ping đến IP của các IP đích đối tác và telnet đến các port của các dịch vụ cần kết nối Sự giám sát này giúp nhanh chóng phát hiện các lỗi về kết nối với các đối tác và các hệ thống lân cận nhằm khắc phục
Trang 32 nhanh chóng Những sự cố này là nghiêm trọng, nếu xảy ra sự cố này được giám sát và cảnh báo bằng âm thanh trên trang cảnh báo đồng gửi SMS và Email đến nhà quản trị
Hình 4.8: Cảnh báo các kết nối với các hệ thống khác
4.7.2 Đối với các ứng dụng và dịch vụ 4.7.2.1 Giám sát các tiến trình của các ứng dụng và dịch vụ đang chạy trên các server
Sensor sử dụng câu lệnh ps Với câu lệnh này giúp kiểm soát các tiến trình hiện có đang chạy trên hệ thống hay không, nếu không chạy thì xuất ra monitor với mức CRITICAL đồng thời alert cảnh báo cho người quản trị
Hình 4.9: Khai báo câu lệnh kiểm tra tiến trình đang chạy trên server
Trang 33 Với việc khai báo trên thì khi sensor không tìm thấy process SMPPSim_7x89.jar đang chạy trên server 2.59 thì phát cảnh báo tới người quản trị để kiểm tra
Khi xảy ra sự cố cảnh báo tới người quản trị:
Hình 4.10: Cảnh báo trên Monitor tiến trình đang chạy trên server
Hình 4.11: Cảnh báo trên Alert tiến trình đang chạy trên server
4.7.2.2 Kiểm tra các kết nối tới các website, webservice
Sensor sẽ sử dụng các câu lệnh wget hoặc wpost được khai báo để kiểm tra việc truy cập tới các website của công ty hoặc các webservice dịch vụ còn hoạt động không Khi xảy ra sự cố không thể truy cập được hoặc nội dung có sự thay đổi thì cảnh báo bằng âm thanh; cảnh báo sẽ xuất hiện trên monitor và trên trang alert Với cảnh báo này có thể giúp phát hiện sớm các tấn công từ bên ngoài làm thay đổi nội dung của website Tuy nhiên chỉ có thể phát hiện khi nội dung bị thay đổi ở phần keyword đã khai báo
Khai báo cấu hình câu lệnh:
Hình 4.12: Khai báo câu lệnh kiểm tra kết nối tới website, webservice
Câu lệnh trên thực hiện việc kiểm tra website http://mobifoneplus.com.vn bằng lệnh wget với keyword cần kiểm tra là MobiFone Plus Khi xảy ra sự cố không truy cập được website hoặc website bị thay đổi nội dung từ khóa từ sẽ xuất hiện cảnh báo
Hình 4.13: Cảnh báo trên Monitor sự cố mất kết nối tới website
4.7.2.3 Theo dõi việc ghi log, ghi CDR, backup file
Hình 4.14: Cảnh báo trên Alert sự cố mất kết nối tới website
4.7.2.4 Kiểm tra số lƣợng MO, MT của các hệ thống nhắn tin
Sensor sử dụng câu lệnh sql được khai báo trên module command của hệ thống Với các câu lệnh quản trị database như query các tin nhắn MO/MT đang chờ chưa được gửi đi, query số lượng MO/MT đã gửi của từng CP, phân tích so sánh với các ngày hôm trước hoặc ngày này tuần trước đó để xem xét sự tăng giảm đột biến
Trang 35 của sản lượng, từ đó có thể đưa ra mức cảnh báo nguy hiểm nếu MO/MT đang bị chờ quá nhiều có khả năng xảy ra lỗi hoặc các CP có thể đang gặp sự cố nào đó không gửi tin đi được Khi xảy ra sự cố, hệ thống sẽ cảnh báo cho đội trực và nhân viên quản trị hệ thống đồng thời có cảnh báo qua tin nhắn SMS, Email và âm thanh trên trang cảnh báo monitor và alert Lỗi này được đánh giá là lỗi nghiêm trọng, gây ảnh hưởng lớn đến khách hàng và doanh thu của công ty
Các kết quả thực hiện:
Hình 4.15: Khai báo câu lệnh kiểm tra Mysql
Lệnh khai báo trên kiểm tra số lượng MO của hệ thống sub7989 có còn đang nằm trong queue hay không Bình thường số lượng MO của mỗi hệ thống phải được xử lý hết, nếu kiểm tra còn tin queue MO thì hệ thống sẽ cảnh báo
Ngoài ra đối với hệ thống sub7989 còn có module tự xử lý khi còn tin nhắn queue do qua thời gian gửi tin
Script xử lý và cảnh báo của hệ thống sub7989:
Trang 36 basedir=/export/mobifoneplus/sub7989/mps_synmo baselog=/export/mobifoneplus/sub7989/mps_synmo/Log cd $basedir mysql=/opt/xampp/bin/mysql
#database MyUSER=username # USERNAME MyPASS=password # PASSWORD MyHOST=host
#Count MOSub7989 countMO=`$mysql -h $MyHOST -u $MyUSER -p$MyPASS $baselog/tempDB.tmp echo "UPDATE sub7989.mo SET retry=0,timesynmo=now();"
>>$baselog/tempDB.tmp echo quit>>$baselog/tempDB.tmp if [ $moretry != 0 ]; then echo $moretry
$mysql -h $MyHOST -u $MyUSER -p$MyPASS
