5. Bố ục cc ủa luận ỏn
2.1 Giới thiệu chung
Cú rất nhiều lý do phải thực hiện thu thập lưu lượng Internet và đ ườo l ng cỏc thụng số liờn quan của nú, tuy nhiờn cú thể túm tắt 3 mục tiờu chớnh là (i) để phục vụ việc nghiờn cứu đặc tớnh và sự biến thiờn của lưu lượng, (ii) giỏm sỏt hiệu suất hoạt động và chất lượng dịch vụ của m ng và (iii) i u khi n truy nh p tài nguyờn ạ đ ề ể ậ
và cung cấp chất lượng dịch vụ (QoS) mạng. Hai mục tiờu sau liờn quan chặt chẽ
với nhau và chỉ khỏc nhau trờn phương diện thang thời gian của phộp đo. Bảng 2-1 dưới đõy trỡnh bày cỏc phộp đo đ ểi n hỡnh trong mạng Internet và ứng dụng tương
ứng c a chỳng. ủ Bảng 2-1 Một số phộp đo đ ểi n hỡnh trờn mạng Internet Ứng d ng ụ đối với: Phộp đo Mục đớch Nhà cung cấp dịch vụ (ISP/IXP) Hệ số sử dụng băng thụng Số lượng gúi/giõy
RTT ( round trip time) Biến thiờn RTT Tỉ lệ mất gúi Khả năng kết nối Hiệu suất kết nối Giỏm sỏt định tuyến Phõn bố kớch thước gúi, luồng, phiờn làm việc Phõn bố thờ đ ểi i m đến của cỏc gúi, luồng lưu lượng
Qui hoạch dung lượng Tối ưu hoỏ mạng Khai thỏc mạng
Cung cấp chất lượng dịch vụ
Cung cấp cỏc dịch vụ giỏ trị
gia tăng
D ự đoỏn xu hướng phỏt triển của lưu lượng Đ ềi u khi n truy nh p mể ậ ạng Tớnh cước Người dựng Băng thụng sẵn sàng Thời gian đỏp ứng Tỉ lệ mất gúi Khả năng kết nối Tốc độ kết nối Chất lượng dịch vụ Hiệu suất ứng dụng Giỏm sỏt hiệu suất Kế hoạch nõng cấp (ứng dụng) Thoả thuận mức dịch vụ Thiết lập mức chất lượng Tối ưu hoỏ việc phõn phỏt nội dung Lập kế hoạch sử dụng Nhà sản xuất thiết bị mạng Lấy mẫu lưu lượng Phõn tớch log file Phõn bố kớch thước gúi, cụm, luồng lưu lượng và phiờn làm việc
Phõn IAT gúi, luồng và phiờn làm việc
Cải thiện thiết kế và cấu hỡnh thiết bị
Cho phộp giải quyết sự ố c thiết bị thời gian thực
Một cỏch túm tắt, cú thể phõn loại cỏc thụng số cầ đn o c a m ng Internet thành ủ ạ
4 nhúm như sau:
(i) Cỏc thụng số đ o lường hệ ố s sử ụ d ng mạng, bao g m: s lồ ố ượng gúi, s lố ượng byte, lưu lượng đỉnh, phõn bố ư l u lượng giữa cỏc ứng dụng và giao thức (ii) Cỏc thụng số đ o lường hiệu suất, như: RTT (trờn cỏc lớp khỏc nhau), tỉ lệ
huỷ gúi, hay tỉ lệ gúi va chạm trong cỏc mạng cấu hỡnh bus
(iii) Cỏc thụng số ề v độ s n sàng, bao gẵ ồm độ sẵn sàng đường i, đ độ s n sàng c a ẵ ủ
liờn kết và độ sẵn sàng củ ứa ng dụng
(iv) Và cuối cựng là cỏc thụng số đ o lường độổn nh, bao gđị ồm: tốc độ thay đổi trạng thỏi đường truyền, bảng định tuyến, vv...
Để thực hiệ đn o cỏc thụng số này người ta đó đưa ra nhiều phương phỏp và kỹ
thuật đo khỏc nhau, nhưng nhỡn chung cú thể chia thành hai phương phỏp chớnh là: - Đo lường chủ động
- Và đo lường th ụđộng
Đo lường ch ủ động thực hi n g i d li u, cú th là d li u ng d ng ho c d ệ ử ữ ệ ể ữ ệ ứ ụ ặ ữ
liệu thăm dũ, từ mộ đ ểt i m đến một hoặc nhiều đớch khỏc nhau sau đú bắt lại cỏc gúi thăm dũ tại đầu kia hoặc cỏc gúi phản hồi trở lại để xỏc định phản ứng của mạng lờn lưu lượng thăm dũ và từ đú tớnh được trễ truyền đến nỳt đớch tương ứng, RTT hoặc tỉ lệ mất gúi. Phương phỏp này cú u i m là d th c hi n tuy nhiờn l i cú như đ ể ễ ự ệ ạ ược
đ ểi m là t o ra lạ ượng t i khụng c n thi t (l u lả ầ ế ư ượng th m dũ) trờn m ng và cỏc ph n ă ạ ầ
tử mạng và ụi khi cho k t qu khụng chớnh xỏc ho c th m chớ là khụng th ti n đ ế ả ặ ậ ể ế
hành được do cỏc phần tử mạng cú th khụng h trể ỗ ợ lưu lượng th m dũ ho c cú th ă ặ ể
huỷ lưu lượng thăm dũ khi tỡnh trạng tải của nú cao, vv...
Đo lường th ụđộng khụng gử ưi l u lượng th m dũ vào m ng mà ti n hành b t ă ạ ế ắ
lưu lượng thực của mạng tại cỏc nỳt hay liờn kết trờn mạng để phõn tớch tỡm ra cỏc thụng số cầ đn o nh tư ốc độ phỏt gúi c a cỏc ng d ng ho c nỳt m ng, ủ ứ ụ ặ ạ đặc tớnh và phõn bố lưu lượng trờn m ng theo th i gian hay khụng gian, vv... u i m c a ạ ờ Ư đ ể ủ
phương phỏp đo này là khụng tạo ra lưu lượng vụ ớch trờn mạng, tuy nhiờn nhược
đ ểi m là yờu c u h thầ ệ ống o lđ ường ph i cú kh nả ả ăng l u tr và x lý mư ữ ử ột lượng l n ớ
dữ liệu và với tốc độ cao. Hơn nữa nhiều khi do chớnh sỏch bảo mật mà cỏc nhà khai thỏc mạng khụng cho phộp thực hiện cỏc phộp đo thụđộng này.
Qua đú cú thể thấ đy o lường ch ủ động thường được s dử ụng cho cỏc m c ụ đớch c n xỏc ầ định cỏc thụng s hi u su t c a m ng nh trố ệ ấ ủ ạ ư ễ truy n gúi, RTT (trề ễ
truyền hai chi u), t l mề ỉ ệ ất gúi, vv... cũn o lđ ường th ụđộng l i phự h p h n cho cỏc ạ ợ ơ
và trạng thỏi biến thiờn c a tủ ả ưi l u lượng trờn m ng c ng nh ạ ũ ưđảm b o r ng m ng ả ằ ạ đang cung c p cỏc mấ ức ch t lấ ượng và hi u su t ệ ấ định trước.
Mục tiờu đặt ra của luận ỏn này là tỡm hiểu cỏc biểu hiện biến thiờn của lưu lượng ứng dụng trờn mạng Internet ở mức lu ng và t ú xõy d ng cỏc mụ hỡnh ồ ừ đ ự
phõn tớch và phõn loại lưu lượng thành cỏc nhúm ứng dụng cú đặc tớnh lưu lượng tương tự nhau, do đú phương phỏp đo lường sử dụng õy là ở đ đo lường th ụ động
nhằm thu thập cỏc gúi lưu lượng vận chuyển qua đ ểi m quan sỏt và cỏc thụng số liờn quan của chỳng.
Vỡ thế phần tiếp theo của chương này sẽ trỡnh bày cỏc chi tiết kỹ thuậ đt o lường thụ động cũng như những vấn đề liờn quan của nú. Tuy nhiờn trong bỏo cỏo chuyờn đề lần th 2 trong khuụn kh lu n ỏn NCS ó khứ ổ ậ đ ảo sỏt m t cỏch chi tiộ ết và
đầ đủy về cỏc phương phỏp, k thuỹ ật và cụng c o lụ đ ường chủđộng lưu lượng Internet [1].
2.2 Đo lường thụđộng
Như đ ó núi ở trờn kỹ thuậ đt o lường th ụđộng th c hi n b t cỏc gúi l u lự ệ ắ ư ượng
ứng d ng truy n trờn m ng Internet qua i m o và l u tr lụ ề ạ đ ể đ ư ữ ại dưới m t ộ định d ng ạ
nào đú (thường dưới dạng nh phõn). ị Đặc i m c a o lđ ể ủ đ ường th ụđộng là nú khụng làm ảnh hưởng đến hoạt động của mạng do khụng yờu cầu phỏt lưu lượng th m dũ, ă
tuy nhiờn khú khăn là lượng dữ liệ đu o là rất lớn. Vớ dụ, một k t nế ối 155Mbps với hệ số sử dụng trung bỡnh ~80Mbps và gi thi t kớch thả ế ước gúi trung bỡnh là 750 byte, khi đú sẽ cú khoảng 13000 gúi/s hay núi cỏch khỏc thời gian đo kộo dài 1s sẽ
tạo lượng dữ liệu là ~10MB. Với dung lượng của cỏc đĩa cứng hiệu suất cao hiện nay, vớ dụ 40 GB, sẽ chỉ cú thể lưu được d li u ữ ệ đo trong 1 giờ. Giải phỏp khắc phục đơn giản nhất là chỉ lưu ph n tiờu ầ đề IP và tiờu đề giao th c v n chuy n ứ ậ ể
(khoảng 40 byte/gúi), lượng dữ liệu đo khi đú chỉ cũn ~0,5 MB/s và vỡ thế cũng v i ớ đĩa cứng trờn s cú th l u trở ẽ ể ư ữ ữ ệ d li u đo trong 18 gi . ờ
Ngoài ra thỡ dữ liệ đu o thường cú rất nhiều thụng tin trựng lặp và khụng phải tất cả thụng tin bắt được đều cần thi t, do ú khi chu n b phộp o cế đ ẩ ị đ ần xỏc định trước những thụng tin nào cần thu thập và thực hiện cỏc biện phỏp lọc và nộn dữ
liệu để loại bỏ cỏc thụng tin khụng cần thiết. Nếu so sỏnh với việc đo lường trong cỏc mạng chuyển mạch kờnh truyền thống sẽ thấy cú sự khỏc nhau rừ ràng ở đ õy: để
lưu trữ cỏc thụng tin quan trọng của 1 cuộc đ ệi n thoại chỉ cần khụng gian l u tr ư ữ
200 byte là đủ, tương ứng với độ dài cuộc thoại 25ms với tốc độ 64 kbps. Nếu cuộc gọi cú độ dài 3 phỳt (cuộc gọi đ ểi n hỡnh) thỡ bản tin lưu trữ chỉ bằng 0,01% lu ng ồ
lưu lượng dữ liệu. Trong cỏc mạng d li u thỡ phữ ệ ần thụng tin tiờu đề của gúi dữ liệu chỉ bằng 5% kớch thước gúi (40/750), do ú vi c ch ghi l i ph n tiờu đ ệ ỉ ạ ầ đề của gúi là một trong cỏc phương phỏp nộn dữ liệu đo hiệu quả.
Thực tế hiện nay cú khỏ nhiều cụng cụ cho phộp thu thập gúi lưu lượng Internet được phỏt triển với cỏc mục đớch khỏc nhau nh phõn tớch và hi u ch nh cỏc ư ệ ỉ
giao thức mạng, phục vụ quỏ trỡnh tớnh cước/thống kờ, hay ph c t p h n là nh m ứ ạ ơ ằ
phỏt hiện và ng n chă ặn cỏc vụ ấ t n cụng mạng. Cỏc cụng cụ này ho c ặ được thực hiện bằng phần mềm, phần cứng hoặc kết hợp cả hai. Vớ dụ, cú th sể ử dụng cỏc thiết b ị
kiểm tra đường truyền hay thiết bị phõn tớch giao thức đểđo lường lỗi đường truyền cũng như lỗi gúi trong thời gian thực, hoặc sử dụng cỏc cụng c ph n m m nh ụ ầ ề ư
TCPDUMP để quan sỏt cỏc gúi IP trờn mạng LAN.
Theo khảo sỏt của NCS cũng như đ ỏnh giỏ của cỏc dự ỏn nghiờn cứu khỏc,
đ ểi m chung c a cỏc cụng c sủ ụ ẵn cú là ph n l n trong s chỳng là cỏc ph n m m mó ầ ớ ố ầ ề
nguồn mở với độ n ổ định r t kộm, khụng cú nhi u l a ch n ấ ề ự ọ đối v i thu t toỏn bớ ậ ắt gúi, khụng cú hoặc chỉ cú thuật toỏn lấy mẫu đơn giản, khụng cú khả năng b t m t ắ ộ
lượng gúi lớn và trờn cỏc liờn kết mạng tốc độ cao, khụng cú khả năng phõn tớch thống kờ lưu lượng bắt được, vv... Những cụng cụ tốt và hi u su t cao thỡ l i a ệ ấ ạ đ
phần là cỏc sản phẩm thương m i hoỏ nh NetFlow c a hóng Cisco, thi t b ạ ư ủ ế ị
Endance của cụng ty Endance, vv... Phụ lục B c a lu n ỏn trỡnh bày túm t t m t s ủ ậ ắ ộ ố
cụng cụ bắt gúi và phõn tớch l u lư ượng Internet quan tr ng hi n cú và cỏc ọ ệ đặc đ ểi m
ứng d ng chớnh cụ ủa chỳng.
Núi cỏch khỏc, theo khảo sỏt của NCS, cỏc cụng cụ mó nguồn mở hiện khụng
đỏp ng ứ được cỏc yờu cầu đặt ra trong vi c thu th p l u lệ ậ ư ượng gúi m ng Internet ạ
của luận ỏn này, xột trờn cỏc mặt vềđộ ổn nh, số lượng gúi bắt được, khả năng đị giải mó nhiều giao thức mạng, khả năng t ch c l u lượng o dưới d ng c sở dữ ổ ứ ư đ ạ ơ liệu quan hệ hay khả năng phõn tớch th ng kờố . Để giải quyết thỏch th c này NCS ứ đó phỏt triển một phần mềm bắt gúi và phõn tớch lưu lượng Internet d a trờn chuự ẩn thư
viện bắt gúi LIBPCAP, gọi là BKCAP. Cựng với cỏc kết quả khỏc, thỡ đõy cũng là một trong những đúng gúp (mặc dự chỉ là cỏc cải tiến mang tớnh thực hiện nhiều hơn là tớnh hàn lõm) của tỏc giả trong lĩnh vực đo lường lưu lượng Internet.
Nhưng trước hết phần tiếp theo sẽ giới thiệu túm tắt khảo sỏt của nghiờn cứu sinh về cỏc phương phỏp và mụ hỡnh đo lường thụ động ang đ được nghiờn cứu và sử dụng hiện nay cũng như cỏc thỏch thức và tồn tại của chỳng.
2.2.1 Khảo sỏt cỏc phương phỏp và ứng dụng o lđ ường thụđộng
Phần này trỡnh bày m t cỏch túm tộ ắt cỏc kỹ thuậ đt o lường th ụ động quan trọng liờn quan trực ti p ế đến vi c gi i quyệ ả ết cỏc v n ấ đề của lu n ỏn. Chi ti t v cỏc ậ ế ề
khớa cạnh khỏc của kỹ thuật đo lường mạng Internet cú thể tham khảo thờm tại [1], [20], [69-74], [76-93].
2.2.1.1 Tiến trỡnh bắt giữ gúi l u lư ượng
Trong kỹ thuậ đt o lường thụđộng thỡ tiến trỡnh quan trọng nhất là bắt giữ cỏc gúi lưu lượng truyền trong mạng và phương phỏp bắt giữ gúi nhỡn chung phụ thuộc vào cụng nghệ mạng s dử ụng. Trong cỏc m ng dựng chung nh Ethernet (IEEE ạ ư
802.3) cú thể thực hiện việc này tương đối dễ dàng bằng cỏch thiết lập cấu hỡnh card giao tiếp mạng (NIC) để nú hoạt động chở ếđộ “promiscuous” cho phộp chuyể ấn t t cả cỏc gúi nhỡn thấy trong mạng cho hệ đ ề i u hành xử lý (ở chế độ bỡnh thường NIC chỉ chuyển những gúi nào cú đ ại chỉ MAC đớch trựng với địa chỉ MAC của nú hoặc cỏc gúi phỏt quảng bỏ cho hệ đ ề i u hành). Trong trường hợp cụng nghệ mạng s ử
dụng là cỏc giao thức đ ểi m-đến- i mđ ể như ATM, Ethernet tốc độ cao hay cỏc đường nối trực tiếp, thỡ phương phỏp bắ ữ ệt d li u phong phỳ h n. M t trong cỏc cỏch ú là ơ ộ đ
thiết lập cấu hỡnh thiết bị mạng (cỏc b chuy n m ch l p 2) ộ ể ạ ớ để chỳng chuy n ti p ể ế
cỏc gúi nhỡn thấ ởy một c ng ổ đến c ng n i v i thi t bổ ố ớ ế ị đ o để ghi l i, tuy nhiờn ạ
phương phỏp này sẽ tạo ra m t lộ ượng Jitter nh t ấ định cho cỏc gúi đo. Cỏch khỏc là “quan sỏt” thụ động, vớ dụ dữ ệ li u truy n trờn cỏc liờn k t cỏp quang cú th ề ế ể được nhõn đụi bằng cỏc bộ chia tỏch quang mà thực chất là chuyển hướng một phần cụng suất tớn hiệu ỏnh sỏng sang một sợi quang khỏc dẫn đến thiết bị đ o. Vỡ thiết bị chia tỏch quang này hoàn toàn hoạt động chở ế độ thụ động nờn phộp đo sẽ khụng làm
ảnh hưởng gỡ đến ho t ạ động bỡnh thường c a m ng n u nh nủ ạ ế ư ăng lượng quang sau khi chia tỏch cũn đủ lớn. Phương phỏp này c ng cú th ũ ể được ỏp d ng cho cỏc liờn ụ
kết truyền dữ liệu dưới dạng tớn hiệu đ ệi n, tuy nhiờn với những liờn kết tốc độ cao thỡ nú cú thể gõy nh hả ưởng đến ho t ạ động c a m ng vỡ thi t b o cú th làm thay ủ ạ ế ị đ ể đổi đặc tớnh đ ệi n của liờn k t do khụng ph i h p tr khỏng. ế ố ợ ở
Một phương phỏp bắt dữ liệu khỏc là sử dụng cỏc thi t b o ki u “xuyờn qua” ế ị đ ể
trong đú liờn kế ẽt s được k t n i vế ố ới thi t b o, thi t b trong khi b t gúi c ng ế ị đ ế ị ắ ũ đồng thời nhõn đụi gúi ra liờn kết đầu ra một cỏch nguyờn vẹn. Tuy nhiờn trong trường hợp nếu thiết bị đo khụng hoạt động tốt cú thể làm mộo d ng tớn hi u l u lạ ệ ư ượng truyền trờn m ng. D li u b t õy cú thạ ữ ệ ắ ở đ ể là toàn bộ lưu lượng truy n qua ho c ề ặ
phộp đo vỡ nhiều lý do, như: nú kinh tế hơn, đỏp ứng về thời gian tố ơt h n, gi m kớch ả
thước tập dữ liệu đo, hay chỉđơn thu n là do khụng cú khầ ả năng truy xuấ đết n toàn bộ lưu lượng mạng, vv... Tuy nhiờn lấy mẫu cũng gõy ra vấn đề về độ chớnh xỏc của dữ liệu đo. Theo [3], một kỹ thuật lấy mẫu lý tưởng phải cú cỏc đặc đ ểim sau:
- Việc lựa chọn cỏc khung l u lư ượng để b t gi ph i ắ ữ ả đảm b o tớnh ng u nhiờn, ả ẫ
khụng thiờn vị hay bỏ qua bất kỳ loại lưu lượng nào
- Việc chọn cỏc khung lưu lượng phải trờn cơ ở s càng nhiều càng tốt mà khụng làm ảnh hưởng đến cỏc nhiệm vụ quan trọng khỏc
- Tạo ra một lượng tải xử lý tối thiểu đối với thi t b o. ế ị đ
Thực tế cho th y l y m u là m t trong nh ng bấ ấ ẫ ộ ữ ước quan tr ng c a quỏ trỡnh o ọ ủ đ
lường thụ động nờn luận ỏn sẽ dành phần 2.3 trong chương này để trỡnh bày thờm về
cỏc kỹ thuật lấy m u lẫ ưu lượng Internet.
2.2.1.2 Tiến trỡnh phõn tớch thụ dữ liệu gúi bắt được