Trong thực tế, có nhiều lý do dẫn tới cần thiết phải hạn chế lượng dữ liệu thu thập. Có một số cách giảm tải dữ liệu như sau.
a. Loại bỏ dịch vụ
Phương pháp đơn giản nhất để giảm bớt số lượng dữ liệu FPC thu thập là loại bỏ lưu lượng được tạo ra bởi các dịch vụ riêng lẻ. Có thể xác định các dịch vụ thích hợp trong chiến lược này nhờ sử dụng rwstats.
Đầu tiên sử dụng rwstats để xác định cổng chịu trách nhiệm về lưu lượng đi vào nhiều nhất trong mạng.
cat daily.rw | rwstats --fields = sport --top --count = 5 --value = bytes
Lệnh này lấy tập dữ liệu ban đầu đưa tới rwstats, tính nhóm 5 cổng nguồn (--top --count = 5) (--fields = sport) có lượng truyền dữ liệu lớn nhất, theo byte (- -value== byte). Kết quả được thể hiện trong Hình 2.14.
Hình 2.14 Nhóm cổng nguồn có lượng dữ liệu trao đổi cao nhất
Có 44% lưu lượng quan sát được là HTTP. Tuy nhiên, trong các dòng tiếp theo, hơn 16% của tổng số dữ liệu xuất phát từ cổng nguồn 443. Để có bức tranh hoàn chỉnh, hãy nhìn nhóm 5 cổng đích có lưu lượng cao nhất để hiểu về lưu lượng đi ra ngoài:
cat daily.rw | rwstats --fields = dport --top --count = 5 --value = bytes Đầu ra của lệnh này được thể hiện trong Hình 2.15.
Hình 2.15 Nhóm 5 cổng đích có lưu lượng cao
Hơn 4% lưu lượng đi tới TCP/443, dẫn đến kết luận rằng vào một ngày nào đó, sẽ có khoảng 20,9% lưu lượng truy cập qua các giao diện giám sát của cảm biến thuộc TCP/443. Do đó, lọc lưu lượng TCP/443 ra sẽ giúp tiết kiệm không gian lưu trữ dữ liệu FPC.
Thông thường các tổ chức sẽ loại bỏ các lưu lượng dữ liệu mã hoá thuộc HTTPS. Hãy xem tổng lưu lượng khi loại bỏ TCP/443 như thế nào:
cat daily.rw | rwfilter --input-pipe = stdin --aport = 443 --fail = stdout| rwcount --bin- size = 86400
Số liệu thống kê cho thấy tổng số dữ liệu đi qua các cảm biến dựa trên bộ lọc mới (Hình 2.16).
Hình 2.16 Thống kê thông lượng cho cùng ngày không bao gồm lưu lượng TCP/443
Số liệu thống kê là 2.52 GB mỗi phút, hoặc 42,9 MB mỗi giây, nghĩa là giảm được ~20,9% trong một ngày.
b. Loại bỏ lưu lượng host tới host
Một cách khác để giảm số lượng dữ liệu FPC được lưu trữ là loại bỏ các liên lạc giữa các host cụ thể. Ví dụ sau xem xét nhóm các địa chỉ IP nguồn và đích sau khi loại bỏ cổng 443:
cat daily.rw | rwfilter --input-pipe = stdin --aport = 443 --fail = stdout| rwstats -- fields = sip,dip --top --count = 5 --value = bytes
Lệnh này sẽ gửi dữ liệu hiện có tới rwfilter để loại bỏ bất kỳ lưu lượng nào dùng cổng TCP/443. Những thông tin này sau đó được đưa tới rwstats, để tạo ra nhóm các cặp IP nguồn và đích (--fields = sip,dip) theo tổng số byte (--value = byte). Kết quả được thể hiện trong Hình 2.17.
Hình 2.17 Xác định các cặp IP có lưu lượng lớn nhất
19% lưu lượng trên đoạn mạng này là giữa hai máy tính có địa chỉ 141.239.24.49 và 200.7.118.91. Để xác định xem liệu lưu lượng này có thể loại trừ khỏi dữ liệu FPC hay không, cần phải xem xét kỹ hơn với lệnh:
cat daily.rw | rwfilter --input-pipe = stdin --saddress = 141.239.24.49 --
daddress = 200.7.118.91 --pass = stdout| rwstats --fields = sport --top --count = 10 -- value = bytes
Hình 2.18 Kiểm tra lưu lượng giữa các máy tính
Có vẻ như tất cả các lưu lượng này xuất hiện trên cổng 22. Giả sử đây là một kết nối hợp pháp, thì điều này thể hiện một hình thức SSH VPN tồn tại giữa hai thiết bị. Nếu không thể giải mã và theo dõi lưu lượng truy cập này (chẳng hạn như thông qua một proxy trung gian), thì đây có lẽ là lưu lượng có thể loại trừ. Quá trình này có thể được lặp lại để giảm bớt lượng dữ liệu thu thập. Sử dụng chiến lược như trên có thể giảm số lượng dữ liệu được lưu trữ FPC khoảng 40%.