Một hệ thống IDS có khả năng phân biệt được hoạt đông thông thường và bất thường của người dùng. Tuy nhiên, để phiên dịch những hoạt động của người dùng ra thành một quyết định chính xác của máy tính thường không đơn giản chút nào. Các hoạt động này thường không có một ranh giới rõ rệt. Để có thể phân loại được các hoạt động, hệ thống IDS cần áp dụng những phương pháp dò tìm đạt hiệu quả cao. Hiện nay có hai phương pháp thường áp dụng là dò tìm bất thường (anomaly detect) và dò tìm theo mẫu (signature detect).
Dò tìm bất thường (anomaly detect)
Các mẫu hoạt động thường được phân chia thành hai loại là của người dùng và của hệ thống. Trong các hệ thống IDS hoạt động theo cơ chế dò tìm bất thường, một bộ dò tìm sẽ tạo nên một cấu hình có thể mô tả được hoạt động thường sử dụng và sử dụng dữ liệu đó để có thể nhận ra được sự khác biệt giữa hoạt động bình thường và khi có tấn công.
Để tạo được một cấu hình cho các hoạt động của người dùng, một yêu cầu là phải khởi tạo một cấu hình chuẩn ban đầu, sau đó hệ thống có thể tự học để nhận biết được những hoạt động hợp lệ trên hệ thống. Ở đây xảy ra một vấn đề là đối với nhưng hệ thống tự học, những kẻ xâm nhập giỏi có thể lợi dụng để dẫn hệ thống đến việc học các hoạt động xâm nhập như các hoạt động thường. Một cấu hình không thích hợp sẽ dẫn đến không phát hiện được đầy đủ các cuộc xâm nhập. Ngoài ra việc cập nhật liên tục cấu hình đó cũng gặp nhiều khó khăn và mất nhiều thời gian.
Với một cấu hình định trước, tất cả những hoạt động không được tìm thấy trong cấu hình đó đều được coi là những hành động có nghi vấn. Vì thế đặc điểm của hệ thống như vậy là có mức độ an ninh rất cao, tuy nhiên xu hướng tạo ra những cảnh báo sai là cũng khá phổ biến.
Lợi ích của nguyên lý dò tìm bất thường là có thể phát hiện những tấn công mới, những hoạt động bât thường có thể được phat hiện mà không cần biết trước những đặc điểm của hoạt động đó. Hệ thống IDS sử dụng nguyên lý dò tìm bất thường hoạt động không phụ thuộc nhiều vào hệ điều hành, có thể dò tìm được những hoạt động lạm dụng quyền của người dùng quản trị hoặc thông thường.
Nhược điểm lớn nhất của nguyên lý dò tìm sự bất thường:
- Tỉ lệ thông báo sai khá lớn, hệ thống không hoạt động trong quá trình cập nhật lại cấu hình và học lại. Vì thế những hoạt động xâm nhập trong khi đó đều không được theo dõi.
- Hoạt động của người dùng thay đổi theo thời gian, không bất biến, vì thế yêu cầu đặt ra đối với hệ thống là thường xuyên phải cập nhật dữ liệu.
- Hệ thống sẽ bị suy giảm khả năng miễn dịch trong quá trình học lại những dữ liệu về hoạt động của người dùng.
Dò tìm theo dấu hiệu (signature detect)
Hệ thống dò tìm theo dấu hiệu thực hiện so sánh các hành động thu nhận được với những hành động tấn công đã biết trước, được gọi là các dấu hiệu tấn công (attack signature). Các dấu hiệu về hành động sai, hành động tấn công thường được chia thành hai loại sau:
- Mẫu tấn công (attack signature): Miêu tả các hành động có thể gây tác động xấu tới an ninh mạng. Thông thường những hành động này được biểu diễn bởi một mối quan hệ theo thời gian giữa một loạt các hành động liên quan.
- Chuỗi văn bản (text strings): Các mẫu phù hợp với một chuỗi văn bản được dùng để tìm kiếm những hành động khả nghi trên mạng.
Bất kỳ một hành động nào không được coi là cấm một cách rõ ràng thì đều được hệ thống cho phép qua. Vì thế tính chính xác của phương pháp này là rất cao. Thông thường hệ thống sử dụng dò tìm theo mẫu không đạt được sự hoàn thiện và không miễn dịch được với các tấn công mới.
Có hai hướng nghiên cứu chính sử dụng trong hệ thống dò tìm theo mẫu: - Kiểm tra các gói tin lớp IP và TCP: Có rất nhiều các cuộc tấn công nhằm khai thác lỗ hổng trong gói tin IP, ICMP, TCP, UDP. Chỉ với một thủ tục kiểm tra đơn giản bằng việc thiết lập các cờ tại các gói tin đặc biệt, nó có thể xác định được gói tin đó có hợp lệ hay không. Tuy nhiên, khó khăn xảy ra khi các gói tin bị phân mảnh và cần ghép lại. Điều này thường được những kẻ tấn công khai thác để vượt qua các hệ thống IDS.
- Kiểm tra giao thức lớp ứng dụng: Có rất nhiều tấn công nhằm khai thác lỗ hổng của các chương trình ứng dụng có sử dụng các giao thức tầng ứng dụng. Để dò tìm dược những tấn công kiểu này có hiệu quả, hệ thống IDS cần thực hiện được rất nhiều các giao thức.
Phương thức dò tìm theo mẫu có nhiều ưu diểm như: ít cảnh báo sai, thuật toán đơn giản, dễ tạo dữ liệu, dễ thực thi và sử dụng ít tài nguyên. Tuy nhiên hệ thống IDS sử dụng phương thức dò tìm này có rất nhiều nhược điểm:
- Việc cập nhật thông tin dữ liệu là khó khăn.
- Không thực hiện dò tìm được những tấn công mới, tấn công chưa biết. Một yêu cầu đặt ra là mẫu về những cuọc tấn công phải luôn luôn được cập nhật. - Những mẫu về tấn công hầu hết đều phụ thuộc vào môi trường hoạt động, vì thế những sản phẩm thường phai đi kèm theo cả hệ điều hành, ứng dụng v.v...