Hầu như không có nghi ngờ rằng một số hành vi cấu thành quấy rối tình dục. Ví dụ: hành vi thuộc loại “trao đổi” (trong đó, người giám sát nói với cấp dưới rằng người đó thực hiện hành vi ân ái tình dục hoặc bị cấm đoán) rõ ràng là quấy rối tình dục. Nhưng khi các hành vi không quá trắng trợn (nhưng vẫn có thể thúc đẩy một môi trường tình dục độc hại) thì việc xác định cách một người có khả năng sẽ giải thích hành vi trở nên phức tạp hơn.
Một vấn đề là có sự khác biệt dựa trên giới trong cách nhìn nhận của phụ nữ và phụ nữ về các hành vi khác nhau. Trong một nghiên cứu, khoảng 58% nhân viên cho biết đã trải qua các hành vi kiểu quấy rối tiềm ẩn tại nơi làm việc. Trong số những điều này, khoảng 25% cho rằng nó tâng bốc và khoảng một nửa coi nó là lành tính. Nhưng khi xem xét kỹ hơn, số nam giới nhiều hơn phụ nữ khoảng bốn lần so với phụ nữ nhận thấy hành vi đó là xu nịnh hoặc lành tính. (Một nhà bình luận ở Thung lũng Silicon được cho là đã giải thích sự khan hiếm phụ nữ trong ngành bằng cách nói rằng anh ta muốn thuê nhiều phụ nữ hơn nhưng vợ anh ta sợ anh ta sẽ ngủ với họ và anh ta có thể sẽ làm vậy.) Dựa trên các nghiên cứu, phụ nữ có nhiều khả năng bị quấy rối hơn nam giới nên họ báo cáo rằng họ đã trải qua một số hình thức đụng chạm thân thể không mong muốn và xác định các hành vi tình dục xã hội là quấy rối tình dục nhiều hơn nam giới. Tương tự, nam giới ít có khả năng quy trách nhiệm về hành vi quấy rối tình dục cho người bị cáo buộc quấy rối hơn là nữ giới và nam giới thì có nhiều khả năng đổ lỗi cho mục tiêu là phụ nữ hơn là phụ nữ. Các chương trình đào tạo về quấy rối tình dục (ví dụ để giải thích những khác biệt này cho nhân viên nam) và các chính sách về chống quấy rối có thể giảm thiểu vấn đề này. một vấn đề thứ hai là nhân viên thường không phàn nàn. Ví dụ: hai vị Không quân đã xuất hiện trước Ủy ban Dịch vụ Vũ trang Hạ viện của Quốc hội Hoa Kỳ để giải thích cách 23 giáo viên hướng dẫn tại một căn cứ Không quân có thể tham gia vào các mối quan hệ thiếu chuyên nghiệp hoặc tấn công tình dục đối với 48 học viên nữ. Lực lượng Không quân đổ lỗi cho cả bầu không khí sợ hãi của các nhân viên nữ (những người tin rằng việc báo cáo các hành vi phạm tội với các sĩ quan cấp trên sẽ vô ích hoặc