Trong nh ng ngày đ u khi Internet m i phát tri n, ng i s d ng nó r t ít và s l ng thơng tin c ng khơng nhi u. Do đó tìm vi c ki m nhi u thông tin trên Internet c ng không th t s c n thi t nh bây gi .
Truy c p site directory là m t trong nh ng ph ng pháp đ u tiên đ
d dàng truy c p ngu n thông tin trên m ng. Nh ng link truy c p đ n nh ng ngu n tài nguyên trên m ng đ c nhóm l i theo t ng ch đ . Yahoo là m t trong s nh ng d án directory đ u tiên đ c m vào tháng T n m 1994. S site trong Yahoo Directory t ng lên m t cách nhanh chóng, và nh ng ng i phát tri n Yahoo làm m t công c search cho directory này. T t nhiên công c search này không ph i là m t search engine, b i vì kh n ng search b gi i h ng trong nh ng site đ c đ t trong Yahoo Directory, nó c ng khơng t tìm ki m các site m i và khái ni m SEO v n ch a có.
Directory ngày nay khơng đ c s d ng r ng rãi so v i trong quá kh . Lý do đ n gi n là các directory hi n t i ch cung c p m t kh i l ng r t nh các thơng tin trên Internet. Ví d nh Directory l n nh t hi n nay trên m ng là DMOZ. Nó t p h p thơng tin kho ng 5 tri u website. So sánh v i d li u trong b máy tìm ki m Google h n 8 t ngu n tài nguyên thì đúng là m t s chênh l ch l n.
D án crawl web đ c b t đ u trong n m 1994 và đó là d ng đ u tiên c a search engine. Lycos và AltaVista search engine xu t hi n n m 1995 và nhi u n m sau Alta Vista tr thành ng i d n đ u trong th tr ng này.
N m 1997 Sergey Brin và Larry Page sáng t o ra Google t i tr ng
đ i h c Stanford.Và ngày nay Google đ c bi t là search engine n i ti ng nh t trên th gi i. Và r t nhi u ng i đ t qu ng cáo trên Google.
Hi n t i có 3 search engine d n đ u trên tr ng qu c t là : Google, Yahoo và MSN. Chúng có c s d li u và thu t toán riêng. R t nhi u search engine s d ng d li u t 3 search engine này. Ví d : AOL search engine s d ng database c a Google trong khi AltaVista, Lycos và AllTheWeb s d ng d li u c a Yahoo.