网络蜘蛛(Spider)

2013-05-08

网络蜘蛛(Spider)网络爬虫也叫网络蜘蛛是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。

著名的:

百度蜘蛛: Baiduspider

谷歌蜘蛛: Googlebot

雅虎蜘蛛: “Yahoo! Slurp China

必应蜘蛛: bingbot

MSN蜘蛛: msnbot,msnbot-media

想出名的:

有道蜘蛛: YoudaoBot,YodaoBot

搜狗蜘蛛 Sogou News Spider

即刻蜘蛛 JikeSpider

宜搜蜘蛛 EasouSpider

一搜蜘蛛 YisouSpider

一淘网蜘蛛: EtaoSpider

SOSO蜘蛛: Sosospider

360蜘蛛: 360Spider

云壤蜘蛛: yrspider

进口的:

Alexa蜘蛛: ia_archiver

YandexBot 俄罗斯的搜索引擎爬虫。

分类:网络 | 标签: |

相关日志

评论被关闭!