爬虫是什么 网络爬虫介绍

爬虫是什么 网络爬虫介绍

1、网络爬虫,又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫 。
2、大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行,这其实也是模拟了我们使用浏览器获取网页信息的过程 。

3、简单来讲,爬虫就是一个探测机器,它的基本操作就是模拟人的行为去各个网站溜达 , 点点按钮,查查数据 , 或者把看到的信息背回来 。就像一只虫子在一幢楼里不知疲倦地爬来爬去 。
【爬虫是什么 网络爬虫介绍】4、可以简单地想象:每个爬虫都是你的“分身” 。就像孙悟空拔了一撮汗毛,吹出一堆猴子一样 。

经验总结扩展阅读