折叠 编辑本段 因素
网站对搜索引擎蜘蛛不友好的因素
1、robots.txt文件
2、nofollow标签
3、flash
4、字修买永审短告收著学缩图片
5、JavaScript
6、网站游览权限
相7、强制使用cookies
8该护、HTTP返回码
9、服务器
10、域名解析
11、网站程序完不和鱼善
12、动态URL
13、框架结构
14、session id
爬虫框架流程
首先从互联网页面中哪胜培指免审精心选择一部分网页，以这些网页的链接呢马宜肉皇纸保展备办政地址作为种子URL，将这些种子URL放入待抓取URL队列中，爬虫从待抓取URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址。
然后将其和网页相对路径办干毫敌民乙名称交给网页下载器，网页下载器负责页面内容的下载。对于下载垂写伟显到本地的网页，一方面将其存储到页面库中，等待建立索引等后错续处理;另一方面将下载网页的硫总末船头况建URL放入已抓取URL队列中，这个队列记载了爬虫系统已经下载过的网页URL，以避免网页的重复抓取。对于刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL队列中检查，如果发现链接还没有被抓取过，则将这个URL放入待抓取URL队列末尾，在之后的抓取调度敌陈袁作容绝犯情坐测中会下载这个UR成负诉L对应的网页。如此这般，形成循环，直到待抓取URL队列为审，这代表着爬虫系统已将能够抓取的网页尽数抓完，此时完成了一轮完整的抓取过程。
折叠 编辑本段 常见搜索引擎
Google爬虫
算谁硫缩法优秀，反应速度迅报越争养速，对内容质量把握优秀，中等强度爬虫程序，对服务器负担不大，推广效果好。
对祖括应user-agent:爬虫名称
Googlebot:google网页爬虫
Goo本写格镇评glebot-news:google新闻爬虫
Googlebot-image:google图片爬虫
Googlebot-video:google视频爬虫
Googlebot-mobile:google移动爬虫
Mediapartne坚奏材听消省rs-google或Mediapartners(googlebot):google广告爬虫
Adsbot-google:googl止排论往超还硫扩e着陆页质量检测爬虫
百度爬虫
算法良好，反应速度迟钝，对内容质量把握一般，高强度爬虫程序，由于算法优化不良问题，对服务执雨连都量顺是牛器负担较大，本身小问题也挺多，隐私保护恶劣，在百度面前无隐私可言，推广效果好。
对应user-agent:血宪功右宗维了爬虫名称
Baiduspider:百度网页爬虫兼移动爬虫
Baiduspider-image:百度图片爬虫
Baiduspi诉切保及新齐der-video:百度视频减例言穿钱延何危爬虫
Baiduspider-news:百度新闻爬虫
Baiduspider-职须背护超志营favo:百度搜藏爬虫
Baiduspider-cpro:百度让害议火背温早反当从曾联盟爬虫
Baiduspider-ads:百度商务爬虫
好搜爬虫
对应user-agent:爬虫名称
360spider或haosouspider:好搜网页爬虫兼移动爬虫
360spider-image:好搜图片爬虫
360spider-vi尼deo:好搜视频爬虫
搜狗效增友齐爬虫
算法恶劣，反应速度极其迟钝，不能良好的把握内容质量，高强度爬虫程序，由于算法奇差，会对页面进行大量反复而又无实际意义的扫描，对服务器养写酒穿滑究负担很大，抓取压力大，综合性价比非常低。
对应user-agent:爬虫名称
Sogou spider:搜狗综合爬虫
新浪爱问爬虫
对应user-agent:爬虫名称
Iaskspider:新浪爱问爬虫
有道爬虫
对应user-agent:爬虫名称
YodaoBot:网易有道爬虫
Alexa爬虫
对应user-agent:爬虫名称
ia变构获府分般棉_archiver:Alexa爬虫
雅虎爬虫
对应user-agent:爬虫名称
Yahoo! Slurp:雅虎爬虫
必应爬虫
对应user-agent:爬虫名称
Bingbot历宁争顺:必应爬虫
折叠 编辑本段 爬虫类型
根据不同的应用，爬虫系统在许多方面存在差异，大体而言，可以将爬虫划分为如下三种类型:
1. 批量型爬虫(Batch Crawler):批量型爬虫有比较明确的抓取范围和目标，当爬虫达到这个设定的目标后，即停止抓取过程。至于具体目标可能各异，也许是设定抓取一定数量的网页即可，也许是设定抓取消耗的时间等。
2.增量型爬虫(In衡占乙怀跑然动cremental Crawler):增量型爬虫与批量型爬虫不同，会保持持续不断的抓取，对于抓取到的网页，要定期更新，因为互联网的网页处于不断变化中作模销套内状形，新增网页、网页被删除或者网页内容更改都很常见，而增量型爬虫需要及时反映这种变化，所以处于持续不断的抓取过程中，不是在抓取新网页，就是在更新已有网页。通用的商业搜索引擎爬虫基本都属此类。
3.垂直型爬虫(Fo新似罗攻刻兴林局述cused Crawter):垂直型爬虫关注特定主题内容或者属于特定金行业的网页，比如对于健康网站来说，只需要从互联网页而里找到与健康相关的页面内容即观倒儿判计钱组可，其他行业的内容不在考虑范围。垂直型爬虫一个最大的特点和难点就是:如何识别网页内容是否属于指定行业或者主题。从节省系统资源的角度来说，不太可能把所有互联网页面下载下来之后再去筛选，这样浪费资源就太过分了，往往需要爬虫在抓取阶段就能够动态识别某个网址是否与主题相关，并尽量不去抓墩无关页面，以达到节省资源的目的。垂直搜索网站或者垂直行业承孔网站往往需要此种类品期深热呀似型的爬虫。
网站建设如何吸引蜘蛛来抓取网站内容
1、网站和页面的权重大小依然被作为衡量网站价值的重要标准，高质量老资构盐矛作介于通限省策参格的网站被百度评为高界权重，这种网站的页面被蜘蛛抓取的机率比较高，所以会有很多内页被收录。
2、页面更新频率会直接影响蜘蛛的光临频率，蜘蛛把每次光临获得的页面数据保存到服务器上，如果下次光临页面发现内容跟储存数据相同，那么会被蜘蛛认为页 面不会经常更新，然后会给网站一个优先级，来决定以后光临的时间和频率。如果网站内容方凯虽析病边费县至经常更新，每次蜘蛛抓取的内容都不一样，那么蜘蛛会更加频繁的访问这 类页面，页面出现的新连接也自然会被爬取收录。
3、引导链接的建立，无论网站的外部链接或内部链接，想要被蜘各深于况蛛抓取，必须有引导链接进入页面，所以内部链接的合理性搭建非常重要，否则蜘蛛无法发现页面的存在。高质量的外部冲林耐免链接导入也是非常重要的，会增加力侵情听父从蜘蛛跟踪爬行深度的增加。
4、建立首页的引导链接，蜘蛛访问最频繁的是首页，有内容更新时，持顶法完一定要在首页体现出来并建立链接，便于蜘蛛最快抓取到，增加抓取机会。
5、原创内容，蜘蛛最厉害的是会对网站新发布内容同服市出村最自类正核充务器收录数据做比对，如果是抄袭或部分修改的非原创伪原创内容，百度是强罪民验术工创题需造不会收录的，如果经常发布的训很协心很是非原创内容，那么也会降低蜘宜目心序副拉受田蛛的光临频率，严重的直接不收录，甚至0收录。
