百度优化搜索引擎的抓取原理

发布时间：2019/01/11 丨 文章来源：未知 丨 浏览次数：

  百度优化网站结构：首页-栏目页-内容详情页，爬虫SPider顺着网页中的超链接，在互联网中发现、搜集网页信息

  蜘蛛的抓取方式，广度抓取(横着抓取，先抓取完每个栏目也，再抓取每个栏目页下面的内容页)，百度优化深度抓取(竖着抓取，先抓取完一个栏目的内容页，然再换个栏目以同样的方式抓取)

  百度优化不利于蜘蛛识别的内容，flash(视频前后加文字辅助搜索引擎识别)，需要登录之后才能获取的页面信息，嵌套table等js代码，iframe框架代码机构，图片(添加alt属性辅助识别)