搜索引擎蜘蛛的抓取规则,如下四点提供参考:
1、搜索引擎蜘蛛要能看到链接文字
这个是搜索引擎蜘蛛爬行时能够检索到的文字,如果文字或链接是通过JavaScript调用,蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利,例如产品名称放到页面越靠前的位置,对该页面产品关键词的排名越有利。
2、搜索引擎蜘蛛能爬行未经 nofollow处理过的链接
这一项列出的是搜索引擎蜘蛛能够检索到链接,蜘蛛能够通过这些链接访问网站其他页面,越靠前的链接,被蜘蛛爬行的几率就越大,被搜索引擎收录的可能性越高。
3、搜索引擎蜘蛛能发现图片链接并能