网页的抓取方案可以分为深度优先、广度优先和最好优先三种。深度优先在不少状况下会致使爬虫的陷入问题，现在容易见到的是广度优先和最好优先办法。

蜘蛛陷阱是指对搜索引擎不友好，不利于蜘蛛爬行和抓取的网站建设技术。网站排名优化应该防止什么蜘蛛陷阱?有一些网站建设技术对搜索引擎来讲非常不友好，不利于蜘蛛爬行和抓取。

1、FLASH蜘蛛陷阱

假如你的网站某个广告或图标是用Flash做的，用来增强视觉成效起点缀成效，那是没多大问题的。但假如你的网站整站都是用大的Flash文件，就构成了蜘蛛陷阱由于搜索引擎是没办法读取flsah的内容的，这种网站一般是看起来非常美，可惜搜索引擎什么都看不到，无从判断网站的主题信息。

2、各种跳转的蜘蛛陷阱

只有301转向是搜索引擎最喜欢的，其他转向都是使搜索引擎警惕，譬如302跳转、Javascript跳转，Flash跳转等。一般页游、yellow网站之类的广告喜欢用这个来欺骗搜索引擎，如用户访问首页时被自动跳转到某个游戏页面等。

解决方法：尽可能不要用301以外的转向，当然譬如基于地点的跳转还是可以的，但首要条件是你的网站在搜索引擎心目中网站权重比较高。

3、网站框架结构

框架结构：点击网页的其他描文本链接变更网页后，但网页的网址不变，这就是框架结构，如此的网站搜索引擎是没办法网站收录的。

动态URL：动态URL是指数据库驱动的网站做生成的、带有问号、等号及参数的网址。现在搜索引擎抓取动态URL没问题，但通常来讲带有过多参数的动态URL还是不利于爬行的，也不利于客户体验，应该尽可能防止。

4、Javascript链接

由于Javascript可以制造出不少吸引人的视觉成效，普通的网站都会有所运用。甚至有些网站喜欢用Javascript脚本生成网站导航。这也是比较紧急的蜘蛛陷阱之一，这无疑给搜索引擎爬行带来了困难。

5、强制用cookies

有的网站为了达成某些功能，用cookies可以记住用户登录信息，跟踪访问路径等作。但假如强制用，譬如浏览器假如没启动cookies页面就会显示不正常，那样搜索引擎也没办法正常访问。

网站关键字细分总结十点

1、网站还开始建设前，需要先选取关键字，并以此扩展。网站排名优化常见的办法就是在百度搜索框中输入扩展关键字，查询有关页面，以判断关键字角逐度。

2、做了关键字将来，剖析对手关键字。

3、目的关键字应该建设在首页。

4、2级目的关键字，在2级域名或2级栏目做2级目的关键字。

5、内容页里面做长尾关键字，长尾关键字胜在一个做量，以量来带动目的关键字。就像金字塔一样，慢慢的从下而上的堆积，把目的关键字堆到顶端。

6、目的关键字围绕主关键字来做。

7、自己网站关键字，选择上需要花很大的心思。

8、假如要做关键字，先百度看关键字有多少篇页面。

10、剖析角逐对手：前面3名的需要去剖析它的规模、网站收录量、内容页。一般长尾关键字都是存在于内容页中，而且大家需要看这类文章为原创还是为原创，甚至是转载。若是后两者那样这类个长尾关键字的网站权重不会太高。

可能需要知道