本文目录一览：
避免蜘蛛陷阱的技巧
避免蜘蛛陷阱的技巧
“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，虽然网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍。哪些做法不利于蜘蛛爬行和抓取呢?怎么去避免这些蜘蛛陷阱呢?下面随我来了解一下!
1、 登录要求
有些企业站和个人站设置一定要用户注册登录后，才能看到相关的文章内容，这种对蜘蛛不是很友好，因为蜘蛛无法提交注册，更无法输入用户名和密码登录查看内容。对于蜘蛛来说，用户直接点击查看到的内容也是蜘蛛所能看到的内容。如果你的网站有这种情况，请取消这一功能，但网站如果有VIP用户或部分资源，是可以这样设置的。
2、动态URL
动态URL可以简单理解为在URL中加入过多的符号或者网址参数，虽然随着搜索引擎的技术发展，动态URL对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上讲，静态哪陷是伪静态相对来说都比动态URL要好。URL优化将在本章第6节中讨论。 /
3、强制用Cookies
强制用Cookies对于搜索引擎来说相当于直接禁用了Cookies，而有些网站为了实现某些功能。会采取强制Cookies，例如跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户访问这类站点时没有启用Cookies，所显示的页面就会不正常。所以，对于蜘蛛来讲，同样的网页无法正常访问。
4、 框架结构
早期框架网页到处被泛滥使用，而现在很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。
5、各种跳转
对搜索引擎来说，只对301跳转相对来说比较友好，对其他形式的跳转都比较敏感。如JavaScritp跳转、MetaRefresh跳转、Flash跳转、302跳转。
有些网站的做法很让人无奈，当打开网页后，会自动转向其他页面，如果打开的页面和你要找的页面丰体相关.+扫.笪讨很去，佃是很大部分的网站转向让你无任何理由和目的，这种转向不推荐大家使用，如果非要做转向，只推荐用301永久跳转，可以将权重进行传递，除此转向其他都不推荐，因为很多其他转向欺骗用户和搜索引擎，也是黑帽的一种手段，建议大家不要使用。
6、JavaScript跳转
虽然现在搜索引擎对于JavaScript里的链接可以跟踪，甚至尝试拆解分析，但是我们最好不要寄望于搜索引擎自己克服困难。虽然通过JavaScript可以做一些效果不错的.导航，但是CSS同样也可以做到。为了提高网站对搜索引擎的友好度，使网页能够更好地蜘蛛爬行，尽量不要采用JavaScript当然，在SEO中，JavaScript有一个好处就是站长不希望被收录的页面或者友情链接可以采用JavaSc:npt。当然，有一种方法可以消除JavaScript蜘蛛程序陷阱，即使用
7、Flash
有的网站页面使用Flash视觉效果是很正常的，例如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，但很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱。在蜘蛛抓取时，HTML代码中只是一个链接，并没有文字，虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容，所以，为了能体现网站优化的最好效果，不提倡这种Flash作为首页图片。
8、采用session id的页面
有的销售类站点为了分析用户的某些信息，会采用会话ID来跟踪用户。访问站点时，每个用户访问都会增加一次：?ssion id而加人到URL中。同样，蜘蛛的每一次访问也会被当作一个新用户。每次蜘蛛访问的URL中都会加入一个。Ession id，产生同一个页面但URL不同的情况，这种情况会产生复制内容页面，造成高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。
;
网站结构优化中的蜘蛛陷阱有哪些
第一：flash。
相信，这个许多网站都会有的。为了让用户体验更好，网站看起来更加的美观，放大量的flash动画。‘大量’，我这里说的是大量哦。大量的flash动画造成的后果只有一个，那便是搜索引擎蜘蛛是抓取到了你的网页，但是。在抓取后的预处理这一块，犯难了。因为提取不到一个中文文字。没有中文文字，搜索引擎蜘蛛怎么会知道抓到的网页的内容什么啊。特别是，用flash做成的导航，最危险了。
第二：Session ID
这个，少部分的网站可能会用。网站一旦使用了Session ID后，每一个访问者来到你这个网站中都会产生一个不同的ID号。搜索引擎蜘蛛也是如此。那么，一旦第一次搜索引擎蜘蛛来过，抓取过你网站的URL地址后。下一回它来，Session又会给蜘蛛一个不同的ID号，蜘蛛又会重复抓取一遍你的网站，但是URL不一样。这样造成的后果便是，搜索引擎蜘蛛会认为你这个网站中有大量重复的内容。会对你的网站越来越不感兴趣，最后都不来了。对于非要使用Session ID的网站，避免的方法是让程序员设计出来一套专门识别搜索引擎蜘蛛的代码。区别开是蜘蛛还是用户。
第三：各种跳转
搜索引擎蜘蛛对于各种跳转也是十分的敏感的。因为黑帽SEO最喜欢用跳转这种手段了。黑了别人的网站，然后在别人的网站上挂上一个指向自己网站的跳转。
第四：框架结构
第五：动态的URL地址
动态的URL地址一般过于长，带有较多的参数。好比“？”“=”“id”等，搜索引擎蜘蛛一旦爬行进入，很有可能会出不来。所以网站建议使用静态地址。
第六，必须登录了，才可以进入到网站中
有些网站为了采集用户信息，非要登录了才能进入到网站中。可是，搜索引擎蜘蛛不是人，它不会登录。它进入不了你的网站，那么你的收录便很有问题了。
SEO优化中需要注意的蜘蛛陷阱有哪些
[font=微软雅黑][size=3]
[/size][/font]
[align=left][font=微软雅黑][size=3]
[/size][/font][/align][align=left][font=微软雅黑][size=3]
许多站长都说，公司网站不好做，那是因为许多公司网站会在规划上对搜索引擎来说很不友爱，晦气于蜘蛛匍匐和抓取，这些技能被称为蜘蛛圈套。所以作为公司站一定要尽量防止蜘蛛圈套。
榜首、FLASH 有的网站整个主页即是一个很大的flash，这就构成了蜘蛛圈套。搜索引擎住宅区的html代码只要一个链向flash文件的连接，没有其他文字内容。如果你想成为一个SEO技术大牛，你可以加这个裙 : 425，五七一，206。这里每天都有SEO大牛免费分享网站优化技术，也有很多一起学习SEO的小伙伴跟你一起学习进步，并不需要你付出什么，只要你是真心想学习的就可以加入。
还有网站在主页的banner就运用一个flash，并且增加活动连接，尽管对用户来说能够直观的看到活动内容，可是关于蜘蛛来说，就无法辨认，并且抓取不到flash的链向地址。
第二、Session ID 有些网站运用sission ID（会话ID）盯梢用户拜访，每个用户拜访都会生成一个共同仅有的session ID，加在URL中。搜索引擎蜘蛛的每一次拜访也会被当成一个新的用户，URL中会加上一个不相同的session ID，这样搜索引 擎每次来拜访时所得到的同一个页面的URL将不相同，后边带着一个不相同的session ID。这也是最常见的蜘蛛圈套之一。
第三、各种跳转 除了301跳转以外，搜索引擎蜘蛛对其他方法的跳转都对比灵敏，如302跳转，javascript跳转、meta refresh 跳转。
若是有必要转向，301转向是搜索引擎引荐的、用于网站更改的转向，能够吧页面权重从旧网址转移到新网址。其他的转向方法都对蜘蛛匍匐晦气。所以除非万不得已，尽量不要运用301转向以外的跳转。
第四、结构结构 运用结构结构规划页面，在网站诞生前期从前听盛行，可是如今网站现已很少运用结构了，晦气于搜索引擎抓取是结构越来越不盛行的重要原因之一，关于搜索引擎来说，拜访一个运用结构的网址所抓取的html只包括调用其他html文件的代码，并不包括任何文字信息。搜索引擎无法判别这个网址的内容是什么。
总归，若是你的网站还在运用结构，或许你的老板要运用结构结构，仅有要记住的是，忘掉运用结构这回事。和Flash相同，别浪费时间研讨怎样让搜索引擎录入结构结构网站。
第五、动态URL 动态URL值的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态URL晦气于搜索引擎蜘蛛匍匐，大概尽量防止。尽管baidu如今现已能够辨认动态URL了，可是也不能确保百分百能辨认。
第六、javaScript连接
因为javaScript能够创再出许多吸引人的视觉效果，有些网站喜爱运用javascript脚本生成导航系统。这也是对比严重的蜘蛛圈套之一，尽管搜索引擎都在测验解析JS脚本，不过咱们不能寄期望与搜索引擎自个去客服艰难，而要让搜索引擎盯梢匍匐连接的作业尽量简略简单。
jacascritp连接在SEo中也有特别用处，那即是站长不期望被录入的页面，比期望被baidu抓起的连接，能够运用javascript脚本阻碍搜索引擎蜘蛛匍匐
第七、需求登录 有些网站的内容需求用户登录后才干看到的页面，这部分内容搜索引擎是无法看到的。这个要注意断定是不是是需求登录今后才干看到。
第八、强行运用cookies
许多网站为了完成某种功用，强行运用cookies,用户浏览器若是没有启用cookies，页面显现不正常。搜索引擎蜘蛛就相当于一个制止了cookies的浏览器，强行运用cookies只能形成搜索引擎蜘蛛无法正常拜访。[/size][/font][/align]
SEO是什么？SEO怎么做
SEO即Search Engine
Optimization，中文译名“搜索引擎优化”，通过对网站内部调整优化及站外优化，使网站满足搜索引擎收录排名需求，在搜索引擎中关键词排名提
高，从而把精准用户带到网站，获得免费流量，产生直接销售或品牌推广。(通俗来讲：SEO即百度自然排名，一般所说的搜索引擎指综合搜索，除此外还有垂直
搜索和站内搜索。)
搜索引擎的基本原理
爬行抓取：搜索引擎蜘蛛跟踪链接，抓取页面html代码存入数据库，低权重复制内容过滤;
预处理：文字和相关标签抓取，中文分词，去掉无意义内容提炼页面主要关键词(对于蜘蛛没有意义：如：的、啊、从而等，广告、申明等)，去重(同
一内容不同网站或同一网站不同网址);倒排索引：关键词到内容，链接投票，文件处理(目前只能根据标签和相关描述文字识别)，质量判断：搜索引擎算法;
排名：中文分词(排除无实际意义的词后对搜索词的拆分重组，百度快照可查询分词结果)，相关性计算：越常用的词对搜索词的意义贡献越小，词频，关键词位置形式距离(标题、H1、黑体等)，链接分析(锚文本、周边文字、原站本身主题)，排名过滤调整(百度第11位)。
更多可以参阅百度站长平台发布的《百度搜索引擎工作原理》
竞争研究
关键词分析
关键词原则：关键词决定了栏目内容规划、链接结构等重要后续步骤，需要注意主题内容相关，不同词商业价值，主关键词不可太宽泛，确保目标关键词有人搜索，降低优化难度，寻找有效流量(地区与业务与公司贴合)，善用工具。
竞争程度：搜索结果数、竞价结果数、内页排名数、大型著名门户数(站长之家工具)
竞争对手分析：百度权重(第三方)/搜狗评级谷歌pr2014年停更、alexa预估流量/爱占、站长之家预估百度流量、网站年龄(域名年龄)、收录、外链、社交网络曝光
建立关键词库：按首页、频道、栏目划分，长尾扩展规则举例
关键词分组：行业细分、地区分类、部位分类等
关键词分类：信息类：小米手机怎么样，导航类：小米手机官网(品牌)，交易类：小米手机价格。
关键词波动预测：行业趋势、季节特性、社会热点(百度风云榜、最新网络事件热词)
关键词布局
首页(行业词、品牌词)-频道(大分类词)-栏目(主词、栏目名分类词)专题/标签(热门内容知识点集合)-文章(文章长尾)商城：产品描述等同文章
关键词挖掘途径
爱站/站长之家长尾词挖掘工具。此工具挖掘出的长尾词按照百度指数排列，没有百度指数的不会出现，故而是最重要的长尾词工具。
百度搜索框下拉词和百度相关词。百度相关词和百度提示框下拉词是搜索量很大的，除了有部分是同行刷出来词，因此此类词也是非常重要的长尾。
百度知道平台。百度知道作为最大的中文问答平台，积聚了无数网友的提问，虽然其中不乏互刷关键词的，但算是不错的参考，输入主词，出现的有针对性的都可算作长尾词。
百度搜索风云榜。百度、谷歌、搜狗等热门搜索词、事件。
头脑风暴。自己是人，能想到的长尾词，自然也有人会想到会搜索。
同行网站。别人有所研究的就用价值，没研究乱搞的也不会有什么价值，注意识别。
网站诊断
百度/好搜/搜狗/神马站长平台、robots文件、首选域(是否带www，其他不解析或者301)、外部链接(百度已经下架外链工具，谷歌和百度都在打击垃圾外链，内容为主，外链顺其自然，回到推广引流的正确位置，禁大量垃圾无意义外链)。
内链、抓取错误统计(服务器、tttp、抓取异常等)、百度模拟抓取是否正常、移动友好检测、网址是否唯一(301或者robots)。
网站结构优化
目前搜索引擎只能抓取文字，图片、视频无法识别只有通过便签说明。
蜘蛛陷阱：flash、session id(跟踪用户访问生成网址参数)、框架架构(Frame)、动态url(数据库生成带有?=及参数的网址，目前抓取来说没有问题，过多参数还是不利于搜索引擎，建议生成静态，伪静态注意url唯一)、js、强制使用cookie。
导航清晰：树状结构，主次栏目导航、面包屑导航(当前位置)、避免页脚堆积栏目。
网站权重布局：首页频道栏目文章页;子域名目录。
禁止抓取：nofollow：不跟踪链接，不传递权重和锚文本;robots：禁止抓取网站内容，如淘宝网全站禁止，一般禁止抓取后台及数据库信
息，可以屏蔽目录来解决重复收录的问题(如：)，Canonical：地址规范标签。
动态url：数据库生成带有问好、等号及参数，容易让搜索引擎限于死循环，现在抓取没有问题，容易造成重复，所以建议Url静态化、伪静态(url重写)。
Url规范：越短越好、注意目录层次。
网站地图：用户看的文字栏目地图和给搜索引擎的链接xml地图。
尽可能多的曝光内链促进收录和内部投票(织梦做到了极致：头条、推荐、幻灯、特荐、相关、排行、最新等)。
页面优化
1、title
不同网页标题不一致，网页相关，字数限制(30个中文字符)，尽量不要堆砌，关键词出现最前面，吸引点击，一个页面关键词控制在3个内，标题不要写没意义的词句，关键词之间的连接符：_、-、〉、|。
2、description
现主流搜索算法不采用，搜索结果采用，影响点击，如果与不包含搜索词则提取内文或随机。77字符，首页、栏目、自己写，内容也提取摘要便签，或者正文前几十个字符，或者留空。
3、keywords
现主流搜索算法不采用，内容页调用tag标签或留空。
4、正文
词频与密度，以前说密度在2%-8%之间，现在的重要性降低，内容页长尾关键词2次左右，正文第一段、中间、结尾穿插，首页、栏目主词无定数，自然恰当，合适融入，切莫堆砌。
网页内标签：H(H1-H6，标题)、黑体(内容重点)、alt(图片说明)
关键词的变形多次、组合、拆分，有助于提取页面主题
语义相关：算法通过词与词之间是否经常出现在同一网页分析他们之间的联系，如优化“奥巴马”，多出现白宫、美国等能帮助搜索引擎页面真正意思。
用户体验：段落清晰，主次分明，重点加黑，第一屏是否有实质内容、广告是否影响浏览。
5、精简代码
css的冗余、css/js外部调用、减少删除注释，控制页面大小(128kb，过大影响打开速度和抓取)
6、内部链接合理，过大总体排名降低;
7、外部链接相关性帮助与提升自身页面相关性。
8、保持合理的页面更新频率及数量
9、社会化分享：如百度分享、评论可能会作为页面受欢迎参考值。
Google沙盒期：新站或长期不更新网站突然大量更新增加大量外链等不正常现象的排名呢后移，Google会有6个月左右，百度新站很注重网站内容质量。
10、文章优化注意点(呓城经验总结)
标题：具有用户搜索属性，多有疑问词，比如是什么、怎么办等，可以用复合标题
摘要：摘要言简意赅，能概况文章内容，或起到引导作用，包含关键词
结构：排版工具格式化，段落清晰;格式化编辑，分段小标题、关键词加粗;可以用1234、一二三四目录格式，添加图片，这两种对用户体验和当前搜索引擎结果页展示都很良好
内容：不要完全照抄，多篇文章整合，加上自己描述，删繁就简，注重内容对用户的价值，谨慎做标题党文无题意，或者文章内容过多没有重点标识用户难以找到想知道的内容等损害用户体验的事情
外部链接建设(百度官方意见)
百度多次打击外链，并且已经下架外链工具，SEO已经从以前单纯发外链就可以得到排名，到现在极度注重内容的阶段，这是好事，我表达下我的观点，我
认为外链工作应该从SEO中剔除，我承认高权相关的外链人仍有排名助力，但不要刻意，低质垃圾外链有害无用，还有一点，做长尾不要发外链，不然很容易抢占
自身的排名，恢复起来时间很漫长，总得来说就是，做SEO不要再发外链了，注重关键词内容质量优化，外链应该回到推广引流的正确位置，而非继续浪费时间制
造互联网垃圾，友情链接对SEO依然很重要。
SEO系统涉及的内容非常多，详细内容可以参阅百度站长平台发布的《百度搜索引擎优化指南2.0》