SEO 201,第3部分:启用搜索引擎抓取工具

2021年2月24日06:32:36 发表评论 33 次浏览

这是我的" SEO 201"系列的第三部分, 如下:

  • "第1部分:技术规则";
  • "第2部分:搜寻障碍和索引障碍。"

" SEO 201"解决站点架构和组织的技术, 后端方面。我的8部分" SEO 101"该系列说明了利用网站上的内容供搜索引擎使用的基本知识, 包括关键字研究和优化。

搜索引擎优化的技术方面最为关键, 因为它决定了你执行的所有其他优化的有效性。如果该页面使用的是搜索引擎抓取工具不可见的技术, 那么世界上所有的内容优化都无法帮助该页面排名更高。因此, 我们必须学习体验我们的网站, 例如搜索引擎爬网程序。

规则2:不要相信你的经历

使搜索引擎能够爬行你的网站是第一步。但是, 如你所见, 这些爬虫在其中时所发现的内容可能会与网站大不相同。

强大的技术搜索引擎优化取决于你是否有能力质疑你浏览网站时看到的内容, 因为搜索引擎会访问你和客户所获得的体验的精简版。但是, 对于抓取工具而言, 不仅仅是消失的图像。根据网站在后台使用的技术, 对于爬网程序, 页面或网站的整个部分都可能从视图中消失。

例如, 当你查看迪斯尼商店的主页时, 会看到一个异想天开, 精心设计的页面, 其中包含许多视觉效果和导航选项。但前提是你是浏览器可渲染JavaScript和CSS的人。

在下图中, 左侧页面说明了你的浏览方式, 右侧页面的红色框概述了传统搜索引擎抓取工具看不到的区域。

访客看到的迪士尼商店首页(左),搜索不友好的内容以红色显示在右侧。

访客看到的迪士尼商店的首页(左), 搜索不友好的内容以红色显示在右侧。

搜索引擎看不到的内容包括指向五个类别和促销着陆页的促销链接的轮播, 以及指向235个特色产品的链接。在"特色产品"部分中, 只有五个立即可见的产品可抓取。该页面此部分中的其他235个产品可通过分页和标签链接进行导航, 而传统搜索引擎抓取工具无法对其进行抓取。

以迪士尼商店为例, 此问题的影响相对较小, 因为抓取工具无法在主页的这些部分中访问的所有内容均可通过其他导航链接进行抓取和编制索引。如果无法抓取的部分是这些部分中包含或链接的内容的唯一路径, 则将对SEO产生重大影响。

SEO, CSS, JavaScript和Cookies

迪斯尼商店的促销和导航元素牢不可破, 依靠JavaScript和CSS进行展示。我曾与许多主要品牌的电子商务网站合作, 这些网站的产品目录遇到了SEO问题, 因为它们的导航依赖于CSS和JavaScript。一旦我与一个站点合作, 该站点的导航依赖cookie才能正常运行。

搜索引擎搜寻器无法接受Cookie, 并且传统上不会使用CSS和JavaScript进行搜寻。 Flash和iframe。能够吸引客户体验的大多数其他技术同样不可爬网或仅在最小程度上可见。因此, 传统搜索引擎爬虫将无法访问需要这些技术来呈现内容和链接的内容和导航。

在自然搜索中, 没有爬网意味着没有索引, 没有排名和没有客户。

解决方案是使用渐进增强功能来开发站点, 这种开发方法从基本的HTML表示形式(文本和链接)开始, 然后为具有浏览器支持能力的客户提供更高级的技术。渐进增强功能适用于可访问性标准以及SEO, 因为某些盲人和残障客户使用的浏览器往往具有与搜索引擎搜寻器相似的功能。

你可能已经注意到, 我多次说过"传统搜索引擎爬虫"。有些抓取工具确实具有更先进的技术, 而有些仍然基本上只是文本阅读器。例如, Google部署了一些无头浏览器, 能够执行JavaScript和CSS的搜寻器。这些无头浏览器会测试网站是否存在垃圾邮件形式, 这些垃圾邮件试图利用传统文本爬网程序对CSS和JavaScript的盲目性。例如, 对于无头浏览器来说, 使用CSS在白色背景上呈现白色文本以隐藏关键字列表的SEO垃圾邮件策略很容易被嗅探出来, 从而使搜索引擎能够从算法上对违规页面进行惩罚。

但是, 由于搜索引擎也仍然使用老式的基于文本的搜寻器, 因此, 不要冒险冒险来到你网站上的每个搜索引擎搜寻器都是无头浏览器。确保你的网站可导航, 并且在禁用Cookie, CSS和JavaScript时仍包含其所需的内容。要了解操作方法, 请参阅"SEO:尝试像搜索引擎蜘蛛一样冲浪"的上一篇文章。这是摆脱营销人员对你的网站的了解并了解搜索引擎如何真正看到它的最佳方法。

开发一个允许所有搜索引擎对要排名的内容进行爬网和编制索引的网站是提高SEO性能的最佳方法。

SEO和地理位置

地理位置SEO问题可能最难发现, 因为你无法像JavaScript一样使用浏览器插件禁用地理位置。地理位置是在没有通知的情况下应用于用户的体验的, 因此用户很难记住, 地理位置对用户体验的影响不同于爬虫的体验。

你看不到差异的事实并不意味着差异不存在。在我处理过的极端情况下, 搜索引擎无法访问整个州或国家/地区的所有内容。

地理位置定位可能会遇到问题, 因为Google从位于加利福尼亚州圣何塞的IP地址进行爬网, 而Bing从华盛顿州进行了爬网。结果, 将始终向他们提供来自各自城市的内容。如果仅允许漫游器根据其IP地址接收内容, 则它们将无法抓取其他内容并将其编入索引。因此, 其他位置的其他内容不会在搜索结果中返回, 也不会增加自然搜索流量或销量。

尽管如此, 地理位置定位对于客户体验而言仍具有不可思议的价值, 并且可以以不损害SEO的方式实施。为了确保每个位置的排名, 网站必须提供手动替代功能, 使客户和抓取工具可以通过纯HTML链接选择其他任何可用位置。习惯性的"更改位置"或标志图标链接可导致国家或州选项列表, 可以很好地实现此目标。

此外, 访问者仅应在其进入页面上进行地理位置定位。如果在每个页面上都进行地理位置定位, 则客户和搜寻器将根据其基于IP的位置以及他们选择的每个链接进行重新定位。

SEO和你的平台

没有人开始建立一个不能被抓取来推动自然搜索销售的电子商务网站。问题在于, 聪明人在看似无关的会议上做出的看似无关的决定会对技术SEO产生重大影响。

你的网站所基于的平台具有一些古怪的特性和组织和显示可以改善或损害SEO的内容的方式。开箱即用, 即使是最适合SEO的平台也对如何优化网站施加了限制。

例如, 在你进入产品目录中的过滤功能之前, 某些平台非常适合SEO。不幸的是, 这些筛选器中隐藏了客户搜索的某些真正重要的产品属性。由于该平台不允许优化过滤器页面, 因此那些有价值的过滤器页面将无法赢得搜索者正在搜索的短语的排名, 并且如果没有一些自定义编码就无法促进自然搜索的销售。

不幸的是, 每个平台的限制都不尽相同, 关于如何围绕这些限制进行优化的详细信息很少。

要调查你的平台, 请尝试两件事。首先, 阅读文章"SEO:尝试像搜索引擎蜘蛛一样冲浪", 并使用推荐的浏览器插件在你的网站上浏览20分钟。如果某些地方你无法访问, 或者有时你无法立即告诉页面内容, 则可能是SEO问题。

接下来, 分析你的网络分析自然搜索条目页面报告和Google网站站长工具"首页"报告。查找这些报告中缺少的内容:网站的页面类型或部分是否没有获得应有的自然搜索流量?

这两个调查角度都可以揭示技术问题, 例如本文所涵盖的问题。与你的开发人员聚在一起讨论和集体讨论解决方案。另一种选择是寻求以其在电子商务优化和平台实施方面的经验而闻名的SEO代理服务。

有关我们的" SEO 201"系列的下一部分, 请参见"第4部分:体系结构是关键。"

一盏木

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: