了解 Google Analytics Bot 和 Spider 过滤

分析/流量分析 2022-09-20 00:00:00

几乎所有参与其中的人都知道机器人程序占据了大量的互联网流量。但是您没有意识到这个百分比有多大，或者您可以使用不同的技术来防止机器人流量扭曲您的分析数据。

有很多我们甚至可能不知道的垃圾邮件机器人正在影响我们的分析数据。但是，也有好的机器人；也就是说，我们更愿意访问我们网站的机器人程序。

应该避免哪种类型的机器人程序，最好允许哪些类型的机器人程序？下面深入探讨如何在您的网站和流量分析中识别和控制机器人流量。

您网站上的机器人流量到底是什么谷歌分析数据？

机器人、蜘蛛和其他软件应用程序在互联网上运行自动化任务。它们的数量远比您想象的要多。事实上，根据统计数据，其中包括机器人程序。

这是一个很大的数字，几乎

一半

的互联网都充满了机器人程序。当然，有些机器人可能是有益的，例如 Reddit 和 Google 上的机器人，但是有太多机器人试图窃取您的敏感信息。

无论好坏，机器人都不是人类，因此在 Google Analytics 上识别您的机器人流量非常重要。

识别您的机器人流量

确定机器人流量的来源和范围可能很棘手，因为不受欢迎的关注和不寻常的点击的名称和起源点在不断变化。这里是：

  • 转到管理部分中的

    查看设置

    并单击选项“

    排除来自已知机器人和蜘蛛的所有命中。”

    许多营销人员担心此选项会改变他们收集的数据的各个方面，但事实并非如此，因此无需担心。

  • 或者，您可以尝试创建过滤器通过创建一个新视图来排除您已经确定的流量，您将在其中取消选中您的 bot 设置并添加一个新过滤器来排除使用 HostName、SourceName 等的流量。在开始使用过滤器之前，测试它是否正常工作，看看之后，您可以使用

    Master 视图。

  • 考虑使用

    推荐排除列表

    。它可以在

    跟踪信息<属性列<管理部分下找到。

    通过这样做，您可以从 Google Analytics 中的数据中排除所有域。然后，如果您发现任何可疑域，您可以将它们从您以后的列表中永久删除。

什么是好机器人和坏机器人？

机器人流量是任何不是来自真人的流量。负责自动化任务。一些示例包括 Alexa、Cortana 和 Siri 等语音助手。最常见的好机器人类型是：

  • 网站健康检查机器人

  • 商业爬虫

  • 来自搜索引擎（Google、Bing）的机器人

  • 将网站转换为移动内容的机器人

所有这些类型的机器人在保持网站有效运行方面都发挥着重要作用。阻止好的机器人进入您的网站可能会对您的流量产生不利影响，所以要小心。

还有

。

这些是负责发送垃圾邮件和窃取敏感信息的机器人。大多数人启动机器人来从网站抓取和抓取数据，以将内容上传到他们的网站。以下是一些最常见的恶意机器人程序类型：

  • Web 抓取器

    （用于特定目的的除外）

  • 垃圾邮件机器人程序

  • 黑客机器人

  • 试图冒充某人的机器人

按主机名过滤

您可以使用特定主机名在 Google Analytics 中创建视图过滤器。为此，您需要通过在中源报告中为您的主机名添加第二个维度来找到机器人流量的主机名，以确保它是机器人流量，然后为您的主机名创建包含过滤器。

有时，您的网站可能不会受到实际垃圾邮件的攻击，而是受到随机跟踪代码的攻击，也称为“

幽灵垃圾邮件”。

按主机名过滤是无需人工干预即可一次性清除大量垃圾邮件流量的绝佳方式。

广告 – 联属营销支持独立发布

到执行此操作，为您的视图创建过滤器并执行以下操作：

仅包含 >主机名>包含 > yourdomain.com

您如何找到机器人流量？

那么，谁访问了您的网站——是人还是机器人？幸运的是，有几种不同的方法可以确定这一点。

  • 突然激增：

    如果您看到没有明显原因（没有新内容或公告，华尔街日报没有提及），很有可能是机器人流量。大多数专家都认为这是识别 botsyou 的标准方法如果您的网站昨天有 500 次访问，今天有 10,000 次访问，则有些可疑。也许发生了一些奇妙的事情……但更有可能是机器人活动。您可以通过滚动浏览 Google Analytics 上的来源来识别机器人流量。交通机器人可能包括“交通机器人”。 life”或类似的东西。

  • 奇怪的报告：

    花点时间深入研究您的竞选报告。如果您看到您没有设置的东西，它可能是一个机器人。您可以使用

    自定义过滤器

    排除任何其他流量形式来找到这些流量。

  • 奇怪的引荐流量

    ：持续监控您的引荐流量来源非常重要。推荐流量也称为“单向机器人流量”。如果您在引荐流量中看到任何奇怪的机器人，您就知道它们不是真实流量，因此您可以通过

    引荐排除列表

    将它们排除在外。或者，推荐垃圾邮件通常由垃圾邮件机器人发送。您可以创建一个

    引荐垃圾邮件黑名单

    ，以确定要过滤掉哪些。

  • 页面停留时间非常短：

    识别机器人的另一种常见方法是查看访问者在您的网站上停留一秒钟或更短时间。在您的 Google Analytics（分析）帐户中设置未过滤的视图以识别这一点。

关于数据质量的周期审查应该是什么样的？

复习时，你应该总是经历一个循环。它应该是这样的：

  • 分析您的网站流量来源。
  • 识别流量中的任何“奇怪”行为或异常模式（例如，高流量星期天访问量通常会下降）。
  • 深入挖掘以确定问题的根源。
  • 通过编辑您的视图过滤器来解决问题。
  • 记录问题和修复。
  • 在每天、每周或每月分析流量时，以连续的循环重复。

有哪些限制当您排除机器人流量时？

从您的 Google Analytics 帐户中排除机器人并不难。

但是，仍有许多机器人未被发现

。

您可以手动排除机器人，但这不是最佳做法，也不能保证 100% 可靠。此外，许多机器人创建者变得越来越成熟，并且正在创建更像人类访客的代码。机器人越来越普遍地在不同的 IP 地址（包括住宅 IP）之间传播它们的请求，以减少机器人的身份。

最后，还有

推荐排除列表

，它可能不是最可靠的选择。排除引荐来源仅意味着命中将从引荐信息中删除。它们仍可能被视为直接流量，可能造成更大的损害。换句话说，

最好使用其他排除方法。

删除机器人可能并不总是足够的

从您的 Google Analytics 平台中排除机器人是一个好主意，但它并不完全阻止机器人流量攻击您的应用程序、API 和网站。即使机器人流量没有显示在您的网站性能数据中，访问机器人仍然会对您的网站性能产生持久影响，降低网站性能并损害整体用户体验。

Google Analytics（分析）数据可以帮助您做出更好的营销决策。但是，通过在线 ，您可以打击帐户接管 (ATO)、内容盗窃、凭据填充和 DDoS 风险。

换句话说，从您的 Google Analytics（分析）数据中删除机器人程序确实可以解决问题，但不能解决问题彻底解决机器人攻击您平台的问题。简而言之，最好的办法是完全禁止恶意机器人进入您的网站和应用程序，而不仅仅是将它们从您的数据中排除。

结语

这是必须从您的 Google Analytics（分析）平台中识别和删除机器人，这并不有趣。但是，如果您的流量中有很大一部分来自一堆垃圾邮件机器人、爬虫和蜘蛛，您就会对数字营销的成功产生扭曲的看法。因此，将它们过滤掉并持续监控任何可疑活动。

机器人程序可以是好的也可以是坏的，但在它们扭曲您的 Google Analytics（分析）数据之前识别不良机器人程序至关重要。