为什么我们要建立自己的关键字排名跟踪工具

为什么要创建一个自定义排名跟踪工具?

市场上有很多很棒的关键字排名跟踪工具，但在Seer，我们发现我们有很多有机排名数据的用例，这些工具没有解决。

我们的很多分析都会提取大量的数据(想想10万、20万、50万以上的关键字一次!)来获得洞察——也许我们正在分析内容差距，或者试图为客户研究一条新的业务线。我们不需要每天的排名——我们需要大量的、一次性的数据。

对于一些客户来说，我们可能有想要保持脉搏的搜索词，但我们需要每日数据吗?我们可能想要混合我们的跟踪-优先级的关键字，每天，其他关键字，以帮助我们了解每周或每月的景观变化。

如果客户正在计划对站点进行迁移或重大更改，我们甚至可能希望将每周或每月的关键字转换为每天跟踪，以便我们可以在这些高风险时间段密切关注更改。

在这篇文章中，我们将介绍如何从头开始构建自己的关键字跟踪工具。

自定义关键字跟踪工具的好处是什么?

灵活性

我们所使用的关键字追踪工具并不能灵活地改变追踪频率团队成员必须提交大量关键字集，然后密切监控，这样我们就可以在数据返回后立即关闭跟踪，以防止每天跟踪50万个关键字进行分析，而我们一年只需要运行两次。如果团队成员忘记关闭跟踪，我们可能会为一个非常简单的错误付出相当高的代价。

假设一个团队成员想要提交5万个搜索关键词进行快照分析，而我们的旧工具对于5万个关键词的成本是400美元/天。

使用我们的旧工具，我们的团队成员将提交他们的关键字，然后每天检查数据何时返回——通常在3-5天内。然后他们需要立即关闭跟踪并下载数据，否则这些关键字将继续产生成本。

如果该团队成员的客户中有一个遇到了重大问题，他们需要跳出来帮助他们解决问题，该怎么办?如果团队成员有一个重要的分析和演示要做，然后有一个客户需要处理，那么忘记关闭跟踪是很容易的(也是可以理解的)。(Christina可以证明这一点——她曾经是那些忘记关闭跟踪的团队成员之一)。

使用我们的旧工具，这些关键字将继续产生400美元/天的成本，直到团队成员记得关闭它们，或者如果我们的团队成员正在监视严重的超量，就会发现它。现在把这个风险应用到整个团队。人为错误是会发生的——我们可以做的一件事就是帮助我们的团队摆脱记住关闭关键字的责任。

当我们从旧工具中分析快照(一次性排名)关键字时，我们发现我们追踪(并支付)的排名是我们实际需要的4-5倍，这主要是因为数据有时需要数天才能返回，有时团队成员不会立即关闭追踪。大约80%的排名是多余的。

一年	快照关键字计数	重复数据删除快照关键字的计数	废物百分比
2019	12059428年	2461270年	79.59%
2020	5276197年	1083009年	79.47%

使用我们自己的关键字跟踪工具，同一团队成员使用“一次性”频率提交他们的50K搜索词，仅此而已．当他们的数据可用时，他们就可以使用它——不需要额外的步骤。

我们还可以通过合作提交更多的关键词通过数据我们的排名从2019年的2600万名上升到2020年的6100万名，那一年我们推出了内部排名跟踪工具。

在写这篇博文的那天(2/10/22)，我们的排名跟踪数据湖中有46亿行关键字数据。

在tratra处理的所有排名中，我们可以看到以下频率:

频率	跟踪关键字数	占总数的百分比
每天	8420170年	7.89%
每周	8955622年	8.39%
每月	2157943年	2.02%
季度	586760年	0.55%
一次性	86578430年	81.14%

在过去的两年里，这超过了所有搜索词的80% !想象一下，如果用户可以灵活地跟踪不同的频率，将节省大量的时间，并防止成本超支．

可访问性

当我们还在使用其他排名跟踪工具时，如果我们想要定制他们软件之外的任何东西，我们就必须导出数据。即使我们在可视化工具中构建模板权力BI或谷歌数据工作室为了加快构建时间，这些模板需要非常具体的输入——如果工具更改了列的名称，或者如果团队成员按照步骤列表导出数据时遗漏了一个步骤，就可能导致错误和混乱。

例如，执行分析的团队成员可能按照10-20条指示以特定的方式导出数据——可能需要特定的报告，或者在导出之前以特定的方式过滤数据。团队成员将他们的CSV导出到他们的计算机，打开模板，并选择他们的CSV作为源。

突然之间，一切都崩溃了，他们遇到了一条明显的错误消息——“没有找到“Landing Page”这一列。”分析中的所有其他数据源也失败了——由于缺少“Landing Page”列的失败。

团队成员不确定哪里出了问题——毕竟，他们遵循了所有的步骤!他们开始聊天，并向其他团队成员寻求帮助。一个团队成员要求获得错误消息的截图。另一名团队成员表示，他们可以通过视频聊天来帮助解决问题。

最后，之前遇到这个问题的人要求我们的原始团队成员打开他们下载的CSV。“登录页”列不在CSV中-它已被字段名称“URL”所取代。

“有时候这个工具只是改变了列名，我们不会发现，直到它破坏了一些东西-我会点击拥有模板和指令的人来进行更新”我们更有经验的团队成员说。

问题解决了，但这个过程花费了几个团队成员大约30分钟来解决它。我们最初的团队成员不想浪费任何人的时间——他们可能在寻求帮助之前已经花了一个小时试图自己解决这个问题。

通过控制我们的数据，我们确保这样的变化不会发生在团队成员身上．即使供应商做了更改，我们也可以在转换层中对团队“隐藏”这些类型的更改——也许在数据到达我们团队手中之前，在清理步骤中将“URL”列重命名为“Landing Page”。

可重用性

将数据保存在仓库中还为我们提供了重用数据的机会．我们可能有多个具有相同数据源的产品——如果这些产品可以使用相同的数据，我们就可以在不增加成本的情况下创造更多价值。

我们还可以通过为微服务创建队列来重复数据删除和缓存数据，从而减少成本并增加团队成员获取数据的周转时间。

我们的数据可以流入可伸缩的仪表板和报告，以获得每个SEO团队成员都想知道的见解(比如“我的优先级关键字的排名是如何每周变化的?”或“实施内容审核后，我们的排名如何提高?”)，但它也可以被我们的分析团队用于自定义分析，我们加入客户的付费搜索或CRM数据。

在推出内部排名跟踪工具仅几个月后，我们的可视化工具就开始遇到数据大小的限制，随着数据呈指数级增长，我们不得不转向一个可以查询pb和gb的数据平台。我们可以通过实现增量刷新或过滤掉每个仪表板中不是必须的数据(这会导致构建每个数据产品的额外时间)来为自己提供一些跑道。

2021年底，我们将数据产品(包括排名跟踪数据)从一个数据平台迁移到我们自己的web应用程序Looker的嵌入式分析．

因为数据在我们的仓库中，所以我们能够转换数据并使用新的数据平台的最佳实践进行重建。我们一直保持旧平台的运行，直到我们的新平台准备好发布——如果没有在多个应用程序中使用相同数据的能力，这可能是不可能的。

安全

创建我们自己的排名跟踪工具的一个主要价值是能够在系统中构建强大的安全性我们不仅要保证数据在仓库中的安全，而且要做到使用权限创建更好的体验给我们的团队成员。

通过将客户的有机排名数据与客户关系管理的数据(比如"哪个团队成员负责哪个客户")我们可以使用许可来确保客户营销数据只对在该客户上工作的团队成员可见。对于Seer团队成员来说，当他们打开我们的数据产品时，他们只能看到客户的数据，这使得在产品之间导航更容易。

这也使我们有机会将数据匿名化，并将其结合起来，以获得行业级的趋势和见解，而不依赖于更容易出现用户错误的手动方法。

民主化

拥有我们自己的排名跟踪工具意味着所有的数据都流入我们的数据仓库，在那里我们可以引导它以许多不同的方式供我们的团队使用——我们可以使我们的数据民主化，使我们的团队成员能够做出基于数据的决策，并对数据充满信心，而不管他们的技术专长如何。

还记得我们的CSV问题团队成员吗?

他们还将这些数据存储在本地计算机上的CSV文件中。如果另一个团队成员想要使用相同的数据构建不同的分析，他们就必须重新执行这些步骤，或者让第一个团队成员通过电子邮件向他们发送CSV。所有这些工作和数据都是分散的。

在仓库中存储数据使我们能够灵活地授予团队成员以不同格式访问相同集中式数据的权限．可扩展到整个团队的数据产品可能会使用数据湖，但我们也创建了可以在Power BI、谷歌Data Studio、Tableau或任何其他团队成员可能想要使用的工具中可视化的小尺寸表和精选视图——我们不会强迫他们使用特定的工具，而是鼓励团队成员使用他们有信心使用的任何工具。

这也减少了培训和构建时间——对于每个团队成员(无论经验或角色)都应该访问的报告，我们将创建一个仪表板，他们只需单击打开即可。他们不需要下载数据，清理和转换数据，然后在其之上构建可视化。他们只需登录并打开仪表盘，瞧，它就在那里!

对于构建自定义仪表板作为其角色一部分的团队成员，我们将为他们提供结构化数据，帮助他们快速构建分析的基础，然后他们使用自己的技能对其进行自定义。