抓取网站的新方法Rob Ousbey

主要结论:在这次演讲中，”抓取网站的新方法”,Rob Ousbey通过策略抓取没有API或导出功能的网站，或需要某种认证的网站。

简单的代码刮网站

抓取网站并不一定是SEO的专长。在他的技术演示中，Rob介绍了一种简单的废弃站点的方法(G2，谷歌等)。

你可以使用像尖叫青蛙这样的工具，或者像STAT和Moz这样的服务器，从你的桌面抓取网站。

在处理大数据时，您可能会遇到一些问题:身份验证和速率限制。

从G2开始，您可以用三种方法处理抓取这个站点:

网站抓取自己-欺骗网站认为他们有JS建立在他们的基础上

我没有做任何黑帽，我只是用电脑来做我无论如何都会做的事情。只是要快得多。

罗布给出了三个选择:

选项1:一次性刮痕:Chrome开发工具>控制台标签>使用JQuery
选项2:要多次运行代码，请使用JavaScript bookmarklet并将它们存储为书签，以便在需要时运行
选项2:要多次运行代码，请使用JavaScript bookmarklet并将它们存储为书签，以便在需要时运行
选项3:在线JavaScript文件存储
1. 在线托管你的代码(Dropbox等)
2. 创建一个只导入代码的书签
3. 通过创建一个新的脚本元素在页面上包含书签小工具

使用。get requests， .find和get HTML返回-粘贴以下代码到开发工具:

填充表，10个请求发生，数据被重新写入到表中。

需要使用HTML函数来编写。

自己检查代码或安装bookmarklet: ousbey.com/mozcon
第二章:使谷歌成为刮板
- 谷歌为站点上的每个文件夹索引了多少页?这对竞争洞察力是有帮助的。
- 使用网站搜索>排除我们已经知道的文件夹>用输出替换输入>在google.com运行你的小册子
- setTimeout(功能、延迟)
第三章: WebDev -任何URL的灯塔报告
- 该页面正在做一个AJAX请求-在Chrome开发工具和正在做一个跨域请求。
- 进入MozPro >查看关键字数据/排名> SERP分析>包括灯塔指标在报告>额外的列和单元格添加到报告