我在旅途中发现了以下资源(一些已经在上面提到):HTML标记为中心的搜索引擎- Nerdydata我还想加入以下内容:巨大的网站爬行数据归档- Common Crawl - “多年免费的网页数据,帮助改变世界”(超过250TB +)我们如何分析这个爬行数据?要想开始分析部分庞大的数据,请参见Big Data / Map-reduce类型框架的链接。谷歌列出了一些使用Apache的Spark项目来分析Common Crawl的dump的想法。要了解Common Crawl使用的文件格式,请参考以下内容: 准备好开始使用Common Crawl了吗? 浏览WARC文件格式(由Common Crawl提供) 这篇文章《在S3上访问Common Crawl数据集》介绍了一种低成本的方法来访问Common Crawl超过250TB的数据转储,而不需要将数据传输到亚马逊的AWS/S3网络之外。当然,这假定你打算使用一些组合AWS/EC2/S3等来分析爬行数据。最后,Patrick Durusau维护着一些有趣的与Common Crawl使用相关的博客页面。个人认为这个主题很有趣,建议我们趁热打铁获取这些爬行数据!;-)
您可以尝试使用PublicWWW进行源码/标记搜索。它允许在超过1.67亿个网站的网页源代码中查找任何HTML、JavaScript、CSS和纯文本内容。使用PublicWWW,您可以: 通过他们共享的唯一HTML代码(例如小部件和发布者ID)查找相关网站。 识别使用特定图像或徽章的网站。 查找使用您的主题的其他网站。 识别提到您的网站。 查找竞争对手的合作伙伴。 确认竞争对手个人合作或互动的网站。 查找使用库或平台的参考。 在网络上查找代码示例。 找出谁在其网站上使用了哪些JS小部件。 ...... 当然,您不仅可以查找使用某些代码/标记片段的您的网站。