我正在尝试绘制网站的链接结构,以便模拟给定域上的页面如何相互链接。请注意,我不会绘制到根域之外的站点的链接。
显然,这个图可能很大。我想执行的主要查询之一是计算直接链接到给定URL的页面数。我希望对整个图运行此操作(颤抖),以便最终得到一个URL列表和该URL的传入链接计数。
我知道实现这个的一种流行方法是通过某种类型的MapReduce - 我可能仍然会去那里 - 但是我需要能够在(几乎)实时中查看此报告,这通常不适用于MapReduce。
我已经快速查看了neo4j和OrientDb。虽然这两者都可以模拟我想要的关系,但不清楚是否可以查询它们来生成我想要的报告。目前,我没有承诺任何特定的技术。
非常感谢您的帮助。 保罗
显然,这个图可能很大。我想执行的主要查询之一是计算直接链接到给定URL的页面数。我希望对整个图运行此操作(颤抖),以便最终得到一个URL列表和该URL的传入链接计数。
我知道实现这个的一种流行方法是通过某种类型的MapReduce - 我可能仍然会去那里 - 但是我需要能够在(几乎)实时中查看此报告,这通常不适用于MapReduce。
我已经快速查看了neo4j和OrientDb。虽然这两者都可以模拟我想要的关系,但不清楚是否可以查询它们来生成我想要的报告。目前,我没有承诺任何特定的技术。
非常感谢您的帮助。 保罗