Rails + MediaWiki API 用于提取维基百科数据的技术问题

Question

我试图使用 Rails 根据搜索词从 Wikipedia 提取数据。例如，如果我有字符串“美国偶像”，我想将其传递给 Wikipedia 并获取与之相关的文章列表。我的目标是获取前三个超链接并在网站上显示它们。更进一步地，我想从维基百科中提取小段数据，比如信息框或前几个单词。有什么建议吗？谢谢！

- Carlos F

---

请查看以下链接，您可能会喜欢：wikipedia.coffee 从维基百科中获取信息。 - AMIC MING

Answer 1

你不需要采用屏幕抓取的方式，MediaWiki有一个非常全面的API可以完成这个任务。请查看https://www.mediawiki.org/wiki/API:Main_page。如果需要Ruby包装器，请参考https://github.com/jpatokal/mediawiki-gateway。

另外，如果你只对信息框之类的数据感兴趣，请查看DBpedia，它是维基百科的数据库版本。

- lambshaanxy

---

不幸的是，“这个 gem 已经不再处于活跃开发阶段了。”，也许你知道另一个正在积极维护的项目？ - zeliboba7

可能需要微调措辞：这意味着我不再花费自己的时间在上面，但我非常乐意接受拉取请求。据我所知，在所有当前的MediaWiki版本上都可以正常工作。 - lambshaanxy

Answer 2

你可以使用另一个宝石：https://github.com/kenpratt/wikipedia-client

这个宝石似乎只获取你搜索的第一个结果，但你可以查阅文档以确保。

关于内容，一旦你获取了页面，这个宝石允许你访问文章的不同内容、链接、图片等等。

- Puce

Answer 3

使用 mechanize 和 nokogiri 来完成这个任务。这是一个非常好的作弊表：

http://www.e-tobi.net/blog/files/ruby-mechanize-cheat-sheet.pdf

Mechanize是一个模拟网站请求的工具箱，而nokogiri是一个HTML/XML解析器。应该很容易理解。

- davidb