如何在Java中通过编程方式访问网页

Question

如何在Java中通过编程方式访问网页

javahttp

20

我想要从一个网页中检索特定的字符串。为此，我需要登录，点击一些按钮，填写文本框，再点击另一个按钮-然后字符串就出现了。

我该如何编写Java程序以自动完成这些操作？是否有相关的有用库可供使用？

谢谢

- duduamar

通常情况下，使用官方的 API 比屏幕抓取效果要好。你想要访问哪个网站？ - Thorbjørn Ravn Andersen

我不相信这个网站有官方的API，但我也会检查一下这个选项。 - duduamar

5个回答

2

这个问题可以通过使用HtmlUnit来轻松解决，具体步骤如下：

1. 访问http://htmlunit.sourceforge.net/。

2. 根据需要进行下载和安装。

3. 在代码中调用相关函数即可。

@Test
public void homePage() throws Exception {
    final WebClient webClient = new WebClient();
    final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
    assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
}

- Jonathan Holloway

1

看一下 Apache HttpClient 项目，或者如果你需要在页面上运行 JavaScript，可以尝试使用 HttpUnit。

- Mike C

0

通常情况下，当您按下按钮时，会通过HTTP POST方法发送请求，因此您应该使用HttpClient来处理请求，并使用HtmlParser处理响应页面以获取所需的字符串。

- dierre

0

是的：

java.net.URL#openConnection() 可以让您发起 HTTP 请求并获取 HTTP 响应
Apache HttpComponents 是一个使得使用 HTTP 更加容易的库。

- Bozho

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- YoK · Accepted Answer

尝试使用HtmlUnit

HtmlUnit是一个“无界面浏览器”，适用于Java程序。它模拟HTML文档并提供API，允许您调用页面、填写表单、点击链接等操作，就像在您的“普通”浏览器中一样。

提交表单的示例代码：

@Test
public void submittingForm() throws Exception {
    final WebClient webClient = new WebClient();

    // Get the first page
    final HtmlPage page1 = webClient.getPage("http://some_url");

    // Get the form that we are dealing with and within that form, 
    // find the submit button and the field that we want to change.
    final HtmlForm form = page1.getFormByName("myform");

    final HtmlSubmitInput button = form.getInputByName("submitbutton");
    final HtmlTextInput textField = form.getInputByName("userid");

    // Change the value of the text field
    textField.setValueAttribute("root");

    // Now submit the form by clicking the button and get back the second page.
    final HtmlPage page2 = button.click();

    webClient.closeAllWindows();
}

更多详情请查看： http://htmlunit.sourceforge.net/gettingStarted.html