打开文件太多 (Selenium + PhantomJSDriver)

Question

在我的嵌入式Selenium/PhantomJSDriver驱动中，似乎资源没有被清理。同步运行客户端会导致数百万个打开的文件，并最终抛出“太多文件打开”类型异常。以下是程序运行约1分钟时我从lsof中收集到的一些输出。

$ lsof | awk '{ print $2; }' | uniq -c | sort -rn | head
    1221966 12180
      34790 29773
      31260 12138
      20955 8414
      17940 10343
      16665 32332
       9512 27713
       7275 19226
       5496 7153
       5040 14065

$ lsof -p 12180 | awk '{ print $2; }' | uniq -c | sort -rn | head
    2859 12180
       1 PID

$ lsof -p 12180 -Fn | sort -rn | uniq -c | sort -rn | head
    1124 npipe
     536 nanon_inode
       4 nsocket
       3 n/opt/jdk/jdk1.8.0_60/jre/lib/jce.jar
       3 n/opt/jdk/jdk1.8.0_60/jre/lib/charsets.jar
       3 n/dev/urandom
       3 n/dev/random
       3 n/dev/pts/20
       2 n/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar
       2 n/usr/share/java/jayatana.jar

我不明白为什么在 lsof 中使用 -p 标志会导致更小的结果集。但是看起来大部分条目都是管道（pipe）和匿名 inode（anon_inode）。

客户端非常简单，只有约100行代码，使用结束后会调用 driver.close() 和 driver.quit()。我尝试过缓存和重复使用客户端，但并没有减轻打开文件的问题。

case class HeadlessClient(
                           country: String,
                           userAgent: String,
                           inheritSessionId: Option[Int] = None
                         ) {
  protected var numberOfRequests: Int = 0
  protected val proxySessionId: Int = inheritSessionId.getOrElse(new Random().nextInt(Integer.MAX_VALUE))
  protected val address = InetAddress.getByName("proxy.domain.com")
  protected val host = address.getHostAddress
  protected val login: String = HeadlessClient.username + proxySessionId
  protected val windowSize = new org.openqa.selenium.Dimension(375, 667)

  protected val (mobProxy, seleniumProxy) = {

    val proxy = new BrowserMobProxyServer()
    proxy.setTrustAllServers(true)
    proxy.setChainedProxy(new InetSocketAddress(host, HeadlessClient.port))
    proxy.chainedProxyAuthorization(login, HeadlessClient.password, AuthType.BASIC)
    proxy.addLastHttpFilterFactory(new HttpFiltersSourceAdapter() {
      override def filterRequest(originalRequest: HttpRequest): HttpFilters = {
        new HttpFiltersAdapter(originalRequest) {
          override def proxyToServerRequest(httpObject: HttpObject): io.netty.handler.codec.http.HttpResponse = {
            httpObject match {
              case req: HttpRequest => req.headers().remove(HttpHeaders.Names.VIA)
              case _ =>
            }
            null
          }
        }
      }
    })
    proxy.enableHarCaptureTypes(CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT)
    proxy.start(0)
    val seleniumProxy = ClientUtil.createSeleniumProxy(proxy)
    (proxy, seleniumProxy)
  }

  protected val driver: PhantomJSDriver = {
    val capabilities: DesiredCapabilities = DesiredCapabilities.chrome()
    val cliArgsCap = new util.ArrayList[String]
    cliArgsCap.add("--webdriver-loglevel=NONE")
    cliArgsCap.add("--ignore-ssl-errors=yes")
    cliArgsCap.add("--load-images=no")

    capabilities.setCapability(CapabilityType.PROXY, seleniumProxy)
    capabilities.setCapability("phantomjs.page.customHeaders.Referer", "")
    capabilities.setCapability("phantomjs.page.settings.userAgent", userAgent)
    capabilities.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS, cliArgsCap)

    new PhantomJSDriver(capabilities)
  }

  driver.executePhantomJS(
    """
      |var navigation = [];
      |
      |this.onNavigationRequested = function(url, type, willNavigate, main) {
      |  navigation.push(url)
      |  console.log('Trying to navigate to: ' + url);
      |}
      |
      |this.onResourceRequested = function(request, net) {
      |    console.log("Requesting " + request.url);
      |    if (! (navigation.indexOf(request.url) > -1)) {
      |        console.log("Aborting " + request.url)
      |        net.abort();
      |    }
      |};
    """.stripMargin
  )

  driver.manage().window().setSize(windowSize)

  def follow(url: String)(implicit ec: ExecutionContext): List[HarEntry] = {
    try{
      Await.result(Future{
        mobProxy.newHar(url)
        driver.get(url)
        val entries = mobProxy.getHar.getLog.getEntries.asScala.toList
        shutdown()
        entries
      }, 45.seconds)
    } catch {
      case e: Exception =>
        try {
          shutdown()
        } catch {
          case shutdown: Exception =>
            throw new Exception(s"Error ${shutdown.getMessage} cleaning up after Exception: ${e.getMessage}")
        }

        throw e
    }
  }

  def shutdown() = {
    driver.close()
    driver.quit()
  }
}

我尝试了几个版本的Selenium，以防有bugfix。build.sbt文件如下：

libraryDependencies += "org.seleniumhq.selenium" % "selenium-java"   % "3.0.1"
libraryDependencies += "net.lightbody.bmp" % "browsermob-core" % "2.1.2"           

另外，我尝试了PhantomJS 2.0.1和2.1.1：

$ phantomjs --version
  2.0.1-development

$ phantomjs --version
  2.1.1

这是PhantomJS还是Selenium的问题？我的客户是否不正确地使用了API？

- nkconnor

---

我不会授予悬赏，因为没有给出正确的答案。Boni提供了快速的想法，但没有回复评论或进一步互动。这样公平吗？ - nkconnor

Answer 1

资源使用是由BrowserMob引起的。要关闭代理并清理其资源，必须调用stop()。

对于这个客户端来说，这意味着修改shutdown方法。

def shutdown() = {
  mobProxy.stop()
  driver.close()
  driver.quit()
}

另一种方法，abort，可以立即终止代理服务器而不必等待流量停止。

- nkconnor

Answer 2

在我看来，这似乎是PhantomJS的问题。您可以尝试以下替代方案：

1. 使用phantomjs 2.5.0-beta。它最近发布了。我不确定此升级是否解决了您的问题，但至少值得一试。根据更新日志，此版本的新功能包括：

   • 将QtWebKit升级到QtWebKitNG
   • 将Qt升级到5.7.1

2. 在关闭webdriver后清除phantomjs进程。您可以实现自己的清理程序，强制执行driver.close()后实际关闭phantomjs（调用killall -9 phantomjs或类似命令）。

- Boni García

---

销毁PhantomJS进程后，打开的文件仍然存在。 - nkconnor