复制case类性能问题

6
我有两个案例类: addSmalladdBigaddSmall 只包含一个字段。 addBig 包含多个字段。
case class AddSmall(set: Set[Int] = Set.empty[Int]) {
  def add(e: Int) = copy(set + e)
}

case class AddBig(set: Set[Int] = Set.empty[Int]) extends Foo {
  def add(e: Int) = copy(set + e)
}

trait Foo {
  val a = "a"; val b = "b"; val c = "c"; val d = "d"; val e = "e"
  val f = "f"; val g = "g"; val h = "h"; val i = "i"; val j = "j"
  val k = "k"; val l = "l"; val m = "m"; val n = "n"; val o = "o"
  val p = "p"; val q = "q"; val r = "r"; val s = "s"; val t = "t"
}

使用JMH进行快速基准测试,结果表明即使我只更改一个字段,复制addBig对象的成本也要高得多。
import java.util.concurrent.TimeUnit
import org.openjdk.jmh.annotations._

@State(Scope.Benchmark)
class AddState {
  var elem: Int = _
  var addSmall: AddSmall = _
  var addBig: AddBig = _

  @Setup(Level.Trial)
  def setup(): Unit = {
    addSmall = AddSmall()
    addBig = AddBig()
    elem = 1
  }
}

@OutputTimeUnit(TimeUnit.MILLISECONDS)
@BenchmarkMode(Array(Mode.Throughput))
class SetBenchmark {
  @Benchmark
  def addSmall(state: AddState): AddSmall = {
    state.addSmall.add(state.elem)
  }

  @Benchmark
  def addBig(state: AddState): AddBig = {
    state.addBig.add(state.elem)
  }
}

结果表明,复制addBig比复制addSmall慢10倍以上!
> jmh:run -i 5 -wi 5 -f1 -t1
[info] Benchmark                                   Mode  Cnt       Score       Error   Units
[info] LocalBenchmarks.Set.SetBenchmark.addBig    thrpt    5   10732.569 ±   349.577  ops/ms
[info] LocalBenchmarks.Set.SetBenchmark.addSmall  thrpt    5  126711.722 ± 10538.611  ops/ms

为什么对于addBig,复制对象会更慢?据我所知,由于所有字段都是不可变的,因此根据结构共享的原理,复制对象应该非常高效,因为它只需存储更改("delta"),在这种情况下只有设置s,因此应该与addSmall具有相同的性能。


编辑:当状态是案例类的一部分时,也会出现相同的性能问题。

case class AddBig(set: Set[Int] = Set.empty[Int], a: String = "a", b: String = "b", ...) {
  def add(e: Int) = copy(set + e)
}

4
它们指向的对象是共享的,但指针必须被复制。通常情况下,这不应该成为问题,但如果出现问题,考虑将所有不会改变的东西封装在一个case类中,这样你最终只需要复制一个引用。 - Luis Miguel Mejía Suárez
@LuisMiguelMejíaSuárez 起初我并不理解为什么复制19个指针会导致速度降低10倍。但可能是将元素添加到集合中非常快,因此复制19个指针的工作量相对较大,并且主导了执行时间。 - Kevin
这是我能想到的唯一方法。话虽如此,请不要相信我,而是进行适当的基准测试并尝试检查生成的字节码以获取洞见。 - Luis Miguel Mejía Suárez
3个回答

6
我猜这是因为AddBig类继承了Foo特质,而该特质具有所有这些String字段——从at。似乎,在结果对象中,它们将被声明为常规字段,而不是Java中的static字段,因此为对象分配内存可能是较慢复制性能的根本原因。
更新: 为了验证这个理论,您可以尝试使用JOL(Java Object Layout)工具 - openjdk.java.net/projects/code-tools/jol
以下是简单的代码示例:
import org.openjdk.jol.info.{ClassLayout, GraphLayout}
println(ClassLayout.parseClass(classOf[AddSmall]).toPrintable())
println(ClassLayout.parseClass(classOf[AddBig]).toPrintable())

println(GraphLayout.parseInstance(AddSmall()).toPrintable)
println(GraphLayout.parseInstance(AddBig()).toPrintable)

在我的情况下,这产生了以下输出(为了方便阅读,这是简短版本):
xample.AddSmall object internals:
 OFFSET  SIZE                             TYPE DESCRIPTION                               VALUE
      0    12                                  (object header)                           N/A
     12     4   scala.collection.immutable.Set AddSmall.set                              N/A
Instance size: 16 bytes
Space losses: 0 bytes internal + 0 bytes external = 0 bytes total

example.AddBig object internals:
 OFFSET  SIZE                             TYPE DESCRIPTION                               VALUE
      0    12                                  (object header)                           N/A
     12     4   scala.collection.immutable.Set AddBig.set                                N/A
     16     4                 java.lang.String AddBig.a                                  N/A
     20     4                 java.lang.String AddBig.b                                  N/A
     24     4                 java.lang.String AddBig.c                                  N/A

Instance size: 96 bytes
Space losses: 0 bytes internal + 0 bytes external = 0 bytes total

example.AddSmall@ea1a8d5d object externals:
          ADDRESS       SIZE TYPE                                     PATH                           VALUE
        770940b28         16 example.AddSmall                                                        (object)
        770940b38     470456 (something else)                         (somewhere else)               (something else)
        7709b38f0         16 scala.collection.immutable.Set$EmptySet$ .set                           (object)


example.AddBig@480bdb19d object externals:
          ADDRESS       SIZE TYPE                                     PATH                           VALUE
        770143658         24 java.lang.String                         .h                             (object)
        770143670         24 [C                                       .h.value                       [h]
        770143688      15536 (something else)                         (somewhere else)               (something else)
        770147338         24 java.lang.String                         .m                             (object)
        770147350         24 [C                                       .m.value                       [m]
        770147368    1104264 (something else)                         (somewhere else)               (something else)
        770254cf0         24 java.lang.String                         .r                             (object)
        770254d08         24 [C                                       .r.value                       [r]
        770254d20    7140768 (something else)                         (somewhere else)               (something else)
        7709242c0         24 java.lang.String                         .a                             (object)

所以,正如您所看到的,来自父trait的字段也会成为类字段,并随对象一起复制。

希望这能帮到您!


当字段在case类的构造函数中定义时,会出现相同的性能问题case class AddBig(set: Set[Int] = Set.empty[Int], a: String = "a", ...)。由于所有字段都是不可变的,因此它可以重用它们,而无需为此对象再次分配所有内存(即结构共享),对吗? - Kevin
@Kevin 猜测不是,因为它们位于特征而不是 object 中。我建议您尝试将字段数量减少到1个,然后进行另一个实验。此外,您可以尝试使用 jol 工具来检查理论:https://openjdk.java.net/projects/code-tools/jol/ - Ivan Kurchenko
@Kevin,我已经发布了有关对象布局的更新。 - Ivan Kurchenko
@Kevin,指针并不是深拷贝。但无论如何,指针会分配1个机器字(32位系统上的1个字节和64位系统上的2个字节)的内存。因此,AddBig需要16个字段 * 2 = 32字节的额外内存。 - Ivan Kurchenko
@Jasper-M 谢谢您的纠正,您是完全正确的。对于混淆感到抱歉。那么我们现在讨论的是 AddBig 中额外的 64 字节内存。 - Ivan Kurchenko
显示剩余2条评论

1

您检查过这个问题吗? scala case class copy实现 您可以检查编译器生成的内容,以详细说明这一点。有可能这些val成为了case类的常规字段,并在每次复制类时被复制。


1
你的 Foo 特质会向每个子类添加 20 个成员,即使它们是常量。这将使用更多内存并使类的复制变慢。

考虑:

1)将它们改为def,而不是val,这样它们就不再是数据成员了。

或者

2)将它们移到特质的伴随类中,并作为Foo.a等访问。


好的,这只是一个人工示例,但在我的应用程序中它们不是常量。 - Kevin
我不建议在特质中放置非“private”var。如果它们是表达式,除非它们很难计算,否则仍然值得将它们制作成def - Tim
它们是私有变量,因此可以被trait的方法修改。其中一个变量例如是一个图表,每当trait的某个特定方法被调用时就会更新。 - Kevin
1
“Foo”听起来比“AddSmall”更复杂,因此复制时间较长并不令人惊讶。大量复制带有变量的类与Scala最擅长的功能设计相去甚远,因此在过于担心复制性能之前,也许应该考虑将整个设计更加功能化。 - Tim

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接