我有时编写程序来玩一些棋盘游戏变体。基本策略是标准的alpha-beta修剪或类似的搜索，有时会加入对结局或开局的通常方法。我大多数时间都在尝试下棋变种，所以当我需要选择评估函数时，我使用基本的国际象棋评估函数。
然而，现在我正在编写一个完全新的棋盘游戏程序。如何选择一个好的甚至是像样的评估函数呢？
主要的挑战在于同样的棋子总是在棋盘上，因此通常的材料函数不会根据位置改变，而且这个游戏还没被玩过一千次左右，所以人类不能通过足够的经验来提供洞察力。(PS.我考虑过MoGo方法，但随机游戏不太可能终止。)
游戏详细信息：该游戏在一个10x10的棋盘上进行，每方固定六个棋子。这些棋子有特定的移动规则和相互作用方式，但没有任何棋子被捕获。游戏的目标是使你的棋子足够多地位于棋盘上的某些特殊格子中。电脑程序的目标是提供一个与当前人类玩家相媲美或更优秀的选手。
x -0.01 -1.484 | -1.485
0.01 x -1.29 | -1.483
1.484 1.29 x | 2.774
例如，我在这里使用2分制胜利、1分制平局的得分函数，最后将所有得分相加以找到适应度。该表格立即告诉我agent3是最好的，而agent1与agent2并没有真正的区别。
因此，一旦设置了这两个重要的事项，您就准备好尝试评估函数了。
让我们从选择功能开始
首先需要创建一个"不差劲"的评估函数。这意味着该函数应正确识别三个重要方面（胜利/平局/失败）。虽然听起来显而易见，但我看到过很多机器人，其创建者无法正确设置这三个方面。
接着，您需要发挥人类智慧，找出游戏状态的一些特征。第一件事是与游戏专家交谈，询问他如何评估位置。
如果你没有专家，或者你只是五分钟前刚创造了游戏规则，请不要低估人类寻找模式的能力。即使玩几局游戏后，聪明的人也可以给你提出他应该如何进行的想法（这并不意味着他能够实现这些想法）。将这些想法用作特征。
此时，您并不真正需要知道这些特征会如何影响游戏。例如特征:棋子价值、棋子的移动范围、控制重要位置、安全性、总可能走步数、接近终点等。
在编写这些特征并单独使用它们以查看哪个效果最佳之后（不要急于丢弃单独执行效果不理想的特征，它们可能会在与其他特征相结合时有所帮助），您准备好尝试组合了。
基于各种特征的组合创建一个超级函数。它可以是线性的 eval = f_1 * a_1 + ... f_n * a_n（f_i 特征，a_i 系数），但它可以是任何形式。然后使用遗传算法实例化许多代理程序，其权重绝对随机地分配给此评估函数，并使它们相互对抗。使用测试框架比较结果，放弃一些明显的失败者并改变一些获胜者。继续同样的过程。（这是一个粗略的概述，请阅读更多关于 GA 的内容）
使用神经网络中的反向传播思想，从游戏的末尾向后传播误差以更新网络的权重。您可以阅读有关 backgammon 如何完成此操作的更多信息（我没有编写类似的内容，因此很抱歉短暂的说明）。
挑选几个候选的评估函数，例如移动力（可能的移动次数）减去对手的移动力，然后尝试找到每个度量标准的最佳权重。在评估函数中优化权重，遗传算法似乎效果很好。
使用随机权重创建一组群体，让它们相互对抗，限定深度和回合数，将失败者替换为获胜者的随机组合，洗牌并重复进行，每代结束后打印出群体平均值。直到你对结果满意或者看到需要调整某些指标的范围并重新尝试时，运行此过程。如果一个指标的最佳值可能超出初始范围，则需要进行调整。
最新补充: 我之前不知道的一种更为接受、研究、理解的方法是称为"Differential Evolution"。通过三个父代创建后代，避免了向平均值过早收敛的问题。
在训练期间，神经网络本身用于为双方选择移动...令人惊讶的发现是，即使在使用原始棋盘编码的零初始知识实验中，实际上也进行了大量学习。
虽然你可以使用各种机器学习方法来得出一个评估函数（例如在gnubackgammon等项目中使用的TD-Learning就是一个例子），但结果肯定取决于游戏本身。对于双陆棋，它非常有效，因为游戏的随机性（掷骰子）迫使学习者探索可能不想探索的领域。如果没有这样一个关键的组成部分，你可能会得到一个只对自己有效而不对其他人有效的评估函数。
由于物质差异可能不适用，移动性的概念是否重要——即您有多少可能的移动？控制棋盘上的某个区域通常比不控制好吗？与玩游戏的人交流，找出一些线索。
虽然最好拥有尽可能好的评估函数，但您还需要调整搜索算法，以便能够尽可能地进行深入搜索。有时，这实际上更加重要，因为具有平庸评估函数的深度搜索器可以击败具有良好评估函数的浅层搜索器。这完全取决于领域。（例如gnubackgammon使用1层搜索进行专家游戏）
有其他技巧可以用来提高搜索的质量，最重要的是，使用置换表缓存搜索结果以进行良好的前向剪枝。你在选择算法时也需小心谨慎。如果你的算法与实际价值没有明显的关联，标准的人工智能函数将无法正常工作。为了有效，你的评估函数或者启发式函数必须要始终与实际价值相同或者低于实际价值，否则它会以一种奇怪的方式来引导你的决策。（对于棋类游戏，尽管我认为标准点数足够好），仍然可以争论这一点。
通常我会找出其能做到什么和需要什么。对于像推箱子这样的游戏，我使用的是将一个箱子（单独）从当前位置移动到任何目标位置所需的最少步数。虽然这不是所需步数的精确答案，但我认为它是一个相当好的启发式函数，因为它永远不会高估，并且可以预先计算整个游戏板上的值。在对局面进行得分时，只需将每个当前箱子位置的值累加即可。
在我编写的人工生命模拟中，旨在进化群体狩猎和防御能力。我使用的评分系统仅用于指导进化而非执行任何修剪。我为每个生物出生时赋予一个点数。对于它们在生命中消耗的每一点能量，我都会再给它们一个额外的点数。然后，我使用它们这一代的点数总和来确定每个生物繁殖的可能性。在我的情况下，我只是使用了它们所获得的这一代总点数的比例。如果我想进化出擅长逃避的生物，我会因被吃掉的点数而扣分。