我有一个在服务器集群上运行的Web服务。这个Web服务会进行一些内部处理，然后可能会调用一个产生费用的外部服务。
我想要增加一些缓存，以便如果接收到相同的服务请求（这是肯定会发生的），那么就不必重复处理，既节省了处理时间/功率，也节省了在调用服务时产生的成本。
但是，在以下限制条件下如何管理此缓存我感到很困难：
当在分布式环境中工作时，我该如何延迟执行其他服务调用，直到第一个已响应（因此可用于缓存）？
我考虑过使用前置代理模式并在代理中建立相同请求队列，这样当第一个请求返回时，它也可以将相同的响应返回给其他请求。这是正确的模式吗，还是有更好的并发模式来处理这种情况？
第二步中，如果哈希值已经存在于数据库中，并且状态为“待定结果”，则您可以每X毫秒轮询数据库，并在结果可用时最终返回结果。
当然，魔鬼在于细节，因为您需要决定出现错误时应采取的措施：
1.) 该服务在多个Web服务器上运行，以实现高可用性和可扩展性。
将其简单地视为设计限制。这意味着不要在缓存查找方法中包含主机名。只要结果不依赖于主机，您就不会有问题。如果在具有相同服务和参数的HA环境中，hostA与hostB返回不同的内容，则我会认为这是设计缺陷。
如果您想保持系统冗余，则不应该有中央缓存。因为大多数情况下，“中央”解决方案是“单点故障”的代名词。如果您在应用程序服务器之间进行同步，则锁定也更加复杂。
您引入多少个缓存有些取决于缓存命中率和系统上可用的资源。最简单的解决方案是在每个服务实例级别上进行缓存。
2.) 请求可能需要最多5秒钟才能响应，但在此期间，我可能已经收到2或3个完全相同的请求。
这也是设计限制。您只需将缓存分为2个不同的步骤：
但您还需要处理异常情况。
locking和connection机制可以使用不同的策略进行实现
您用于锁定对关键部分的访问权限的Mutex / Semaphore或其他结构可能取决于您为相同请求计算的唯一键（只要您不想串行访问您的服务）。
