问题

我正在为几十万种产品建立一个postgres数据库.我将设置一个索引(Solr或ElasticSearch)来改善复杂搜索查询的查询时间.

现在的重点是如何让索引与数据库同步？

在过去,我有一种应用程序定期轮询数据库以检查应该完成的更新,但是我会有一个过时的索引状态时间(从数据库更新到索引更新拉动).

我更喜欢一种解决方案,数据库会通知我的应用程序(java应用程序)数据库中已经更改了某些内容,此时应用程序将决定是否需要更新索引.为了更准确,我将构建一种生产者和消费者结构,希望副本将从postgres接收有关更改的通知,如果这与索引的数据相关,则将其存储在待执行更新的堆栈中.消费者将使用此堆栈并构建要存储到索引中的文档.

可能的解决方案

一种解决方案是编写一种副本端点,其中应用程序将表现为用于从原始数据库复制数据的postgres实例.有人对这种方法有一些经验吗？

我对此问题有哪些其他解决方案？

解决方法:

Which other solution do I have for this problem?

使用LISTEN and NOTIFY告诉您的应用程序已发生变化.

您可以从也记录队列表中的更改的触发器发送NOTIFY.

你需要一个PgJDBC连接,它已经为你正在使用的事件发送了一个LISTEN.如果您使用SSL,它必须通过定期发送空查询(“”)来轮询数据库;如果您不使用SSL,则可以通过使用异步通知检查来避免这种情况.您需要从连接池中解包Connection对象,以便能够将基础连接转换为PgConnection以使用listen / notify.见related answer

生产者/消费者的位将更难.要在PostgreSQL中拥有多个崩溃安全并发使用者,您需要使用pg_try_advisory_lock(…)进行咨询锁定.如果你不需要并发消费者那么这很容易,你只需要SELECT … LIMIT 1 FOR一次更新一行.

希望9.4将包含一个更简单的方法来跳过具有FOR UPDATE的锁定行,因为它正在开发中.