实现一个作业调度程序来从 SQL 数据库中选择作业

大家好，今天本人给大家带来文章《实现一个作业调度程序来从 SQL 数据库中选择作业》，文中内容主要涉及到，如果你对Golang方面的知识点感兴趣，那就请各位朋友继续看下去吧~希望能真正帮到你们，谢谢！

我有一个 SQL 表，第一天就充满了挂单。第二天的特定时间，我必须从数据库获取“待处理”订单，并通过调用外部 API 来处理每个订单。这就是我的代码流程：

SELECT * FROM 状态 = 'PENDING' LIMIT 200 的订单

现在，我将为每个订单调用外部 API，该 API 将返回每个订单的成功或失败，然后我将更新数据库中的订单状态。

UPDATE 订单 SET status = 'COMPLETED' WHERE id = ANY()

UPDATE 订单 SET status = 'FAILED' WHERE id = ANY()

以上流程将继续运行多次，直到 select 查询返回 0 行。我在查询中设置了 LIMIT，以避免内存问题和外部 API 的吞吐量问题。

现在上述流程存在几个问题：

1. 假设我的代码执行了 SELECT 查询并开始处理订单。如果我的服务在这期间崩溃了怎么办？有些订单将通过 API 并收到通过或失败的响应。但我错过了在数据库中更新它们的状态，因此当我的服务再次启动时，它将再次选择这些订单并再次处理它们，这是我不想要的。
2. 我的服务可以从多个实例运行，因此状态 =“待处理”的相同订单可以由不同实例选取，从而导致同一订单的双重处理。如何避免这种情况？

如果有帮助的话，我的技术堆栈是 Go 和 PostgreSQL。我确信以上是一些常见问题，并且必须有一些标准方法来解决它们。我愿意更改任何部分，无论是 Go 代码还是数据库更改（可能包括锁或事务）。我只想向哪个方向寻找解决方案。任何帮助将不胜感激。

正确答案

而不是

select * from orders where status = 'pending' limit 200

做

WITH cte AS (
    -- this is needed only because PostgreSQL doesn't
    -- support the LIMIT clause in UPDATE queries
    SELECT * FROM orders WHERE status = 'PENDING' LIMIT 200
)

-- use UPDATE-RETURNING to first change
-- the status and then retrieve the rows
UPDATE orders AS o SET status='PROCESSING'

-- you can use this column, together with the status column,
-- to later determine if some orders were left in limbo because
-- of a crash *after* they were sent off to the processor
, updated_at=now()

-- use the CTE result to limit the update to
-- the 200 rows selected in the WITH query above
FROM cte WHERE o.id=cte.id

-- make sure that this worker ignores rows that
-- were, in the meantime, updated by another worker
--
-- this works because the workers will re-check
-- the WHERE condition after the lock is released,
-- (see the linked answer below)
AND o.status='PENDING'

-- return the matched & updated set/subset of rows
RETURNING o.*;

https://stackoverflow.com/a/11769059/965900

今天关于《实现一个作业调度程序来从 SQL 数据库中选择作业》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！