SQL Server中的优先队列

Question

SQL Server中的优先队列

sqlsql-serverstored-procedurespriority-queuequery-performance

5

我目前正在使用C#构建一个网页爬虫。为了排队那些还没有被爬取的URL，我使用SQL Server。它的速度相当快，但随着时间的推移，它开始变得非常庞大，这会减慢我的存储过程。

CREATE TABLE PriorityQueue
(
ID int IDENTITY(0,1) PRIMARY KEY,
absolute_url varchar (400),
depth int,
priorty int,
domain_host varchar (255),
);

CREATE INDEX queueItem ON PriorityQueue(absolute_url);
CREATE INDEX queueHost ON PriorityQueue(domain_host);

这是我用来管理队列的表格。优先级从1到5，其中1为最高优先级。如下图所示，我还在下面使用索引来存储我的存储过程。 向队列中添加新项的步骤：

DROP PROCEDURE IF EXISTS dbo.Enqueue
GO
CREATE PROCEDURE dbo.Enqueue(@absolute_url varchar(255), @depth int, @priorty int, @host varchar(255))
AS
BEGIN
    INSERT INTO [WebshopCrawler].[dbo].[PriorityQueue] (absolute_url, depth, priorty, domain_host) VALUES (@absolute_url, @depth, @priorty, @host);
END
GO

获取优先级最高的项目的步骤：

DROP PROCEDURE IF EXISTS dbo.Dequeue
GO
CREATE PROCEDURE dbo.Dequeue
AS
BEGIN
    SELECT top 1 absolute_url, depth, priorty
    FROM [WebshopCrawler].[dbo].[PriorityQueue]
    WHERE priorty = (SELECT MIN(priorty) FROM [WebshopCrawler].[dbo].[PriorityQueue])
END
GO

这个程序在处理更大的数据时会变得非常缓慢。

删除已出列项目的步骤：

DROP PROCEDURE IF EXISTS dbo.RemoveFromQueue
GO
CREATE PROCEDURE dbo.RemoveFromQueue(@absolute_url varchar(400))
AS
BEGIN
    DELETE 
    FROM [WebshopCrawler].[dbo].[PriorityQueue]
    WHERE absolute_url = @absolute_url
END
GO

我尝试使用了许多不同的索引，但好像都没有使过程变得更快。我希望有人能提出改进的想法。

- R.hagens

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Remus Rusanu · Accepted Answer

请阅读使用表格作为队列。重要问题如下：

您必须根据出队策略组织表格。使用IDENTITY作为主键完全没有意义。应该基于优先级和出队顺序使用聚簇索引。
您必须以单个语句的形式进行原子出队，使用DELETE ... OUTPUT ...

因此，应该是以下内容：

CREATE TABLE PriorityQueue
(
  priority int not null,
  enqueue_time datetime not null default GETUTCDATE(),
  absolute_url varchar (8000) not null,
  depth int not null,
  domain_host varchar (255) not null,
);

CREATE CLUSTERED INDEX PriorityQueueCdx on PriorityQueue(priority DESC, enqueue_time);

CREATE PROCEDURE dbo.Dequeue
AS
BEGIN
    with cte as (
       SELECT top 1 absolute_url, depth, priority
       FROM [PriorityQueue] with (rowlock, readpast)
       ORDER BY priority DESC, enqueue_time)
     DELETE FROM cte
         OUTPUT DELETED.*;
END
GO