这是我基于C#的想法，关于如何应对这个问题，也许不是要完全解决它，而是改进性能。下面显示的代码解决了“检索存储库默认分支中的所有提交”的问题，然而，它可以应用于几乎任何基于光标的GitHub GraphQL分页场景。我知道你的问题涉及“所有分支的所有提交，去重”，然而，我认为这种方法对你也可能有用。
查询大型存储库的固有问题是每页限制100个结果，并且您必须逐页迭代，因为每个页面包含指向下一页的光标。在我的解决方案中，我解决了光标识别问题，并通过同时发送所有页面请求并行降低了总体执行时间。
这个想法是创建一个对GitHub GraphQL API的初始请求，仅获取给定过滤器的总计数。我假设每页获取100个结果。由于GitHub提交页面光标始终处于格式“xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 99”，其中第一部分是第一个提交oid（第一页的第一个提交-所有页面上的所有光标都使用此oid-在迭代时不会更改），而99是前一页最后提交的顺序号（基于0的索引），因此只需进行“totalCount”请求就可以很容易地计算出670次提交存储库的每个页面的光标：
1. null
2. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 99"
3. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 199"
4. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 299"
5. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 399"
6. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 499"
7. "xX9XXXXXXX3961722145Xf39cc9617XXXXxxx 599"
生成了每个页面开头的光标后，我们可以为每个页面准备一个单独的任务（Task），其中任务将包含一个请求到GitHub GraphQL以获取一页，并使用Task.WhenAll执行它们所有。
我在一个包含670个提交的存储库上进行了测试，所有7个页面一共在大约7秒内获取。如果我遍历每个页面，每页需要大约4秒，总计25-30秒。
应该注意的是，这没有在生产环境中进行测试，它不涉及错误处理，并且并发实现可能可以改进，因此它应该仅被视为概念验证。此外，我不确定GitHub API将如何处理您发送请求的具有100或1000页提交的存储库。
public async Task<List<Commit>> GetCommitsByPeriodAsync(Guid integrationId, DateTime since, string repositoryName, string repositoryOwner)
{
string initialCursor = null;
var firstPageInfo = await GetDefaultBranchCommitsFirstPageInfoAsync(since, initialCursor, repositoryOwner, repositoryName);
var commitPagesCursors = GetCommitPagesCursors(firstPageInfo, initialCursor );
var tasks = commitPagesCursors.Select(x => GetDefaultBranchCommitsPageByPeriodAsync(since, x, repositoryOwner, repositoryName));
var results = await Task.WhenAll(tasks);
var branchCommitsByPeriod = results.SelectMany(x => x.Commits)
.ToList();
return branchCommitsByPeriod;
}
private List<string> GetCommitPagesCursors(GetCommitsPageInfoResponse firstPageInfo, string initialCursor)
{
var cursors = new List<string> { initialCursor, firstPageInfo.PageInfo.EndCursor };
int totalCount = firstPageInfo.TotalCount;
var firstCommitCursorSplit = firstPageInfo.PageInfo.EndCursor.Split(" ");
var firstCommitId = firstCommitCursorSplit[0];
var lastPageCommitNumberString = firstCommitCursorSplit[1];
int.TryParse(lastPageCommitNumberString, out int lastPageCommitNumber);
lastPageCommitNumber += 100;
while (lastPageCommitNumber < totalCount)
{
string nextPageCursor = $"{firstCommitId} {lastPageCommitNumber}";
cursors.Add(nextPageCursor);
lastPageCommitNumber += 100;
}
return cursors;
}
public async Task<GetCommitsPageInfoResponse> GetDefaultBranchCommitsFirstPageInfoAsync(DateTime since, string cursor, string repositoryOwner, string repositoryName)
{
var commitsRequest = new GraphQLRequest
{
Query = @"
query GetCommitsFirstPage($cursor: String, $commitsSince: GitTimestamp!, $repositoryName: String!, $repositoryOwner: String!) {
repository(name: $repositoryName, owner: $repositoryOwner) {
defaultBranchRef{
target {
... on Commit {
history(after: $cursor, since: $commitsSince) {
totalCount
pageInfo {
endCursor
hasNextPage
}
}
}
}
}
}
}",
OperationName = "GetCommitsFirstPage",
Variables = new
{
commitsSince = since.ToString("o"),
cursor = cursor,
repositoryOwner = repositoryOwner,
repositoryName = repositoryName
}
};
}
public async Task<GetCommitsPageResponse> GetDefaultBranchCommitsPageByPeriodAsync(DateTime since, string cursor, string repositoryOwner, string repositoryName)
{
var commitsRequest = new GraphQLRequest
{
Query = @"
query GetCommitsSinceTimestamp($cursor: String, $commitsSince: GitTimestamp!, $repositoryName: String!, $repositoryOwner: String!) {
repository(name: $repositoryName, owner: $repositoryOwner) {
defaultBranchRef{
target {
... on Commit {
history(after: $cursor, since: $commitsSince) {
pageInfo {
endCursor
hasNextPage
}
edges {
node {
oid
additions
deletions
commitUrl
url
committedDate
associatedPullRequests (first: 10) {
nodes {
id
mergedAt
}
}
repository {
databaseId
nameWithOwner
}
author {
name
email
user {
login
}
}
message
}
}
}
}
}
}
}
}",
OperationName = "GetCommitsSinceTimestamp",
Variables = new
{
commitsSince = since.ToString("o"),
cursor = cursor,
repositoryOwner = repositoryOwner,
repositoryName = repositoryName
}
};
}
