我正在发出多个并行的 robocopy 调用,将文件从一个网络共享目录复制到一个目录中。由于这些文件是只读的,我告诉 robocopy 通过 /A-:R 去掉目标目录中的只读属性。似乎在一些多核机器上(12个或更多),目标目录会被锁定长达16秒。
当并发运行 MSBuild 任务并执行 CopyFile 任务时,此问题确实会出现在只读文件上。当以并行方式从网络共享下载 TFS 构建的依赖项时,也会发生这种情况。由于所有这些问题都指向 kernel32 CopyFile(或其私有实现),我怀疑问题与 Windows 如何复制文件有关。
这似乎不是内核的普遍问题,因为临时文件夹存在的事实是必须能够并发访问目录。但是,kernel32.dll 中的 CopyFile 的用户模式实现似乎存在缺陷。
更新2: 通过下面的重现,无论文件是否为只读,都会发生这种情况。
更新3: 此重现还显示了在 Windows 8 上出现相同的问题。
另一个 robocopy 希望检查文件是否已存在,并调用 FindFirstFile,这会导致以完全共享的方式打开目录。
你可以将只读文件放入源目录中,以获得快速复制和许多并发目录访问。这是Windows不允许在复制文件到目录时访问该目录的已知限制吗?
我不太了解,但我的观点是这是一个错误,当您想要可靠地并发访问文件时,它可能会变得非常棘手。
当并发运行 MSBuild 任务并执行 CopyFile 任务时,此问题确实会出现在只读文件上。当以并行方式从网络共享下载 TFS 构建的依赖项时,也会发生这种情况。由于所有这些问题都指向 kernel32 CopyFile(或其私有实现),我怀疑问题与 Windows 如何复制文件有关。
这似乎不是内核的普遍问题,因为临时文件夹存在的事实是必须能够并发访问目录。但是,kernel32.dll 中的 CopyFile 的用户模式实现似乎存在缺陷。
更新2: 通过下面的重现,无论文件是否为只读,都会发生这种情况。
更新3: 此重现还显示了在 Windows 8 上出现相同的问题。
Procmon堆栈跟踪显示,魔法发生在kernel32.dll内的PrivCopyFileExW中,这似乎是相当不被记录的。在那里,IRP_MJ_CREATE调用被发出以打开目录,并且稍后关闭目录。这似乎是并行robocopy进程尝试将文件复制到一个目录时出现竞争条件的根本原因。
以下是一些procmon输出,展示了这个问题的感觉。
为什么PrivCopyFileExW能够锁定目录?文件系统应该能够支持将文件复制到一个目录中。我正在使用Windows Server 2008 R2和一些最新的多核机器,包括RAID阵列、SSD等等。
这似乎与kernel32.dll中的CopyFile报告的问题有关,直到今天都没有得到解决。我可以排除病毒扫描程序的影响,因为即使在未安装任何病毒扫描程序的计算机上也会出现此问题。 更新1 似乎另一个robocopy进程正在尝试将文件复制到目标目录,这会打开该目录。Date & Time: 20.03.2012 08:30:06
Event Class: File System
Operation: CreateFile
Result: SUCCESS
Path: C:\temp\dest
TID: 11672
Duration: 0.0000150
Desired Access: Read Data/List Directory, Write Data/Add File, Write EA, Read Attributes, Write Attributes, Delete, Synchronize
Disposition: OpenIf
Options: Directory, Synchronous IO Non-Alert, Open For Backup
Attributes: D
ShareMode: None <---- No sharing
AllocationSize: 0
OpenResult: Opened
0 fltmgr.sys FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027 C:\Windows\system32\drivers\fltmgr.sys
1 fltmgr.sys FltpPassThroughInternal + 0x4a 0xfffff880010478ca C:\Windows\system32\drivers\fltmgr.sys
2 fltmgr.sys FltpCreate + 0x293 0xfffff880010652a3 C:\Windows\system32\drivers\fltmgr.sys
3 ntoskrnl.exe IopParseDevice + 0x5a7 0xfffff800031cb537 C:\Windows\system32\ntoskrnl.exe
4 ntoskrnl.exe ObpLookupObjectName + 0x585 0xfffff800031c1ba4 C:\Windows\system32\ntoskrnl.exe
5 ntoskrnl.exe ObOpenObjectByName + 0x1cd 0xfffff800031c6b7d C:\Windows\system32\ntoskrnl.exe
6 ntoskrnl.exe IopCreateFile + 0x2b7 0xfffff800031cd647 C:\Windows\system32\ntoskrnl.exe
7 ntoskrnl.exe NtCreateFile + 0x78 0xfffff800031d7398 C:\Windows\system32\ntoskrnl.exe
8 ntoskrnl.exe KiSystemServiceCopyEnd + 0x13 0xfffff80002eca813 C:\Windows\system32\ntoskrnl.exe
9 ntdll.dll NtCreateFile + 0xa 0x7718fc0a C:\Windows\System32\ntdll.dll
10 kernel32.dll BaseCopyStream + 0x11a9 0x77034b89 C:\Windows\System32\kernel32.dll
11 kernel32.dll BasepCopyFileExW + 0x545 0x77033d85 C:\Windows\System32\kernel32.dll
12 kernel32.dll PrivCopyFileExW + 0xb6 0x770b5296 C:\Windows\System32\kernel32.dll
13 Robocopy.exe CZDir::CopyData + 0xb5 0xff8623a9 C:\Windows\System32\Robocopy.exe
14 Robocopy.exe RoboCopyDir + 0xe4 0xff85af00 C:\Windows\System32\Robocopy.exe
15 Robocopy.exe Walk + 0x12a 0xff85c6b6 C:\Windows\System32\Robocopy.exe
16 Robocopy.exe wmain + 0x4f4 0xff85de78 C:\Windows\System32\Robocopy.exe
17 Robocopy.exe operator+ + 0x19b 0xff867be5 C:\Windows\System32\Robocopy.exe
18 kernel32.dll BaseThreadInitThunk + 0xd 0x7703f33d C:\Windows\System32\kernel32.dll
19 ntdll.dll RtlUserThreadStart + 0x1d 0x77172ca1 C:\Windows\System32\ntdll.dll
另一个 robocopy 希望检查文件是否已存在,并调用 FindFirstFile,这会导致以完全共享的方式打开目录。
Date & Time: 20.03.2012 08:30:06
Event Class: File System
Operation: CreateFile
Result: SHARING VIOLATION
Path: C:\temp\dest
TID: 8280
Duration: 0.0000099
Desired Access: Read Data/List Directory, Synchronize
Disposition: Open
Options: Directory, Synchronous IO Non-Alert
Attributes: n/a
ShareMode: Read, Write, Delete <----- Full sharing
AllocationSize: n/a
0 fltmgr.sys FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027 C:\Windows\system32\drivers\fltmgr.sys
1 fltmgr.sys FltpPassThroughInternal + 0x4a 0xfffff880010478ca C:\Windows\system32\drivers\fltmgr.sys
2 fltmgr.sys FltpCreate + 0x293 0xfffff880010652a3 C:\Windows\system32\drivers\fltmgr.sys
3 ntoskrnl.exe IopParseDevice + 0x5a7 0xfffff800031cb537 C:\Windows\system32\ntoskrnl.exe
4 ntoskrnl.exe ObpLookupObjectName + 0x585 0xfffff800031c1ba4 C:\Windows\system32\ntoskrnl.exe
5 ntoskrnl.exe ObOpenObjectByName + 0x1cd 0xfffff800031c6b7d C:\Windows\system32\ntoskrnl.exe
6 ntoskrnl.exe IopCreateFile + 0x2b7 0xfffff800031cd647 C:\Windows\system32\ntoskrnl.exe
7 ntoskrnl.exe NtOpenFile + 0x58 0xfffff800031e64a8 C:\Windows\system32\ntoskrnl.exe
8 ntoskrnl.exe KiSystemServiceCopyEnd + 0x13 0xfffff80002eca813 C:\Windows\system32\ntoskrnl.exe
9 ntdll.dll NtOpenFile + 0xa 0x7718f9ea C:\Windows\System32\ntdll.dll
10 KernelBase.dll FindFirstFileExW + 0x1ee 0x7fefd3a560e C:\Windows\System32\KernelBase.dll
11 KernelBase.dll FindFirstFileW + 0x1c 0x7fefd3a58dc C:\Windows\System32\KernelBase.dll
12 Robocopy.exe CZDir::Exists + 0xf7 0xff861bb7 C:\Windows\System32\Robocopy.exe
13 Robocopy.exe RoboCopyDir + 0x58 0xff85ae74 C:\Windows\System32\Robocopy.exe
14 Robocopy.exe Walk + 0x12a 0xff85c6b6 C:\Windows\System32\Robocopy.exe
15 Robocopy.exe wmain + 0x4f4 0xff85de78 C:\Windows\System32\Robocopy.exe
16 Robocopy.exe operator+ + 0x19b 0xff867be5 C:\Windows\System32\Robocopy.exe
17 kernel32.dll BaseThreadInitThunk + 0xd 0x7703f33d C:\Windows\System32\kernel32.dll
18 ntdll.dll RtlUserThreadStart + 0x1d 0x77172ca1 C:\Windows\System32\ntdll.dll
我也可以在Windows 7上轻松重现此问题。您只需要从两个并行的robocopy调用中复制只读文件到同一个目录中,并等待它发生(约30秒)。
for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource1 c:\temp\dest
for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource2 c:\temp\dest
你可以将只读文件放入源目录中,以获得快速复制和许多并发目录访问。这是Windows不允许在复制文件到目录时访问该目录的已知限制吗?
我不太了解,但我的观点是这是一个错误,当您想要可靠地并发访问文件时,它可能会变得非常棘手。