使用PowerShell在不带BOM的UTF-8格式下编写文件

我会建议只使用 Set-Content 命令，不需要其他的。

我的系统中使用的 Power shell 版本是：

PS C:\Users\XXXXX> $PSVersionTable.PSVersion | fl


Major         : 5
Minor         : 1
Build         : 19041
Revision      : 1682
MajorRevision : 0
MinorRevision : 1682

PS C:\Users\XXXXX>

所以你需要像下面这样的东西。

PS C:\Users\XXXXX> Get-Content .\Downloads\finddate.txt
Thursday, June 23, 2022 5:57:59 PM
PS C:\Users\XXXXX> Get-Content .\Downloads\finddate.txt | Set-Content .\Downloads\anotherfile.txt
PS C:\Users\XXXXX> Get-Content .\Downloads\anotherfile.txt
Thursday, June 23, 2022 5:57:59 PM
PS C:\Users\XXXXX>

现在，根据屏幕截图检查文件时，它是utf8格式。anotherfile.txt

附言：回答评论中的外部字符问题。使用以下命令将具有外国字符的文件“testfgnchar.txt”的内容复制到“findfnchar2.txt”。

PS C:\Users\XXXXX> Get-Content .\testfgnchar.txt | Set-Content findfnchar2.txt
PS C:\Users\XXXXX>

截图在这里。

注意：目前已经有比我在回答中使用的版本更新的PowerShell存在。

将具有相同扩展名的多个文件转换为UTF-8无BOM格式：

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False)
foreach($i in ls -recurse -filter "*.java") {
    $MyFile = Get-Content $i.fullname 
    [System.IO.File]::WriteAllLines($i.fullname, $MyFile, $Utf8NoBomEncoding)
}

我使用的一种技术是使用Out-File cmdlet将输出重定向到ASCII文件。

例如，我经常运行创建另一个要在Oracle中执行的SQL脚本的SQL脚本。通过简单的重定向（">"），输出将以UTF-16格式显示，而这种格式不被SQLPlus识别。为了解决这个问题：

sqlplus -s / as sysdba "@create_sql_script.sql" |
Out-File -FilePath new_script.sql -Encoding ASCII -Force

生成的脚本可以通过另一个 SQLPlus 会话执行，而不必担心任何 Unicode 问题：

sqlplus / as sysdba "@new_script.sql" |
tee new_script.log

更新：正如其他人指出的那样，这将删除非ASCII字符。由于用户要求一种“强制”转换的方法，我假设他们不关心这一点，因为他们的数据可能不包含这样的数据。

如果您关心保留非ASCII字符，那么这不是您的答案。

使用这种方法编辑UTF8-NoBOM文件，并生成一个具有正确编码的文件。

$fileD = "file.xml"
(Get-Content $fileD) | ForEach-Object { $_ -replace 'replace text',"new text" } | out-file "file.xml" -encoding ASCII

一开始我对这种方法持怀疑态度，但它让我惊喜并且奏效了！

已在PowerShell版本5.1上进行测试。

我在PowerShell中遇到了相同的错误，使用了这个隔离方法并解决了它。

$PSDefaultParameterValues['*:Encoding'] = 'utf8'

    [System.IO.FileInfo] $file = Get-Item -Path $FilePath 
    $sequenceBOM = New-Object System.Byte[] 3 
    $reader = $file.OpenRead() 
    $bytesRead = $reader.Read($sequenceBOM, 0, 3) 
    $reader.Dispose() 
    #A UTF-8+BOM string will start with the three following bytes. Hex: 0xEF0xBB0xBF, Decimal: 239 187 191 
    if ($bytesRead -eq 3 -and $sequenceBOM[0] -eq 239 -and $sequenceBOM[1] -eq 187 -and $sequenceBOM[2] -eq 191) 
    { 
        $utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False) 
        [System.IO.File]::WriteAllLines($FilePath, (Get-Content $FilePath), $utf8NoBomEncoding) 
        Write-Host "Remove UTF-8 BOM successfully" 
    } 
    Else 
    { 
        Write-Warning "Not UTF-8 BOM file" 
    }  

源代码 如何使用PowerShell从文件中删除UTF8字节顺序标记（BOM）

如果您想使用 [System.IO.File]::WriteAllLines()，则应将第二个参数强制转换为String[]（如果$MyFile的类型是Object[]），并且还要指定绝对路径，如$ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath)，例如：

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Set-Variable MyFile
[System.IO.File]::WriteAllLines($ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath), [String[]]$MyFile, $Utf8NoBomEncoding)

如果您想使用 [System.IO.File]::WriteAllText()，有时候应该将第二个参数传输到 | Out-String | 中，以显式地在每行末尾添加 CRLFs（特别是在与 ConvertTo-Csv 一起使用时）：

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | Set-Variable tmp
[System.IO.File]::WriteAllText("/absolute/path/to/foobar.csv", $tmp, $Utf8NoBomEncoding)

或者您可以使用 [Text.Encoding]::UTF8.GetBytes() 与 Set-Content -Encoding Byte：

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | % { [Text.Encoding]::UTF8.GetBytes($_) } | Set-Content -Encoding Byte -Path "/absolute/path/to/foobar.csv"

请参见：如何将 ConvertTo-Csv 的结果写入不带 BOM 的 UTF-8 文件中

如果你的第一行没有包含任何不需要UTF8的花哨内容，以下代码将在Windows 10 Powershell上创建一个没有BOM的UTF8文件。

$file = get-content -path "C:\temp\myfile.txt" -Encoding UTF8

# do some stuff.

$file[0] | out-file "C:\temp\mynewfile.txt" -Encoding ascii
$file | select -skip 1 | out-file "C:\temp\mynewfile.txt" -append utf8

这个使用两行代码来创建新文件。第一行使用-encoding ascii来强制使用UTF8编码，但是它将被限制在7位ASCII码范围内。对于文本文件来说，这通常不是问题，否则你可能会选择字节编码。
第二个命令附加剩余的内容，但是跳过第一行，因为我们已经使用完整的UTF8支持解析了它。

可以使用以下代码获取没有BOM的UTF8

$MyFile | Out-File -Encoding ASCII

这个对我来说有效（使用“默认”而不是“UTF8”）：

$MyFile = Get-Content $MyPath
$MyFile | Out-File -Encoding "Default" $MyPath

结果是没有BOM的ASCII。