以下是我对如何通过BOM检测Unicode文本编码家族的看法。这种方法的准确性很低，因为这种方法只适用于文本文件(特别是Unicode文件)，并且在没有BOM时默认为ascii(像大多数文本编辑器一样，如果你想匹配HTTP/web生态系统，默认将是UTF8)。

2018年更新:我不再推荐这种方法。我建议使用GIT中的file.exe或@Sybren推荐的*nix工具，我将在后面的回答中展示如何通过PowerShell来实现这一点。

# from https://gist.github.com/zommarin/1480974
function Get-FileEncoding($Path) {
    $bytes = [byte[]](Get-Content $Path -Encoding byte -ReadCount 4 -TotalCount 4)

    if(!$bytes) { return 'utf8' }

    switch -regex ('{0:x2}{1:x2}{2:x2}{3:x2}' -f $bytes[0],$bytes[1],$bytes[2],$bytes[3]) {
        '^efbbbf'   { return 'utf8' }
        '^2b2f76'   { return 'utf7' }
        '^fffe'     { return 'unicode' }
        '^feff'     { return 'bigendianunicode' }
        '^0000feff' { return 'utf32' }
        default     { return 'ascii' }
    }
}

dir ~\Documents\WindowsPowershell -File | 
    select Name,@{Name='Encoding';Expression={Get-FileEncoding $_.FullName}} | 
    ft -AutoSize

建议:如果dir、ls或Get-ChildItem只检查已知的文本文件，并且只从已知的工具列表中寻找“糟糕的编码”，那么这个方法可以很好地工作。(例如SQL Management Studio默认为UTF16，这破坏了GIT auto-cr-lf for Windows，这是多年来的默认。)

您可以在文件位置上打开git bash，然后运行命令file -i file_name来检查

例子

user filesData
$ file -i data.csv
data.csv: text/csv; charset=utf-8

这里有一些可靠的ascii、bom和utf8检测的C代码:https://unicodebook.readthedocs.io/guess_encoding.html

仅ASCII, UTF-8和编码使用BOM (UTF-7与BOM, UTF-8与BOM， UTF-16和UTF-32)有可靠的算法来获取文档的编码。 对于所有其他编码，您必须信任基于统计的启发式。

编辑:

一个powershell版本的c#答案来自:找到任何文件编码的有效方法。只适用于签名(炸弹)。

# get-encoding.ps1
param([Parameter(ValueFromPipeline=$True)] $filename)    
begin {
  # set .net current directoy                                                                                                   
  [Environment]::CurrentDirectory = (pwd).path
}
process {
  $reader = [System.IO.StreamReader]::new($filename, 
    [System.Text.Encoding]::default,$true)
  $peek = $reader.Peek()
  $encoding = $reader.currentencoding
  $reader.close()
  [pscustomobject]@{Name=split-path $filename -leaf
                BodyName=$encoding.BodyName
                EncodingName=$encoding.EncodingName}
}


.\get-encoding chinese8.txt

Name         BodyName EncodingName
----         -------- ------------
chinese8.txt utf-8    Unicode (UTF-8)


get-childitem -file | .\get-encoding

类似于上面用记事本列出的解决方案，如果你正在使用Visual Studio，你也可以在Visual Studio中打开文件。在Visual Studio中，您可以选择“File > Advanced Save Options…”

“Encoding:”组合框将明确地告诉您当前文件使用的是哪种编码。它比记事本列出了更多的文本编码，所以它在处理来自世界各地的各种文件时很有用。

就像记事本一样，你也可以从选项列表中更改编码，然后在点击“确定”后保存文件。你也可以通过Save As对话框中的“Save with encoding…”选项来选择你想要的编码(通过单击Save按钮旁边的箭头)。

我发现做到这一点的唯一方法是VIM或notepad++。

EncodingChecker

文件编码检查器是一个GUI工具，允许您验证一个或多个文件的文本编码。该工具可以显示所有选定文件的编码，或者仅显示不具有指定编码的文件的编码。

文件编码检查程序需要。net 4或更高版本才能运行。