如果您希望获得类似Elasticsearch的ascii折叠过滤器的功能，您可能需要考虑fold-to-ascii，这是[本身]…

Apache Lucene ASCII折叠过滤器的Python端口，它将字母、数字和符号Unicode字符转换为不属于前127个ASCII字符的字符(“基本拉丁”Unicode块)，如果它们存在的话。

下面是上面提到的一个例子:

from fold_to_ascii import fold
s = u'Astroturf® paté'
fold(s)
> u'Astroturf pate'
fold(s, u'?')
> u'Astroturf? pate'

编辑:fold_to_ascii模块似乎可以很好地规范化基于拉丁的字母;然而，不可映射的字符将被删除，这意味着该模块将减少中文文本，例如，空字符串。如果您想保留中文、日语和其他Unicode字母，可以考虑使用上面@mo-han的remove_accent_chars_regex实现。

我刚刚在网上找到了这个答案:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

它工作得很好(例如，对于法语)，但我认为第二步(删除重音)可能比删除非ascii字符处理得更好，因为这对于某些语言(例如，希腊语)会失败。最好的解决方案可能是显式地删除标记为变音符的unicode字符。

编辑:这招管用:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

如果字符c可以与前面的字符组合，主要是如果它是一个变音符，则unicodedata. combined (c)将返回true。

编辑2:remove_accent需要unicode字符串，而不是字节字符串。如果你有一个字节字符串，那么你必须像这样解码成一个unicode字符串:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Gensim .utils.deaccent(text)来自Gensim -人类主题建模:

'Sef chomutovskych komunistu dostal postou bily prasek'

另一种解决方案是unicode。

请注意，建议的unicodedata解决方案通常只删除某些字符中的重音(例如，它将“ova”变成了“”，而不是“l”)。

这个怎么样:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

这也适用于希腊字母:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

字符类别“Mn”代表Nonspacing_Mark，它类似于MiniQuark回答中的unicodedata. combined(我没有想到unicodedata. combined，但它可能是更好的解决方案，因为它更显式)。

请记住，这些操作可能会极大地改变文本的含义。重音、变音等都不是“装饰”。

如果您希望获得类似Elasticsearch的ascii折叠过滤器的功能，您可能需要考虑fold-to-ascii，这是[本身]…

Apache Lucene ASCII折叠过滤器的Python端口，它将字母、数字和符号Unicode字符转换为不属于前127个ASCII字符的字符(“基本拉丁”Unicode块)，如果它们存在的话。

下面是上面提到的一个例子:

from fold_to_ascii import fold
s = u'Astroturf® paté'
fold(s)
> u'Astroturf pate'
fold(s, u'?')
> u'Astroturf? pate'

编辑:fold_to_ascii模块似乎可以很好地规范化基于拉丁的字母;然而，不可映射的字符将被删除，这意味着该模块将减少中文文本，例如，空字符串。如果您想保留中文、日语和其他Unicode字母，可以考虑使用上面@mo-han的remove_accent_chars_regex实现。

unidcode是正确的答案。它将任何unicode字符串音译为最接近的ascii文本表示形式。

例子:

>>> from unidecode import unidecode
>>> unidecode('kožušček')
'kozuscek'
>>> unidecode('北亰')
'Bei Jing '
>>> unidecode('François')
'Francois'