为什么你们都不用这个？

 ''.join(filter(str.isalnum, s)) 

太慢了？

对于严肃的自然语言处理（NLP），您应该让像SpaCy这样的库通过标记化处理标点符号，然后您可以根据需要手动调整。

例如，您希望如何处理单词中的连字符？例外情况，如缩写？开始和结束引号？URL？在NLP中，将“let’s”这样的收缩分隔为“let”和“s”以进行进一步处理通常很有用。

这是我写的一个函数。它不是很有效，但很简单，您可以添加或删除任何您想要的标点符号：

def stripPunc(wordList):
    """Strips punctuation from list of words"""
    puncList = [".",";",":","!","?","/","\\",",","#","@","$","&",")","(","\""]
    for punc in puncList:
        for word in wordList:
            wordList=[word.replace(punc,'') for word in wordList]
    return wordList

试试那个：）

regex.sub(r'\p{P}','', s)

在处理Unicode字符串时，我建议使用PyPi正则表达式模块，因为它同时支持Unicode属性类（如\p｛X｝/\p｛X｝）和POSIX字符类（如[：name：]）。

只需在终端中键入pipinstallregex（或pip3installregex）并按回车键即可安装软件包。

如果您需要删除任何类型的标点符号（即除字母、数字和空格之外的任何其他符号），您可以使用

regex.sub(r'[\p{P}\p{S}]', '', text)  # to remove one by one
regex.sub(r'[\p{P}\p{S}]+', '', text) # to remove all consecutive punctuation/symbols with one go
regex.sub(r'[[:punct:]]+', '', text)  # Same with a POSIX character class

在线观看Python演示：

import regex

text = 'भारत India <><>^$.,,! 002'
new_text = regex.sub(r'[\p{P}\p{S}\s]+', ' ', text).lower().strip()
# OR
# new_text = regex.sub(r'[[:punct:]\s]+', ' ', text).lower().strip()

print(new_text)
# => भारत india 002

在这里，我向字符类添加了空白模式

字符串标点符号仅为ASCII！一种更正确（但也慢得多）的方法是使用unicodedata模块：

# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with -  «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s

您还可以概括和剥离其他类型的字符：

''.join(ch for ch in s if category(ch)[0] not in 'SP')

它还将删除~*+§$等字符，这些字符可能是“标点符号”，也可能不是“标点符号。