Ⅰ python pandas 过滤某列特殊字符求助
改成r="\W"试试
Ⅱ Python判断字符串中是否有中文字符
首先，在Python中字符串的表示是 用unicode编码。所以在做编码转换时，通常要以unicode作为中间编码。
decode的作用是将其他编码的字符串转换成unicode编码，比如 a.decode('utf-8')，表示将utf-8编码的字符串转换成unicode编码
encode的作用是将unicode编码的字符串转换成其他编码格式的字符串，比如b.encode('utf-8')，表示将unicode编码格式转换成utf-8编码格式的字符串
判断一个字符串中是否含有中文字符：
好了，有了以上知识，就可以很容易的解决这个问题了。这是代码
1 #-*- coding:utf-8 -*-
2
3 import sys
4 reload(sys)
5 sys.setdefaultencoding('utf8')
6
7 def check_contain_chinese(check_str):
8 for ch in check_str.decode('utf-8'):
9 if u'\u4e00' <= ch <= u'\u9fff':
10 return True
11 return False
12
13 if __name__ == "__main__":
14 print check_contain_chinese('中国')
15 print check_contain_chinese('xxx')
16 print check_contain_chinese('xx中国')
17
18 结果：
19 True
20 False
21 True
Ⅲ Python 3.5 如何对中文字符串进行处理
在Python的string前面加上‘r’， 是为了告诉编译器这个string是个raw string，不要转意backslash '\' 。 例如，\n 在raw string中，是两个字符，\和n， 而不会专转意为换行符。由于正则表达式和 \ 会有冲突，因此，当一个字符串使用了正则表达式后，最好在前面加上'r'。
在[]中
-长用来指定一个字符集，在属这个字符集中的一个可以拿来匹配：[abc] [a-z]
-元字符在在字符集中不起作用
-在[]内用^表示补集，用来匹配不在区间范围内的字符
s=r'aba' 匹配abc
s=r't[io]p' 匹配tip或者top
s=r't[a-z0-9A-Z]'匹配t+0-9或者a-z或者A-Z
[abc]表示“a”或“b”或“c”
[0-9]表示0~9中任意一个数字，等价于[0123456789]
[\u4e00-\u9fa5]表示任意一个汉字
[^a1<]表示除“a”、“1”、“<”外的其它任意一个字符
[^a-z]表示除小写字母外的任意一个字符
Ⅳ 如何用python对文章中文分词并统计词频
1、全局变量在函数中使用时需要加入global声明
2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。
3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组
4、KEY，Value值可以使用dict存储，排序后可以使用list存储
5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词
6、命令行使用需要导入os,os.system(cmd)
Ⅳ Python：如何过滤特殊字符和乱码的字符
如果是从Html文本弄来的，那直接download Html的源代码，然后直接替换其中的<div class="">这里是随机字符串</div>
Python里面使用xml.minidom就OK
Ⅵ python3怎样过滤字符串中的表情
importre
emoji_pattern=re.compile(
u"(ud83d[ude00-ude4f])|"#emoticons
u"(ud83c[udf00-uffff])|"#symbols&pictographs(1of2)
u"(ud83d[u0000-uddff])|"#symbols&pictographs(2of2)
u"(ud83d[ude80-udeff])|"#transport&mapsymbols
u"(ud83c[udde0-uddff])"#flags(iOS)
"+",flags=re.UNICODE)defremove_emoji(text):
returnemoji_pattern.sub(r'',text)
来自：http://blog.csdn.net/orangleliu/article/details/67632628?utm_source=gold_browser_extension
上面那个有时不好用，
try:
#pythonUCS-4build的处理方式
highpoints=re.compile(u'[U00010000-U0010ffff]')
exceptre.error:
#pythonUCS-2build的处理方式
highpoints=re.compile(u'[uD800-uDBFF][uDC00-uDFFF]')
resovle_value=highpoints.sub(u'??',src_string)
尝试一下这个。
Ⅶ Python3.6.3 中BeautifSoup过滤标签中的文本
直接span.string就可以取出代码里的字符串，包括中文
你在for循环那里，最后两行去掉，用print(six.string)代替就行
Ⅷ Python 正则表达式 支持批量语料过滤中文字符之间的空格
|^
#encoding:UTF-8
importre
importsys
reload(sys)
sys.setdefaultencoding('utf-8')
source="你好啊hellohi"
usample=unicode(source,'utf8')
xx=u"((?<=[u4e00-u9fa5])s+(?=[u4e00-u9fa5])|回^答s+|s+$)"
temp=re.sub(xx,'',usample);
printtemp;
Ⅸ 如何使用python删除中文字符串中不连续的空白字符
#用正则
importre
str1='helloworld '
str2=re.sub(r's','',str1)
#正则's'表示空白字符,包括空版格、 等权..
printstr2#输出helloworld
Ⅹ Python中中文字符串怎么处理
如果处理的字符串中出现中文表示的字符，要想不出错，就得转成unicode编码了。具体的方法有：
1、decode()，将其他边编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码；
2、encode()，将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码；
3、unicode()，同decode()，将其他编码的字符串转换成unicode编码，如unicode(str3, 'gb2312')，表示将gb2312编码的字符串str3转换成unicode编码。
转码的时候一定要先搞明白字符串str是什么编码，然后decode成unicode，最后再encode成其他编码。
另外，对一个unicode编码的字符串在进行解码会出错，所以在编码未知的情况下要先判断其编码方式是否为unicode，可以用isinstance(str, unicode)。
不仅是中文，以后处理含非ascii编码的字符串时，都可以遵循以下步骤：
1、确定源字符的编码格式，假设是utf8；
2、使用unicode()或decode()转换成unicode编码，如str1.decode('utf8')，或者unicode(str1, 'utf8');
3、把处理后字符串用encode()编码成指定格式。