Python学习札记(五) Basic2 字符串和编码

参考:字符串和编码

Note

A.字符编码

1.计算机处理文本 == 将文本转换为二进制 => 处理

2.8 bit(比特) = 1 byte(字节)

一个字节所能表示的最大的十进制整数是255,也就是二进制的11111111;两个字节 => 65535;四个字节 => 4294967295。

3.编码标准

美国的编码表 => ASCII编码表;中国的编码表(用两个字节表示汉字) => GB2312。

问题:各国有各国的编码,有如此多的编码,就会出现冲突,在多语言混合的文本中,会显示乱码。

解决方法:诞生Unicode。

Unicode vs ASCII:a.Unicode使用两个字节,ASCII使用一个字节。b.ASCII转Unicode,在前面补0.

eg.字符A:ASCII编码 => 01000001;Unicode编码:00000000 01000001。

Unicode的问题:

如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。

解决方法:使用“可变长编码”UTF-8编码。

UTF-8:根据字符大小编码成1~6个字节 => 英文字母1个;中文3个。

eg.

字符	ASCII	    Unicode	        UTF-8
A 01000001 00000000 01000001 01000001
中 x 01001110 00101101 11100100 10111000 10101101

UTF-8编码的好处:遗留的使用ASCII编码的软件可以在UTF-8下继续工作。

4.计算机系统的字符编码工作:

在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。

内存 => Unicode; 传输 => UTF-8

Python学习札记(五) Basic2 字符串和编码

Python学习札记(五) Basic2 字符串和编码

B.Python的字符串

1.在Python3版本中,使用的是Unicode编码,也就是说它支持多语言。

>>> print('你好')
你好

2.对于单个字符,Python提供了两个函数:a.ord()函数,得到字符的整数表示;b.chr()函数,把编码转换为对应的字符。

ord():

>>> ord('我')
25105
>>> ord('a')
97

chr():

>>> chr(29233)
'爱'
>>> chr(97)
'a'

3.Python的字符串类型是str => 内存中使用Unicode表示 => 一个字符对应多个字节;如果要传输 => 字符以字节byte为单位 => 一个字符对应一个字节。

x = b'ABC'

注意区分'ABC'和b'ABC':'ABC'是str,使用的是Unicode编码;而b'ABC'进行了转换,一个字符对应一个字节(如果字符对应有多个字节,则不能使用ASCII编码,见下一点)。

其实意思就是,对文本进行编码,编码前的字符串是'str',编码后的字符串则是b'str',以字节封装。

4.用Unicode表示的str通过encode()方法可以编码为指定的bytes,编码方式不含Unicode:

>>> 'ABC'.encode('ascii')
b'ABC'
>>> 'ABC'.encode('utf-8')
b'ABC'
>>> '我爱你'.encode('utf-8')
b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'
>>> '我爱你'.encode('ascii')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

可以看到,中文是不能用ASCII编码方法进行编码的。

>>> x = b'我爱你'
File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

可以看到,使用语句x = b'[str]',默认将[str]转换为ASCII编码的字符串,再赋值给x。

5.有编码,也就有解码,Python提供decode()方法将编码(以byte为单位)转换为Unicode字符串(以bit为单位):

>>> b'ABC'.decode('ascii')
'ABC'
>>> b'我爱你'.decode('ascii')
File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>> b'iloveyou'.decode('ascii')
'iloveyou'
>>> '我爱你'.encode('utf-8')
b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'
>>> b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode()
'我爱你'

6.Python提供了计算字符串str长度的函数len(),当是bstr时,计算的就是字节数。

>>> len('ABC')
3
>>> len(b'ABC')
3
>>> len('我爱你')
3
>>> len(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode('utf-8')) //对bytes字符串进行解码
3
>>> len('我爱你'.encode('utf-8')) //对字符串“我爱你”进行编码、编码方式utf-8.
9
>>> len(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0')
9

可见,1个中文字符经过UTF-8编码后通常会占用3个字节,而1个英文字符只占用1个字节。

总结:为了避免乱码问题,应当始终坚持使用UTF-8编码对str和bytes进行转换。

Hint:

在Python脚本的前面,一般加上这两句话:

#!/usr/bin/env python3    //使计算机识别出这是一个Python的可执行文件
# -*- coding: utf-8 -*- //告诉Python解释器,按照UTF-8编码读取源代码

同时也要确保你的文本编辑器使用UTF-8编码方式。

格式化

Python使用%来格式化字符串,这一点和C语言一致。

常见的占位符有:

%d	整数
%f 浮点数
%s 字符串
%x 十六进制整数

eg.

#!/usr/bin/env python3

print('Hi, My name is %s' % 'Chen')		# Hint: no ","

print('Ethernet Type: %x, My QQ number: %s' % (0x0800, '952693358'))

print('My Student Number: %d' % 15)
sh-3.2# ./basic1.py
Hi, My name is %s Chen
Ethernet Type: %x, My QQ number: %s (2048, '952693358')
My Student Number: %d 15
sh-3.2# ./basic1.py
Hi, My name is Chen
Ethernet Type: 800, My QQ number: 952693358
My Student Number: 15

注意点:a.在%号前面没有“,”! b.如果字符串中出现%,使用两个%进行转移,即“%%”。

小数点后两位:

print('%.2f' % 3.1415926535)

确定位数,不足补0或空格:

print('%02d' % 1)

输出:
>>> 01 print('2d' % 1) 输出:
>>> [空格]1

作业

小明的成绩从去年的72分提升到了今年的85分,请计算小明成绩提升的百分点,并用字符串格式化显示出'xx.x%',只保留小数点后1位:

#!/usr/bin/env python3

s1 = 72
s2 = 85 r = s2 print('%.1f%%' % r)

2017/1/23

上一篇:UML类图的6中关系


下一篇:简单的jvm优化的尝试