视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
在Python中使用base模块处理字符编码的教程
2020-11-27 14:41:49 责编:小采
文档
 Base是一种用个字符来表示任意二进制数据的方法。

用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,所以,如果要让记事本这样的文本处理软件能处理二进制数据,就需要一个二进制到字符串的转换方法。Base是一种最常见的二进制编码方法。

Base的原理很简单,首先,准备一个包含个字符的数组:

['A', 'B', 'C', ... 'a', 'b', 'c', ... '0', '1', ... '+', '/']

然后,对二进制数据进行处理,每3个字节一组,一共是3x8=24bit,划为4组,每组正好6个bit:

这样我们得到4个数字作为索引,然后查表,获得相应的4个字符,就是编码后的字符串。

所以,Base编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后的文本数据可以在邮件正文、网页等直接显示。

如果要编码的二进制数据不是3的倍数,最后会剩下1个或2个字节怎么办?Base用x00字节在末尾补足后,再在编码的末尾加上1个或2个=号,表示补了多少字节,解码的时候,会自动去掉。

Python内置的base可以直接进行base的编解码:

>>> import base
>>> base.bencode('binaryx00string')
'YmluYXJ5AHN0cmluZw=='
>>> base.bdecode('YmluYXJ5AHN0cmluZw==')
'binaryx00string'

由于标准的Base编码后可能出现字符+和/,在URL中就不能直接作为参数,所以又有一种"url safe"的base编码,其实就是把字符+和/分别变成-和_:

>>> base.bencode('ixb7x1dxfbxefxff')
'abcd++//'
>>> base.urlsafe_bencode('ixb7x1dxfbxefxff')
'abcd--__'
>>> base.urlsafe_bdecode('abcd--__')
'ixb7x1dxfbxefxff'

还可以自己定义个字符的排列顺序,这样就可以自定义Base编码,不过,通常情况下完全没有必要。

Base是一种通过查表的编码方法,不能用于加密,即使使用自定义的编码表也不行。

Base适用于小段内容的编码,比如数字证书签名、Cookie的内容等。

由于=字符也可能出现在Base编码中,但=用在URL、Cookie里面会造成歧义,所以,很多Base编码后会把=去掉:

# 标准Base:
'abcd' -> 'YWJjZA=='
# 自动去掉=:
'abcd' -> 'YWJjZA'

去掉=后怎么解码呢?因为Base是把3个字节变为4个字节,所以,Base编码的长度永远是4的倍数,因此,需要加上=把Base字符串的长度变为4的倍数,就可以正常解码了。

请写一个能处理去掉=的base解码函数:

>>> base.bdecode('YWJjZA==')
'abcd'
>>> base.bdecode('YWJjZA')
Traceback (most recent call last):
 ...
TypeError: Incorrect padding
>>> safe_bdecode('YWJjZA')
'abcd'

小结

Base是一种任意二进制到文本字符串的编码方法,常用于在URL、Cookie、网页中传输少量二进制数据。

下载本文
显示全文
专题