Python3如何解决字符编码问题详解

发布时间 - 2026-01-11 00:47:01    点击率:

编码

因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295。

由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。

Python3字符编码

Python3 最重要的一项改进之一就是解决了 Python2 中字符串与字符编码遗留下来的这个大坑。

Python2 字符串设计上的一些缺陷:

  • 使用 ASCII 码作为默认编码方式,对中文处理很不友好。
  • 把字符串的牵强地分为 unicode 和 str 两种类型,误导开发者

当然这并不算 Bug,只要处理的时候多留心也可以避免这些坑。但在 Python3 两个问题都很好的解决了。

首先,Python3 把系统默认编码设置为 UTF-8

>>> import sys
>>> sys.getdefaultencoding()
'utf-8'
>>>

然后,文本字符和二进制数据区分得更清晰,分别用 str 和 bytes 表示。文本字符全部用 str 类型表示,str 能表示 Unicode 字符集中所有字符,而二进制字节数据用一种全新的数据类型,用 bytes 来表示。

str

>>> a = "a"
>>> a
'a'
>>> type(a)
<class 'str'>

>>> b = "禅"
>>> b
'禅'
>>> type(b)
<class 'str'>

bytes

Python3 中,在字符引号前加‘b',明确表示这是一个 bytes 类型的对象,实际上它就是一组二进制字节序列组成的数据,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据,但不能用中文等非ASCII字符表示。

>>> c = b'a'
>>> c
b'a'
>>> type(c)
<class 'bytes'>

>>> d = b'\xe7\xa6\x85'
>>> d
b'\xe7\xa6\x85'
>>> type(d)
<class 'bytes'>
>>>

>>> e = b'禅'
 File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

bytes 类型提供的操作和 str 一样,支持分片、索引、基本数值运算等操作。但是 str 与 bytes 类型的数据不能执行 + 操作,尽管在py2中是可行的。

>>> b"a"+b"c"
b'ac'
>>> b"a"*2
b'aa'
>>> b"abcdef\xd6"[1:]
b'bcdef\xd6'
>>> b"abcdef\xd6"[-1]
214

>>> b"a" + "b"
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
TypeError: can't concat bytes to str

python2 与 python3 字节与字符的对应关系

python2 python3 表现 转换 作用
str bytes 字节 encode 存储
unicode str 字符 decode 显示

encode 与 decode

str 与 bytes 之间的转换可以用 encode 和从decode 方法。

encode 负责字符到字节的编码转换。默认使用 UTF-8 编码准换。

>>> s = "Python之禅"
>>> s.encode()
b'Python\xe4\xb9\x8b\xe7\xa6\x85'
>>> s.encode("gbk")
b'Python\xd6\xae\xec\xf8'

decode 负责字节到字符的解码转换,通用使用 UTF-8 编码格式进行转换。

>>> b'Python\xe4\xb9\x8b\xe7\xa6\x85'.decode()
'Python之禅'
>>> b'Python\xd6\xae\xec\xf8'.decode("gbk")
'Python之禅'

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。


# python3  # 字符编码  # 编码问题  # 字符串编码  # 跟老齐学Python之坑爹的字符编码  # Python获取系统默认字符编码的方法  # Python字符编码转码之GBK  # UTF8互转  # 解决Python3中的中文字符编码的问题  # Python 内置函数进制转换的用法(十进制转二进制、八进制、十六进制)  # python读写二进制文件的方法  # 使用Python进行二进制文件读写的简单方法(推荐)  # 使用Python读取二进制文件的实例讲解  # Python二进制串转换为通用字符串的方法  # 关于Python字符编码与二进制不得不说的一些事  # 解决了  # 就必须  # 最重要  # 可以用  # 更大  # 但在  # 也可  # 这是一个  # 作为一个  # 被称为  # 一个字  # 这篇文章  # 先把  # 但不  # 设置为  # 转换为  # 很不  # 明确表示  # 英文字母  # 这并 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: 如何在万网开始建站?分步指南解析  JavaScript中的标签模板是什么_它如何扩展字符串功能  黑客入侵网站服务器的常见手法有哪些?  如何在建站宝盒中设置产品搜索功能?  nodejs redis 发布订阅机制封装实现方法及实例代码  ,怎么在广州志愿者网站注册?  javascript中的数组方法有哪些_如何利用数组方法简化数据处理  MySQL查询结果复制到新表的方法(更新、插入)  Laravel如何创建自定义中间件?(Middleware代码示例)  详解一款开源免费的.NET文档操作组件DocX(.NET组件介绍之一)  如何获取免费开源的自助建站系统源码?  如何基于云服务器快速搭建网站及云盘系统?  Python数据仓库与ETL构建实战_Airflow调度流程详解  东莞专业网站制作公司有哪些,东莞招聘网站哪个好?  Python结构化数据采集_字段抽取解析【教程】  如何在阿里云域名上完成建站全流程?  Laravel如何处理文件下载请求?(Response示例)  Laravel的.env文件有什么用_Laravel环境变量配置与管理详解  如何用AI帮你把自己的生活经历写成一个有趣的故事?  Win11怎样安装网易有道词典_Win11安装词典教程【步骤】  Laravel队列任务超时怎么办_Laravel Queue Timeout设置详解  免费网站制作appp,免费制作app哪个平台好?  Laravel如何使用Seeder填充数据_Laravel模型工厂Factory批量生成测试数据【方法】  laravel怎么在请求结束后执行任务(Terminable Middleware)_laravel Terminable Middleware请求结束任务执行方法  如何为不同团队 ID 动态生成多个“认领值班”按钮  Laravel的Blade指令怎么自定义_创建你自己的Laravel Blade Directives  如何快速搭建个人网站并优化SEO?  大连企业网站制作公司,大连2025企业社保缴费网上缴费流程?  详解Android中Activity的四大启动模式实验简述  如何在阿里云虚拟服务器快速搭建网站?  Laravel中间件起什么作用_Laravel Middleware请求生命周期与自定义详解  Chrome浏览器标签页分组怎么用_谷歌浏览器整理标签页技巧【效率】  北京网页设计制作网站有哪些,继续教育自动播放怎么设置?  Google浏览器为什么这么卡 Google浏览器提速优化设置步骤【方法】  千库网官网入口推荐 千库网设计创意平台入口  车管所网站制作流程,交警当场开简易程序处罚决定书,在交警网站查询不到怎么办?  Laravel如何记录自定义日志?(Log频道配置)  Laravel如何生成API文档?(Swagger/OpenAPI教程)  阿里云高弹*务器配置方案|支持分布式架构与多节点部署  如何做网站制作流程,*游戏网站怎么搭建?  详解阿里云nginx服务器多站点的配置  Windows10电脑怎么查看硬盘通电时间_Win10使用工具检测磁盘健康  Laravel如何设置自定义的日志文件名_Laravel根据日期或用户ID生成动态日志【技巧】  成都网站制作公司哪家好,四川省职工服务网是做什么用?  浏览器如何快速切换搜索引擎_在地址栏使用不同搜索引擎【搜索】  如何利用DOS批处理实现定时关机操作详解  Internet Explorer官网直接进入 IE浏览器在线体验版网址  如何在HTML表单中获取用户输入并用JavaScript动态控制复利计算循环  网站建设整体流程解析,建站其实很容易!  Laravel怎么实现支付功能_Laravel集成支付宝微信支付