python代码是如何执行的？
技术分享
3年前 (2022-07-29)
0
999+
解释运行程序 🥊
回忆上次内容
-
py 文件的程序是按照顺序
- 一行行挨排解释执行的
- 我们可以
python3 -m pdb hello.py 来对程序调试
- 调试的目的是去除
bug
- 别害怕
bug
bug 会有提示- 我们也就知道如何
debug 调试
-
顺序执行
- 程序在文本中从上到下是一行行写的
- 调试的时候也是从头到尾一行行执行的
- 但是执行的时候是如何把代码一行行解释执行的呢？
-
说到底 python3 到底是个啥呢？🤔
python3 又是怎么解释 hello.py 的？- 这两这节课相当复杂
- 如果感觉太过复杂
- 可以直接跳过
- 不影响后面的理解 😄
- 我们先要看看python3对Guido.py做了些什么？？？
tokenize
- 首先把字符分组成词
- 词法分析(lexical analysis)中
- 词法分析之后输出的是一个token流
-
什么是token流呢？
token
-
古人说听我号令
- 怎么把源文件变成一个token流呢？
python3模块
正在上传…重新上传取消
token流
-
我们尝试运行
- python3 -m tokenize guido.py
- 对guido.py进行词法分析
- 分析出来的词(token)流长什么样子呢？
token流
- 第0行设置了编码格式
-
第1行[0,5)字符是第1行第1个token
-
第1行[5,6)字符是第1行第2个token
-
第1行[6,30)字符是第1行第3个token
- "1982------Guido in cwi"
- 这是一个String(字符串)
-
第1行[30,31)字符是第1行第4个token
-
第1行[31,32)字符是第1行第5个token
- n
- n是一个NewLine(换行符)
- 换行符意味着第一行结束
- 第2行...
组词
-
词分析出来就是怎么组词的问题
-
生成一棵抽象语法树
- AST(Abstract Syntax Tree)
引入ast模块
流程
- 先把这个ast模块导入(import)进来
- 然后读取guido.py并送到s
- 然后对于s进行语法分析(parse)
缩进换行
- 目前lanqiao.cn上面的python是3.8
- 这个换行需要在3.9以上完成
- 只能在本地演示一下
缩进演示
- 这个就是把词组成语法树的样子
- 但是语法树还不能直接执行
- 什么才能直接执行呢？
翻译成字节码
- 字节码(指令)才能真正执行
- 怎么把ast转化为字节码(指令)呢？
- 需要编译
-
从一种语言到另一种语言
compile
- 这个东西完全是乱码
- 我看不懂啊？
- vi打开这个这个pyc文件
二进制形态
二进制
- 实在是看不懂啊
- 能把这个字节码(指令)变成我们人能看懂的么？
反编译
-
disassembler这个词由两部分组成
- dis (反着来的)
- assembler (汇编语言)
-
整体就是
- 把py源文件编译成的字节码(指令)
- 反编译(disassembler)成这些字节码对应的助记符(指令的含义)
反编译(dis)
-
我们可以看见
- 前面是行号
-
每行对应4条指令
- LOAD_NAME 装载函数名
- LOAD_CONST 装载参数
- CALL_FUNCTION 调用函数
- POP_TOP 弹栈返回
- 每条指令对应一个字节码
- 那具体这个LOAD_NAME是什么意思呢？
指令
- 但是LOAD_NAME这条指令
- 具体对应什么二进制字节状态呢？
二进制状态
4条指令
| 指令助记符 |
指令含义 |
十进制状态 |
十六进制状态 |
| LOAD_NAME |
装载函数名称 |
101 |
0x65 |
| LOAD_CONST |
装载参数 |
100 |
0x64 |
| CALL_FUNCTION |
调用函数 |
142 |
0x8e |
| POP_TOP |
弹栈返回 |
1 |
0x01 |
- 好像找到了
- 但是0x83 对应的是 GET_AWAITABLE
- 显然00 83是从表中的0号位置取得字符串变量
- 01 83是从表中的1号位置取字符串
- 以此类推，直到05 83
-
那这些代码究竟是什么指令集的呢？
虚拟机的虚拟cpu
- 这些字节码(bytecode)对应的是python虚拟机上面虚拟cpu的指令集
- 怎么还有虚拟机
- 虚拟cpu呢？
- 我们先把这节课总结一下
总结
-
我们把python源文件
- 词法分析 得到 词流(token stream)
- 语法分析 得到 抽象语法树(Abstract Syntax Tree)
- 编译 得到 字节码 (bytecode)
- 反编译 得到 指令文件
- 不过这个指令文件是基于虚拟机的虚拟cpu的指令集
- 怎么这么虚呢？🤔
- 我们下次再说👋
本文章来自于《oeasy教您玩转python》(https://www.lanqiao.cn/courses/3584)中第6个实验。
