Python Ast介绍及应用 - 博客园

Ast是python源码到字节码的一种中间产物，借助ast模块可以从语法树的角度分析源码结构。

此外，我们不仅可以修改和执行语法树，还可以将Source生成的语法树 ... 首页 新闻 博问 专区 闪存 班级 我的博客 我的园子 账号设置 简洁模式... 退出登录 注册 登录 alpha_panda 简单精致，吾之所向！深入专注，吾之所行！ PythonAst介绍及应用 AbstractSyntaxTrees即抽象语法树。

Ast是python源码到字节码的一种中间产物，借助ast模块可以从语法树的角度分析源码结构。

此外，我们不仅可以修改和执行语法树，还可以将Source生成的语法树unparse成python源码。

因此ast给python源码检查、语法分析、修改代码以及代码调试等留下了足够的发挥空间。

1.AST简介  Python官方提供的CPython解释器对python源码的处理过程如下： Parsesourcecodeintoaparsetree(Parser/pgen.c) TransformparsetreeintoanAbstractSyntaxTree(Python/ast.c) TransformASTintoaControlFlowGraph(Python/compile.c) EmitbytecodebasedontheControlFlowGraph(Python/compile.c) 即实际python代码的处理过程如下： 源代码解析-->语法树-->抽象语法树(AST)--> 控制流程图-->字节码 上述过程在python2.5之后被应用。

python源码首先被解析成语法树，随后又转换成抽象语法树。

在抽象语法树中我们可以看到源码文件中的python的语法结构。

大部分时间编程可能都不需要用到抽象语法树，但是在特定的条件和需求的情况下，AST又有其特殊的方便性。

下面是一个抽象语法的简单实例。

Module(body=[ Print( dest=None, values=[BinOp(left=Num(n=1),op=Add(),right=Num(n=2))], nl=True, )]) 2.创建AST 2.1Compile函数 先简单了解一下compile函数。

compile(source,filename,mode[,flags[,dont_inherit]])  source--字符串或者AST（AbstractSyntaxTrees）对象。

一般可将整个py文件内容file.read()传入。

filename--代码文件名称，如果不是从文件读取代码则传递一些可辨认的值。

mode--指定编译代码的种类。

可以指定为exec,eval,single。

flags--变量作用域，局部命名空间，如果被提供，可以是任何映射对象。

flags和dont_inherit是用来控制编译源码时的标志。

func_def=\ """ defadd(x,y): returnx+y printadd(3,5) """ 使用Compile编译并执行： >>>cm=compile(func_def,'','exec') >>>execcm>>>8 上面func_def经过compile编译得到字节码，cm即code对象，True==isinstance(cm,types.CodeType)。

compile(source,filename,mode,ast.PyCF_ONLY_AST) <==> ast.parse(source,filename='',mode='exec') 2.2生成ast 使用上面的func_def生成ast. r_node=ast.parse(func_def) printastunparse.dump(r_node)#printast.dump(r_node)  下面是func_def对应的ast结构： Module(body=[ FunctionDef( name='add', args=arguments( args=[Name(id='x',ctx=Param()),Name(id='y',ctx=Param())], vararg=None, kwarg=None, defaults=[]), body=[Return(value=BinOp( left=Name(id='x',ctx=Load()), op=Add(), right=Name(id='y',ctx=Load())))], decorator_list=[]), Print( dest=None, values=[Call( func=Name(id='add',ctx=Load()), args=[Num(n=3),Num(n=5)], keywords=[], starargs=None, kwargs=None)], nl=True) ])  除了ast.dump，有很多dumpast的第三方库，如astunparse,codegen,unparse等。

这些第三方库不仅能够以更好的方式展示出ast结构，还能够将ast反向导出pythonsource代码。

modulePythonversion"$Revision$" { mod=Module(stmt*body)|Expression(exprbody) stmt=FunctionDef(identifiername,argumentsargs,stmt*body,expr*decorator_list) |ClassDef(identifiername,expr*bases,stmt*body,expr*decorator_list) |Return(expr?value) |Print(expr?dest,expr*values,boolnl)|For(exprtarget,expriter,stmt*body,stmt*orelse) expr=BoolOp(boolopop,expr*values) |BinOp(exprleft,operatorop,exprright)|Lambda(argumentsargs,exprbody)|Dict(expr*keys,expr*values)|Num(objectn)--anumberasaPyObject. |Str(strings)--needtospecifyraw,unicode,etc?|Name(identifierid,expr_contextctx) |List(expr*elts,expr_contextctx) --col_offsetisthebyteoffsetintheutf8stringtheparseruses attributes(intlineno,intcol_offset) expr_context=Load|Store|Del|AugLoad|AugStore|Param boolop=And|Or operator=Add|Sub|Mult|Div|Mod|Pow|LShift|RShift|BitOr|BitXor|BitAnd|FloorDiv arguments=(expr*args,identifier?vararg,identifier?kwarg,expr*defaults) } ViewCode   上面是部分摘自官网的 AbstractGrammar，实际遍历astNode过程中根据Node的类型访问其属性。

 3.遍历AST python提供了两种方式来遍历整个抽象语法树。

3.1ast.NodeTransfer 将func_def中的add函数中的加法运算改为减法，同时为函数实现添加调用日志。

1classCodeVisitor(ast.NodeVisitor): 2defvisit_BinOp(self,node): 3ifisinstance(node.op,ast.Add): 4node.op=ast.Sub() 5self.generic_visit(node) 6 7defvisit_FunctionDef(self,node): 8print'FunctionName:%s'%node.name 9self.generic_visit(node) 10func_log_stmt=ast.Print( 11dest=None, 12values=[ast.Str(s='callingfunc:%s'%node.name,lineno=0,col_offset=0)], 13nl=True, 14lineno=0, 15col_offset=0, 16) 17node.body.insert(0,func_log_stmt) 18 19r_node=ast.parse(func_def) 20visitor=CodeVisitor() 21visitor.visit(r_node) 22#printastunparse.dump(r_node) 23printastunparse.unparse(r_node) 24execcompile(r_node,'','exec')  运行结果： FunctionName:add defadd(x,y): print'callingfunc:add' return(x-y) printadd(3,5) callingfunc:add -2  3.2ast.NodeTransformer 使用NodeVisitor主要是通过修改语法树上节点的方式改变AST结构，NodeTransformer主要是替换ast中的节点。

既然func_def中定义的add已经被改成一个减函数了，那么我们就彻底一点，把函数名和参数以及被调用的函数都在ast中改掉，并且将添加的函数调用log写的更加复杂一些，争取改的面目全非：-） 1classCodeTransformer(ast.NodeTransformer): 2defvisit_BinOp(self,node): 3ifisinstance(node.op,ast.Add): 4node.op=ast.Sub() 5self.generic_visit(node) 6returnnode 7 8defvisit_FunctionDef(self,node): 9self.generic_visit(node) 10ifnode.name=='add': 11node.name='sub' 12args_num=len(node.args.args) 13args=tuple([arg.idforarginnode.args.args]) 14func_log_stmt=''.join(["print'callingfunc:%s',"%node.name,"'args:'",",%s"*args_num%args]) 15node.body.insert(0,ast.parse(func_log_stmt)) 16returnnode 17 18defvisit_Name(self,node): 19replace={'add':'sub','x':'a','y':'b'} 20re_id=replace.get(node.id,None) 21node.id=re_idornode.id22self.generic_visit(node) 23returnnode 24 25r_node=ast.parse(func_def) 26transformer=CodeTransformer() 27r_node=transformer.visit(r_node) 28#printastunparse.dump(r_node) 29source=astunparse.unparse(r_node) 30printsource 31#execcompile(r_node,'','exec')#新加入的nodefunc_log_stmt缺少lineno和col_offset属性 32execcompile(source,'','exec') 33execcompile(ast.parse(source),'','exec') 结果： defsub(a,b): print'callingfunc:sub','args:',a,b return(a-b) printsub(3,5) callingfunc:subargs:35 -2 callingfunc:subargs:35 -2  代码中能够清楚的看到两者的区别。

这里不再赘述。

 4.AST应用 AST模块实际编程中很少用到，但是作为一种源代码辅助检查手段是非常有意义的；语法检查，调试错误，特殊字段检测等。

上面通过为函数添加调用日志的信息是一种调试python源代码的一种方式，不过实际中我们是通过parse整个python文件的方式遍历修改源码。

4.1汉字检测 下面是中日韩字符的unicode编码范围 CJKUnifiedIdeographs  Range: 4E00— 9FFF Numberofcharacters: 20992 Languages: chinese,japanese,korean,vietnamese 使用unicode范围 \u4e00-\u9fff 来判别汉字，注意这个范围并不包含中文字符(e.g. u'；'== u'\uff1b') . 下面是一个判断字符串中是否包含中文字符的一个类CNCheckHelper： 1classCNCheckHelper(object): 2#待检测文本可能的编码方式列表 3VALID_ENCODING=('utf-8','gbk') 4 5def_get_unicode_imp(self,value,idx=0): 6ifidx