Python的开发必备:如何建立一个优秀的项目工程环境

系统 1449 0

在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。

本文以Python的为例,教大家如何快速打造优秀的Python的项目开发环境:内容涵盖了模块依赖管理,代码风格管理,调试测试管理和Git版本管理,使用git hook做项目规范检查等。

Python的开发必备:如何建立一个优秀的项目工程环境_第1张图片

Python的开发必备:如何建立一个优秀的项目工程环境_第2张图片

pipx

Python的开发必备:如何建立一个优秀的项目工程环境_第3张图片

Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在Linux,Mac OS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本:

            
              
                python3 -m pip  
                
                  
                    install 
                  
                
                 
                
                  --user pipx 
                
                
python3 -m pipx ensurepath 

              
            
          

升级Pipx使用:

            
              
                
                  
                    python3
                  
                
                  -m pip install -U pipx 

              
            
          

包依赖管理pipenv

Python的开发必备:如何建立一个优秀的项目工程环境_第4张图片

Pipenv会自动为你的项目创建和管理虚拟环境,以pipfile文件方式方式管理项目的依赖包,支持包的安装和卸载。和requirements.txt不同,pipfile是TOML格式,支持开发环境与正式环境,还可以使用Pipfile.lock锁定环境版本.pipxenv的安装可以使用pipx:

            
              
                
                  
                    pipx
                  
                
                  安装pipenv 

              
            
          

有些发行版也是可以直接通过其包管理器安装的:

比如MacOS的可以下可以使用:

            
              
                
                  
                    brew
                  
                
                  安装pipenv 

              
            
          

一个pipfile的示例如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第5张图片

Pipfile.lock的示例部分如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第6张图片

代码风格

代码格式化黑色

Python的开发必备:如何建立一个优秀的项目工程环境_第7张图片

代码格式的统一不光可以给我们一个惬意的代码格式,而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。

黑就是用来格式化的Python代码的程序。它可以自动帮我们对代码格式进行调整和统一,提高代码效率和可读性。而且通过黑色减小代码风格的差异,可以极大提高团队进行代码审查的效率。

一个黑色格式化示例如下:

原始代码:

            
              
                
                  
                    def 
                  
                
                 
                
                  
                    very_important_function 
                  
                
                (template:str,* variables,file:os.PathLike,engine:str,header:bool = True,debug:bool = False): 

                
                  “”将`variables`应用于`template`并写入`file ` “”” 
                
                 

                
                  
                
                  打开(文件, 
                
                   'W' 
                
                ) 
                
                  
                
                  F: 
... 

              
            
          

格式化后的代码:

Python的开发必备:如何建立一个优秀的项目工程环境_第8张图片

            
              
                
                  
                    def 
                  
                
                 
                
                  
                    very_important_function 
                  
                
                ( 
模板:str, 
*变量, 
file:os.PathLike, 
引擎:str, 
header:bool = True, 
debug:bool = False, 
): 

                
                  “” “适用`variables`到`template`并写入`file`。” “” 
                
                 

                
                  
                
                  打开(文件, 
                
                   “W” 
                
                ) 
                
                  
                
                  F: 
... 

              
            
          

isort美化进口部分代码

Python的开发必备:如何建立一个优秀的项目工程环境_第9张图片

Python开发中经常需要导入第三方的模块,往往这部分代码混乱不堪,使用isort可以则可以美化这部分的代码.isort可以按字母表顺序对import进行排序,自动分成多个部分。

我们可以使用pipenv安装black和isort:

            
              
                
                  
                    pipenv
                  
                
                  安装黑色isort -dev 

              
            
          

isort的效果示例,可以看下面的动图:

Python的开发必备:如何建立一个优秀的项目工程环境_第10张图片

黑色和isort同时使用时,两者默认配置不兼容,我们需要覆盖isort配置,优先以黑色的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。

            
              
                
                  
                    [isort] 
                  
                
                 
multi_line_output = 
                
                  3 
                
                 
include_trailing_comma = 
                
                  True 
                
                 
force_grid_wrap = 
                
                  0 
                
                 
use_parentheses = 
                
                  True 
                
                 
line_length = 
                
                  88
                
                 

              
            
          

flake8代码风格检测

Flake8可以用来确保代码遵循PEP8中定义的标准的Python编程约定,是Python的官方辅助代码风格检测工具,lake8检查规则灵活,支持集成额外插件(比如VIM,升华,PyCharm,VSC等都有其相关插件) ,扩展性强。

其安装也可以使用pipenv:

            
              
                
                  
                    pipenv
                  
                
                  安装flake8 -dev 

              
            
          

flake8的使用示例如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第11张图片

flake8 example.py的检查结果:

flake8默认会忽略一些约定(E,F),如果我们检查所有约定:

flake8 - 选择E,F example.py,结果:

和isort一样,为了配合兼容黑色,需要在setup.cfg中额外配置:

            
              
                
                  
                    [flake8] 
                  
                
                 
ignore  = E203,E266,E501,W503 
 max-line-length  =  
                
                  88 
                
                 
max-complexity  =  
                
                  18 
                
                 
select  = B,C,E,F,W,T4 

              
            
          

mypy静态类型

Python的开发必备:如何建立一个优秀的项目工程环境_第12张图片

Mypy是Python中的可选静态类型检查器,可以用结合动态(或 “鸭子”)类型和静态类型优点其他代码的性能。通过Mypy将Python中的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合,并且生成原生代码,支持通过Python VM运行,可以没有运行时开销的高性能运行。在Python中使用静态类型好处有:

可以使程序更易于理解和维护;

可以帮助编译时调试和发现错误,减少测试和调试。

可以在代码部署到生产环境之前就可以找到难以捕捉的错误。

可以使用pipenv直接安装Mypy:

            
              
                
                  
                    pipenv
                  
                
                  安装mypy -dev 

              
            
          

mypy动态类型和静态类型一个示例如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第13张图片

项目配置

默认情况下,Mypy会递归检查所有类型注释的导入,这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行,并忽略没有类型注释的导入模块。这也可以在设置。 CFG中设置:

            
              
                
                  
                    [mypy] 
                  
                
                 
files =项目,test 
 ignore_missing_imports = 
                
                  true
                
                 

              
            
          

代码测试

程序开发中,除了写代码外,另外一个重要的部分是单元测试.Python测试方面我们要介绍的工具有pytest。

Python的开发必备:如何建立一个优秀的项目工程环境_第14张图片

可以使用pipenv添加测试工具包及扩展:

            
              
                pipenv  
                
                  
                    安装
                  
                
                  pytest pytest-cov  
                
                  --dev 
                
              
            
          

。Pytest框架可以让编写小测试变得容易,而且支持以扩展的方式提供更加复杂的功能下面是pytest网站的一个简单示例:

            
              
                
                  #test_sample.py  
                
                
                  
                    def 
                  
                
                 
                
                  
                    inc 
                  
                
                (x)的内容: 

                
                  
                    return
                  
                
                  x +  
                
                  1 
                
                 

                
                  
                    def 
                  
                
                 
                
                  
                    test_answer 
                  
                
                (): 

                
                  
                    assert
                  
                
                  inc(
                
                  3
                
                )==  
                
                  5
                
                 

              
            
          

通过以下命令测试

            
              
                pipenv  
                
                  
                    运行
                  
                
                 pytest 

              
            
          

结果如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第15张图片

pytest冠状病毒是pytest的单元测试行覆盖率的插件.pytets冠状病毒的测试结果示例如下:

Python的开发必备:如何建立一个优秀的项目工程环境_第16张图片

pytest还有很多的扩展插件:

pytest-cov:单元测试覆盖率报告

pytest-django:对Django框架的单元测框架

pytest-ASYNCIO:对ASYNCIO的支持

pytest-twisted:对扭框架的单元测框架

pytest-instafail:发送错误时报告错误信息

pytest-bdd测试驱动开发工具

pytest-konira测试驱动开发工具

pytest-timeout:支持超时功能

pytest-pep8:支持PEP8检查

pytest-flakes:结合pyflakes进行代码检查

更多插件可以查看github pytest-dev组织下的项目。

项目配置

项目中,所有的测试都应该放在测试目录中,我需要给setup.cfg添加配置:

            
              
                
                  
                    [tool:pytest] 
                  
                
                 
testpaths = test 

              
            
          

单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息,配置示例如下:

            
              
                [跑] 
source =项目 
[报告] 
exclude_lines = 

                
                  
                    pragma
                  
                
                :  
                
                  
                    没有
                  
                
                  封面 
 
                
                  
                    def
                  
                
                  __repr__ 
 
                
                  
                    如果
                  
                
                 
                
                  
                    self
                  
                
                 \ .debug 
 
                
                  
                    引发
                  
                
                  AssertionError 
 
                
                  
                    引发
                  
                
                  NotImplementedError 
 
                
                  
                    如果为
                  
                
                 
                
                  0
                
                : 
 
                
                  
                    if
                  
                
                  __name__ == .__ main__: 

              
            
          

然后再工程中运行一下命令,测试项目的覆盖率

            
              
                pipenv  
                
                  
                    运行
                  
                
                 pytest --cov --cov-fail-under = 100 

              
            
          

如果程序代码的测试覆盖率低于100%时,就会报错。

Git pre-commit hook规范检查

Git hook可以让我们在提交或推送时执行检查脚本,脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子,下面.pre-commit-config。 YAML配置示例可以帮我们自动做代码规范化,包括isort检查,黑检查,flake8检查,mypy静态类型检查,pytest测试,pytest冠状病毒测试覆盖率检查:

            
              
                
                  repos:
                
                  
-  
                
                  repo:
                
                  local 
 
                
                  hooks:
                
                  
-  
                
                  id:
                
                  isort 
 
                
                  name:
                
                  isort 
 
                
                  阶段:
                
                  [commit] 
 
                
                  语言:
                
                  系统 
 
                
                  条目:
                
                  pipenv run isort 
 
                
                  类型:
                
                  [python] 
-  
                
                  id:
                
                  黑 
 
                
                  名:
                
                  黑 
 
                
                  阶段:
                
                  [commit] 
 
                
                  语言:
                
                  系统 
 
                
                  入口:
                
                  pipenv运行黑色 
 
                
                  类型:
                
                  [python] 
-  
                
                  id:
                
                  flake8 
 
                
                  name:
                
                  flake8 
 
                
                  阶段:
                
                  [commit] 
 
                
                  语言:
                
                  系统 
 
                
                  入口:
                
                  pipenv run flake8 
 
                
                  类型:
                
                  [python] 
 
                
                  exclude:
                
                  setup.py 
-  
                
                  id:
                
                  mypy 
 
                
                  name:
                
                  mypy 
 
                
                  阶段:
                
                  [commit] 
 
                
                  语言:
                
                  系统 
 
                
                  入口:
                
                  pipenv run mypy 
 
                
                  types:
                
                  [python] 
 
                
                  pass_filenames:
                
                 
                
                  false
                
                  
-  
                
                  id:
                
                  pytest 
 
                
                  name:
                
                  pytest 
 
                
                  阶段:
                
                  [commit] 
 
                
                  语言:
                
                  系统 
 
                
                  入口:
                
                  pipenv run pytest 
 
                
                  类型:
                
                  [蟒蛇] 
-  
                
                  id:
                
                  pytest-cov 
 
                
                  name:
                
                  pytest 
 
                
                  阶段:
                
                  [push] 
 
                
                  语言:
                
                  系统 
 
                
                  入口:
                
                  pipenv run pytest --cov --cov-fail-under = 
                
                  100 
                
                 

                
                  种类型:
                
                  [python] 

              
            
          

如果你需要跳过这些钩子,你可以运行git commit --no-verify或git push --no-verify

18.11自动创建项目

Python的开发必备:如何建立一个优秀的项目工程环境_第17张图片

上面我们提到的Python项目应该具备的工具集和配置,可以将其作为模版.cookiecutter的模版定义范例如下:

            
              
                cookiecutter.json 
{ 

                
                  “full_name”
                
                :  
                
                  “Chongchong”
                
                , 
 
                
                  “email”
                
                :  
                
                  “chongchong@ijz.me”
                
                , 
 
                
                  “project_name”
                
                :  
                
                  “Python-Practice”
                
                , 
 
                
                  “repo_name”
                
                :  
                
                  “”
                
                 Python-Practice  
                
                  “,  
                
                
                  ”project_short_description“
                
                :  
                
                  ”简单的Python开发练习示例。“
                
                , 
 
                
                  ”release_date“
                
                :  
                
                  ”2019-09-02“
                
                , 
 
                
                  ”年“
                
                :  
                
                  ”2019“
                
                , 
 
                
                  ”版本“
                
                :  
                
                  ”0.0.1“
                
                 
} 

              
            
          

然后使用18.11自动生成整改工程:

            
              
                pipx 
                
                  
                    运行
                  
                
                 cookiecutter   Python-Practice 
 cd Python-Practice 
git init 

              
            
          

安装依赖项

            
              
                pipenv  
                
                  
                    安装
                  
                
                 
                
                  --dev 
                
              
            
          

运行pre-commit和pre-push hook:

            
              
                pipenv  
                
                  
                    运行
                  
                
                 pre-commit install -t pre-commit 
 pipenv  
                
                  
                    run 
                  
                
                 pre-commit install -t pre-push 

              
            
          

总结

本文我们介绍了在Python的项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成的Python项目,代码风格检查,代码测试等操作,可以帮助我们打造一个高效完美的Python的开发环境。


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论