在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。
本文以Python的为例,教大家如何快速打造优秀的Python的项目开发环境:内容涵盖了模块依赖管理,代码风格管理,调试测试管理和Git版本管理,使用git hook做项目规范检查等。
pipx
Pipx是一款跨平台的Python环境隔离管理工具,可以在支持在Linux,Mac OS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境,并以此建立实现完全隔离的Python运行环境。安装pipx需要Pthon 3.6及以上版本:
python3 -m pip
install
--user pipx
python3 -m pipx ensurepath
升级Pipx使用:
python3
-m pip install -U pipx
包依赖管理pipenv
Pipenv会自动为你的项目创建和管理虚拟环境,以pipfile文件方式方式管理项目的依赖包,支持包的安装和卸载。和requirements.txt不同,pipfile是TOML格式,支持开发环境与正式环境,还可以使用Pipfile.lock锁定环境版本.pipxenv的安装可以使用pipx:
pipx
安装pipenv
有些发行版也是可以直接通过其包管理器安装的:
比如MacOS的可以下可以使用:
brew
安装pipenv
一个pipfile的示例如下:
Pipfile.lock的示例部分如下:
代码风格
代码格式化黑色
代码格式的统一不光可以给我们一个惬意的代码格式,而且可以避免由于开发人员之间的代码风格差异导致的沟通和协作问题。
黑就是用来格式化的Python代码的程序。它可以自动帮我们对代码格式进行调整和统一,提高代码效率和可读性。而且通过黑色减小代码风格的差异,可以极大提高团队进行代码审查的效率。
一个黑色格式化示例如下:
原始代码:
def
very_important_function
(template:str,* variables,file:os.PathLike,engine:str,header:bool = True,debug:bool = False):
“”将`variables`应用于`template`并写入`file ` “””
与
打开(文件,
'W'
)
为
F:
...
格式化后的代码:
def
very_important_function
(
模板:str,
*变量,
file:os.PathLike,
引擎:str,
header:bool = True,
debug:bool = False,
):
“” “适用`variables`到`template`并写入`file`。” “”
与
打开(文件,
“W”
)
为
F:
...
isort美化进口部分代码
Python开发中经常需要导入第三方的模块,往往这部分代码混乱不堪,使用isort可以则可以美化这部分的代码.isort可以按字母表顺序对import进行排序,自动分成多个部分。
我们可以使用pipenv安装black和isort:
pipenv
安装黑色isort -dev
isort的效果示例,可以看下面的动图:
黑色和isort同时使用时,两者默认配置不兼容,我们需要覆盖isort配置,优先以黑色的格式化为准。可以通过setup.cfg文件并添如下配置来完成该任务。
[isort]
multi_line_output =
3
include_trailing_comma =
True
force_grid_wrap =
0
use_parentheses =
True
line_length =
88
flake8代码风格检测
Flake8可以用来确保代码遵循PEP8中定义的标准的Python编程约定,是Python的官方辅助代码风格检测工具,lake8检查规则灵活,支持集成额外插件(比如VIM,升华,PyCharm,VSC等都有其相关插件) ,扩展性强。
其安装也可以使用pipenv:
pipenv
安装flake8 -dev
flake8的使用示例如下:
flake8 example.py的检查结果:
flake8默认会忽略一些约定(E,F),如果我们检查所有约定:
flake8 - 选择E,F example.py,结果:
和isort一样,为了配合兼容黑色,需要在setup.cfg中额外配置:
[flake8]
ignore = E203,E266,E501,W503
max-line-length =
88
max-complexity =
18
select = B,C,E,F,W,T4
mypy静态类型
Mypy是Python中的可选静态类型检查器,可以用结合动态(或 “鸭子”)类型和静态类型优点其他代码的性能。通过Mypy将Python中的动态类型便捷性和表现力的优势与静态类型强系统和编译时类型检查相结合,并且生成原生代码,支持通过Python VM运行,可以没有运行时开销的高性能运行。在Python中使用静态类型好处有:
可以使程序更易于理解和维护;
可以帮助编译时调试和发现错误,减少测试和调试。
可以在代码部署到生产环境之前就可以找到难以捕捉的错误。
可以使用pipenv直接安装Mypy:
pipenv
安装mypy -dev
mypy动态类型和静态类型一个示例如下:
项目配置
默认情况下,Mypy会递归检查所有类型注释的导入,这会导致库不包含这些注释时出错。需要修改mypy配置仅检查当前代码运行,并忽略没有类型注释的导入模块。这也可以在设置。 CFG中设置:
[mypy]
files =项目,test
ignore_missing_imports =
true
代码测试
程序开发中,除了写代码外,另外一个重要的部分是单元测试.Python测试方面我们要介绍的工具有pytest。
可以使用pipenv添加测试工具包及扩展:
pipenv
安装
pytest pytest-cov
--dev
。Pytest框架可以让编写小测试变得容易,而且支持以扩展的方式提供更加复杂的功能下面是pytest网站的一个简单示例:
#test_sample.py
def
inc
(x)的内容:
return
x +
1
def
test_answer
():
assert
inc(
3
)==
5
通过以下命令测试
pipenv
运行
pytest
结果如下:
pytest冠状病毒是pytest的单元测试行覆盖率的插件.pytets冠状病毒的测试结果示例如下:
pytest还有很多的扩展插件:
pytest-cov:单元测试覆盖率报告
pytest-django:对Django框架的单元测框架
pytest-ASYNCIO:对ASYNCIO的支持
pytest-twisted:对扭框架的单元测框架
pytest-instafail:发送错误时报告错误信息
pytest-bdd测试驱动开发工具
pytest-konira测试驱动开发工具
pytest-timeout:支持超时功能
pytest-pep8:支持PEP8检查
pytest-flakes:结合pyflakes进行代码检查
更多插件可以查看github pytest-dev组织下的项目。
项目配置
项目中,所有的测试都应该放在测试目录中,我需要给setup.cfg添加配置:
[tool:pytest]
testpaths = test
单元覆盖率的项目配置需要创建一个新文件.coveragerc返回应用程序代码的覆盖率统计信息,配置示例如下:
[跑]
source =项目
[报告]
exclude_lines =
pragma
:
没有
封面
def
__repr__
如果
self
\ .debug
引发
AssertionError
引发
NotImplementedError
如果为
0
:
if
__name__ == .__ main__:
然后再工程中运行一下命令,测试项目的覆盖率
pipenv
运行
pytest --cov --cov-fail-under = 100
如果程序代码的测试覆盖率低于100%时,就会报错。
Git pre-commit hook规范检查
Git hook可以让我们在提交或推送时执行检查脚本,脚本可以配置对项目镜像测试或者规范性检查。运行脚本。我们可以配置pre-commit hook允许轻松配置这些钩子,下面.pre-commit-config。 YAML配置示例可以帮我们自动做代码规范化,包括isort检查,黑检查,flake8检查,mypy静态类型检查,pytest测试,pytest冠状病毒测试覆盖率检查:
repos:
-
repo:
local
hooks:
-
id:
isort
name:
isort
阶段:
[commit]
语言:
系统
条目:
pipenv run isort
类型:
[python]
-
id:
黑
名:
黑
阶段:
[commit]
语言:
系统
入口:
pipenv运行黑色
类型:
[python]
-
id:
flake8
name:
flake8
阶段:
[commit]
语言:
系统
入口:
pipenv run flake8
类型:
[python]
exclude:
setup.py
-
id:
mypy
name:
mypy
阶段:
[commit]
语言:
系统
入口:
pipenv run mypy
types:
[python]
pass_filenames:
false
-
id:
pytest
name:
pytest
阶段:
[commit]
语言:
系统
入口:
pipenv run pytest
类型:
[蟒蛇]
-
id:
pytest-cov
name:
pytest
阶段:
[push]
语言:
系统
入口:
pipenv run pytest --cov --cov-fail-under =
100
种类型:
[python]
如果你需要跳过这些钩子,你可以运行git commit --no-verify或git push --no-verify
18.11自动创建项目
上面我们提到的Python项目应该具备的工具集和配置,可以将其作为模版.cookiecutter的模版定义范例如下:
cookiecutter.json
{
“full_name”
:
“Chongchong”
,
“email”
:
“chongchong@ijz.me”
,
“project_name”
:
“Python-Practice”
,
“repo_name”
:
“”
Python-Practice
“,
”project_short_description“
:
”简单的Python开发练习示例。“
,
”release_date“
:
”2019-09-02“
,
”年“
:
”2019“
,
”版本“
:
”0.0.1“
}
然后使用18.11自动生成整改工程:
pipx
运行
cookiecutter Python-Practice
cd Python-Practice
git init
安装依赖项
pipenv
安装
--dev
运行pre-commit和pre-push hook:
pipenv
运行
pre-commit install -t pre-commit
pipenv
run
pre-commit install -t pre-push
总结
本文我们介绍了在Python的项目开发时候必须要具备的一些开发测试检查工具。通过这些可以自动生成的Python项目,代码风格检查,代码测试等操作,可以帮助我们打造一个高效完美的Python的开发环境。