我浏览了下网上关于怎么Python爬虫入门的文章,发现有的还在教人用urllib来发送http请求,这真是有点误人子弟了。本文也不提倡刚开始去学习第三方爬虫框架,我想把要学习的知识简化一些,让入门更快速,更专注。Python爬虫入门:技能真要说Python爬虫需要具备什么知识,那就是你得会Python,哈哈。其他的知识就是你能熟练运用Python的几个第三方库,当然你具备一点htmljavascriptcsshttp协议可以提高你的解决问题的效率,但这是一
系统 2019-09-27 17:52:27 2258
1、python装饰器最基础的函数1defsum1():2sum=1+23print(sum)4sum1()查看函数执行用了多长时间,写了几句代码插进去了:1importtime23defsum1():4start=time.clock()5sum=1+26print(sum)7end=time.clock()8print("timeused:",end-start)910sum1()可是随着继续翻看,对越来越多的函数感兴趣了,都想看下他们的运行时间如何,
系统 2019-09-27 17:52:26 2258
事情是这样的,我写了一个tornado的服务,过程当中我用logging记录一些内容,由于一开始并没有仔细观察tornado自已的日志管理,所以我就一般用debug来记录普通日志,error记录有问题的日志,但是当服务跑起来以后才发现,tornado的访问日志的级别是info,也就是20,debug是10的,所以如果我定义了日志的级别是debug,那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志,而且由于我这个服务可能每时每刻都会有访问
系统 2019-09-27 17:50:30 2258
lambda是表达式,用于创建匿名函数,可以和filter、map、reduce配合使用。本文环境Python3.7。一、lambda表达式lambda只包含一个语句,用于创建匿名函数。语法:lambda[arg1[,arg2,.....argn]]:expressionarg1--参数,可以有多个expression--表达式使用例子:f1=lambdax:x>10print(f1(1))#输出:Falseprint(f1(11))#输出:Truef2=
系统 2019-09-27 17:49:17 2258
python基础(1):基础操作:python是一个解释性语言。故可以直接通过命令行与python解释器交互:In[1]:a=1In[2]:print(a)1在python中,+-*分别表示加减乘,但/表示的是浮点除法,而//表示地板除法,**表示乘方,%表示求余#用'#'表示注释a=3+2#5b=a-2#3c=a*b#15d=5/2#2.5e=5//2#2f=5%2#1字符串python的字符串使用单引号(’')或者双引号(""),但须成对出现,对应即可
系统 2019-09-27 17:48:29 2258
有一些任务,可能事先需要设置,事后做清理工作。对于这种场景,Python的with语句提供了一种非常方便的处理方式。一个很好的例子是文件处理,你需要获取一个文件句柄,从文件中读取数据,然后关闭文件句柄。如果不用with语句,代码如下:file=open("/tmp/foo.txt")data=file.read()file.close()这里有两个问题。一是可能忘记关闭文件句柄;二是文件读取数据发生异常,没有进行任何处理。下面是处理异常的加强版本:file
系统 2019-09-27 17:48:03 2258
点击上方蓝字“Python猫”,免费获得一个公众号大家好,我是猫哥。我对于编程语言跟其它学科的融合非常感兴趣,这种兴趣在创办公众号时就已非常浓烈,因此,几个月来,就做了不少大胆的尝试。不敢说取得了什么“成果”吧,但至少是做到了独树一帜。在这个过程中,我有幸认识了几位“跨界跨学科”的群友:既有学贯多门语言的大佬,也有深夜研读斯宾诺莎伦理学的同学,还有逛遍各种展馆兴趣无边界的能人。非常有趣。今天这篇文章的原作者也挺能跨界的,他很佩服毛主席的《矛盾论》,因此把它
系统 2019-09-27 17:47:24 2258
一个几百行代码做出http/https代理服务器的脚本,启动即可做httphttps透明代理使用pythonproxy.py8992使用非阻塞io模式,性能还可以。可以和浏览器一样保持长连接,代码有点乱,不管那么多了能跑就行几百行代码做出http/https代理服务器代码片段*1.*[代码][Python]代码#!/usr/bin/python#-*-coding:utf-8-*-importsocket,loggingimportselect,errno
系统 2019-09-27 17:46:14 2258
一、建立虚拟环境pipinstallvirtualenv要使用Django,首先要建立一个虚拟工作环境。我们先为项目建立一个文件夹learn,在文件夹中打开命令行(shift+右击),来建立另一个虚拟环境。如果使用的是python3,可使用如下命令来创建:python-mvenvl_env这里运行模块venv,用它来创建一个名为l_env的虚拟环境,此时learn文件夹中会多出来一个l_env的文件夹。如果上述成功了,则跳转到三、激活虚拟环境,否则跳转二、
系统 2019-09-27 17:45:42 2258
背景最近公司在做消息推送,那么自然就会产生很多接口,测试的过程中需要调用接口,我就突然觉得是不是可以自己写一个测试框架?说干就干,由于现有的接口测试工具Jmeter、SoupUI等学习周期有点长,干脆自己写一个吧,不求人,所有功能自己都能一清二楚。当然,写工具造轮子只是学习的一种方式,现成成熟的工具肯定比我们自己的写的好用。开发环境-------------------------------------------------------------操作
系统 2019-09-27 17:37:53 2258