今天介绍个神奇的网站!堪称爬虫偷懒的神器!我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例,我们的请求头是这样的:一般来说,我们只要添加user-agent就能满足绝大部分需求了,Python代码如下:importrequestsheaders={#'authority':'developer.mozilla.org',#'pragma':'no-cache',#'cache-control':'no-cach
系统 2019-09-27 17:53:21 1702
方法一,利用alias,自定指令的别名。当前默认python版本是2.7:同时,也支持python3:使用命令ls/usr/bin/python*查看python地址:使用命令aliaspython='/usr/bin/python3.5'更改默认python版本(设定别名):这个方法在断开之后就无效了。可以在~/.bashrc文件中加入alias命令使它永久生效。方法二,使用update-alternatives命令:输入命令:update-altern
系统 2019-09-27 17:52:47 1702
概述如今我也是使用Python写代码好多年了,但是我却很少关心GIL的内部机制,导致在写Python多线程程序的时候。今天我们就来看看CPython的源代码,探索一下GIL的源码,了解为什么Python里要存在这个GIL,过程中我会给出一些示例来帮助大家更好的理解GIL。GIL概览有如下代码:staticPyThread_type_lockinterpreter_lock=0;/*ThisistheGIL*/这行代码位于Python2.7源码ceval.c
系统 2019-09-27 17:52:42 1702
如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session:mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*
系统 2019-09-27 17:52:42 1702
Python3快速入门(六)——Python3面向对象一、面向对象技术简介1、面向对象简介面向对象编程(ObjectOrientedPrograming,OOP)是一种编程思想,OOP把对象当成程序的一个基本单元,一个对象包含数据和操作数据的方法。面向对象编程的三大特性如下:A、封装,可以隐藏实现细节,使代码模块化。B、继承,可以通过扩展已存在的类来实现代码重用,避免重复编写相同的代码。C、多态,封装和继承的目的都是为了实现代码重用,而多态是为了实现接口重
系统 2019-09-27 17:52:41 1702
概述如今我也是使用Python写代码好多年了,但是我却很少关心GIL的内部机制,导致在写Python多线程程序的时候。今天我们就来看看CPython的源代码,探索一下GIL的源码,了解为什么Python里要存在这个GIL,过程中我会给出一些示例来帮助大家更好的理解GIL。GIL概览有如下代码:staticPyThread_type_lockinterpreter_lock=0;/*ThisistheGIL*/这行代码位于Python2.7源码ceval.c
系统 2019-09-27 17:52:39 1702
关于我一个有思想的程序猿,终身学习实践者,目前在一个创业团队任teamlead,技术栈涉及Android、Python、Java和Go,这个也是我们团队的主要技术栈。Github:https://github.com/hylinux1024微信公众号:终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量,但实际上这些变量都跟当前请求的上下文环境有关,下面一起
系统 2019-09-27 17:52:39 1702
给密码加密是什么:用户注册的密码一般网站管理人员会利用md5方法加密,这种加密方法的好处是它是单向加密的,也就是说,你只有在提前知道某一串密码对应的md5加密码,才能反推出密码是多少,虽然有极小的几率可能造成两个密码加密之后的值相等(这种现象称为碰撞),不过基本上不用担心,因为概率是极低的。在常用的hashlib模块里还有sha1()等方法,它的本质和md5是一致的,只是产生的结果是160bit字节,通常用一个40位的16进制字符串表示。而md5是最常见的
系统 2019-09-27 17:52:27 1702
安装pydensecrf时报错:(venv)dorothy@dorothy-MS-7A94:~/project/venv/bin$pipinstallpydensecrfCollectingpydensecrfUsingcachedhttps://files.pythonhosted.org/packages/31/5a/1c2ab48e8019d282c128bc5c621332267bb954d32eecdda3ba57306b1551/pydense
系统 2019-09-27 17:52:21 1702
3.5.2for循环hello大家好,不知道在上节中大家练习while循环练习得怎么样了,相信大家都已经熟悉while循环了吧,那么现在我在这里在向大家讲解一下for循环。大家肯定也很懵圈,怎么有个while循环,又有个for循环,for循环又是干嘛的?相信很多刚接触编程的朋友一定很懵圈,哈哈......因为我当时也很懵圈。好了,废话不多说,接下来就给大家将一下for循环和while循环的区别,以及for循环是什么东西。while循环的功能非常强大,它可以
系统 2019-09-27 17:52:18 1702