学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 2141
大体上把Python中的数据类型分为如下几类：Number（数字）包括int,long,float,complexString（字符串）例如：hello,"hello",helloList（列表）例如：[1,2,3],[1,2,3,[1,2,3],4]Dictionary（字典）例如：{1:"nihao",2:"hello"}Tuple（元组）例如：(1,2,3,abc)Bool（布尔）包括True、False由于Python中认为所有的东西都是对象，所以
系统 2019-09-27 17:38:45 2141
什么是中间件我们从一个简单的例子开始。高流量的站点通常需要将Django部署在负载平衡proxy之后。这种方式将带来一些复杂性，其一就是每个request中的远程IP地址(request.META["REMOTE_IP"])将指向该负载平衡proxy，而不是发起这个request的实际IP。负载平衡proxy处理这个问题的方法在特殊的X-Forwarded-For中设置实际发起请求的IP。因此，需要一个小小的中间件来确保运行在proxy之后的站点也能够在r
系统 2019-09-27 17:38:42 2141
对于提供上传的服务器，需要对上传的文件进行过滤。本文为大家提供了python通过文件头判断文件类型的方法，避免不必要的麻烦。分享代码如下importstruct#支持文件类型#用16进制字符串的目的是可以知道文件头是多少字节#各种文件头的长度不一样，少半2字符，长则8字符deftypeList():return{"52617221":EXT_RAR,"504B0304":EXT_ZIP}#字节码转16进制字符串defbytes2hex(bytes):num
系统 2019-09-27 17:38:38 2141
Python登录网站详解及实例对于大部分论坛，我们想要抓取其中的帖子分析，首先需要登录，否则无法查看。这是因为HTTP协议是一个无状态(Stateless)的协议，服务器如何知道当前请求连接的用户是否已经登录了呢？有两种方式：在URI中显式地使用SessionID；利用Cookie，大概过程是登录一个网站后会在本地保留一个Cookie，当继续浏览这个网站的时候，浏览器会把Cookie连同地址请求一起发送过去。Python提供了相当丰富的模块，所以对于这种网
系统 2019-09-27 17:38:24 2141
本文介绍如果使用python汇总常用的图表，与Excel的点选操作相比，用python绘制图表显得比较比较繁琐，尤其提现在对原始数据的处理上。但两者在绘制图表过程中的思路大致相同，Excel中能完成的工作python大多也能做到。为了更清晰的说明使用python绘制图表的过程，我们在汇总图表的代码中进行注解，说明每一行代码的具体作用。并在文章的最后给出了自定义字体和图表配色的对应表。准备工作importnumpyasnpimportpandasaspd#导
系统 2019-09-27 17:38:09 2141
在使用google或者baidu搜图的时候会发现有一个图片颜色选项，感觉非常有意思，有人可能会想这肯定是人为的去划分的，呵呵，有这种可能，但是估计人会累死，开个玩笑，当然是通过机器识别的，海量的图片只有机器识别才能做到。那用python能不能实现这种功能呢？答案是：能利用python的PIL模块的强大的图像处理功能就可以做到，下面上代码：importcolorsysdefget_dominant_color(image):#颜色模式转换，以便输出rgb颜色
系统 2019-09-27 17:38:08 2141
GIL在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL
系统 2019-09-27 17:37:58 2141
活在当下的程序员应该都听过“面向对象编程”一词，也经常有人问能不能用一句话解释下什么是“面向对象编程”，我们先来看看比较正式的说法。把一组数据结构和处理它们的方法组成对象（object），把相同行为的对象归纳为类（class），通过类的封装（encapsulation）隐藏内部细节，通过继承（inheritance）实现类的特化（specialization）和泛化（generalization），通过多态（polymorphism）实现基于对象类型的动态
系统 2019-09-27 17:37:56 2141
对于小型站点，使用七牛云存储的免费配额已足够为站点提供稳定、快速的存储服务七牛云存储已有PythonSDK，对它进行简单封装后，就可以直接在Flask中使用了，项目代码见GitHub上Flask-QiniuStorage。使用示例代码：复制代码代码如下:fromflaskimportFlaskfromflask_qiniustorageimportQiniuQINIU_ACCESS_KEY='七牛AccessKey'QINIU_SECRET_KEY='七牛
系统 2019-09-27 17:37:45 2141
