练习介绍要求：请使用多协程和队列，爬取时光网电视剧TOP100的数据（剧名、导演、主演和简介），并用csv模块将数据存储下来。时光网TOP100链接：http://www.mtime.com/top/tv/top100/目的：1.练习掌握gevent的用法2.练习掌握queue的用法fromgeventimportmonkey#gevent从库里导入monkey模块monkey.patch_all()#能把程序变成协作式运行，就是可以帮助程序实现异步imp
系统 2019-09-27 17:50:08 2391
pandas主要有三个用来删除的函数，.drop()、.drop_duplicates()、.dropna()。总结如下.drop()删除行、列.drop_duplicates()删除重复数据.dropna()删除空值（所在行、列）为避免篇幅太长，将其分为两部分，不想看参数介绍的可以直接看实例。本篇介绍.drop_duplicates(),df.dropnadrop_duplicates()的用法df.drop_duplicates()则通常用于数据去重，
系统 2019-09-27 17:49:32 2391
目录简介Cookie出现原因实现原理Cookie操作cookie+session总结：简介前几节的介绍中我们已经有能力制作一个登陆页面，在验证了用户名和密码的正确性后跳转到后台的页面。但是测试后也发现，如果绕过登陆页面。直接输入后台的url地址也可以直接访问的。这个显然是不合理的。其实我们缺失的就是cookie和session配合的验证。有了这个验证过程，我们就可以实现和其他网站一样必须登录才能进入后台页面了。先说一下这种认证的机制。每当我们使用一款浏览器
系统 2019-09-27 17:49:13 2391
Centons下载安装python3.7之后，运行yum命令出错是因为python2.x版本与python3.x版本之间语法冲突的问题[root@linuxCentos~]#vim/usr/bin/yum#!/usr/bin/python2.7importsystry:importyum网上的办法基本上都是vim打开/usr/bin/yum将第一行#!/usr/bin/python3.x改为原来的#!/usr/bin/python2.x这样改完之后虽然yu
系统 2019-09-27 17:49:08 2391
在上次的爬虫中，抓取的数据主要用到的是第三方的Beautifulsoup库，然后对每一个具体的数据在网页中的selecter来找到它，每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上，只是其子节点不同。在上次爬虫中，每一类数据都要从其父类（包括其父节点的父节点）上往下寻找ROI数据所在的子节点，这样就会使爬虫很臃肿，因为很多数据有相同的父节点，每次都要重复的找到这个父节点。这样的爬虫效率很低。因此，笔者在上次
系统 2019-09-27 17:49:04 2391
介绍aiohttp是python的一个异步网络模块，包含客户端和服务端模块。相比requests模块，除了是异步写法外，大同小异，其速度比requests模块快。python的多线程有全局解释器锁(GIL)，使用多线程实际上同一时刻仅有一个线程在执行，使用协程的相对比较快，可以再配合多进程使用。基本用法安装使用pip命令安装即可。pipinstallaiohttp发起请求aiohttp模块需要配合python自带的asyncio模块使用，以下代码为发起客户
系统 2019-09-27 17:47:13 2391
一、富比较方法Python的基类object提供一系列可以用于实现同类对象进行“比较”的方法，可以用于同类对象的不同实例进行比较。他们也是实例方法，定义如下：object.lt(self,other)object.le(self,other)object.eq(self,other)object.ne(self,other)object.gt(self,other)object.ge(self,other)其中self是指对象自身，other是参与比较的另
系统 2019-09-27 17:46:05 2391
由于最近经常使用到Python中random,math和time``datetime模块,所以决定花时间系统的学习一下1.math模块math中的函数不可以用于太过复杂的数的运算,如果需要复杂数的运行最好使用cmath模块中同名函数,如果想要更加高级的数学功能，可以考虑选择标准库之外的numpy和scipy模块，它们不但支持数组和矩阵运算，还有丰富的数学和物理方程可供使用1.1.数学常量math.pi这个数学常量等于3.141592...math.e这个数
系统 2019-09-27 17:38:08 2391
jFreeChart是Java开发中常用的统计类组件，主要包括柱状图，饼状图等。下面我们介绍一下jFreeChart最简单的用法。首先需要导入jFreeChart的jar包，放在项目web\WEB-INF\lib文件夹下。然后我们以最简洁的代码实现一个统计功能。1.柱状图importjava.awt.Color;importjava.awt.Font;importjava.io.FileNotFoundException;importjava.io.Fil
系统 2019-08-29 23:37:49 2391
开发人员的噩梦——删除重复记录想必每一位开发人员都有过类似的经历，在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确。解决该问题的办法就是将这些重复的记录删除，只保留其中的一条。在SQLServer中除了对拥有十几条记录的表进行人工删除外，实现删除重复记录一般都是写一段代码，用游标的方法一行一行检查，删除重复的记录。因为这种方法需要对整个表进行遍历，所以对于表中的记录数不是很大的时候还是可行的，如果一张表的数据达到上
系统 2019-08-29 23:13:51 2391
