Python

Python爬虫入门【20】:掘金网全站用户爬虫 scrapy

获取全站用户,理论来说从1个用户作为切入点就可以,我们需要爬取用户的关注列表,从关注列表不断的叠加下去。随便打开一个用户的个人中心绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人?那么你还需要继续找一个入口,这个用户一定要关注了别人。选择关注列表,是为了让数据有价值,因为关注者里面可能大量的小号或者不活跃的账号,价值不大。我选了这样一个入口页面,它关注了3个人,你也可以选择多一些的,这个没有太大影响!https://juejin.im/user/5

系统 2019-09-27 17:55:41 2366

Python

Python3 Jupyter QtConsole

效果图walker喜欢的功能:代码补全,一个问号(?)给出注释,两个问号浏览代码。环境操作系统:Windows10x641903Python3.6.7x64JupyterQtConsole4.5.2(官方文档)步骤安装ipythonpip3installipython-ihttps://pypi.doubanio.com/simple/安装pyreadlinepip3installpyreadline-ihttps://pypi.doubanio.com/

系统 2019-09-27 17:54:09 2366

Python

python多进程读取文件

文件夹中文件数较多,每份文件较大的情况下,可以采用多进程读取文件最后附完整项目代码#单进程读取文件夹中的单份文件defread_data(path):start=time.time()withopen(path,'rb')asf:filename=pickle.load(f)end=time.time()print('Taskruns%0.2fseconds.'%((end-start)))returnfilename#向数据库插入数据definsert_

系统 2019-09-27 17:53:42 2366

Python

Python3的Json模块详解

原文链接:https://blog.csdn.net/swinfans/article/details/86501555简介Json模块主要用来进行Python对象的序列化和反序列化。该模块中常用的方法有以下四个:json.dump将Python对象序列化为Json格式的数据流并写入文件类型的对象中json.dumps将Python对象序列化为Json格式的字符串json.load从文件类型的对象中读取Json格式的数据并反序列化成Python对象json

系统 2019-09-27 17:52:55 2366

Python

Python获取CPU、内存使用率以及网络使用状态代码

由于psutil已更新到3.0.1版本,最新的代码如下:#!/usr/bin/envpythonimportosimporttimeimportsysimportatexitimportpsutil#print"Welcome,currentsystemis",os.name,"3secondslatestarttogetdata"time.sleep(3)line_num=1#functionofGetcpustatedefgetCPUstate(int

系统 2019-09-27 17:52:16 2366

Python

Python篇:函数练习

题目1.编程实现9*9乘法表(循环嵌套的复习)。2.用函数实现求100-200里面所有的素数。3.请用函数实现一个判断用户输入的年份是否是闰年的程序。4.题目需求:对于一个十进制的正整数,定义f(n)为其各位数字的平方和5.题目描述:给定一个正整数,编写程序计算有多少对质数的和等于输入的这个正整数,并输出结果。输入值小于1000。1.编程实现9*9乘法表(循环嵌套的复习)。foriinrange(1,10):print()forjinrange(1,i+1

系统 2019-09-27 17:51:44 2366

Python

Python 类属性与实例属性,类对象与实例对象用法分析

本文实例讲述了Python类属性与实例属性,类对象与实例对象用法。分享给大家供大家参考,具体如下:demo.py(类属性,所有实例对象共用类属性):#定义工具类继承object是为了兼容python2.xclassTool(object):#使用赋值语句定义类属性,记录实例化工具对象的数量count=0def__init__(self,name):self.name=name#初始化方法内部定义及初始化实例属性#类名.类属性名的方式访问类属性.Tool.c

系统 2019-09-27 17:49:22 2366

Python

Python学习资源 | 3个高性能开源计算机视觉库

0.OpenCV:OpenCV是在BSD许可下发布的,是开源计算机视觉库,对学术和商业都是免费的。具有C+、Python和Java接口,支持Windows、Linux、MacOS、IOS和Android。OpenCV是为了提高计算效率而设计的,并且非常注重实时应用程序。该库采用优化的C/C+语言编写,可利用多核处理.通过OpenCL启用,它可以利用底层异构计算平台的硬件加速。1.SimpleCV:SimpleCV是一个用于构建计算机视觉应用程序的开源框架。

系统 2019-09-27 17:49:06 2366

Python

Sublime Text 中运行Python提示EOFError: EOF w

sublimetext3:http://blog.csdn.net/yeluffy0601/article/details/41811305如果上面博文里要求输入到命令输入框的代码不行,就将其换成下面的代码再试一下importurllib2,os;pf='PackageControl.sublime-package';ipp=sublime.installed_packages_path();os.makedirs(ipp)ifnotos.path.exi

系统 2019-08-12 09:27:05 2366

Python

python导入自定义模块和包

python导入自定义模块和包python包包是一个分层次的文件目录结构,它定义了一个由模块及子包,和子包下的子包等组成的Python的应用环境。简单来说,包就是文件夹,但该文件夹下必须存在__init__.py文件,该文件的内容可以为空。__init__.py用于标识当前文件夹是一个包。导入同级目录文件如果需要引入同级目录下的文件,则可以采用import一个模块的形式,即可调用。考虑同一目录下的两个python文件,test.py需要调用pytools.

系统 2019-09-27 17:57:50 2365

Python

链式比较、奇怪的字母、有趣的import...Python冷知识(六)

本文转载自Python编程时光(ID:Python-Time)冷知识系列,已经更新至第六篇。谈谈Python那些不为人知的冷知识(一)谈谈Python那些不为人知的冷知识(二)谈谈Python那些不为人知的冷知识(三)谈谈Python那些不为人知的冷知识(四)谈谈Python那些不为人知的冷知识(五)链式比较先给看一个示例。>>>False==False==TrueFalse你知道这个表达式会返回False吗?我再给你举个例子,你可能就懂了。f18

系统 2019-09-27 17:57:08 2365

Python

Python题目积累2

1python中的数据类型:数字(整数型int,浮点数型float,布尔型bool,复数complex),字符串,元组(只读列表,只能查询,不可更改),集合,列表,字典可变数据类型:列表list[]、字典dict{}数据发生改变,但内存地址不变不可变数据类型:整型int、字符串str’'、元组tuple()当该数据类型的对应变量的值发生了改变,那么它对应的内存地址也会改变2有一段python的编码程序如下:urllib.quote(line.decode(

系统 2019-09-27 17:56:47 2365

Python

python爬虫项目设置一个中断重连的程序的实现

做爬虫项目时,我们需要考虑一个爬虫在爬取时会遇到各种情况(网站验证,ip封禁),导致爬虫程序中断,这时我们已经爬取过一些数据,再次爬取时这些数据就可以忽略,所以我们需要在爬虫项目中设置一个中断重连的功能,使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法,我自己就有好几种思路,但是真要自己写出来就要费很大的功夫,下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路:将要爬取的网站连接存在一个数组new_urls中,爬取一

系统 2019-09-27 17:56:18 2365

Python

python生成随机红包的实例写法

假设红包金额为money,数量是num,并且红包金额money>=num*0.01原理如下,从1~money*100的数的集合中,随机抽取num-1个数,然后对这些数进行排序,在排序后的集合前后分别插入0和money*100,组成新的集合用新的集合,(后一个数-前一个数)/100得到红包的大小然后使用红包的时候,从num个红包集合中随机拿一个,既是随机红包了defredbags(money,num=10):importrandomchoice=random

系统 2019-09-27 17:54:19 2365