Python

python[requests]爬取知乎个人信息数据

效果技术栈python3requestsredisechart源码地址https://github.com/MasakiOvO/...python需要安装的库requests,BeautifulSoup,redis,django思路两个程序。一个程序负责爬取用户关注和粉丝列表,并把用户名存入set另一个程序负责根据用户名获取详细信息,存入hash维护两个列表1.已爬用户2.未爬用户第一个程序的流程:当未爬set不为空时:执行如下操作:每次从未爬取列表中取出

系统 2019-09-27 17:55:04 2224

Python

Python 学习 第15篇:日期和时间

datetime模块中包含五种基本类型:date、time、datetime、timedelta和tzinfo,tz是timezone的缩写,tzinfo用于表示时区信息。一,date类型date类型表示日期,是由year、month和day构成的对象1,初始化date对象使用date(year,month,day)函数来初始化date对象:fromdatetimeimportdatemydate=date(year,month,day)2,date对象函

系统 2019-09-27 17:54:44 2224

Python

Python面向对象编程——绑定方法与非绑定方法

Python面向对象编程——绑定方法与非绑定方法一、类中定义的函数分成两大类1、绑定方法(绑定给谁,谁来调用就自动将它本身当作第一个参数传入1)绑定到类的方法:用classmethod装饰器装饰的方法。为类量身定制类.boud_method(),自动将类当作第一个参数传入(其实对象也可调用,但仍将类当作第一个参数传入)2)绑定到对象的方法:没有被任何装饰器装饰的方法。为对象量身定制对象.boud_method(),自动将对象当作第一个参数传入(属于类的函数

系统 2019-09-27 17:53:30 2224

Python

python 动态迁移solr数据过程解析

前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的

系统 2019-09-27 17:52:33 2224

Python

python学习笔记——循环

for我们先来看一下for语句的格式:foriinrange(0,5):print(i)其中range相当于一个迭代器。我们可以这么尝试:print(list(range(0,5)))输出很简单了,就是01234当然了这里的迭代器可以用自己的list比如:cgg=["cgg","cgg1","cgg2"]foriincgg:print(i)输出结果就是三个字符串以此输出。while循环语句当然少不了while了先来看看while的格式:whilecgg<1

系统 2019-09-27 17:51:52 2224

Python

请问自学Python有必要买课程吗?

没必要.目前网上优质、实用的免费课程有很多,而一些收费的课程目的并不在于授业解惑,而是在于盈利。如果本着分享的目的,获取一些回报自然无可厚非,只怕绝大多数提供课程的出发点就带着商业行为,这样对于刚入门、不了解情况的初学者是一个非常严重的误导,不仅花费冤枉钱,而且掉进坑里费心费力,文末有资源下载方式。说一下我关于Python学习的看法,我认为Python作为一个较为简单的编程语言没必要看一些视频课程,这样会花费大量时间,而对于编程最高效的学习路线莫过于以下几

系统 2019-09-27 17:51:45 2224

Python

python 通过logging写入日志到文件和控制台的实例

如下所示:importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler,用于写入日志文件fh=logging.FileHandler('test.log')fh.setLevel(logging.DEBUG)#再创建一个handler,用于输出到控制台ch=logging.StreamHandler()ch.set

系统 2019-09-27 17:51:25 2224

Python

(五)如何用 Python 从头开始实现 Bagging 算法

作者:chen_h微信号&QQ:862251340微信公众号:coderpai(一)机器学习中的集成学习入门(二)bagging方法(三)使用Python进行交易的随机森林算法(四)Python中随机森林的实现与解释(五)如何用Python从头开始实现Bagging算法决策树是一种简单而强大的预测建模技术,但它们存在高方差。这意味着在给定不同的训练数据的情况下,树可以得到非常不同的结果。为了使决策树更加健壮并实现更好性能,我们会采用集成学习方法,其中一种是

系统 2019-09-27 17:49:29 2224

Python

Python生成随机验证码图片

思路:1、画一张白色的图片(大小为:200*50)2、逐个填充像素点,每个像素点随机3、往图片上写入字符字符随机生成字符的颜色是随机的字符的组成:大写字母、小写字母以及数字fromPILimportImage,ImageDraw,ImageFontimportnumpyasnpdefbgcolor():returnnp.random.randint(64,255),np.random.randint(64,255),np.random.randint(64

系统 2019-09-27 17:48:05 2224

Python

Python Django 母版和继承解析

可以把多个页面相同的部分提取出来,放在一个母板里,这些页面只需要继承这个母板就好了通常会在母板中定义页面专用的CSS块和JS块,方便子页面替换定义块:{%block名字%}{%endblock%}views.py中添加函数:fromdjango.shortcutsimportrender,redirect,HttpResponsefromapp01importmodelsimportdatetimedefmuban_test(request):return

系统 2019-09-27 17:47:39 2224

Python

Python基础教程学习笔记 第一章 基础知识

1、python的每一个语句的后面可以添加分号也可以不添加分号;在一行有多条语句的时候,必须使用分号加以区分2、查看Python版本号,在Dos窗口中输入“python-V”查看版本号,注意V是大写字母,这条命令是Windows命令,而不是pythonshell的命令3、让解释器只执行普通的除法运算:from__feture__importdivision4、执行整除运算的运算符://5、取幂运算符:2**4相当于2的4次方,-2**4相当于2的4次方之后

系统 2019-09-27 17:37:37 2224

Python

python如何将多个PDF进行合并

背景由于工作性质,经常面对不同的问题,某些场景下SQL+Excel、常用办公软件不能处理,这时到网上找一些案例,自己动手用python处理。后续,借此博客记录比较典型的处理过程。后续,陆续实际处理的问题,如1.合并PDF2.拆分PDF3.敏感字段MD5脱敏4.从非架构化的大文本文件中提取指定条件的记录需求工作和生活中有时会遇到将多个pdf文件,合并成一个大文件的情况。例如,扫描时,普通扫描仪或打印机一页生成一个PDF,而一份资料实际多页。Adobe的收费版

系统 2019-09-27 17:57:30 2223

Python

python 文件处理

文件概述​若想将应用程序获取到的数据永久保存下来,就必须保存于硬盘中,操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用,其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念,用户或应用程序通过操作文件,可以将自己的数据永久保存下来。文剑操作流程打开一个文件,得到一个文件句柄并复制给变量fp=open('a.txt',mode='r',encoding='utf-8')通过文件句柄对文件进行操作data=fp.read()关闭文件fp.colse

系统 2019-09-27 17:56:38 2223

Python

python django 原生sql 获取数据的例子

如下所示:node2:/django/mysite/blog#catviews.py1,#-*-coding:utf-8-*-from__future__importunicode_literals#fromdjango.shortcutsimportrender,render_to_responsefrom.modelsimport*#Createyourviewshere.fromdjango.httpimportHttpResponsefromdja

系统 2019-09-27 17:56:26 2223

Python

Python 3.x标准库有哪些

文本库string:通用字符串操作re:正则表达式操作difflib:差异计算工具textwrap:文本填充unicodedata:Unicode字符数据库stringprep:互联网字符串准备工具readline:GNU按行读取接口rlcompleter:GNU按行读取的实现函数二进制数据库struct:将字节解析为打包的二进制数据codecs:注册表与基类的编×××数据类型库datetime:基于日期与时间工具calendar:通用月份函数collec

系统 2019-09-27 17:56:06 2223