搜索到与相关的文章
Python

python3之微信文章爬虫实例讲解

前提:python3.4windows作用:通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章,并将标题及相关链接导入Excel表格中说明:需xlsxwriter模块,另程序编写时间为2017/7/11,以免之后程序无法使用可能是网站做过相关改变,程序较为简单,除去注释40多行。正题:思路:打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作

系统 2019-09-27 17:54:31 2030

Python

深入了解Python iter() 方法的用法

今天我们来介绍下Python基础教程学习之iter()方法另外的用法。据说很少有人知道这个用法!一、上代码、学用法我们都比较熟悉iter(obj),会返现一个迭代器,如果obj不是可迭代对象,则会报错。但其实如果仔细看官方文档,会发现iter()方法其实是接受两个参数的,文档说明如下iter(object[,sentinel])sentinel英文翻译为哨兵。sentinel参数是可选的,当它存在时,object不再传入一个可迭代对象,而是一个可调用对象,

系统 2019-09-27 17:54:30 2030

Python

Python安装模块

解决多版本同时存在的pip安装模块如果同时存在Python2和Python3版本,则需要通过python-mpipinstall的方式给指定的Python安装模块。安装模块超时,更换安装源当安装模块超时时可以通过修改超时时间的方式来进行解决,也可以通过修改安装源的方式解决。修改超时时间pip--default-timeout=100installnumpy通过设置临时安装源的方式pipinstallnumpy-ihttps://pypi.doubanio.

系统 2019-09-27 17:54:25 2030

Python

Python-数据读取

同一行的数据都为浮点数,或者说是同一行的数据格式相同时:withopen(input_file,'r')asf:#打开文件header=f.readline().strip()#跳过一行column_names=header.split('|')#以管道分隔符切分数据values=np.loadtxt(f,delimiter='|')同一行的数据格式不相同时,比如字符串和浮点数结合时:选择跳过某一列或者只读取某一列数据,下面为只读取某一列数据withope

系统 2019-09-27 17:53:49 2030

Python

python多进程读取mysql表

表数据超过百万级别时使用pandas读取数据速度过慢,如果仍然想用pandas读取,可以通过多进程提高效率。同时可以将常用数据保存为pkl文件,以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段,#且涉及的城市包含了全国大部分城市,数据分布较为均匀,因此制作了一张省份城市配置表,将数据划分#读取省份-城市配置表,获取城市列表defget_division_list(db_connect,divis

系统 2019-09-27 17:53:46 2030

Python

Python计算程序运行时间的方法

本文实例讲述了Python计算程序运行时间的方法。分享给大家供大家参考。具体实现方法如下:复制代码代码如下:importtimedefstart_sleep():time.sleep(3)if__name__=='__main__':#Thestarttimestart=time.clock()#Aprogramwhichwillrunfor3secondsstart_sleep()#TheEndtimeend=time.clock()print("The

系统 2019-09-27 17:53:31 2030

Python

python爬虫开发第一步——熟悉网络编程,python线程与进程

最近博主手上有一个爬虫项目,开始深入研究python爬虫开发,这是我篇博客也相当于是我的学习笔记,我认为学习爬虫第一步,先学习python多线程与多进程,熟悉网络编程,接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种,一种方法是使用os模块中的fork方法,另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统,对Windows不支持,后者则是跨平台的实现方式,目前

系统 2019-09-27 17:53:30 2030

Python

python装饰器

原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html学习菜鸟教程上一个同学的笔记,写的很好理解。转来学习。原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html开始之前先提醒一下:多个装饰器的调用顺序为:从下往上每个人都有的内裤主要功能是用来遮羞,但是到了冬天它没法为我们防风御寒,咋办?我们想到的一个办法就是把内

系统 2019-09-27 17:52:15 2030

Python

python3中eval函数用法使用简介

python中eval函数的用法十分的灵活,这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释:Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda

系统 2019-09-27 17:52:12 2030

Python

python sklearn库实现简单逻辑回归的实例代码

Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块,对常用的机器学习方法进行了封装,包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时,便可根据下图来选择相应的方法。Sklearn具有以下特点:简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、

系统 2019-09-27 17:51:55 2030