Python

python2与python3爬虫中get与post对比解析

python2中的urllib2改为python3中的urllib.request四种方式对比:python2的get#coding=utf-8importurllibimporturllib2word=urllib.urlencode({"wd":"百度"})url='http://www.baidu.com/s'+'?'+wordrequest=urllib2.Request(url)printurllib2.urlopen(request).read

系统 2019-09-27 17:52:45 2053

Python

python 动态迁移solr数据过程解析

前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的

系统 2019-09-27 17:52:33 2053

Python

python调用hanlp进行命名实体识别

阅读更多本文分享自6丁一的猫的博客,主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。1、python与jdk版本位数一致2、pipinstalljpype1(python3.5)3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录4、修改hanlp.properties中root根目录,找到data代码调用如下:1|#coding:utf-82|'''3|Createdon20

系统 2019-09-27 17:52:23 2053

Python

python3.6+selenium实现操作Frame中的页面元素

有时网页中会嵌套一个或者多个Frame,此时我们直接去找嵌套在Frame里面的元素会抛出异常,所以在操作的时候我们需要将页面焦点切换到Frame里面,下面我们就以一个实例演示一下!首先先创建三个html文件,文件代码如下:1)frameset.html2)frame_left.html3)frame_right.html4)frame_middle.html5)把这四个html文件放在同一个文件夹下<以下是python实现该逻辑的代码:importunit

系统 2019-09-27 17:50:57 2053

Python

Python的枚举类enum

枚举的作用简述:枚举本身的意思就是一一列举出来,在python及其它语言中,枚举就是将该类型变量的所有可能取的值事先一一列举出来,然后限制该变量在实际使用中就只能在这些值的范围内取值。使用枚举类有哪些好处枚举类可以方便地表示星期,月份等常数类型,如果你不用枚举类,那么你只能用数字或者字符串。如果你使用数字,用1-7来表示星期数,但一个数字在程序中不仅可以表示星期数,可能还有其他许多含义,这样你在写程序时就必须时刻记住这些数字的含义,这降低了程序的可读性,也

系统 2019-09-27 17:50:48 2053

Python

在Python中利用Pandas库处理大数据的简单介绍

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5GHzIntelCorei7内存:32GBHDDR31600MHz硬盘:3TBFusionDrive数据

系统 2019-09-27 17:50:47 2053

Python

python获取网页源代码

最简单的网页取源(不用模拟浏览器的情况)1importrequests2defgetHTML(url):3try:4r=requests.get(url,timeout=30)5r.raise_for_status()6r.encoding='utf-8'7returnr.text8except:9return""10url="http://baidu.com"11print(getHTML(url))

系统 2019-09-27 17:50:19 2053

Python

Python实用库 PrettyTable 学习笔记

本文实例讲述了Python实用库PrettyTable。分享给大家供大家参考,具体如下:PrettyTable安装使用pip即可十分方便的安装PrettyTable,如下:pipinstallPrettyTablePrettyTable使用示例github上有PrettyTable的使用说明,链接如下:https://github.com/dprince/python-prettytable以下是具体的使用示例:importprettytableaspt按

系统 2019-09-27 17:50:01 2053

Python

Python open读写文件实现脚本

1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。file_object=open('thefile.txt')try:all_the_text=file_object.read()finally:file_object.close()注:不能把open语句放在try块里,因为当打开文件出现异常时,文件对象file_object无法执行close()方法。2.读文件读文本

系统 2019-09-27 17:49:43 2053

Python

Python数据挖掘入门与实践

本书特色在数据规模急速膨胀的大数据时代,数据挖掘这项甄别重要数据的核心技术正发挥越来越重要的作用。它将赋予你解决实际问题的“超能力”:预测体育赛事结果、精确投放广告、根据作品的风格解决作者归属问题,等等。本书使用简单易学且拥有丰富第三方库和良好社区氛围的Python语言,由浅入深,以真实数据作为研究对象,真刀实枪地向读者介绍Python数据挖掘的实现方法。通过本书,读者将迈入数据挖掘的殿堂,透彻理解数据挖掘基础知识,掌握解决数据挖掘实际问题的最佳实践!理解

系统 2019-09-27 17:49:13 2053

Python

Stack Overflow2019开发者调查报告:“Python再次

继PLPY4月榜单官宣,Python躺赢,再度“夺”冠,实力甩下Java和C后,近期,StackOverflow发布了2019开发者调查报告,也证实了王者陨落这一事实。那么,2019年大环境下,程序员群体正在发生哪些变化?收入究竟如何?这份报告邀请超147个国家、9万名开发者参与调查,内容涉及开发者基本情况、技术、工作、社区、方法论多个维度。以下为和正在敲代码的你息息相关的结论。2019年Python趋势分析:https://edu.csdn.net/to

系统 2019-09-27 17:48:16 2053

Python

shell,python,golang,日期时间与时间戳的转换

Shellshell获取文件最后修改时间的秒时间戳:stat-c%Y$path/$newest_logshell获取当前时间的秒时间戳:date+%s两个时间戳相减:timegap=$[$timestamp-$filetimestamp]将日期时间字符串转化为时间戳:date-d"2019-08-26"+%s将时间戳转化为日期时间字符串:date-d@1566748800获取n天前的日期时间:date-d"1dayago"+"%Y-%m-%d"获取n分钟前

系统 2019-09-27 17:48:12 2053

Python

Python 中的 if __name__ == '__main__' 该如何

最近搜索看到这篇文章,讲的很详细。http://blog.konghy.cn/2017/04/24/python-entry-program/这个问题来自于知乎用户的提问,当时看到这个问题,我只是做了下简单的回答。后来我发现,对于很多人来说,更准确的说应该是大部分的Python初学者,对这个问题理解的不是很深刻。所以这里我来做下总结,并试图把这个问题说明白。程序入口对于很多编程语言来说,程序都必须要有一个入口,比如C,C++,以及完全面向对象的编程语言Ja

系统 2019-09-27 17:47:26 2053

Python

使用python获取(宜宾市地震信息)地震信息

6月17日22分25分,四川省宜宾市长宁县发生了6.0级地震,成都高新减灾研究所与应急管理部门联合建设的大陆地震预警网成功预警本次地震,提前10秒向宜宾市预警,提前61秒向成都预警。虽然自己还不能写出这么牛逼的系统,但是今天我想结合自己学到的Python知识,用Python获取地震信息,然后微信实时推送给你的群组或你的朋友。1.前期准备1.爬虫基本知识,比如requests库,以及lxml库;2.利用Xpath进行HTML的解析;之前写的一些简单项目,提取

系统 2019-09-27 17:47:21 2053

Python

Python处理字符串之isspace()方法的使用

isspace()方法检查字符串是否包含空格。语法以下是isspace()方法的语法:str.isspace()参数NA返回值如果有字符串中只有空白字符并且至少有一个字符此方法返回true,否则返回false。例子下面的例子显示了isspace()方法的使用。#!/usr/bin/pythonstr="";printstr.isspace();str="Thisisstringexample....wow!!!";printstr.isspace();当我

系统 2019-09-27 17:47:15 2053