正则表达式什么是正则表达式?正则表达式是对字符串(包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。正则表达式可以干什么?快速高效的查找与分析字符串进行有规律查找比对字符串,也叫:模式匹配具有查找、比对、匹配、替换、插入
系统 2019-09-27 17:54:35 2056
前提:python3.4windows作用:通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章,并将标题及相关链接导入Excel表格中说明:需xlsxwriter模块,另程序编写时间为2017/7/11,以免之后程序无法使用可能是网站做过相关改变,程序较为简单,除去注释40多行。正题:思路:打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作
系统 2019-09-27 17:54:31 2056
这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女!!!!fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi
系统 2019-09-27 17:53:14 2056
python默认环境一般是ascii编码方式,因此Python自然调用ascii编码解码程序去处理字符流,当字符流不属于ascii范围内,就会抛出异常(ordinalnotinrange(128))。参考可通过如下方式查看默认环境编码方式:importsysprintsys.getdefaultencoding()问题解决有两种方式:1、修改默认环境编码方式为utf-8importsysreload(sys)#不加这个会报”找不到setdefaultenc
系统 2019-09-27 17:52:42 2056
json.load读取文件(file),解析为json对象(dict类型);json.loads读取字符串(string),解析为json对象;json.dump写文件(file),将json对象写入文件;json.dumps写字符串,将json对象写成string。importjsonimportosjson_obj={'name':'Michael','age':13}print("jsondict:",type(json_obj))#json对象是一
系统 2019-09-27 17:52:39 2056
Python中的json对象实际是一个字典结构,用于存储和交换信息,导入json模块:importjson1,把字符串转换为jsonjson的load()方法用于把josn格式的字符串转换为json对象,这实际上是一个字典结构:json_string='{"name":"John","age":30,"city":"NewYork"}'#parsestringtojsonjson_obj=json.loads(json_string)2,把字典转换为jso
系统 2019-09-27 17:52:33 2056
在之前学习的RDD和DataFrame数据集主要处理的是离线数据,随着时代发展进步,我们会发现越来越多数据是在源源不断发回到数据中心,同时需要立刻响应给用户,这样的情况我们就会用到实时处理,常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起,实时数据源主要有:FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源,常用的有本地文件fil
系统 2019-09-27 17:52:32 2056
目前,Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7,不过,这种情况很快即将结束。去年11月,Numpy团队的一份声明引发了数据科学社区的关注:这一科学计算库即将放弃对于Python2.7的支持,全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具,pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言,如何将已有项目从Python2转向P
系统 2019-09-27 17:52:25 2056
原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html学习菜鸟教程上一个同学的笔记,写的很好理解。转来学习。原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html开始之前先提醒一下:多个装饰器的调用顺序为:从下往上每个人都有的内裤主要功能是用来遮羞,但是到了冬天它没法为我们防风御寒,咋办?我们想到的一个办法就是把内
系统 2019-09-27 17:52:15 2056
原文链接:https://mp.csdn.net/postedit/98402744学习Python您是否会面临以下问题?“网上充斥着大量的学习资源、书籍、视频教程和博客,但是大部分都是讲解基础知识,不够深入;也有的比较晦涩,难以理解”。CSDNPython学习社群将帮助您过滤网上的垃圾教程资源的技能,同时,您可以在社群内与其他有经验的程序员交流获取帮助。CSDNPython社群专属福利---7月公开课表如下:课程一《Python小白重难点解析》7月24日
系统 2019-09-27 17:51:47 2056