上面的博客把基本的HTML解析库已经说完了,这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一:爬取猫眼电影TOP100信息代码地址:https://gitee.com/dwyui/maoyan-Requests.git项目二:美食爬取(包含多层爬取)代码地址:https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 1777
最近在做周报的时候,需要把csv文本中的数据提取出来制作表格后生产图表。在获取csv文本内容的时候,基本上都是用withopen(filename,encoding='UTF-8')asf:来打开csv文本,但是实际使用过程中发现有些csv文本并不是utf-8格式,从而导致程序在run的过程中报错,每次都需要手动去把该文本文件的编码格式修改成utf-8,再次来run该程序,所以想说:直接在程序中判断并修改文本编码。基本思路:先查找该文本是否是utf-8的编
系统 2019-09-27 17:46:34 1777
在Python3中,将中文进行urlencode编码使用函数urllib.parse.quote(string,safe='/',encoding=None,errors=None)而将编码后的字符串转为中文,则使用urllib.parse.unquote(string,encoding='utf-8',errors='replace')示例代码如下:test="微信公众账号比特量化"print(test)new=urllib.parse.quote(te
系统 2019-09-27 17:45:54 1777
今天在写爬虫程序的时候由于要翻页,做除法分页的时候出现了复制代码代码如下:totalCount='100'totalPage=int(totalCount)/20ValueError:invalidliteralforint()withbase10的错误网上同样的错误有人建议用round(float(“1.0″)),但是解决不了我这个问题,round(float(“1.0″))是用于解决浮点数转换为整形数的,而我这个则是因为原字符串转换为整形后做除法,虽然
系统 2019-09-27 17:45:38 1777
python合并文本文件示例代码。python实现两个文本合并employee文件中记录了工号和姓名catemployee.txt:100JasonSmith200JohnDoe300SanjayGupta400AshokSharmabonus文件中记录工号和工资catbonus.txt:100$5,000200$500300$3,000400$1,250要求把两个文件合并并输出如下,处理结果:400ashoksharma$1,250100jasonsmi
系统 2019-09-27 17:38:46 1777
网络通用urllib-网络库(stdlib)。requests-网络库。grab�C网络库(基于pycurl)。pycurl�C网络库(绑定libcurl)。urllib3�CPythonHTTP库,安全连接池、支持文件post、可用性高。httplib2�C网络库。RoboBrowser�C一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页。MechanicalSoup-一个与网站自动交互Python库。mechanize-有
系统 2019-09-27 17:38:25 1777
代码描述:基于Python的净值数据接口调用代码实例关联数据:净值数据接口地址:https://www.juhe.cn/docs/api/id/25#!/usr/bin/python#-*-coding:utf-8-*-importjson,urllibfromurllibimporturlencode#----------------------------------#净值数据调用示例代码-聚合数据#在线接口文档:http://www.juhe.cn/
系统 2019-09-27 17:38:25 1777
前言最近在维护项目的python项目代码,项目使用了python的日志模块logging,设定了保存的日志数目,不过没有生效,还要通过contab定时清理数据。分析项目使用了logging的TimedRotatingFileHandler:#!/user/bin/envpython#-*-coding:utf-8-*-importloggingfromlogging.handlersimportTimedRotatingFileHandlerlog=log
系统 2019-09-27 17:38:11 1777
1、python装饰器刚刚接触python的装饰器,简直懵逼了,直接不懂什么意思啊有木有,自己都忘了走了多少遍Debug,查了多少遍资料,猜有点点开始明白了。总结了一下解释得比较好的,通俗易懂的来说明一下:小P闲来无事,随便翻看自己以前写的一些函数,忽然对一个最最最基础的函数起了兴趣:defsum1():sum=1+2print(sum)sum1()此时小P想看看这个函数执行用了多长时间,所以写了几句代码插进去了:importtimedefsum1():s
系统 2019-09-27 17:38:08 1777
Python生成指定数量的优惠码打开Python开发工具IDLE,新建‘codeGen.py'文件,并保存导入需要的包,这里需要random和string,代码如下:importstringimportrandom假设需要生成200个,长度为10的优惠码,实际应用这个可以作为参数进来CODE_COUNT=200CODE_LEN=10设计的优惠码由字母和数字组成,通过下面函数获取所有字母和数字,字母区分大小写defstrall():return(string
系统 2019-09-27 17:37:48 1777