前情提要:Python爬虫初体验(2):多线程的应用及爬取中的实际问题从来没想过,写一个功能较为完备的爬虫代码,要花好几天的时间……这次算是增长了许多编程经验。好的废话不多说,进入正题上次的代码中,由于部分XKCD漫画有特殊格式(还有404彩蛋),而我的代码中try-except结构只处理了连接超时的问题,没有对漫画本身的格式变化进行处理,导致线程意外中断。虽然最后写了重试下载,但是它和上面的一样,有个致命问题:如果是漫画格式的问题,它会陷入无限死循环。所
系统 2019-09-27 17:53:24 2638
基于requests模块发起ajax的get请求需求:爬取豆瓣电影分类排行榜https://movie.douban.com/中的电影详情数据用抓包工具捉取使用ajax加载页面的请求鼠标往下下滚轮拖动页面,会加载更多的电影信息,这个局部刷新是当前页面发起的ajax请求,用抓包工具捉取页面刷新的ajax的get请求,捉取滚轮在最底部时候发起的请求这个get请求是本次发起的请求的urlajax的get请求携带参数获取响应内容不再是页面数据,是json字符串,是
系统 2019-09-27 17:53:20 2638
最近因为想要看漫画,无奈下载的漫画是jpg的格式,网上的转换器还没一个好用的,于是乎就打算用python自己DIY一下:这里主要用了reportlab。开始打算随便写几行,结果为若干坑纠结了挺久,于是乎就想想干脆把代码写好点吧。实现了以下的几项功能:将当前文件夹下的图片保存到一个pdf中,支持选择pdf大小等如果有需要可以遍历它下面的所有文件夹简单的来说完全满足我将漫画转成pdf格式的需求了。碰到了一些问题,这里记录下:一、中文路径:这个实在是略蛋疼,总之
系统 2019-09-27 17:52:39 2638
在实际的应用中,我们经常会遇到一些曲线拟合得需求,尽管,实际上点对之间可能是没有绝对意义上的函数关系的,但是为了更好地量化表示和计算,我们往往期望于从原始的数据集中尽可能地挖掘出来可能的函数关系,今天我遇上了一个问题就是如何去拟合指数函数+对数函数这种组合型函数曲线,简单看一下具体的实现内容:deflogExpFunc():'''【指数+对数】混合函数拟合'''x=np.linspace(1,2,15)y=[21.5,23.1,25.9,30,32.6,3
系统 2019-09-27 17:52:17 2638
一、string模块常用函数ascii_letters获取所有ascii码中字母字符的字符串(包含大写和小写)ascii_uppercase获取所有ascii码中的大写英文字母ascii_lowercase获取所有ascii码中的小写英文字母digits获取所有的10进制数字字符octdigits获取所有的8进制数字字符hexdigits获取所有16进制的数字字符printable获取所有可以打印的字符whitespace获取所有空白字符punctuati
系统 2019-09-27 17:51:11 2638
前言本人前端不太懂Centos上面的东西,这两天在搞阿里云的Ecs在上面安装Python环境,刚开始直接在官网下载了源码包编译安装了Python3.7.4。但其实部署项目的时候大多会涉及到多项目以及Python的版本、环境不同,所以可以多版本Python+虚拟环境。0.Pyenv安装篇需要先安装依赖:yum-yinstallgitgccmakepatchzlib-develgdbm-developenssl-develsqlite-develbzip2-d
系统 2019-09-27 17:49:38 2638
不扯没用的,直接上代码1、环境:windows(Linux下应该也没问题)2、python版本:3.63、所需依赖:PyMuPDF(pipinstallpymupdf)以下是代码#-*-coding:utf-8-*-"""1、安装库pipinstallpymupdf2、直接运行"""importfitz#打开PDF文件,生成一个对象doc=fitz.open('1.pdf')forpginrange(doc.pageCount):page=doc[pg]r
系统 2019-09-27 17:49:25 2638
ljust()方法返回字符串左对齐的字符串长度宽度。填充是通过使用指定的fillchar(默认为空格)。如果宽度小于len(s)返回原始字符串。语法以下是ljust()方法的语法:str.ljust(width[,fillchar])参数width--这是填充后字符串的总长度。fillchar--这是填充符,默认为空格。返回值此方法返回字符串左对齐的字符串的长度宽度。填充是通过使用指定fillchar(默认为空格)。如果宽度小于len(s),返回原始字符串
系统 2019-09-27 17:47:12 2638
Python3将数据保存为txt文件的方法,具体内容如下所示:f=open("data/model_Weight.txt",'a')#若文件不存在,系统自动创建。'a'表示可连续写入到文件,保留原内容,在原#内容之后写入。可修改该模式('w+','w','wb'等)f.write("hello,sha")#将字符串写入文件中f.write("\n")#换行if__name__=='__main__':fw=open("/exercise1/data/que
系统 2019-09-27 17:45:43 2638
测试驱动开发是软件开发的重要部分。如果代码不进行测试,就是不可靠的。所有代码都必须测试,而且理想情况下应该在编写代码之前编写测试。但是,有些东西容易测试,有些东西不容易。如果要编写一个代表货币值的简单的类,那么很容易测试把$1.23和$2.8相加是否能够得出$4.03,而不是$3.03或$4.029999998。测试是否不会出现$7.465这样的货币值也不太困难。但是,如何测试把$7.50转换为€5.88的方法呢(尤其是在通过连接数据库查询随时变动的汇率信
系统 2019-08-29 23:05:23 2638