哎,以前写博文的时候没注意,有些图片用QQ来截取,获得的图片文件名都是类似于QQ截图20120926174732-300×15.png的形式,昨天用ftp备份网站文件的时候发现,中文名在flashfxp里面显示的是乱码的,看起来好难受,所以写了一个python小脚本,爬取整个网站,然后获取每个文章页面的图片名,并判断如果是类似于QQ截图20120926174732-300×15.png的形式就输出并将该图片地址和对应的文章地址保存在文件中,然后通过该文件来
系统 2019-09-27 17:47:21 2212
转自:https://www.cnblogs.com/rivendare/p/9493698.html列表解析式可以根据已有列表,高效创建新列表的方式。列表解析是Python迭代机制的一种应用,它常用于实现创建新的列表,返回的是一个列表,因此用在[]中。列表解析式因编译器进行优化,提高了效率,减少出错,增加可读性语法[返回值for元素in可迭代对象if条件]使用中括号[],内部是for循环,if条件语句可选返回一个新列表示例1:生成一个列表,元素0-9,对
系统 2019-09-27 17:46:41 2212
涉及到详情页爬取目录结构:kaoshi_bqg.pyimportscrapyfromscrapy.spidersimportRulefromscrapy.linkextractorsimportLinkExtractorfrom..itemsimportBookBQGItemclassKaoshiBqgSpider(scrapy.Spider):name='kaoshi_bqg'allowed_domains=['biquge5200.cc']start_
系统 2019-09-27 17:46:11 2212
环境MacPython3.6.4Atom背景Atom执行PythonCode使用ScriptPackage,执行快捷键cmd+i。但是默认是执行Mac系统的2.7版本的Python。配置cmd+,(cmd+逗号)快捷键打开Settings,或者点击Atom→Preferences打开Settings点击OpenConfigFolder(会打开Atom的Project)打开.atom/packages/script/lib/grammars/python.c
系统 2019-09-27 17:46:08 2212
前言项目中大量用到图片加载,由于图片太大,加载速度很慢,因此需要对文件进行统一压缩一:导入包fromPILimportImageimportos二:获取图片文件的大小defget_size(file):#获取文件大小:KBsize=os.path.getsize(file)returnsize/1024三:拼接输出文件地址defget_outfile(infile,outfile):ifoutfile:returnoutfiledir,suffix=os.
系统 2019-09-27 17:46:02 2212
最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小编),漫步了一圈,发现只有pyspider提供了现成的方案。简单试用了一下,感觉pyspider更像一个为新手打造的爬虫工具,好比一个老妈子,有时无微不至,有时喋喋不休。轻巧的小工具应该更受人喜爱,我也怀着一点私心,可以带着我最爱的BeautifulSoup一块儿用,而不用
系统 2019-09-27 17:38:44 2212
pythonxml.etree.ElementTree遍历xml所有节点XML文件内容:代码:#-*-coding:UTF-8-*-#从文件中读取数据importxml.etree.ElementTreeasET#全局唯一标识unique_id=1#遍历所有的节点defwalkData(root_node,level,result_list):globalunique_idtemp_list=[unique_id,level,root_node.tag,r
系统 2019-09-27 17:38:43 2212
python基于新浪sae开发的微信公众平台,实现功能:输入段子---回复笑话输入开源+文章---发送消息到开源中国输入快递+订单号---查询快递信息输入天气---查询南京最近五天天气状况输入微博热点---回复微博当前热门话题输入电影+名称---回复百度云盘中搜索的链接具体实现代码:#-*-coding:utf-8-*-importhashlibimportwebimportlxmlimporttimeimportosimporturllib2,jsoni
系统 2019-09-27 17:38:18 2212
我在工作的时候,在测试环境下使用的数据库跟生产环境的数据库不一致,当我们的测试环境下的数据库完成测试准备更新到生产环境上的数据库时候,需要准备更新脚本,真是一不小心没记下来就会忘了改了哪里,哪里添加了什么,这个真是非常让人头疼。因此我就试着用Python来实现自动的生成更新脚本,以免我这烂记性,记不住事。主要操作如下:1.在原先basedao.py中添加如下方法,这样旧能很方便的获取数据库的数据,为测试数据库和生产数据库做对比打下了基础。defselect
系统 2019-09-27 17:38:12 2212
工作流模式网站:http://is.tm.tue.nl/research/patterns/patterns.htm列出了21种工作流模式。http://www.workflowpatterns.com在上面21种模式的基础上进行扩展,共计43种;另外将这些种模式归为Control-FlowPatterns大类,增加的其他大类还有WorkflowDataPatterns,WorkflowResourcePatterns,ExceptionHandlingP
系统 2019-08-29 23:46:32 2212