哎,以前写博文的时候没注意,有些图片用QQ来截取,获得的图片文件名都是类似于QQ截图20120926174732-300×15.png的形式,昨天用ftp备份网站文件的时候发现,中文名在flashfxp里面显示的是乱码的,看起来好难受,所以写了一个python小脚本,爬取整个网站,然后获取每个文章页面的图片名,并判断如果是类似于QQ截图20120926174732-300×15.png的形式就输出并将该图片地址和对应的文章地址保存在文件中,然后通过该文件来
系统 2019-09-27 17:47:21 1956
介绍这段程序用来随机批量生成一批安全性相对较高的密码,要了解你当前使用的密码强度到底如何?可以试一下这个网站:https://howsecureismypassword.net/他会告诉你计算机需要多久破解你的密码:代码#!python3importrandomprint('''========================密码生成器========================''')numberOfPassword=int(input('要生成几个
系统 2019-09-27 17:47:10 1956
有伙伴问过我Python面试相关的问题,这里也跟大家总结了一下,跟大家说说我之前的面试经历和心得体会:1、简历制作我做了两份简历,用两个手机账号,两个简历名字,分别在各个招聘网站投了双份简历,一个是数据分析的简历、一个是web全栈开发的简历,我真正接触python好几年了,不管是学习还是工作学到的东西,这几年大概掌握了(前端+django+爬虫+数据分析+机器学习+NLP+Linux)技术,技术水平自我评价还不错,,基于自己掌握的技术可以分成2方面,web
系统 2019-09-27 17:47:09 1956
昆明地图defkmdt(x):importmatplotlib.pyplotaspltimportjsonwithopen('km.json','rb')asf:data=json.load(f)forfeainrange(len(data['features'])):df=data['features'][fea]['geometry']['coordinates']forf1inrange(len(df)):df1=df[f1]forf2inrange
系统 2019-09-27 17:46:53 1956
文章目录一.爬虫简介二.简单爬虫架构三.URL管理器3.1url管理器应具有的最小功能:3.2实现方式四.网页下载器4.1urllib简单的获取一个网页。4.2使用Request4.3添加特殊情景的处理五.网页解析器5.1安装beautifulsoup45.2beautifulsoup语法5.3示例代码:六.完整实例6.1分析目标为什么是轻量级爬虫?因为复杂的爬虫需要考虑的场景和问题非常的多,比如有些网页需要登录后才能访问、而有些网页使用javascrip
系统 2019-09-27 17:46:04 1956
目的:很多时候,我们需要多个不同策略去完成一个任务,那个插件架构是很好一个选择。而每一个策略,不希望一个个去执行,还能实时上报数据,所以每一个插件都是异步执行,把每一个插件结果回调方法实时上报,然后写入数据。线程工具类#app/MyThread.pyimportthreadingclassMyThread(threading.Thread):def__init__(self,func,**kwargs):threading.Thread.__init__(
系统 2019-09-27 17:46:01 1956
了解http协议http请求头GET/HTTP/1.1Host:www.baidu.comConnection:keep-alivePragma:no-cacheCache-Control:no-cacheUpgrade-Insecure-Requests:1User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.3809.1
系统 2019-09-27 17:45:46 1956
新来的一个工程师不懂HBase,java不熟,python还行,我建议他那可以考虑用HBase的thrift调用,完成目前的工作。首先,安装thrift下载thrift,这里,我用的是thrift-0.7.0-dev.tar.gz这个版本tarxzfthrift-0.7.0-dev.tar.gzcdthrift-0.7.0-devsudo./configure--with-cpp=no--with-ruby=nosudomakesudomakeinstal
系统 2019-09-27 17:45:33 1956
目录一、执行Python程序的两种方式1.1交互式1.2命令行式二、执行Python程序的两种IDE2.1Pycharm2.2Jupyter一、执行Python程序的两种方式1.1交互式在终端内输入python3,然后输入python代码1.2命令行式在终端内输入python3文本文件路径二、执行Python程序的两种IDE2.1Pycharmhttps://www.cnblogs.com/nickchen121/p/10722733.html2.2Jup
系统 2019-09-27 17:45:26 1956
Python中的包包是一个分层次的文件目录结构,它定义了一个由模块及子包,和子包下的子包等组成的Python的应用环境。考虑一个在Phone目录下的pots.py文件。这个文件有如下源代码:#!/usr/bin/python#-*-coding:UTF-8-*-defPots():print"I'mPotsPhone"同样地,我们有另外两个保存了不同函数的文件:Phone/Isdn.py含有函数Isdn()Phone/G3.py含有函数G3()现在,在Ph
系统 2019-09-27 17:38:41 1956