看知乎的时候发现了一个“如何正确地吐槽”收藏夹,里面的一些神回复实在很搞笑,但是一页一页地看又有点麻烦,而且每次都要打开网页,于是想如果全部爬下来到一个文件里面,是不是看起来很爽,并且随时可以看到全部的,于是就开始动手了。工具1.Python2.72.BeautifulSoup分析网页我们先来看看知乎上该网页的情况:网址:,容易看到,网址是有规律的,page慢慢递增,这样就能够实现全部爬取了。再来看一下我们要爬取的内容:我们要爬取两个内容:问题和回答,回答
系统 2019-09-27 17:53:39 2089
在Android软件开发中,增加日志的作用很重要,便于我们了解程序的执行情况和数据。Eclipse开发工具会提供了可视化的工具,但是还是感觉终端效率会高一些,于是自己写了一个python的脚本来通过包名来过滤某一程序的日志。原理通过包名得到对应的进程ID(可能多个),然后使用adblogcat过滤进程ID即可得到对应程序的日志。源码复制代码代码如下:#!/usr/bin/envpython#coding:utf-8#Thisscriptisaimedtog
系统 2019-09-27 17:52:59 2089
一、分析:抓取动态页面js加载的人民日报里面的新闻详情https://wap.peopleapp.com/news/1先打开,然后查看网页源码,发现是一堆js,并没有具体的每个新闻的url详情,于是第一反应,肯定是js动态加载拼接的url。然后接着按f12查看,就看url,发现出来了好多url。然后点击具体的某一个新闻详情页面,查看url,把这个url的后面两个数字其中一个拿到访问主页的时候,f12抓包结果里面去查找,发现一个url,点击这个url,发现p
系统 2019-09-27 17:52:31 2089
xue学xi习lu路xian线Hello,各位小伙伴们大家晚上好呀,这期开始,博主就开始带领大家一起学习深度学习的代码了。在这之前,我们得先安装深度学习开发环境,让我们的代码能跑起来。KerasKeras简介Keras是一个高级神经网络APl,用Python编写,能够在TensorFlow,CNTK或Theano之上运行。它的开发重点是实现快速实验。能够以最小的延迟从理念到结果是进行良好研究的关键。因此,为了能够用最快的速度写出最优雅的代码,博主在这强烈推
系统 2019-09-27 17:51:47 2089
这个问题在网上找了很长时间,也没有很好的解决方案,大多数都是用的ftp.retrlines('LIST',处理函数)来获得文件的时间但是格式是所以很难做成时间戳,获取时间的目的不就是用来比较,所以下面个大家来个可以获取时间然后转化成时间戳的方式首先函数直接获取ftp文件的时间然后我的做法是,先将时间转化成列表,然后做成时间元组,再用函数转化成时间戳。L=list(ftp.sendcmd('MDTM'+"/home/tarena/%s/%s"%(files_
系统 2019-09-27 17:50:49 2089
今天向大家介绍app爬取。文章目录一:爬取主要流程简述二:抓包工具Charles1.Charles的使用2.安装(1)安装链接(2)须知(3)安装后3.证书配置(1)证书配置说明(2)windows系统安装证书配置(3)Android手机安装证书配置4.开启SSL监听5.原理6.抓包三:抓包工具mitmproxy(免费的)1.简介2.关联组件3.安装和证书配置(1)用pip安装(2)在GitHub或官网上安装3.证书配置(1)产生CA证书4.抓包原理5.设
系统 2019-09-27 17:50:36 2089
1.dict()创建字典复制代码代码如下:>>>fdict=dict((['x',1],['y',2]))>>>fdict{'y':2,'x':1}2.fromkeys()来创建一个"默认"字典,字典中元素具有相同的值复制代码代码如下:>>>ddict={}.fromkeys(('x','y'),-1)>>>ddict{'y':-1,'x':-1}3.遍历字典使用keys()遍历复制代码代码如下:>>>dict2={'name':'earth','port
系统 2019-09-27 17:50:06 2089
感想我们在做深度学习处理图片的时候,如果是自己制作或者收集的数据集,不可避免的要对数据集进行处理,然后大多数模型都只支持RGB格式的图片,这个时候,我们需要把其他格式的图片,例如灰度图像转换为RGB的图片,网上只有灰度图像转换为RGB的教程,我这里弥补一下空缺。fromPILimportImageimportnumpyasnpL_path='train/5509031.jpg'L_image=Image.open(L_path)out=L_image.co
系统 2019-09-27 17:49:10 2089
使用介绍如何添加断点?说到debug,肯定是要添加断点的,这里有两种方式添加断点:在想要断点代码后添加一行pdb.set_trace()若是使用这种方式,直接运行Python文件即可进入断点调试。用命令行来添加断点bline_number若是使用这种方式,需要python-mpdbxxx.py来启动断点调试。常用命令先简单介绍一下使用命令,这里不用记住,等用到的时候回来查就行。1进入命令行Debug模式,python-mpdbxxx.py2h:(help)
系统 2019-09-27 17:48:35 2089
SMTP是发送邮件的协议,Python内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块,email负责构造邮件,smtplib负责发送邮件。首先,我们来构造一个最简单的纯文本邮件:fromemail.mime.textimportMIMETextmsg=MIMEText('hello,sendbyPython...','plain','utf-8')注意到构造MIMETe
系统 2019-09-27 17:48:30 2089