Python爬取mm131图片写在前面的话爬虫第一步安装python环境爬取图片要用到的三方库创建一个py文件代码运行遇到的过的问题写在后面的话写在前面的话说起来来写爬虫这件事,不是心血来潮。我最近想让自己的网站流量提升一下,所以就想着能不能搞点美女图片来提高一下点击量。一开始我是直接使用了干货api里面的美女图片接口在自己的网站上展示图片,这样一来我服务器的带宽压力会小很多,毕竟小水管服务器压力还是蛮大的(阿里云服务器最低配置),后来使用发现,这个api
系统 2019-09-27 17:54:01 2538
前言通常执行python程序要有相应的Python环境,但某些特定场景下,我们可能并不愿意这么麻烦的去配置这些环境(比如将写好的脚本发给客户进行操作),如果可以提前将程序打包成Windows平台的.exe文件或者是Linux下的.sh脚本,那么使用起来就会方便很多,py2exe和PyInstaller这两款工具都是干这么个事的,下面以hello.py脚本(代码内容如下)为例进行介绍。age=input("Howoldareyou?\n")print("A:
系统 2019-09-27 17:53:51 2538
在Python3中列表数据类型的内置方法里有三种方法可以删除列表的最后一个元素(我所知道的):1、pop方法list=[1,2,3,4]list.pop()print(list)#[1,2,3]2、del方法list=[1,2,3,4]del(list[-1])print(list)#[1,2,3]3、切片list=[1,2,3,4]list=list[0:-1]print(list)#[1,2,3]总结:以上三种方法未在内存处理上进行测试,唯一区别,po
系统 2019-09-27 17:53:39 2538
看知乎的时候发现了一个“如何正确地吐槽”收藏夹,里面的一些神回复实在很搞笑,但是一页一页地看又有点麻烦,而且每次都要打开网页,于是想如果全部爬下来到一个文件里面,是不是看起来很爽,并且随时可以看到全部的,于是就开始动手了。工具1.Python2.72.BeautifulSoup分析网页我们先来看看知乎上该网页的情况网址:,容易看到,网址是有规律的,page慢慢递增,这样就能够实现全部爬取了。再来看一下我们要爬取的内容:我们要爬取两个内容:问题和回答,回答仅
系统 2019-09-27 17:53:19 2538
当我们试图从新浪微博抓取数据时,我们会发现网页上提示未登录,无法查看其他用户的信息。模拟登录是定向爬虫制作中一个必须克服的问题,只有这样才能爬取到更多的内容。实现微博登录的方法有很多,一般我们在模拟登录时首选WAP版。因为PC版网页源码中包括很多的js代码,提交的内容也更多,不适合机器模拟登录。我们实现微博登录的大体思路是这样的:用抓包工具把正常登录时要提交的字段都记录下来;模拟提交这些字段;判断是否登录成功;原理很简单,让我们一步一步来实现吧。一.抓包利
系统 2019-09-27 17:53:11 2538
需求:将utf-8格式的文件转换成gbk格式的文件实现代码如下:复制代码代码如下:defReadFile(filePath,encoding="utf-8"):withcodecs.open(filePath,"r",encoding)asf:returnf.read()defWriteFile(filePath,u,encoding="gbk"):withcodecs.open(filePath,"w",encoding)asf:f.write(u)de
系统 2019-09-27 17:52:51 2538
场景我的CSDN:https://blog.csdn.net/BADAO_LIUMANG_QIZHI实现马士兵Java学习视频方立勋JavaWeb尚硅谷Python核心基础数据分析机器学习MYSQL500本电子书机器学习深度学习篇软件测试全套教程Bootsrap大数据从0开始到精通前端视频1000+高颜值简历大礼包最新的java从基础到精通全套完整视频python从入门到精通全套教程爬虫框架Scrapy基础全套教程微信公众号运营全套工具java面试题全套视
系统 2019-09-27 17:51:59 2538
前言众所周知,python拥有丰富的内置库,还支持众多的第三方库,被称为胶水语言,随机函数库random,就是python自带的标准库,他的用法极为广泛,除了生成比较简单的随机数外,还有很多功能。使用random库:importrandomrandom库主要函数:函数名说明用法random()生成一个0~1之间的随机浮点数,范围0<=n<1.0random.random()uniform(a,b)返回a,b之间的随机浮点数,范围[a,b]或[a,b),取决
系统 2019-09-27 17:51:33 2538
问题背景目前的linux发行版上,有很多安装了两个版本的python。我的机器上默认的版本为python2.x。且在使用easy_install安装第三方库时,也默认安装到了2.x的版本上,在3.x版本下则无法import安装的库。环境:Kubuntu15.04解决方法安装python3-setuptools和easy_install3,并安装pip3sudoapt-getinstallpython3-setuptoolssudoeasy_install3
系统 2019-09-27 17:38:29 2538
“Leo荐书”只推荐有用、耐读、看过之后能让人有所收获的书。编辑朋友刘静从人邮图灵转会到机工华章,送了本最近华章重点推荐的《演讲之禅》,上周去河南出差火车上用2个半小时把书读完。“不动笔墨不读书”我在书在扉页上记了些笔记。作者把事儿写清楚在书里体现知识点并不难,难的是写出智慧、灵气与幽默,ScottBerkun写《演讲之禅》时做到了,认真读来一定会让我们有几次会心的微笑。国内作者的一大毛病就是写书的时候马上“端起来卖”感觉自己是在背负民族复兴使命,写出的东
系统 2019-08-29 23:48:34 2538