搜索到与相关的文章
Python

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新

系统 2019-09-27 17:54:44 2168

Python

Python的subprocess模块总结

subprocess意在替代其他几个老的模块或者函数,比如:os.systemos.spawn*os.popen*popen2.*commands.*subprocess最简单的用法就是调用shell命令了,另外也可以调用程序,并且可以通过stdout,stdin和stderr进行交互。subprocess的主类复制代码代码如下:subprocess.Popen(args,bufsize=0,executable=None,stdin=None,stdou

系统 2019-09-27 17:54:43 2168

Python

centos 安装Python3 及对应的pip教程详解

安装Python3安装Python依赖:yuminstallopenssl-develbzip2-develexpat-develgdbm-develreadline-develsqlite-devel由于Python在linux不支持我们以可执行程序的方式安装,所以需要我们选择对应的版本源码安装源码下载站点:https://www.python.org/ftp/python/以Python3.6为例:wgethttps://www.python.org/

系统 2019-09-27 17:54:16 2168

Python

python向字符串中添加元素的实例方法

Python中的字符串对象是不能更改的,也即直接修改字符串中的某一位或几位字符是实现不了的,即python中字符串对象不可更改,但字符串对象的引用可更改,可重新指向新的字符串对象。+直接字符串外+元素name='zheng'print('mynameis'+name)%直接字符串外%(元素)一种字符串格式化的语法,基本用法是将值插入到%s占位符的字符串中。%s,表示格式化一个对象为字符name='zhang'age='25'print('mynameis%

系统 2019-09-27 17:53:52 2168

Python

Python3操作Excel-以豆瓣图书Top250为例

本文利用Python3爬虫抓取豆瓣图书Top250,并利用xlwt模块将其存储至excel文件,图片下载到相应目录。旨在进行更多的爬虫实践练习以及模块学习。工具1.Python3.52.BeautifulSoup、xlwt模块开始动手首先查看目标网页的url:https://book.douban.com/top250?start=0,然后我尝试了在代码里直接通过字符串连接仅改变”start=“后面的数字的方法来遍历所有的250/25=10页内容,但是后来

系统 2019-09-27 17:53:39 2168

Python

python+爬虫+微信机器人 打造属于你的网购价格监督利器

写在最前程序是为人类服务的,最近正好身边小伙伴们在做球衣生意,当然是去nikenba专区购买了,可是有些热门球衣发布几分钟就被抢完,有些折扣球衣也是很快就被抢售一空,那么我们只能靠自己的眼睛一直盯着网站吗?NoNoNo,作为计算机专业的学生,怎么能为这种事情浪费时间呢?那肯定想法就是写爬虫自动比对价格啊,后来又在想,爬虫数据也是在PC端啊,该怎么实时提醒我们呢?再弄一个微信机器人发送数据不就可以了吗?说干就干,代码开撸先看下效果:准备工作:首先本文使用py

系统 2019-09-27 17:53:30 2168

Python

python中如何对数据进行各种排序?

转载:https://www.cnblogs.com/fujian-code/p/7501795.htmlPython列表具有内置的list.sort()方法,可以在原地修改列表。还有一个sorted()内置的函数从迭代构建一个新的排序列表。在本文中,我们将探讨使用Python排序数据的各种技术。转自http://mp.weixin.qq.com/s?__biz=MzI5NDY1MjQzNA==&mid=2247484360&idx=2&sn=5e0d78

系统 2019-09-27 17:53:24 2168

Python

Python当中的array数组对象实例详解

计算机为数组分配一段连续的内存,从而支持对数组随机访问;由于项的地址在编号上是连续的,数组某一项的地址可以通过将两个值相加得出,即将数组的基本地址和项的偏移地址相加。数组的基本地址就是数组的第一项的机器地址。一个项的偏移地址就等于它的索引乘以数组的一个项所需要的内存单元数目的一个常量表示(在python中,这个值总是1)importarray#array模块是python中实现的一种高效的数组存储类型。它和list相似,但是所有的数组成员必须是同一种类型,

系统 2019-09-27 17:53:12 2168

Python

关于Python中的错误与异常,你是否了解的够仔细?

每次版本结束都描述这着同样的错误,相似的问题,但始终没见解决。所以今天,我就来总结下Python的错误与异常!异常与错误错误语法错误可以通过IDE或者解释器给出提示的错误opentxt('a.jpg','r')逻辑错误语法层面没有问题,但是自己代码的逻辑有问题ifage>18:print('未成年')异常多指在程序执行过程中,出现的未知错误,语法和逻辑本身是正确的。可以通过代码进行处理或修复异常分类除零异常(ZeroDivisionError):1/0名称

系统 2019-09-27 17:52:47 2168

Python

Python传递参数的多种方式(小结)

一位置传递没什么好过多讲解.#位置传递实例:deffun1(a,b,c):returna+b+cprint(fun1(1,2,3))输出:6二关键字传递更具每个参数的名字写入函数参数#关键字传递deffun2(a,b,c):returna+b+cprint(fun2(1,c=3,b=2))输出:6三参数默认值传递给函数的输入参数设定一个默认值,如果该参数最终没有输入,则使用默认参数出入函数.#默认值传递deffun3(a,b=2,c=3):returna+

系统 2019-09-27 17:52:29 2168