搜索到与相关的文章
Python

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy=Scrach+Python,Scrach这个单词是抓取的意思,Scrapy的官网地址:点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照://www.jb51.net/article/48607.htm

系统 2019-09-27 17:54:46 1623

Python

python 中random模块的常用方法总结

python中random的常用方法总结一、random常用模块1.random.random()随机生成一个小数print(random.random())#输出0.60605621179967842.random.randint(m,n)随机生成一个m到n的整数(包括n)print(random.randint(1,5))#输出53.random.randrange(m,n)随机生成m到n中的一个数,包括m但是不包括nprint(random.rand

系统 2019-09-27 17:54:35 1623

Python

南京大学python课程系列笔记之python基础之第一周:走进python

视频地址:https://www.icourse163.org/course/NJU-10015710051.1python简介:历史,特点,应用1.2第一个python程序:1.输出:print(字符串)print(变量)2.输入:varibale=input("message":)返回的是字符串str类型如需其它类型,可使用int(),float()等函数进行类型转换3.注释:#4.缩进:具有相同缩进的程序语句构成同一语句块1.3python语法基础1

系统 2019-09-27 17:54:30 1623

Python

Python的log日志功能及设置方法

引入:Python中有个logging模块可以完成相关信息的记录,在debug时用它往往事半功倍一、日志级别(从低到高):DEBUG:详细的信息,通常只出现在诊断问题上INFO:确认一切按预期运行WARNING:一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如。磁盘空间低”)。这个软件还能按预期工作。ERROR:更严重的问题,软件没能执行一些功能CRITICAL:一个严重的错误,这表明程序本身可能无法继续运行注:这5个等级,也分别对

系统 2019-09-27 17:54:25 1623

Python

高效测试用例组织算法pairwise之Python实现方法

开篇:测试过程中,对于多参数参数多值的情况进行测试用例组织,之前一直使用【正交分析法】进行用例组织,说白了就是把每个参数的所有值分别和其他参数的值做一个全量组合,用Python脚本实现,就是itertools模块中product方法(又称笛卡尔积法)。正交分析法的优点是测试用例覆盖率100%,缺点测试用例数量庞大,执行用例消耗的人工巨大。Pairwise(结对)算法源于对传统的正交分析方法优化后得到的产物,它的理论来自于数学统计。毫不避讳的说,本人看不懂数

系统 2019-09-27 17:54:21 1623

Python

安装Python的教程-Windows

在开始Python编程前,需要先安装Python环境。Python安装包可以到Python的官网下载,官网地址是https://www.python.org/,如果想直接跳过关于Python的介绍相关直接下载安装包,则可以直接访问https://www.python.org/downloads/下载安装包即可。Windows下安装Python要在Windows下安装Python,请按照下面的步骤进行:1、打开Web浏览器,访问https://www.pyt

系统 2019-09-27 17:54:19 1623

Python

centos 安装Python3 及对应的pip教程详解

安装Python3安装Python依赖:yuminstallopenssl-develbzip2-develexpat-develgdbm-develreadline-develsqlite-devel由于Python在linux不支持我们以可执行程序的方式安装,所以需要我们选择对应的版本源码安装源码下载站点:https://www.python.org/ftp/python/以Python3.6为例:wgethttps://www.python.org/

系统 2019-09-27 17:54:16 1623

Python

25、Python快速开发分布式搜索引擎Scrapy精讲—Requests请求

【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】Requests请求Requests请求就是我们在爬虫文件写的Requests()方法,也就是提交一个请求地址,Requests请求是我们自定义的**Requests()方法提交一个请求参数:url=字符串类型url地址callback=回调函数名称method=字符串类型请求方式,如果GET,POSTheaders=字典类型

系统 2019-09-27 17:54:11 1623

Python

python使用super()出现错误解决办法

python使用super()出现错误解决办法当我们在python的子类中调用父类的方法时,会用到super(),不过我遇到了一个问题,顺便记录一下。比如,我写了如下错误代码:classA():defdosomething(self):print"It'sA"classB(A):defdosomething(self):super(B,self).dosomething()if__name__=='__main__':b=B()b.dosomething(

系统 2019-09-27 17:54:02 1623

Python

Python matplotlib学习笔记之坐标轴范围

Python学习笔记--坐标轴范围参靠视频:《Python数据可视化分析matplotlib教程》链接:https://www.bilibili.com/video/av6989413/?p=6所用的库及环境:IDE:PycharmPython环境:python3.7Matplotlib:Matplotlib1.11Numpy:Numpy1.15.坐标轴范围概念根据需求调整坐标轴的范围坐标轴范围调整第一种形式通过plt.axis()可以查看图形的x轴的最小

系统 2019-09-27 17:53:50 1623