Scrapy是一个开源的Python数据抓取框架,速度快,强大,而且使用简单。来看一个官网主页上的简单并完整的爬虫:虽然只有10行左右的代码,但是它的确是一个完整的爬虫服务:当执行scrapyrunspiderxxx.py命令的时候,Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求,然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中,
系统 2019-09-27 17:53:38 2124
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 2124
Python的元组和列表类似,不同之处在于元组中的元素不能修改(因此元组又称为只读列表),且元组使用小括号而列表使用中括号,如下:tup1=('physics','chemistry',1997,2000)tup2=(1,2,3,4,5,6)特别注意:1、元组中只包含一个元素时,需要在元素后面添加逗号来消除歧义tup1=(50,)2、元组中的元素值使不允许修改的,但可以对元组进行连接组合tup1=(12,34.56)tup2=('abc','xyz')tu
系统 2019-09-27 17:52:18 2124
原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html学习菜鸟教程上一个同学的笔记,写的很好理解。转来学习。原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html开始之前先提醒一下:多个装饰器的调用顺序为:从下往上每个人都有的内裤主要功能是用来遮羞,但是到了冬天它没法为我们防风御寒,咋办?我们想到的一个办法就是把内
系统 2019-09-27 17:52:15 2124
Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块,对常用的机器学习方法进行了封装,包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时,便可根据下图来选择相应的方法。Sklearn具有以下特点:简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、
系统 2019-09-27 17:51:55 2124
步骤:1.掌握几种对象及其关系2.了解每类对象的基本操作方法3.通过转化关系转化涉及对象1.datetime>>>importdatetime>>>now=datetime.datetime.now()>>>nowdatetime.datetime(2018,1,12,23,9,12,946118)>>>type(now)2.timestamp>>>importtime>>>time.time()1421075455.5682433.timetuple>>
系统 2019-09-27 17:51:17 2124
老婆给当程序员的老公打电话:“下班顺路买一斤包子带回来,如果看到卖西瓜的,买一个。”当晚,程序员老公手捧一个包子进了家门……老婆怒道:“你怎么就买了一个包子?”老公答曰:“因为看到了卖西瓜的。”程序员买西瓜的笑话可能大部分读者都知道,今天写的这篇文章和这个笑话有一定的关系。任何编程语言都提供了if...else...语句,表示如果(if)满足条件就做某件事,否则(else)就做另外一件事:ifa==b:print("true")else:print("fa
系统 2019-09-27 17:50:46 2124
python语言解释器是一个轻量级的小尺寸软件,可以在python语言主网站上下载网址如下https://www.python.org/downloads/我用的是sulimetext当然你也可以用其他的Sublime有很多优点比如SublimeText具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。SublimeText的主要功能包括:拼写检查,书签,完整的PythonAPI,Goto功能,即
系统 2019-09-27 17:50:02 2124
占位符,顾名思义就是插在输出里站位的符号。占位符是绝大部分编程语言都存在的语法,而且大部分都是相通的,它是一种非常常用的字符串格式化的方式。1、常用占位符的含义s:获取传入对象的__str__方法的返回值,并将其格式化到指定位置r:获取传入对象的__repr__方法的返回值,并将其格式化到指定位置c:整数:将数字转换成其unicode对应的值,10进制范围为0<=i<=1114111(py27则只支持0-255);字符:将字符添加到指定位置o:将整数转换成
系统 2019-09-27 17:49:18 2124
1.在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。思路:判断数组中是否有该整数,因此返回值为false或true。定义查询函数Find(),使用循环判断输入的整数是否在array中,设置flag位,若含有则返回true,否则返回false。/*判断整数是否在二维数组里*/classSolution:#array二
系统 2019-09-27 17:48:58 2124