搜索到与相关的文章
Python

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy=Scrach+Python,Scrach这个单词是抓取的意思,Scrapy的官网地址:点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照://www.jb51.net/article/48607.htm

系统 2019-09-27 17:54:46 2227

Python

python2.7到3.x迁移指南

目前,Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7,不过,这种情况很快即将结束。去年11月,Numpy团队的一份声明引发了数据科学社区的关注:这一科学计算库即将放弃对于Python2.7的支持,全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具,pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言,如何将已有项目从Python2转向P

系统 2019-09-27 17:52:25 2227

Python

Python输出各行命令详解

创建main.py文件并粘贴下面代码点击右键运行Debug'main'后,下方的Debug窗口会出现ImportError:Nomodulenamed'bottle'这样的提示,提示导入bottle包出错所以我们需要先安装这两个包,cmd,输入pipinstallbottle回车后开始安装bottle包Mac权限不够补上sudo#!/usr/bin/python#coding=utf-8frombottleimportdefault_app,get,run

系统 2019-09-27 17:52:23 2227

Python

1 Python命令行参数(脚本神器)

1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:

系统 2019-09-27 17:52:18 2227

Python

Python迭代器

print("我想打印一个字符串%s"%123)print("我想打印一个字符串",123)print("我想打印一个字符串{}".format(123))这三个输出有什么区别喃?Python中一个数据是否可以迭代(能否使用For)isinstance(需要判断的数据,Iterable)查看返回值,true则可以迭代,false不能迭代。如果创建一个可以迭代的对象?必须实现__iter__()方法在__iter__方法中需要返回一个具有__iter__方法

系统 2019-09-27 17:52:09 2227

Python

Python3快速入门(十五)——Pandas数据处理

Python3快速入门(十五)——Pandas数据处理一、函数应用1、函数应用简介如果要将自定义函数或其它库函数应用于Pandas对象,有三种使用方式。pipe()将函数用于表格,apply()将函数用于行或列,applymap()将函数用于元素。2、表格函数应用可以通过将函数对象和参数作为pipe函数的参数来执行自定义操作,会对整个DataFrame执行操作。#-*-coding=utf-8-*-importpandasaspdimportnumpyas

系统 2019-09-27 17:52:01 2227

Python

Python:linux下的pip安装

阅读更多网上流传以下几种安装1)要安装或升级pip,需要下载get-pip.py.地址:https://bootstrap.pypa.io/get-pip.py然后运行以下命令(需要管理员权限):pythonget-pip.py试了试:不行2)去官网下载①https://pypi.python.org/pypi/pip②下载之后的包上传到服务器上③然后解压tar-zxvf***④解压之后会有个文件夹⑤进入到文件夹,执行命令pythonsetup.pyins

系统 2019-09-27 17:51:30 2227

Python

浅析Python数据处理

Numpy、Pandas是Python数据处理中经常用到的两个框架,都是采用C语言编写,所以运算速度快。Matplotlib是Python的的画图工具,可以把之前处理后的数据通过图像绘制出来。之前只是看过语法,没有系统学习总结过,本博文总结了这三个框架的API。以下是这三个框架的的简单介绍和区别:Numpy:经常用于数据生成和一些运算Pandas:基于Numpy构建的,是Numpy的升级版本Matplotlib:Python中强大的绘图工具NumpyNum

系统 2019-09-27 17:51:19 2227

Python

python global关键字的用法详解

最近刚好有朋友遇到个global相关的问题,这里简单学习一下global关键字的用法。想要更好的了解global关键字,首先要熟悉python的全局变量与局部变量的概念。global关键字的作用是可以申明一个局部变量为全局变量,下面看一下实例一、变量作用域的说明这里简单提一下变量作用域的概念,有兴趣的小伙伴,可以查一下相关的博客1、局部变量defa():##菊部变量-,-local=1print(local)##全局无法使用,只有自己可用print(lob

系统 2019-09-27 17:51:01 2227

Python

Python实现使用request模块下载图片demo示例

本文实例讲述了Python实现使用request模块下载图片。分享给大家供大家参考,具体如下:利用流传输下载图片#-*-coding:utf-8-*-importrequestsdefdownload_image():"""demo:下载图片:return:"""headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/45

系统 2019-09-27 17:50:59 2227