爬虫工作的三个基本步骤:爬取网页、解析内容、存储数据准备先安装爬取网页需要用到的第三方库:requests和bs4pipinstallrequestspipinstallbs4爬取网页#coding:UTF-8importrequestslink="http://www.santostang.com/"headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(K
系统 2019-09-27 17:57:02 2172
基础篇正则表达式在python中运用的非常多,因为他可以进行任意的匹配,可以匹配我们想要提取的信息。当我们接触正则的时候你就会知道正则的强大。正则有一个库re在一些工程中我们会经常调用正则的库来做与匹配相关的问题。字符串是编程时涉及到的最多的一种数据结构,对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址,虽然可以编程提取@前后的子串,再分别判断是否是单词和域名,但这样做不但麻烦,而且代码难以复用。正则表达式是一种用来匹配字符
系统 2019-09-27 17:55:32 2172
fabric是一个python包是一个基于ssh的部署工具包通常用来对网站微服务等等的批量部署例如我有5台线上服务器可以通过一台对着5台分发,实现自动部署的目的。简单介绍下fabric的常用命令常用命令lcd(dir):进入本机某目录local(cmd):本机上执行命令cd(dir):进入服务器某目录run(cmd):服务器上执行命令FabricFabric是一个python的远程执行shell的库,同时它也是一个命令行工具。它提供了丰富的同SSH交互的接
系统 2019-09-27 17:54:45 2172
Python中的is和==比较两个对象的两种方法在Python中有两种方式比较两个对象是否相等,分别是is和==,两者之间是不同的==比较的是值(如同java中的equals方法)is比较的是引用(可以看作比较内存地址,类似于java中的==)对于:>>>n=1>>>nis1True>>>b='1'>>>bis1False>>>n==bFalse由于1和'1'不管在值上面还是在引用上面都不同,所以结果都为false对于:>>>n=1>>>nis1True这
系统 2019-09-27 17:53:48 2172
Python之身份运算和None一、身份运算Python中有很多种数据类型,查看一个数据的类型的方法是type()name='Kwan'age=1print(type(name),type(age))判断一个数据类型是不是str,orint等,可以用身份运算符is运算符描述实例isis是判断两个标识符是不是引用自一个对象xisy,类似id(x)==id(y),如果引用的是同一个对象则返回True,否则返回Falseisnotisnot是判断两个标识符是不是
系统 2019-09-27 17:53:44 2172
一、什么是匿名函数关键字lambda表示匿名函数。冒号前面的x表示形参,冒号后面是返回值。例:计算1~10对应数字的平方,以列表形式输出。定义法函数:deffun(x):returnx**2print(list(map(fun,range(1,11))))匿名函数法:print(list(map(lambdax:x**2,range(1,11))))二、匿名函数的特点当我们在传入函数时,有些时候,不需要显式地定义函数,直接传入匿名函数更方便。匿名函数有个限
系统 2019-09-27 17:53:21 2172
一.HTTP协议1.官方概念:HTTP协议是HyperTextTransferProtocol(超文本传输协议)的缩写,是用于从万维网(WWW:WorldWideWeb)服务器传输超文本到本地浏览器的传送协议。(虽然童鞋们将这条概念都看烂了,但是也没办法,毕竟这就是HTTP的权威官方的概念解释,要想彻底理解,请客观目移下侧......)2.白话概念:HTTP协议就是服务器(Server)和客户端(Client)之间进行数据交互(相互传输数据)的一种形式。我
系统 2019-09-27 17:52:22 2172
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。一,tofile()和fromfile()tofile()将数组中的数据以二进制格式写进文件tofile()输出的数据不保存数组形状和元素类型等信息fromfile()函数读回数据时需要用户指定元素类型,并对数组的形状进行适当的修改从上面的例子可以看出,在读入数据时:需要正确设置dtype参数,
系统 2019-09-27 17:49:58 2172
转眼又到了咱们中国传统的情人节七夕了,今天笔者就带大家来领略一下用Python表白的方式。让程序员的恋人们感受一下IT人的浪漫。一、词云制作首先咱们可以用之前介绍过的wordcould包制作词云。wordcloud包安装十分简单。pip即可完成安装pipinstallwordclould然后需要制作一个背景图片,为了应急我用艺术字做了个七夕的图片,如果大家来不及直接图片另存为使用下图即可。具体制作的词云的代码如下:fromwordcloudimportWo
系统 2019-09-27 17:49:28 2172
玩转Python量化金融工具之NumPy一切事物的开头总是困难这句话,在任何一种科学上都是适用的。——马克思前言“手把手教你”系列将为Python初学者一一介绍Python在量化金融中运用最广泛的几个库(Library):NumPy(数组、线性代数)、SciPy(统计)、pandas(时间序列、数据分析)、matplotlib(可视化分析)。建议安装Anaconda软件(自带上述常见库),并使用JupyterNotebook交互学习。1、使用“import
系统 2019-09-27 17:49:04 2172