前言网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目做数据测试，公司业务所需数据。而数据来源可以来自于公司内部数据，第三方平台购买的数据，还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块，以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫：搜索引擎使用，遵守robots协议（君子协议）
系统 2019-09-27 17:51:27 2152
BacktoPythonIndex.1.安装Installation官网,国内镜像源清华最方便，condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/#显示源地址condaconfig--set
系统 2019-09-27 17:50:47 2152
文件操作是开发中经常遇到的场景，那么如何判断一个对象是文件对象呢？下面我们总结了3种常见的方法。方法1：比较类型第一种方法，就是判断对象的type是否为file>>>fp=open(r"/tmp/pythontab.com")>>>type(fp)>>>type(fp)==fileTrue注意：该方法对于从file继承而来的子类不适用，看下面的实例classfileDetect(file):pass#中间代码无所谓，直接跳过不处理fp2=fileDetec
系统 2019-09-27 17:49:34 2152
首先需要安装pdfminer3k库：pipinstallpdfminer3kfrompdfminer.pdfparserimportPDFParserfrompdfminer.pdfdocumentimportPDFDocumentfrompdfminer.pdfpageimportPDFPagefrompdfminer.pdfpageimportPDFTextExtractionNotAllowedfrompdfminer.pdfinterpimport
系统 2019-09-27 17:49:27 2152
实现一个函数，将一个字符串中的空格替换成“%20”#!/usr/bin/envpython#-*-coding:utf-8-*-test=raw_input()#从键盘输入inital_length=len(test)kong=0#kong用来统计输入的一行数据中总共有多少个空格foriintest:ifi=="":kong+=1final_length=inital_length+2*kong#计算转换后的数组的长度p1=inital_length-1p
系统 2019-09-27 17:49:11 2152
玩转Python量化金融工具之NumPy一切事物的开头总是困难这句话，在任何一种科学上都是适用的。——马克思前言“手把手教你”系列将为Python初学者一一介绍Python在量化金融中运用最广泛的几个库（Library）:NumPy（数组、线性代数）、SciPy（统计）、pandas（时间序列、数据分析）、matplotlib（可视化分析）。建议安装Anaconda软件（自带上述常见库），并使用JupyterNotebook交互学习。1、使用“import
系统 2019-09-27 17:49:04 2152
Turtle图形库Turtle库是Python内置的图形化模块，属于标准库之一，位于Python安装目录的lib文件夹下，常用函数有以下几种：画笔控制函数penup():抬起画笔；pendown():落下画笔；pensize(width):画笔宽度；pencolor(color):画笔颜色；运动控制函数forward(d)/fd(d):直行d个像素；circle(r,extent=None):绘制半径为r，角度为extent的弧形，圆心默认在海龟左侧距离r
系统 2019-09-27 17:48:49 2152
1、先来看一个函数：defsum(x,y):returnx+y用lambda来实现：p=lambdax,y:x+yprint(p(1,2))2、传入一个参数的lambda函数a=lambdax:x*xprint(a(2))#注意：这里直接a(2)可以执行，但没有输出的，因为没有print3、多个参数的lambda形式：a=lambdax,y,z:x*y*zprint(a(5,6,7))匿名函数lambda：是指一类无需定义标识符（函数名）的函数或子程序。l
系统 2019-09-27 17:48:43 2152
前言在python列表的元素删除操作中,del,pop(),remove()很容易混淆,下面对三个语句/方法作出解释del语句del语句可以删除任何位置处的列表元素,若知道某元素在列表中的位置则可使用del语句.例:>>>a=[3,2,2,1]>>>dela[1]>>>a[3,2,1]pop()方法pop()可删除任意位置的元素并将其返回,只需在括号内指定要删除元素的索引即可,当括号内为空时则删除该列表最后一个元素并将其返回.例1:>>>a=[3,2,1]
系统 2019-09-27 17:46:31 2152
最近在学习机器学习的过程中，常常需要将本地写的代码传到GPU服务器中，然后在服务器上运行。之前的做法一直是先在本地写好代码，然后通过FileZilla这样的文件传输工具来将写好的文件传到服务器，再通过ssh工具远程连接到服务器，执行相应的python脚本。这样的方式十分繁琐，效率很低。今天听到朋友提到了配置远程解释器使用场景先说说自己的使用场景，我是在什么情况下，需要将IDE配置成这样的环境来方便我的工作。首先，我需要在本地机子上写python代码，但是因
系统 2019-09-27 17:46:10 2152
