搜索到与相关的文章
Python

python打造爬虫代理池过程解析

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文

系统 2019-09-27 17:56:04 2068

Python

python实现复制大量文件功能

本文实例为大家分享了python实现复制大量文件的具体代码,供大家参考,具体内容如下本来是去项目公司拷数据,结果去了发现有500G,靠系统的复制功能怕是得好几个小时,于是回来学一手操作,话不多说上代码:说明:CopyFiles1是可以将sourceDir连子目录一起原样复制到targetDir,而CopyFiles2是在sourceDir中筛选特定格式文件,然后将其直接放在targetDir中,会很乱,但是很快importosimporttimeimpor

系统 2019-09-27 17:55:43 2068

Python

Python之字符串

在Python中字符串是不可变变量,对其进行切片及其中的元素复制都会报错>>>str="ThisisPython">>>str[0:3]="abc"Traceback(mostrecentcalllast):File"",line1,inTypeError:'str'objectdoesnotsupportitemassignment其常用的方法:split用法:str.split(sep=None,maxsplit=-1)将字符串划分为序列>>>env=

系统 2019-09-27 17:55:21 2068

Python

python文件操作整理汇总

总是记不住API。昨晚写的时候用到了这些,但是没记住,于是就索性整理一下吧:python中对文件、文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块。得到当前工作目录,即当前Python脚本工作的目录路径:os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录:os.removedirs(r“c:\python”)检验给出的路径是否是一个文件:os.path.i

系统 2019-09-27 17:55:05 2068

Python

python和shell实现的校验IP地址合法性脚本分享

一、python校验IP地址合法性执行效果:python代码:复制代码代码如下:[root@yangpython]#vicheck_ip.py#!/usr/bin/pythonimportos,sysdefcheck_ip(ipaddr):importsysaddr=ipaddr.strip().split('.')#切割IP地址为一个列表#printaddriflen(addr)!=4:#切割后列表必须有4个参数print"checkipaddressf

系统 2019-09-27 17:55:01 2068

Python

使用python开发vim插件及心得分享

vim有各种强大的插件,这不仅归功于其提供的用来编写插件的脚本语言vimL,还得益于它良好的接口实现,从而支持python等语言编写插件。当vim编译时带有+python特性时就能使用python2.x编写插件,+python3则支持python3.x,可以使用vim--version来查看vim的编译特性。要使用python接口,可以用:hpython来查看vim提供的帮助文档,本文做一个简单的介绍。我们都知道在vim里可以执行bash命令,只需要:!c

系统 2019-09-27 17:54:51 2068

Python

ubuntu18 下配置sublime text3 (python编码环境)

1下载sublimetext3(不要下载最新版Version:Build3207不好找licence)https://www.unyoo.com/2320.html(参考这个,需要指定版本windows或mac的可以看这个)https://download.sublimetext.com/sublime_text_3_build_3200_x64.tar.bz2(我用的是这个版本)放到ubuntu里面,解压tar-xvfsublime_text_3_bui

系统 2019-09-27 17:54:03 2068

Python

关于 Python opencv 使用中的 ValueError: too

最近在OpenCV-Python接口中使用cv2.findContours()函数来查找检测物体的轮廓。根据网上的教程,PythonOpenCV的轮廓提取函数会返回两个值,第一个为轮廓的点集,第二个是各层轮廓的索引。但是实际调用时我的程序报错了,错误内容如下:toomanyvaluestounpack(expected2)其实是接受返回值不符,如果你仅仅使用一个变量a去接受返回值,调用len(a),你会发现长度为3,也就是说这个函数实际上返回了三个值第一个

系统 2019-09-27 17:54:01 2068

Python

python-main

基础1、判断变量是否为None主要有三种写法:ifxisNone:ifnotx:ifnotxisNone:2、lambda函数的用法被称作匿名函数,没有具体名称的函数,允许快速定义单行函数,可以用在任何需要函数的地方。lambda与def的区别:def创建方法是有名称的,lambda没有;lambda会返回一个函数对象,但这个对象不会赋给一个标识符,而def会把函数对象赋值给一个变量;lambda只是一个表达式,def是一个语句;lambda表达式":"后

系统 2019-09-27 17:53:57 2068

Python

《Python数据科学入门》之阅读笔记(第3章)

Python数据科学入门DmitryZinoviev著熊子源译第三章使用文本数据第13单元处理HTML文件Beautifulsoup通过Python字典接口实现对HTML标签属性的访问。如果标签对象t表示超链接,则超链接目标的字符串值为t[“herf”].string。HTML标签是不区分大小写的。Soup最有用的函数:soup.find()找到目标的一个实例soup.find_all()找到目标的所有实例HTML\XML之所以强大,是因为有多样化的功能,

系统 2019-09-27 17:53:41 2068