搜索到与相关的文章
Python

python urllib urlopen()对象方法/代理的补充说明

pythonurlliburlopen()对象方法/代理的补充说明urllib是python自带的一个抓取网页信息一个接口,他最主要的方法是urlopen(),是基于python的open()方法的。下面是主要说明:urllib.urlopen('网址')这里传入urlopen()的参数有特别说要求,要遵循一些网络协议,比如http,ftp,也就是说,在网址的开头必须要有http://这样的说明,如:urllib.urlopen('http://www.b

系统 2019-09-27 17:54:45 2060

Python

Python 抓取动态网页内容方案详解

用Python实现常规的静态网页抓取时,往往是用urllib2来获取整个HTML页面,然后从HTML文件中逐字查找对应的关键字。如下所示:复制代码代码如下:importurllib2url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"up=urllib2.urlopen(url)#打开目标页面,存入变量upcont=up.read()#从up中读入该HTML文件key1='ke

系统 2019-09-27 17:53:24 2060

Python

python循环定时中断执行某一段程序的实例

问题说明最近在写爬虫,由于单个账号访问频率太高会被封,所以需要在爬虫执行一段时间间隔后自己循环切换账号所以就在想,有没有像单片机那样子设置一个定时中断,再定义一个中断入口,这样子每隔一段时间执行一次中断当然不能用sleep,这样子整个进程就停在这了,而不是接着爬数据解决方法用到threading的Timer,也类似单片机那样子,在中断程序中再重置定时器,设置中断,python实例代码如下importthreadingimporttimedefchange_

系统 2019-09-27 17:53:13 2060

Python

正则表达式及在python中的应用

符号说明.默认匹配\n之外的任意字符^匹配字符开头$匹配字符结尾?匹配?前面的字符0次或1次*匹配*前面的字符0次或多次+匹配+前面的字符1次或多次{m}匹配前一个(组)字符m次{n,m}匹配前一个(组)字符[n,m]次|匹配|左或者右的字符符号说明\A只从字符串开始匹配,类似^\Z匹配字符串结尾,类似$\d匹配数字0-9\D匹配非数字\w匹配数字字母\W匹配非数字字母\S匹配空字符\t\n\rpython说明(?P<\name>…)python中可以返回

系统 2019-09-27 17:52:46 2060

Python

python 动态迁移solr数据过程解析

前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的

系统 2019-09-27 17:52:33 2060

Python

Python设计模式3--建造者模式

建造者模式,也是一种创建新对象的设计方法,和C++中的虚函数很类似,但是用到了python自身的虚基类ABCMeta。1.应用场景:某个类中的函数较多,且实现比较复杂,很多时候需要继承的子类重载或者重新定义逻辑;2.背景基础:由于用到python中虚函数,需要了解abc模块中的ABCMeta和python中类创建对象时的__metaclass__属性含义。一般地,在某个类中如果定义__metaclass__=something时,简单地说是,创建对象时,会

系统 2019-09-27 17:52:24 2060

Python

插入、冒泡、快排、选择排序算法python2代码实现

目录一、插入排序二、冒泡排序三、快排(递归)四、选择排序生成一个长度为10的范围在0~20的随机数组importrandomtemp_list=[]whileTrue:num=random.randint(0,20)ifnumnotintemp_list:temp_list.append(num)iflen(temp_list)==10:breakprinttemp_list一、插入排序definsert(list):length=len(list)for

系统 2019-09-27 17:51:37 2060

Python

Python基础---变量

Python基础---变量什么是变量:用来绑定数据对象的标识符一.变量的命名规则:变量名必须为字母或下划线开头,后跟字母或下划线或数字不能使用python的关键字命名命名规则可以被视为一种惯例,并无绝对与强制目的是为了增加代码的识别和可读性在定义变量时,为了保证代码格式,=的左右应该各保留一个空格在Python中,如果变量名需要由二个或多个单词组成时,可以按照以下方式命名每个单词都使用小写字母单词与单词之间使用_下划线连接例如:first_name、ast

系统 2019-09-27 17:50:40 2060

Python

【python】UnicodeDecodeError: 'gbk' codec

UnicodeDecodeError:'gbk'codeccan'tdecodebyte0x80inposition128:illegalmultibytesequence说到底是open()使用方法。原本程序是这样的:(重点看第4行)fromtkinterimport*importosdefopenFile():f=open('D:\Pythoncharmprojccts\SC\main_window.py',mode='r')whileTrue:dat

系统 2019-09-27 17:50:35 2060

Python

python利用7z批量解压rar的实现

一开始我使用了rarfile这个库,奈何对于含有密码的压缩包支持不好,在linux上不抛出异常;之后有又尝试了unrar。。比rarfile还费劲。。所以用了调用系统命令的方法,用7z来解压通过apt可以安装上7z-full和7z的rar插件有一个地方要注意-o和-p与后面的目录、密码之间没有空格!!同样可以用这个代码暴力破解压缩包密码#coding:utf-8importosimportzipfileimporttracebackimporttimeim

系统 2019-09-27 17:49:33 2060