- 军军小站|张军博客
搜索到与相关的文章
Python

python打造爬虫代理池过程解析

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文

系统 2019-09-27 17:56:04 1819

Python

python基于xml parse实现解析cdatasection数据

本文实例讲述了python基于xmlparse实现解析cdatasection数据的方法,分享给大家供大家参考。具体实现方法如下:fromxml.dom.minidomimport*implementation=DOMImplementation()print"Core:%s"%implementation.hasFeature('core','2.0')print"Events:%s"%implementation.hasFeature('Events'

系统 2019-09-27 17:55:55 1819

Python

详解Python列表赋值复制深拷贝及5种浅拷贝

概述在列表复制这个问题,看似简单的复制却有着许多的学问,尤其是对新手来说,理所当然的事情却并不如意,比如列表的赋值、复制、浅拷贝、深拷贝等绕口的名词到底有什么区别和作用呢?列表赋值#定义一个新列表l1=[1,2,3,4,5]#对l2赋值l2=l1print(l1)l2[0]=100print(l1)示例结果:[1,2,3,4,5][100,2,3,4,5]可以看到,更改赋值后的L2后L1同样也会被更改,看似简单的“复制”,在Python中,列表属于可变对象

系统 2019-09-27 17:55:41 1819

Python

如何安装并使用conda指令管理python环境

一、动机最近打算折腾vn.py,但只有py27版本的,因为一向习惯使用最新稳定版的,所以不得不装py27的环境,不得不说Python的全局锁真的很烦。身为懒癌患者,必然使用全功能的anaconda,但不想同时装py27和py35两个版本的anaconda巨无霸(同时装两个,不知道conda是否也可以管理环境),于是选择用conda装python27的环境及一些必要的包。弄了几天终于把办公电脑和家里的Mac机上的环境都配好了,即使有了官方的安装教材,也踩了不

系统 2019-09-27 17:55:36 1819

Python

计算机二级python学习教程(1) 教大家如何学习python

本来PHP还学艺不精,又报了计算机二级Python的考试,还有一个半月的时间,抓紧买了高教社的这两本书,今天正式开始学习这个语言,虽然没法和世界上最好的语言PHP相提并论,但是也值得一学。虽然先看蓝K,但是很喜欢黄K前言里的第一句话:“应试”是个中性词。设定一个阶段目标,为之努力,这是一种乐趣!正式开始:第1章程序设计基本方法1.1程序设计语言高级语言根据执行机制分为:静态语言(C、Java)、脚本语言(JavaScript、PHP、Python)。执行方

系统 2019-09-27 17:55:21 1819

Python

python初学笔记:if语句

Python中的条件语句与我之前学过的C,C++很相像,在Python里用and代替了&&(与运算符),用or代替了||(或运算符),而其他比较运算符如>,<,=,>=,<=,==,!=的用法和意义与C一致。在使用Python的if语句时,要注意冒号和缩进。最简单的if语句为if条件测试:要执行的内容如:a=5ifa>3:print("aislargerthan3")ifelse语句与此类似,如a=5ifa>3:print("aislargerthan3"

系统 2019-09-27 17:55:15 1819

Python

MAC OS中多版本python管理

Mac中python多版本切换管理step1.$sudovi~/.bashrcstep2.命令行中输入aliaspython2=’/…/Versions/2.x/bin/python2.x’aliaspython3=’/…/Versions/3.x/bin/python3.x’Step3.刷新$source~/.bashrcStep4、验证在终端输入python2即代表是Python2.x版本,输入python3即代表是Python3.x版本。Mac设置默

系统 2019-09-27 17:55:04 1819

Python

python的内存管理和垃圾回收机制详解

简单来说python的内存管理机制有三种1)引用计数2)垃圾回收3)内存池接下来我们来详细讲解这三种管理机制1,引用计数:引用计数是一种非常高效的内存管理手段,当一个pyhton对象被引用时其引用计数增加1,当其不再被引用时引用计数减1,当引用计数等于0的时候,对象就被删除了。2,垃圾回收(这是一个很重要知识点):①引用计数引用计数也是一种垃圾回收机制,而且是一种最直观,最简单的垃圾回收技术。在Python中每一个对象的核心就是一个结构体PyObject,

系统 2019-09-27 17:54:17 1819

Python

Python中的引用和拷贝浅析

Ifanobject'svaluecanbemodified,theobjectissaidtobemutable.Ifthevaluecannotbemodified,theobjectissaidtobeimmutable.mutable可变类型,例如list,set,自定义类型(等价于C#中的引用类型);immutable不可变类型,例如string,numbers等(等价于C#中的值类型);一、引用和拷贝(referencesandcopies)当

系统 2019-09-27 17:54:01 1819

Python

33关Python游戏,测试你的爬虫能力到底及格不?

作者|苏克1900责编|胡巍巍转载自高级农民工(ID:Mocun6)最近在网上看到一个非常有意思的Python游戏通关网站,一共有33关,每一关都需要利用Python知识解题找到答案,然后进入下一关。很考验对Python的综合掌握能力,比如有的闯关需要用到正则表达式,有的要用到爬虫。我们平常学Python都是按章节顺序、包或者模块来学,容易前学后忘。正好可以拿这个网站来综合测试一下对Python的掌握情况,以便查缺补漏。来说说这个网站怎么玩。mark这是网

系统 2019-09-27 17:53:08 1819