最近在使用爬虫爬取数据时，经常会返回403代码，大致意思是该IP访问过于频繁，被限制访问。限制IP访问网站最常用的反爬手段了，其实破解也很容易，就是在爬取网站是使用代理即可，这个IP被限制了，就使用其他的IP。对于高大上的公司来说，他们基本都使用收费的代理，基本不会有什么问题，比较稳定。像我这样的矮矬穷，肯定是用不起收费的代理。一般都是使用国内免费的代理，网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP，存放在存储媒介中，例如excel文
系统 2019-09-27 17:56:04 2199
本文实例展示了一个脚本python用来转化表配置数据xml并生成相应的解析代码。但是在中文编码上出现了乱码，现将解决方法分享出来供大家参考。具体方法如下：1.Python文件设置编码utf-8（文件前面加上#encoding=utf-8)2.MySQL数据库charset=utf-83.Python连接MySQL是加上参数charset=utf84.设置Python的默认编码为utf-8(sys.setdefaultencoding(utf-8)示例代码如
系统 2019-09-27 17:55:27 2199
我们在做工作中经常会使用到json模块，今天就简单介绍下json模块什么是jsonJSON，全称为JavaScriptObjectNotation，也就是JavaScript对象标记，它通过对象和数组的组合米表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。json模块在python中可以作为数据解析json对象和数组在JavaScript语言中，一切都是对象。任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对
系统 2019-09-27 17:55:20 2199
这篇文章主要介绍了Python3requests文件下载期间显示文件信息和下载进度代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下"""使用模块线程方式实现网络资源的下载#实现文件下载,期间显示文件信息&下载进度#控制台运行以显示进度"""importrequestsimportos.pathasopimportosfromsysimportstdoutdefdownloadfile(url,fil
系统 2019-09-27 17:55:01 2199
前言前面几篇文章基本上已经了解了pytest命令使用，收集用例，finxture使用及作用范围，今天简单介绍一下conftest.py文件的作用和实际项目中如是使用此文件！实例场景首先们思考这样一个问题：如果我们在编写测试用的时候，每一个测试文件里面的用例都需要先登录后才能完成后面的操作，那么们该如何实现呢？这就需要我们掌握conftest.py文件的使用了。实例代码创建如下一个目录ConftestFile|conftest.py|test_file_01
系统 2019-09-27 17:54:45 2199
实验目的：用socket模拟一个微型的web服务器，当py脚本run起后，实微型webserver架起了，然后用本地浏览器访问127.0.0.1:8080(webserver的ip_port)时web服务器就会将网页内容传给浏览器，实现网页浏览.sw+sys:python3.7.2+windows1064bit本地准备的server端网页为下载的hao123主页（我已上载并上传，点击这里）通过这个实验让我学到了：1.当get请求一个主页时，要完整的显示一个
系统 2019-09-27 17:53:23 2199
json.load读取文件(file)，解析为json对象（dict类型）；json.loads读取字符串(string)，解析为json对象；json.dump写文件(file)，将json对象写入文件；json.dumps写字符串，将json对象写成string。importjsonimportosjson_obj={'name':'Michael','age':13}print("jsondict:",type(json_obj))#json对象是一
系统 2019-09-27 17:52:39 2199
除了重複使用Function，有時我們須檢查結果，依此判斷下個步驟該怎麼進行，如此就需要條件式conditionstatement。if...elif...ese(或if...elif...elif或if..else)while>>>defnumIsEven(k):...ifk%2==0:...print(k,'iseven')...else:...print(k,'isodd')...>>>numIsEven(8)8iseven>>>numIsEven(
系统 2019-09-27 17:52:28 2199
json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax，所以一
系统 2019-09-27 17:51:28 2199
在Python中通过GET来获取页面的COOKIE是非常简单的事情，下面的代码实例演示了如何利用Python获取COOKIE内容#!/usr/bin/envpython#coding=utf-8#-*-coding:utf-8-*-#encoding=utf-8importurllibimporturllib2importhttplibcj=''header={'Host':'218.94.26.135','Accept-Language':'zh-CN'
系统 2019-09-27 17:50:46 2199
