在上次的爬虫中，抓取的数据主要用到的是第三方的Beautifulsoup库，然后对每一个具体的数据在网页中的selecter来找到它，每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上，只是其子节点不同。在上次爬虫中，每一类数据都要从其父类（包括其父节点的父节点）上往下寻找ROI数据所在的子节点，这样就会使爬虫很臃肿，因为很多数据有相同的父节点，每次都要重复的找到这个父节点。这样的爬虫效率很低。因此，笔者在上次
系统 2019-09-27 17:49:04 2473
IP合法性校验是开发中非常常用的，看起来很简单的判断，作用确很大，写起来比较容易出错，今天我们来总结一下，看一下3种常用的IP地址合法性校验的方法。IPv4的ip地址格式：（1~255）.（0~255）.（0~255）.（0~255）方法1：正则表达式判定法最简单的实现方法是构造一个正则表达式。判断用户的输入与正则表达式是否匹配。若匹配则是正确的IP地址，否则不是正确的IP地址。复制代码代码如下:^(1\d{2}|2[0-4]\d|25[0-5]|[1-9
系统 2019-09-27 17:48:11 2473
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs(UniformResourceLocators)的组件。它以urlopen函数的形式提供了一个
系统 2019-09-27 17:46:01 2473
python读取文件基础篇Introduction纠结了许久，在科研与计算机之间徘徊了很久，但是依旧稀里糊涂的不知道自己想要的是啥，反正很纠结，等到过了这一段时间，等尘埃落定再来叙述自己狗血的剧情！好了，工作还是要继续呀，对于工作人士利用python处理文件在很大概率上可以起到事半功倍的效果，因此建议大家在平时的过程中多积累处理文件的技巧，今天我也遇到了类似的文件处理，由于跟以前所写的博文中处理的文件稍微有所不同，所以在此也简单写一下，好了废话不多说，开始
系统 2019-09-27 17:57:31 2472
HTTP暴力破解、撞库，有一些惯用的技巧，比如：1.在扫号人人网时，我遇到单个账号错误两次，强制要求输入验证码，而对方并未实施IP策略。我采用维护10万（用户名，密码）队列的方式来绕过验证码。具体的做法是，当某个用户名、密码组合遇到需要验证码，就把该破解序列挂起，放到队列尾部等待下次测试，继续破解其他账号密码。这样就可以保证2/3的时间都在进行正常破解和扫号。2.在破解美团网某系统账号时，我遇到了单个IP访问有一定限制，请求频率不可过快。于是我挂了72个H
系统 2019-09-27 17:56:03 2472
目录一、"Python蟒蛇绘制"问题分析1.1Python蟒蛇绘制二、"Python蟒蛇绘制"实例编写三、运行效果3.1程序关键四、"Python蟒蛇绘制"举一反三4.1Python语法元素理解4.2程序参数的改变4.3计算问题的扩展一、"Python蟒蛇绘制"问题分析1.1Python蟒蛇绘制用程序绘制一条蟒蛇貌似很有趣，可以来试试先学会蟒蛇绘制，再绘朵玫瑰花送给TA设计蟒蛇的基本形状：问题1:计算机绘图是什么原理？一段程序为何能够产生窗体？为何能在窗体
系统 2019-09-27 17:55:11 2472
用python处理一个文本时，想要删除其中中某一行，常规的思路是先把文件读入内存，在内存中修改后再写入源文件。但如果要处理一个很大的文本，比如GB级别的文本时，这种方法不仅需要占用很大内存，而且一次性读入内存时耗费时间，还有可能导致内存溢出。所以，需要用另外一个思路去处理。我们可以使用open()方法把需要修改的文件打开为两个文件，然后逐行读入内存，找到需要删除的行时，用后面的行逐一覆盖。实现方式见以下代码。withopen('file.txt','r')
系统 2019-09-27 17:53:58 2472
Centons下载安装python3.7之后，运行yum命令出错是因为python2.x版本与python3.x版本之间语法冲突的问题[root@linuxCentos~]#vim/usr/bin/yum#!/usr/bin/python2.7importsystry:importyum网上的办法基本上都是vim打开/usr/bin/yum将第一行#!/usr/bin/python3.x改为原来的#!/usr/bin/python2.x这样改完之后虽然yu
系统 2019-09-27 17:49:08 2472
编辑器不等于IDE（集成开发环境），开发python程序，不是只有一种print()打印输出调试。术业有专攻，于人如此，于一个软件也是如此。让专业的软件做专业的事。以上两点得出的结论：PyCharm我们以如下的一种常见错误，来演示如何通过PyCharm断点追踪的方式发现程序中的错误：deffoo(bar=[]):bar.append('bar')returnbar>>>foo()['bar']>>>foo()['bar','bar']>>>foo()['b
系统 2019-09-27 17:48:11 2472
最近有同学询问如何利用Python处理xml文件，特此整理一个比较简洁的操作手册，供大家参阅。首先准备一个xml文件，xml中的内容如下所示。存储为：student.xml如果要获取这个xml里面的数据，我们需要利用Python里面ElementTree来进行处理。具体操作如下所示：1、导入包(包是Python内置自带)2、打开文件，并获取根节点的属性和节点名称运行代码后，结果如下所示：3、利用find方法获取子节点(缺点：只能根据提供的名称获取第一个子节
系统 2019-09-27 17:46:57 2472
Socket是进程间通信的一种方式，它与其他进程间通信的一个主要不同是：它能实现不同主机间的进程间通信，我们网络上各种各样的服务大多都是基于Socket来完成通信的，例如我们每天浏览网页、QQ聊天、收发email等等。要解决网络上两台主机之间的进程通信问题，首先要唯一标识该进程，在TCP/IP网络协议中，就是通过(IP地址，协议，端口号)三元组来标识进程的，解决了进程标识问题，就有了通信的基础了。本文主要介绍使用Python进行TCPSocket网络编程，
系统 2019-09-27 17:38:43 2472
python中，list这种数据结构很常用到，如果两个或者多个list结构相同，内容类型相同，我们通常会将两个或者多个list合并成一个，这样我们再循环遍历的时候就可以一次性处理掉了。所以如何将两个或者多个list合并成一个就是我们接下来要讲的内容哦python合并list方法1，运算符：list1=[1,2,3]list2=[4,5,6]list3=list1+list2print(list3)方法2，extend()方法：list1=[1,2,3]li
系统 2019-09-27 17:38:22 2472
一、案例说明本节定义一个小汽车的类Car，类中包括车名carname、百公里油耗oilcostper100km、价格price三个属性。然后实现__lt__、__gt__、__le__、__ge__四个方法(这4个方法的用途请见上一节《第8.21节Python中__lt__、__gt__等“富比较”(“richcomparison”)方法用途探究》(https://blog.csdn.net/LaoYuanPython/article/details/95
系统 2019-09-27 17:57:22 2471
查看依赖包及对应的版本号信息的方法有两种：方法1：piplist方法2：pipfreeze这两个同时适用于Windows和Linux系统当pip版本过低时，会出现list命令不存在，且freeze命令报错的情况。Eg：有些Linux系统自带的Python环境所对应的pip版本为1.0.2，如下图所示：在该环境下执行piplist，报pip:error:Nocommandbythenamepiplist错误，如下图所示：执行piphelp可以发现，可执行命令
系统 2019-09-27 17:57:17 2471
本文实例讲述了python中metaclass原理与用法。分享给大家供大家参考，具体如下：什么是metaclass.metaclass(元类)就是用来创建类的类。在前面一篇文章《python动态创建类》里我们提到过，可以用如下的一个观点来理解什么是metaclass:MyClass=MetaClass()MyObject=MyClass()metaclass是python里面的编程魔法同时在前面一篇《python动态创建类》文章里描述动态创建class的时
系统 2019-09-27 17:56:42 2471
