接下来准备用糗百做一个爬虫的小例子。但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。一、正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。它拥有自己独特的语法以及一个独立的处理引擎，在提供了正则表达式的语言里，正则表达
系统 2019-09-27 17:54:47 2086
简单的写了一个爬取www.seebug.org上poc的小玩意儿~首先我们进行一定的抓包分析我们遇到的第一个问题就是seebug需要登录才能进行下载，这个很好处理，只需要抓取返回值200的页面，将我们的headers信息复制下来就行了（这里我就不放上我的headers信息了，不过headers里需要修改和注意的内容会在下文讲清楚）headers={'Host':******,'Connection':'close','Accept':******,'Use
系统 2019-09-27 17:54:11 2086
方法一，利用alias，自定指令的别名。当前默认python版本是2.7：同时，也支持python3：使用命令ls/usr/bin/python*查看python地址：使用命令aliaspython='/usr/bin/python3.5'更改默认python版本（设定别名）：这个方法在断开之后就无效了。可以在～/.bashrc文件中加入alias命令使它永久生效。方法二，使用update-alternatives命令：输入命令：update-altern
系统 2019-09-27 17:52:47 2086
今天来说说编程语言中的动态类型语言与鸭子类型。动态语言维基百科对动态语言的定义：动态编程语言是一类在运行时可以改变其结构的语言：例如新的函数、对象、甚至代码可以被引进，已有的函数可以被删除或是其他结构上的变化。动态语言目前非常具有活力如PHP、Ruby、Python都属于动态语言，而C、C++、Java等语言则不属于动态语言。这个解释很抽象，其实动态语言是相对静态语言而言的，静态语言的特点是在程序执行前，代码编译时从代码中就可以知道一切，比如变量的类型，方
系统 2019-09-27 17:52:19 2086
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2086
Python2的字符串有两种：str和Unicode，Python3的字符串也有两种：str和Bytes。Python2的str相当于Python3的Bytes，而Unicode相当于Python3的Bytes。Python2里面的str和Unicode是可以混用的，在都是英文字母的时候str和unicode没有区别。而Python3严格区分文本（str）和二进制数据（Bytes），文本总是Unicode，用str类型，二进制数据则用Bytes类型表示，这
系统 2019-09-27 17:50:25 2086
一、缘起前不久，我在翻译GuidovanRossum（Python之父）的文章时，给他留言，申请非商业用途的翻译授权。过程中起了点小误会，略去不表，最终的结果是：他的文章以CCBY-NC-SA4.0许可协议进行授权。部分对话如下：CC协议是一种授权许可协议，我曾看到过几次，但了解不多，所以便查阅了相关的内容。本文主要是作个记录，既是加深自己的理解，也给有需要的同学一个参考。二、著作权、著佐权与自由版权对于知识产权，通常有如下几种说法：AllRightsRe
系统 2019-09-27 17:50:18 2086
python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理:本站Python教程会具体介绍。断言(Assertions):本站Python教程会具体介绍。python标准异常异常名称描述BaseException所有异常的基类SystemExit解释器请求退出KeyboardInterrupt用户中断执行(通常是输入^C)Exception常规错误的基类StopIteration迭代
系统 2019-09-27 17:49:55 2086
一、写在前面前几天在微信上看到这样一篇文章，链接为：https://mp.weixin.qq.com/s/rl6Sgv3uk_IpoFAx6cWa8w，在这篇文章中，有这样一段话，吸引了我的注意：在Linux中ls是一个使用频率非常高的命令了，可选的参数也有很多，算是一条不得不掌握的命令。Python作为一门简单易学的语言，被很多人认为是不需要认真学的，或者只是随便调个库就行了，那可就真是小瞧Python了。那这次我就要试着用Python来实现一下Linu
系统 2019-09-27 17:49:52 2086
关于我一个有思想的程序猿，终身学习实践者，目前在一个创业团队任teamlead，技术栈涉及Android、Python、Java和Go，这个也是我们团队的主要技术栈。Github：https://github.com/hylinux1024微信公众号：终身开发者(angrycode)在前一篇《一文彻底搞懂Python可迭代(Iterable)、迭代器(Iterator)和生成器(Generator)的概念》的文中，知道生成器(Generator)可由以下两
系统 2019-09-27 17:49:37 2086
