上次完成的url爬取项目并不能满足需求，在此完成了一个更为强大的爬取代码，有需要的可以直接运行，根据自己爬取的网站更改部分正则和形参即可。前排提示：运行需要耐心，因为几千个url爬完的话，还是建议花生瓜子可乐电影准备好。下面是代码，代码有注释，很容易理解。注意：爬虫代码每过一段时间就需要更新，因为爬的东西在变，所以可能过一段时间就要更新爬虫。#-*-coding:utf-8-*-"""CreatedonWedSep2914:01:282018@author
系统 2019-09-27 17:52:48 2319
一、开发接口的作用1、mock接口：模拟一些接口。有一些有关联的接口，在别的接口没有开发好的时候，需要用这个接口，就可以写一个假接口，返回想要的结果来模拟这个接口。2、知道服务端的开发逻辑，有助于测试；3、比如不想让其他人看很多数据库中的数据，可以通过接口只返回一部分数据。二、开发一个接口1、flask是一个轻量级的开发框架__name__：代表当前这个python文件server=flask.Flask(__name__)：把当前这个python文件，当
系统 2019-09-27 17:52:45 2319
前言最近学习了Fiddler抓包工具的简单使用，通过抓包，我们可以抓取到HTTP请求，并对其进行分析。现在我准备尝试着结合Python来模拟GitHub登录。Fiddler抓包分析首先，我们想要模拟一个网站的登录，我们必须要简单了解其大致过程。在这里，我通过Fiddler来抓取GitHub登录的请求，从网页上登录的URL为：https://github.com/login，抓包结果如下：左边的是会话列表，右边的是请求和响应的数据。一般情况下，登录都是用PO
系统 2019-09-27 17:52:33 2319
今天在网上看到type的一段代码，然后查了一下文档，才知道type还有三个参数的用法。http://docs.python.org/2/library/functions.html#type以前只是知道type可以检测对象类型。然后发现了一个有趣的用法。复制代码代码如下:defprintln(self):a=1+1print“%s,%s”%(self.aa,a)A=type(‘A',(),{‘aa':'printa',‘println':println})
系统 2019-09-27 17:52:10 2319
Python中，获取随机数的方法大致有如下：importrandom#导入random#python中利用random获取一个0到1的随机浮点数a=random.random()printa#打印结果#python中利用random获取一定范围内的（10到20）随机浮点数b=random.uniform(10,20)printb#python中利用random获取一定范围内（10到20）的随机整数c=random.randint(10,20)printc#
系统 2019-09-27 17:52:07 2319
场景说明假设有一个mysql表被水平切分，分散到多个host中，每个host拥有n个切分表。如果需要并发去访问这些表，快速得到查询结果，应该怎么做呢？这里提供一种方案，利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。代码演示importloggingimportrandomimportasynciofromaiomysqlimportcreate_pool#假设mysql表分散在8个host,每个host有16张子表TB
系统 2019-09-27 17:50:32 2319
Python操作RabbitMQ路由(六)一、路由(Routing)：本章打算新增加一个功能，使它可以达到仅订阅消息的一个子集。举个栗子，我们需要把验证的错误日志信息写入日志文件(存储到磁盘)，但同时仍然把所有的日志信息输出到控制台中。二、绑定(Bindings)：绑定(Binding)是指交换机(Exchange)和队列(Queue)的关系;绑定的时候可以带上一个额外的routing_key参数。为了避免与basic_publish的参数混淆，我们把它叫
系统 2019-09-27 17:50:10 2319
一、排序【这里介绍冒泡排序、选择排序、快速排序和插入排序】1.冒泡排序（1）原理解释：冒泡排序，分多轮排序。1）每一轮都是从上层的第一个数开始与其下一个数进行对比，如果大于下一个数就进行交换，下次对比就从上面第二个数【不管之前有无交换】再与其下一个数进行比较，依次比较到最后一个数。【如图i的移动变化】2）第一轮比较【j=0】。比较了最底下第二个数和最底下这个数后，即第一轮比较完。所以第一轮比较的次数为n-1次，即从上面第一个数一直比较到底下第二个数。【其中
系统 2019-09-27 17:48:20 2319
...........做了一个学生信息管理的简单数据库程序，写了一点简单的UI界面，功能不是很强大，代码组织也很不科学，洋洋洒洒竟然写了700多行.......分享出来，一起学习/**********************************@author:CSDN@WilliamCode@E-mail:1327804001@qq.com@date:2019-01-09@AllRightsReserved@@专业程序员，精通C,Python,Java
系统 2019-09-27 17:47:33 2319
哪个Python版本?当我提及Python，所指的就是CPython2(准确的是2.7).我会显式提醒那些相同的代码在CPython3(3.3)上是不工作的，以及提供一份解释不同之处的备选代码。请确保你已经安装了CPython,在终端上输入python或者python3回车，然后你在终端上应该能看到python的提示符(prompt)。请注意，所有的程序在它们第一行都是#!/usr/bin/env/python，也就是说，我们想要Python的解释器来执行
系统 2019-09-27 17:47:31 2319
