简介提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先，开始分析天天基金网的一些数据。经过抓包分析，可知：./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会
系统 2019-09-27 17:57:51 2591
使用python自动提交调查问卷创建问卷写python脚本跑程序查看结果创建问卷用问卷星创建一个调查问卷，填完数据提交然后用burpsuite抓取数据包：发现submitdata参数是URL编码一串字符，于是解码后发现固定的格式，就是题号和输入的数值。于是想到修改这些数字来提交不同的数据。然后用intruder传入五个不同变量不同的数值。但发送几个后便出现的需要验证码验证。猜测检测到ip短时间发送过多数据，于是做出了限制。写python脚本于是开始写pyt
系统 2019-09-27 17:56:57 2591
importrename1="a#pple"#命名正确，aname2="apple!"ret=re.match("[a-zA-Z_][a-zA-Z0-9_]*",name1)ifret:print("命名正确，",ret.group())else:print("命名不正确")明明命名不合法，为什么返回正确，而且只匹配到正确部分因为默认match只会匹配开头（如果开头正确了，就等于匹配成功了）严格的匹配开头与结尾加上^和$(表示开头和结尾)importren
系统 2019-09-27 17:56:36 2591
本文实例讲述了Python提示[Errno32]Brokenpipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下：1.错误现象ThreadingHTTPServer实现的http服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报[Errno32]Brokenpipe错，并导致处理线程crash.下面先看个例子,python版本:2.7示例代码复制代码代码如下:#!/usr/bin/envpython#!coding=utf-
系统 2019-09-27 17:54:19 2591
全局阈值处理方法前提：当物体和背景像素的灰度分布十分明显时，可以用适用于整个图像的单个（全局）阈值。即可使用全局阈值处理。算法思路：（1）输入原图，转化为灰度图；（2）对于灰度图，为全局阈值T0选择一个初始估计值（本人选择为0~255中值127）；（3）迭代（4）（5）（6）（7）步骤，迭代次数可自行选择；（4）用T0分割灰度图，将其分为两组像素，G1由灰度值大于T0的所有像素组成，G2由所有小于T的所有像素组成；（5）对G1和G2的像素分别计算平均灰度值
系统 2019-09-27 17:52:14 2591
需要安装python，然后pipinstallyou-get。安装步骤在官方说明上很清楚，就不写了。使用you-get--playlist-oF:\bilibilihttps://www.bilibili.com/video/av6731067批量下载视频到F:\bilibili下载视频的同时会下载弹幕，但弹幕是xml格式，需要将其转换为ass格式，有一个工具可以帮你：Danmu2Ass，转换完成后就可以开启弹幕模式了。------------------
系统 2019-09-27 17:47:00 2591
本片博客向大家分享Centos因为升级python导致使用pip出现以下问pkg_resources.DistributionNotFound:The'pip==7.1.0'distributionwasnotfoundandisrequiredbytheapplication首先我们先查看以下目录/usr/local/python最新版本/lib/python最新版本/site-packages查看对应的pip版本，然后修改pip，代码如下：vi/usr
系统 2019-09-27 17:46:44 2591
Python从第一天开始就是面向对象的语言。正因为如此，创建和使用类和对象是非常地容易。本章将帮助您在使用Python面向对象编程的技术方面所有提高。如果没有任何以往面向对象(OO)的编程的经验，那么可能要了解一些基本的入门课程就可以了，或者至少某种形式的教程，让你有了解基本概念。但是，这里会比较少地介绍面向对象编程(OOP)：OOP术语概述类:用户定义的原型对象，它定义了一套描述类的任何对象的属性。属性是数据成员(类变量和实例变量)和方法，通过点符号访问
系统 2019-09-27 17:46:21 2591
一、在豆瓣电影网爬取影片的短评以及相关的信息：二、参考代码importrequestsfrombs4importBeautifulSoupimportpandasaspdurl_list=[]foriinrange(5):url_list.append('https://movie.douban.com/subject/26794435/comments?start=%s&limit=20&sort=new_score&status=P'%(i*20))n
系统 2019-09-27 17:46:11 2591
有时候，我所谓的满足其实也很简单，就是一首好听的歌有人愿意和我分享。有时候，我真希望是拉萨城下一个裹着红布的小和尚，日日颂经，沐着光芒。当我第一次听到这首歌，刹那间天地变色。作词：梁芒作曲：周笛编曲：严俊光水光波光湖光雪光霞光佛光全都印在你的脸望遥望远望期望盼望凝望仰望你都让我一路神往山那边，云下面寻找我梦中的雪莲跟着风，跟着云我的家在天之颠美丽纳木错，神秘纳木错你是最美一首歌我爱纳木错，我爱纳木错（像天上的仙女一样吉祥）扎西秀……纳木错，守护着她骄傲得不
系统 2019-08-29 23:44:14 2591
