简介提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先，开始分析天天基金网的一些数据。经过抓包分析，可知：./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会
系统 2019-09-27 17:57:51 2706
本人初学python是菜鸟级，写的不好勿喷。python爬虫用了比较简单的urllib.parse和requests，把爬来的数据显示在地图上。接下里我们话不多说直接上代码:1.安装python环境和编辑器（自行度娘）2.本人以58品牌公寓为例，爬取在杭州地区价格在2000-4000的公寓。#-*-coding:utf-8-*-frombs4importBeautifulSoupfromurllib.parseimporturljoinimportrequ
系统 2019-09-27 17:56:42 2706
不知道大家有没有遇到这样的情况，比如视频合并时文件名没有按照正常顺序排列，像这样可见，文件名排序是乱的。这个样子合并出来的视频一定也是乱的。所以得想办法把文件名修改一下，让软件读取出正确的顺序。闲话少说，上代码。"""注意：一、文件名除去扩展名必须以'_'+数字结尾。二、convert.py放在文件目录。三、目录中不能有多余文件主要算法：根据最大数字的位数添加0例如,如果最大数字为123,那么位数为3位,1就要变成001、2变成002、23变成023,依次
系统 2019-09-27 17:56:11 2706
Python爬取mm131图片写在前面的话爬虫第一步安装python环境爬取图片要用到的三方库创建一个py文件代码运行遇到的过的问题写在后面的话写在前面的话说起来来写爬虫这件事，不是心血来潮。我最近想让自己的网站流量提升一下，所以就想着能不能搞点美女图片来提高一下点击量。一开始我是直接使用了干货api里面的美女图片接口在自己的网站上展示图片，这样一来我服务器的带宽压力会小很多，毕竟小水管服务器压力还是蛮大的（阿里云服务器最低配置），后来使用发现，这个api
系统 2019-09-27 17:54:01 2706
前言本人前端不太懂Centos上面的东西，这两天在搞阿里云的Ecs在上面安装Python环境，刚开始直接在官网下载了源码包编译安装了Python3.7.4。但其实部署项目的时候大多会涉及到多项目以及Python的版本、环境不同，所以可以多版本Python+虚拟环境。0.Pyenv安装篇需要先安装依赖：yum-yinstallgitgccmakepatchzlib-develgdbm-developenssl-develsqlite-develbzip2-d
系统 2019-09-27 17:49:38 2706
choice()方法从一个列表，元组或字符串返回一个随机项。语法以下是choice()方法的语法：choice(seq)注意：此函数是无法直接访问的，所以我们需要导入random模块，然后我们需要使用random对象来调用这个函数。参数seq--这可能是一个列表，元组或字符串...返回值该方法返回一个随机项。例子下面的例子显示了choice()方法的使用。#!/usr/bin/pythonimportrandomprint"choice([1,2,3,5,
系统 2019-09-27 17:47:37 2706
1.计算给出两个时间之间的时间差importdatetimeasdt#currenttimecur_time=dt.datetime.today()#onedaypre_time=dt.date(2016,5,20)#eg:2016.5.20delta=cur_time-pre_time#ifyouwanttogetdiscrepancyindaysprintdelta.days#ifyouwanttogetdiscrepancyinhoursprintd
系统 2019-09-27 17:38:14 2706
昨天有个需求，要获取服务器某个目录下的某些类型的文件，考虑到服务器即有Linux、又有Windows，所以写了一个Python小程序来完成这项工作。Linux服务器有CentOS、Fedora等，都预先安装了Python，版本从2.4到2.5不等，而Windows类型的服务器也多数安装了Python，因此只要在本机写好一个脚本，上传到对应机器，在运行时修改参数即可。Python操作文件和文件夹使用的是os库，下面的代码中主要用到了几个函数：os.listd
系统 2019-08-12 01:32:19 2706
1.时间序列类型时间戳（timestramp）即特定的时刻固定时期（period）如2018年1月或2018年1月1日时间间隔（interval）由起始和结束时间戳表示2.Python处理模块Python标准库包含用于日期和时间数据的数据类型，主要用到datetime、time、calendar模块。datetime模块常使用datetime和timedelta两种实例方法datetime：以毫秒形式存储日期和时间timedelta：表示两个datetim
系统 2019-09-27 17:54:48 2705
前言python图像识别一般基础到的就是tesseract了，在爬虫中处理验证码广泛使用。安装安装教程网上大都差不多，Windows下确实比较麻烦，涉及到各种路径、环境变量甚至与linux不同的路径分隔符，所以这里的安装是基于Centos7。1.依赖安装yuminstall-yautomakeautoconflibtoolgccgcc-c++2.安装leptonicaLeptonica主要用于图像处理和图像分析原则上所有的库文件都是可以直接用yum安装的，
系统 2019-09-27 17:54:02 2705
python元组（tuple）Python的元组和列表类似，不同之处在于元组中的元素不能修改(因此元组又称为只读列表)，且元组使用小括号而列表使用中括号;1、元组中只包含一个元素时，需要在元素后面添加逗号来消除歧义;2、元组中的元素值使不允许修改的，但可以对元组进行连接组合;3、元组中的元素是不允许删除的，但可以使用del语句来删除整个元组;4、元组之间可以使用+和*，即允许元组进行组合连接和重复复制，运算后会生成一个新的元组tu=((2,2),(3,3)
系统 2019-09-27 17:52:35 2705
一.破解参数加密有道翻译的请求是post，携带一系列参数，直接F12刷新进行调试，如下图所示：这是一个post请求，目标网址是'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'接下来让我们看看发送该请求需要携带哪些参数如图所示，红色方框里的就是需要携带的参数了。最后看一看返回的数据显而易见，返回的数据是json格式的数据。好了，现在我们可以写程序进行爬取了#-*-c
系统 2019-09-27 17:49:48 2705
Python3将数据保存为txt文件的方法，具体内容如下所示：f=open("data/model_Weight.txt",'a')#若文件不存在，系统自动创建。'a'表示可连续写入到文件，保留原内容，在原#内容之后写入。可修改该模式（'w+','w','wb'等）f.write("hello,sha")#将字符串写入文件中f.write("\n")#换行if__name__=='__main__':fw=open("/exercise1/data/que
系统 2019-09-27 17:45:43 2705
前言最近需要使用https搭建一个api故简单记录一下搭建过程搭建http的服务简单快捷，这里就不做其他介绍有关https的原理请参考图解HTTPS环境搭建(非必须)这个环境其实不是必须的，我再搭建的时候，并没有安装这个环境，因为我的linux服务器自带的有了，可能是在安装其他软件的时候再带安装上去了，所以可以自我检测一下。一、安装OpenSSLOpenSSL介绍OpenSSL是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能
系统 2019-09-27 17:57:00 2704
本文实例讲述了Python学习笔记之列表推导式。分享给大家供大家参考，具体如下：列表推导式列表推导式可以快速简练地创建列表之前的复杂写法：capitalized_cities=[]forcityincities:capitalized_cities.append(city.title())简化后的写法:capitalized_cities=[city.title()forcityincities]由此可见：借助列表推导式，我们可以使用for循环用一步创建一
系统 2019-09-27 17:57:35 2703
