常见的反爬机制及处理方式1、Headers反爬虫:Cookie、Referer、User-Agent解决方案:通过F12获取headers,传给requests.get()方法2、IP限制:网站根据IP地址访问频率进行反爬,短时间内进制IP访问解决方案:1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池2、购买开放代理或私密代理IP3、降低爬取的速度3、User-Agent限制:类似于IP限制解决方案:构造自己的User-Agent池,每次访问随
系统 2019-09-27 17:51:32 2211
一心想学习算法,很少去真正静下心来去研究,前几天趁着周末去了解了最短路径的资料,用python写了一个最短路径算法。算法是基于带权无向图去寻找两个点之间的最短路径,数据存储用邻接矩阵记录。首先画出一幅无向图如下,标出各个节点之间的权值。其中对应索引:A――>0B――>1C――>2D――>3E――>4F――>5G――>6邻接矩阵表示无向图:算法思想是通过Dijkstra算法结合自身想法实现的。大致思路是:从起始点开始,搜索周围的路径,记录每个点到起始点的权值
系统 2019-09-27 17:51:19 2211
一些概念:import:当你import的时候,python只会在sys.path这个变量(一个list,你可以print出来看)里面的路径中找可能匹配的package和module。module:模块就是py文件package:package就是里面有__init__.py的文件夹。这个__init__.py最好是空的,功能就是告诉python这个是个package而不是普通的文件夹。如果__init__.py中有代码的话,这些代码会在package被i
系统 2019-09-27 17:51:01 2211
strip()函数的目的是去除字符串中的首位符号中间位置的符号不管用In[68]:"Stripfuction".strip()Out[68]:'Stripfuction'In[72]:"\tStripfuction\n".strip()Out[72]:'Stripfuction'In[73]:"\tStrip\nfuction\n".strip()Out[73]:'Strip\nfuction'
系统 2019-09-27 17:50:39 2211
Python3abs()函数描述abs()函数返回数字的绝对值。语法以下是abs()方法的语法:abs(x)参数x--数值表达式,可以是整数,浮点数,复数。返回值函数返回x(数字)的绝对值,如果参数是一个复数,则返回它的大小。实例以下展示了使用abs()方法的实例:#!/usr/bin/python3print("abs(-40):",abs(-40))print("abs(100.10):",abs(100.10))以上实例运行后输出结果为:abs(-4
系统 2019-09-27 17:49:51 2211
前提1.python环境及tensorflow安装成功2.Anaconda安装好,Anaconda安装步骤安装步骤1.下载facenet,https://github.com/davidsandberg/facenet.git2.下载好后解压安装包。3.在自己电脑对应的Anaconda3\Lib\site-packages目录下,新建facenet文件夹4.将下载的facenet文件夹下的src文件夹下的所有文件拷贝到新建的文件夹中。5.最后,在Anaco
系统 2019-09-27 17:48:50 2211
阅读更多万能的Python大法可以做很多有趣的事情,那我们今天来看看使用简单的Python来实现对一个网页的朗读吧!首先我们需要装一些必要的库:readability它是用来提取网页内的内容的pipinstallreadability-lxmlgoose它是一个文章提取器,我们用它来进行文章的提取pipinstallgoose3baidu-aip百度提供的PythonSDK,接口文档:http://ai.baidu.com/docs#/TTS-Online
系统 2019-09-27 17:48:25 2211
主流的webserver一个巴掌就能数出来,apache,lighttpd,nginx,iisapplication,中文名叫做应用服务,就是你基于某个webframework写的应用代码DBserver泛指存储服务,web开发中用mysql比较多,最近几年因为网站规模扩大,memcache,redis这种key-value等存储也流行开来放在最前面的webserver有3个功能高效率处理静态文件,webserver都是用c开发,调用是native的函数,
系统 2019-09-27 17:48:08 2211
Linux下原码安装python-3.6.6下载#wgethttps://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz安装依赖包#yum-yinstallzlib-develbzip2-developenssl-develsqlite-develreadline-develgcc解压并进入到解压目录#tarxvfPython-3.6.6.tgz#cdPython-3.6.6/修改Modules/Setup
系统 2019-09-27 17:47:22 2211
转换工具层出不穷,ffmpeg才是全能的转换工具,只是不支持图形操作。没有关系,命令行方式,在freebsd/linux下直接来我们的思路是,设定一个文件夹存放源视频文件,python读取该文件夹下的全部文件,并对文件通过ffmpeg进行分析,根据需要,修改目标文件的编码、分辨率等等,调用ffmpeg转换。我这次的需求是,我家液晶电视只支持分辨来,长宽均小于720,编码只支持divx/xvid的avi文件,且fps只能小于25――多次实践,才总结出来的,电
系统 2019-09-27 17:46:46 2211