我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2047
Android提供了一套很方便的进行资源（语言）国际化机制，为了更好地支持多语言，很多工程的翻译往往会放到类似crowdin这样的平台上。资源是全了，但是还是会有一些问题。哪些问题以下使用一些语言进行举例。其中values为工程默认的资源。1.某语言的资源和某语言限定区域的资源之间。如values-fr-rCA存在于values-fr相同的字符串，这种表现最为严重。2.某语言的资源和默认的资源之间。values-fr存在与values相同的字符串，可能原因
系统 2019-09-27 17:52:56 2047
Python模塊更新與安裝時出現錯誤給Py裝個新的圖形庫模塊，結果安裝模塊時提示Youareusingpipversion19.0.3,howeverversion19.1.1isavailable.Youshouldconsiderupgradingviathe'pipinstall--upgradepip'command.好吧那當我們輸入pipinstall--upgradepip跑是能跑但是下載到一半就會報錯英文不好的我讀了一下報錯信息之後寫入了py
系统 2019-09-27 17:51:41 2047
image前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyternotebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷，比如plotly，但是每一次都需要写很长的代码，一是麻烦，二是不便于维护。我
系统 2019-09-27 17:51:05 2047
Python列表具有内置的list.sort()方法，可以在原地修改列表。还有一个sorted()内置的函数从迭代构建一个新的排序列表。在本文中，我们将探讨使用Python排序数据的各种技术。请注意，sort()原始数据被破坏，sorted()没有对原始数据进行操作，而是新建了一个新数据。一、基本的排序最基本的排序很简单。只要使用sorted()函数即可返回一个新的排序的列表>>>sorted([5,2,3,1,4])[1,2,3,4,5]咱们也可以使用l
系统 2019-09-27 17:51:01 2047
定时与邮件在这一关，我们希望为一般的爬虫程序新增两个实用性比较强的功能：第一是定时功能，即程序可以根据我们设定的时间自动爬取数据；第二是通知功能，即程序可以把爬取到的数据结果以邮件的形式自动发送到我们的邮箱。这两个功能可以让爬虫程序定时向我们汇报。试想一下，如果你是一位股票（或比特币）的持有者，你希望及时爬取股票（或比特币）每日的价格数据，方便你能及时卖出或买入，那每天都去启动一遍爬虫程序是极其不高效的。而此时，如果你的爬虫程序有定时和发送邮件功能，能自动
系统 2019-09-27 17:50:59 2047
关于Python3进度打卡文章目录关于Python3进度打卡第一天——9.4一、安装环境变量二、关于编辑三、基本介绍第二天——9.5一、基本数据类型二、基本语句三、编程实践第三天——9.7一、制作贪吃蛇游戏的准备二、需求及算法分析三、代码实现四、一些全局参数的初始化五、关于贪吃蛇及食物的位置六、关于贪吃蛇的上下左右移动七、判断能否迟到食物八、绘制贪吃蛇、食物的函数九、贪吃蛇的逻辑调用十、主逻辑层判断游戏是否结束第一天——9.4一、安装环境变量1、首先访问h
系统 2019-09-27 17:50:31 2047
最近要写一款基于被动式的漏洞扫描器，因为被动式是将我们在浏览器浏览的时候所发出的请求进行捕获，然后交给扫描器进行处理，本来打算自己写这个代理的，但是因为考虑到需要抓取https，所以最后找到Mitmproxy这个程序。安装方法：pipinstallmitmproxy接下来通过一个案例程序来了解它的使用，下面是目录结构sproxy|utils|__init__.py|parser.py|sproxy.pysproxy.py代码#coding=utf-8fro
系统 2019-09-27 17:50:22 2047
Python操作RabbitMQ路由(六)一、路由(Routing)：本章打算新增加一个功能，使它可以达到仅订阅消息的一个子集。举个栗子，我们需要把验证的错误日志信息写入日志文件(存储到磁盘)，但同时仍然把所有的日志信息输出到控制台中。二、绑定(Bindings)：绑定(Binding)是指交换机(Exchange)和队列(Queue)的关系;绑定的时候可以带上一个额外的routing_key参数。为了避免与basic_publish的参数混淆，我们把它叫
系统 2019-09-27 17:50:10 2047
Python数据类型详解——字典引子已经学习了列表，现在有个需求——把公司每个员工的姓名、年龄、职务、工资存到列表里，你怎么存？staff_list=[["Kwan",21,"CEO",1000000],["小明",22,"人力",5000],["LL",21,"财务",7000],#[xxx,xx,xx,xxx]#[xxx,xx,xx,xxx]#[xxx,xx,xx,xxx]]以上面的形式存，没问题。不过你要查某一个人的工资的话，就得遍历这个列表了。fo
系统 2019-09-27 17:50:09 2047
