文件结构html_downloader.py-下载网页html内容#!/usr/bin/python#-*-coding:UTF-8-*-importurllib2classHtmlDownloader(object):defdownlod(self,url):ifurlisNone:returnNoneresponse=urllib2.urlopen(url)ifresponse.getcode()!=200:returnNonereturnrespon
系统 2019-09-27 17:52:08 2212
Python3快速入门（十二）——NumPy一、NumPy简介1、NumPy简介NumPy(NumericalPython)是Python语言的一个扩展程序库，支持大量的维度数组与矩阵运算，同时对数组运算提供了大量的数学函数库。Numpy是一个运行速度非常快的数学库，内部解除了CPython的GIL（全局解释器锁），运行效率极好，主要用于数组计算，是大量机器学习框架的基础库，NumPy主要包括如下：（1）强大的N维数组对象ndarray（2）广播功能函数（
系统 2019-09-27 17:51:41 2212
不管是啥语言都离不开加减乘除这些算法，但是在Python里面你知道这些符号代表什么运算吗？“/”这个是除法运算，那么这个“//”呢？“*”这个是乘法运算，那么这个“**”呢？下面来一一介绍下。“//”运算除法运算符是“/”，这个人人皆知道，但是这个二元运算符“/”求出来的结果都是取决于操作数本身的，比如：复制代码代码如下:20/3620/3.06.66666666666666720.0/36.66666666666666720.0/3.06.6666666
系统 2019-09-27 17:51:01 2212
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2212
如何在CentOS7上yum安装Python3.6.1CentOS7仍然安装了Python2.7，系统本身也使用它来启用系统命令，所以不要动那个安装。想要利用Python3附带的新语言功能，可以从yum存储库安装Python3.6.1?。先决条件*CentOS7服务器启动并运行*Sudo特权用户安装必要的实用程序正如所有Linux教程一样，首先要安装更新。然后我可以继续安装必要的工具和实用程序。sudoyumupdatesudoyuminstallyum-
系统 2019-09-27 17:50:44 2212
使用诸如Lock、RLock、Semphore之类的锁原语时，必须多加小心，锁的错误使用很容易导致死锁或相互竞争。依赖锁的代码应该保证当出现异常时可以正常的释放锁。典型代码如下：try:lock.acquire()#关键部分...finally:lock.release()另外，所有种类的锁还支持上下文管理协议（写起来更简洁）：with语句自动获取锁，并且在控制流离开上下文时自动释放锁。withlock:#关键部分...此外，编写代码时一般应该避免同时获取
系统 2019-09-27 17:50:41 2212
Python是一种用于快速开发软件的编程语言，它的语法比较简单，易于掌握，但存在执行速度慢的问题，并且在处理某些问题时存在不足，如对计算机硬件系统的访问，对媒体文件的访问等。而作为软件开发的传统编程语言C语言，却能在这些问题上很好地弥补Python语言的不足。因此，本文通过实例研究如何在Python程序中整合既有的C语言模块，包括用C语言编写的源程序和动态链接库等，从而充分发挥Python语言和C语言各自的优势。概览背景知识介绍Python语言的特点Pyt
系统 2019-09-27 17:50:37 2212
前言Python字典update(）方法用于更新字典中的键/值对，可以修改存在的键对应的值，也可以添加新的键/值对到字典中。语法格式d.update(e)参数说明将e中键-值对添加到字典d中，e可能是字典，也可能是键-值对序列。详见实例。返回值该方法没有任何返回值。实例以下实例展示了update()方法的使用方法：d={‘one':1,'two':2}d.update({‘three':3,'four':4})#传一个字典print(d)d.update(
系统 2019-09-27 17:50:31 2212
1.命令介绍最近学习并使用了一个python的内置函数dir，首先help一下：复制代码代码如下:>>>help(dir)Helponbuilt-infunctiondirinmodule__builtin__:dir()dir([object])->listofstringsReturnanalphabetizedlistofnamescomprising(someof)theattributesofthegivenobject,andofattribu
系统 2019-09-27 17:49:49 2212
1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。file_object=open('thefile.txt')try:all_the_text=file_object.read()finally:file_object.close()注：不能把open语句放在try块里，因为当打开文件出现异常时，文件对象file_object无法执行close()方法。2.读文件读文本
系统 2019-09-27 17:49:43 2212
