- 军军小站|张军博客
搜索到与相关的文章
Python

python爬虫第6关csv&excel

前面讲到json是特殊的字符串。其实,csv也是一种字符串文件的格式,它组织数据的语法就是在字符串之间加分隔符——行与行之间是加换行符,同列之间是加逗号分隔。它可以用任意的文本编辑器打开(如记事本),也可以用Excel打开,还可以通过Excel把文件另存为csv格式(因为Excel支持csv格式文件)。将我们刚刚写入的csv文件下载到本地电脑,再用记事本打开,你会看到:用Excel打开,则是这样的:发现了吗?csv文件里的逗号可以充当分隔同列字符串的作用。

系统 2019-09-27 17:53:37 1912

Python

Python实现数据可视化看如何监控你的爬虫状态【推荐】

今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的

系统 2019-09-27 17:50:52 1912

Python

监控服务器的CPU、硬盘、内存和各个端口的开启情况(Python3实现)

文章目录一、简介二、效果三、源码3.1、核心程序3.2、配置文件3.3、ReadMe一、简介由于项目的需要,需要做一个简单监控服务器的CPU利用率、CPU负载、硬盘使用率、内存利用率和服务器的各个端口的开启情况的程序,并把结果通知到监控平台,如果出现异常,监控平台打电话或者发短信通知给具体的运维人员。博主写了负责监控的代码,供大家学习参考哈~二、效果三、源码3.1、核心程序#-*-coding:utf-8-*-"""功能:监控服务器的CPU、硬盘、内存和各

系统 2019-09-27 17:49:55 1912

Python

python实现随机漫步方法和原理

我们通过模拟随机漫步可以说明如何运用数组运算。通过内置的random模块以纯Python的方式实现1000步的随机漫步根据前100个随机漫步值生成的折线图,plt.plot(walk[:100])随机漫步中各步的累计和,可以用一个数组运算来实现。因此,我用np.random模块一次性随机产生1000个“掷硬币”结果(即两个数中任选一个),将其分别设置为1或-1,然后计算累计和我们就可以沿着漫步路径做一些统计工作了,比如求取最大值和最小值假设我们想要知道本次

系统 2019-09-27 17:49:14 1912

Python

Python基础学习之时间转换函数用法详解

本文实例讲述了Python基础学习之时间转换函数用法。分享给大家供大家参考,具体如下:前言python的时间格式分为多种,几种格式之间的转换方法时常是我们遇到的而且是经常忘记的点,python不像php,时间字符串和datetime是一起的,只需要strtotime和date函数就可以相互转化。虽然网上已经有很多python时间转换的文章,但是由于作者本人经常做海外业务,需要各种时区之间的转换,所以这篇文章会对按时区转换各种时间格式做一个总结。转换方法图示

系统 2019-09-27 17:48:48 1912

Python

把英雄分类,看 Python 带你上王者

王者荣耀这么久了,还没上王者?哈哈哈,看过来,是不是对英雄理解的不够透彻呢,是不是还没有很好的为英雄分类呢,今天就来看看英雄分类技术栈一、EM聚类简介二、爬取网上的英雄初始属性值三、做成饼图EM聚类简介EM英文名是ExpectationMaximization,也叫最大期望算法。在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(LatentVari

系统 2019-09-27 17:48:38 1912

Python

Python的Mixin类学习

目录Mixin类Mixin类的实例运行流程流程图《PythonGUIProgrammingwithTkinter》作者的话Mixin类Mixin类只包含了一组特定的函数集合,而我们将会将其与其他类进行混合,从而生成一个适用于实际需要的新类Mixin类的实例代码改编自《PythonGUIProgrammingwithTkinter》classDisplayer():defdisplay(self,message):print('2:display:Displ

系统 2019-09-27 17:47:58 1912

Python

Python采集腾讯新闻实例

目标是把腾讯新闻主页上所有新闻爬取下来,获得每一篇新闻的名称、时间、来源以及正文。接下来分解目标,一步一步地做。步骤1:将主页上所有链接爬取出来,写到文件里。python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。复制代码代码如下:defgetHtml(url):page=urllib.urlopen(url)html=page.read()page.close()returnhtml我们都知道html链接的标签是“a”,链接的属性是

系统 2019-09-27 17:47:40 1912

Python

Python检测一个对象是否为字符串类的方法

目的测试一个对象是否是字符串方法Python的字符串的基类是basestring,包括了str和unicode类型。一般可以采用以下方法:复制代码代码如下:defisAString(anobj):returnisinstance(anobj,basestring)不过以上方法对于UserString类的实例,无能无力。复制代码代码如下:In[30]:b=UserString.UserString('abc')In[31]:isAString(b)Out[3

系统 2019-09-27 17:46:56 1912

Python

集成学习②——Adaboost算法原理及python实现

一、AdaBoost算法原理上一偏博客总结过,集成学习基于弱学习器之间是否依赖分为Boosting和Bagging两类,Adaboost就是Boosting中的典型代表。其核心思想是针对同一个训练集训练不同的学习器,然后将这些弱学习器集合起来,构造一个更强的最终学习算法AdaBoost是英文"AdaptiveBoosting"(自适应增强)的缩写,它的自适应在于:基于每一个分类器的误差率,来更新所有样本的权重,前一个分类器被错误分类的样本的权值会增大,而正

系统 2019-09-27 17:46:50 1912