psutil（进程和系统实用程序）是一个跨平台的库，用于在Python中检索有关运行进程和系统利用率（CPU，内存，磁盘，网络，传感器）的信息。它主要用于系统监视，分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psut
系统 2019-09-27 17:52:36 1864
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 1864
在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 1864
1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:
系统 2019-09-27 17:52:18 1864
MongoDB是目前最流行的NoSQL数据库之一，使用的数据类型BSON（类似JSON）。1.安装Mongodb和pymongoMongodb的安装和配置Mongodb的安装教程请网上搜索,安装完成后,进行以下配置过程:1.1创建目录,该目录为Mongodb数据文件的存放目录:*注:本人使用的不是root用户,所以修改目录的拥有者.*sudomkdir/datasudochown-Rpython:python/datamkdir/data/db1.2分别执
系统 2019-09-27 17:52:16 1864
程序说明：本程序实现将开发程序服务器中的打包文件通过该脚本上传到正式生产环境（注：生产环境和开发环境不互通）程序基本思路：将开发环境中的程序包拷贝到本地堡垒机将程序包进行解压获得解压后的文件通同步到生产服务器上主要知识点：python库os.system()的基本使用利用python调用xshell命令程序使用方法：pythonaddline.py开发主机ip程序包目标主机ip上传目录上传编号如：pythonaddline.py240/home/shaoj
系统 2019-09-27 17:52:05 1864
目录第十五章、Python多线程同步锁，死锁和递归锁1.引子：2.同步锁3.死锁引子：4.递归锁RLock原理：不多说，放代码总结：5.大总结第十五章、Python多线程同步锁，死锁和递归锁1.引子：1.创建线程对象t1=threading.Thread(target=say,args=('tony',))2.启动线程t1.start()后面又说了两个点就是join和守护线程的概念以上就是python多线程的基本使用说明：前面说的两个功能是相互独立的，
系统 2019-09-27 17:51:52 1864
python安装教程，分享给大家。一、安装python1、首先进入网站下载：点击打开链接（或自己输入网址），进入之后如下图，选择图中红色圈中区域进行下载。2、下载完成后如下图所示3、双击exe文件进行安装，如下图，并按照圈中区域进行设置，切记要勾选打钩的框，然后再点击Customizeinstallation进入到下一步：4、对于上图中，可以通过Browse进行自定义安装路径，也可以直接点击Install进行安装，点击install后便可以完成安装了。5、
系统 2019-09-27 17:51:44 1864
http://www.cnblogs.com/baiboy/p/django1.html摘要：Django的学习教程也是分门别类，形式不一。或是较为体系的官方文档，或者风格自由的博客文档，或者偏向实例的解析文档。即使官方文档，章节较多，文字阐述累赘，有时候我们只是关注某个功能用法而已，而自由博文最大的问题是互相抄袭，结构混乱，涵盖面小且错误较为明显。由此，本文结合学习期间资料梳理和项目开发经验，整理出一套较为常用实用的文章。适用于新手入门，无论C#，C，j
系统 2019-09-27 17:51:33 1864
python修改大数据文件时，如果全加载到内存中，可能会导致内存溢出。因此可借用如下方法，将分件分段读取修改。withopen('file.txt','r')asold_file:withopen('file.txt','r+')asnew_file:current_line=0#定位到需要删除的行whilecurrent_line<(3-1):#(del_line-1)old_file.readline()current_line+=1#当前光标在被删除
系统 2019-09-27 17:51:18 1864
