Python中的json对象实际是一个字典结构，用于存储和交换信息，导入json模块：importjson1，把字符串转换为jsonjson的load()方法用于把josn格式的字符串转换为json对象，这实际上是一个字典结构：json_string='{"name":"John","age":30,"city":"NewYork"}'#parsestringtojsonjson_obj=json.loads(json_string)2，把字典转换为jso
系统 2019-09-27 17:52:33 2049
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2049
由于工作的需求，需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作，但是涉及到一些底层的需求，如手动设定User-Agent,Referer等，所以选择了直接用socket进行设计。当然，这样的话，需要对HTTP协议比较熟悉，HTTP协议这里就不做讲解了。整个python的代码如下:#!/usr/binenvpythonimportsockethost="www.baidu.com"se=socket.so
系统 2019-09-27 17:52:30 2049
importhashlibdef_verfy_ac(private_key,params):items=sorted(params.items(),key=lambdax:x[0])params_data=""foriinitems:params_data=params_data+i[0]+i[1]params_data=params_data+private_keysign=hashlib.sha1()sign.update(params_data.en
系统 2019-09-27 17:52:26 2049
python的循环编写程序时经常有代码需要重复运行，python提供了while和for进行循环操作。一、while循环1、while循环可以根据条件进行判断，决定是否要循环执行语句块，语法如下：循环条件后面也是要使用冒号，然后缩进写循环操作语句，先判断条件是否成立，如果为true，则执行循环操作语句，如果为false，则跳出循环。示例代码如下：count=0while(count<5):count=count+1print(count)#结果>>>5变量
系统 2019-09-27 17:52:20 2049
看python社区大妈组织的内容里边有一篇讲python内存优化的，用到了__slots__。然后查了一下，总结一下。感觉非常有用python类在进行实例化的时候，会有一个__dict__属性，里边有可用的实例属性名和值。声明__slots__后，实例就只会含有__slots__里有的属性名。#coding:utf-8classA(object):x=1def__init__(self):self.y=2a=A()printa.__dict__print(
系统 2019-09-27 17:52:11 2049
目录python多线程详解一、线程介绍什么是线程为什么要使用多线程二、线程实现threading模块自定义线程守护线程主线程等待子线程结束多线程共享全局变量互斥锁递归锁信号量（BoundedSemaphore类)事件（Event类）三、GIL（GlobalInterpreterLock）全局解释器锁python多线程详解一、线程介绍什么是线程线程（Thread）也叫轻量级进程，是操作系统能够进行运算调度的最小单位，它被包涵在进程之中，是进程中的实际运作单位
系统 2019-09-27 17:51:56 2049
最近在工作中遇到一个问题，就是有一个功能希望在各种服务器上实现，而服务器上的系统版本可能都不一样，有的是CentOS6.x，有的是CentOS7.x。需要说明的一点是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，这意味着我要实现的功能要适配这两种版本的系统。你可能会说，这有什么的，自己写的时候，注意一下就好了。事情其实没有那么容易，我要实现的功能是基于一个框架进行定制，需要修改不少的框架代码
系统 2019-09-27 17:51:50 2049
一、新建云端notebook打开https://colab.research.google.com网站，我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码，过去都是使用邮箱，繁琐费事。现在一键分享，这里我是给自己的邮箱里转发然后大邓打开自己的邮箱，wow，6666三、团队成员可以评论代码比如在一个团队中，有的人写错了代码，我们可以在远隔十万八千的另外一台电脑上做评论，提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 2049
json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax，所以一
系统 2019-09-27 17:51:28 2049
