原文:《BI项目笔记》增量ETL数据抽取的策略及方法增量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删
系统 2019-08-12 01:32:01 2337
python中的导入关键字：import以及fromimport1、importimport一般用于导入包以及模块。不过有个小问题：（1）当导入的是模块的时候是可以直接可以使用模块内的函数以及变量的，比如说：包名为：com.test，在这个包底下有个模块为a.py，那么当其他包中的模块想要引入a模块的时候写法为importcom.test.a在b.py中调用的方式为：com.test.a.（a中的函数或者变量），而不能直接写为a.（a中的函数名或者变量）（
系统 2019-09-27 17:56:03 2336
pandas获取csv指定行，列house_info=pd.read_csv('house_info.csv')1：取行的操作：house_info.loc[3:6]类似于python的切片操作2：取列操作：house_info['price']这是读取csv文件时默认的第一行索引3：取两列house_info[['price',tradetypename']]取多个列也是同理的，注意里面是一个list的列表，不然会报错误；4:增加列：house_Info
系统 2019-09-27 17:53:51 2336
备忘一下python中的字典如何遍历,没有什么太多技术含量.仅供作为初学者的我参考.复制代码代码如下:#!/usr/bin/envpython#coding=utf-8demoDict={'1':'Chrome','2':'Android'}forkeyindemoDict.keys():printkeyforvalueindemoDict.values():printvalueforkeyindemoDict:printkey,demoDict[key]
系统 2019-09-27 17:52:57 2336
本文定位：想通过python调用top命令获取cpu使用率但暂时没有思路的情况。如果单纯为了获得cpu的利用率，通过top命令重定向可以轻松实现，命令如下：复制代码代码如下:top-bi>cpuHistory.log或复制代码代码如下:top-bi|teecpuHistory.log这个就不解释了，不懂的朋友查询下top的帮助文档。这里要实现的是通过python调用top命令，并获得cpu的利用率信息。用过popen的朋友很快就能想到类似如下的代码（这个是
系统 2019-09-27 17:51:42 2336
如题、学习、保存1源码#-*-coding:utf-8-*-'''time:2019-8-21author:Bing'''importmatplotlib.pyplotasplt#num_list=[1.5,0.6,7.8,6]fig,ax=plt.subplots()num_list=[7870,81937,17529598,6225227]name_list=['Eviction','Failed','Finished','Killed']b=ax.b
系统 2019-09-27 17:51:29 2336
关于神经网络结构的软件设计和分类曲线的绘制，本文主要参考了以下文章：https://blog.csdn.net/lilong117194/article/details/79130032构建的具体步骤如下：步骤1.建立数据源（样本库）——使用随机初始化的方式。由于需要进行逻辑分类，需要建立2个数据类，并合并在一起。如下：num_points=1000#样本数目vectors_set=[]x1_PlotData=[]#用于后期绘图的数据y1_PlotData
系统 2019-09-27 17:50:49 2336
Mock是什么Mock这个词在英语中有模拟的这个意思，因此我们可以猜测出这个库的主要功能是模拟一些东西。准确的说，Mock是Python中一个用于支持单元测试的库，它的主要功能是使用mock对象替代掉指定的Python对象，以达到模拟对象的行为。简单的说，mock库用于如下的场景：假设你开发的项目叫a，里面包含了一个模块b，模块b中的一个函数c（也就是a.b.c）在工作的时候需要调用发送请求给特定的服务器来得到一个JSON返回值，然后根据这个返回值来做处理
系统 2019-09-27 17:50:44 2336
现在的职场竞争越来越激烈，不学上一两门新技能，保持自己知识更新，很容易被年轻后辈超越。有些人选择学一门外语，有些人选择学习职场上为人处事的能力。如果你的工作需要和数据打交道，相信我，Python一定能成为你升职加薪的敲门砖。为什么？因为高效。我们来看一份年薪24w-48w的高级数据分析师的招聘信息，以下4点能力是用人单位较为看重的：再仔细梳理，你会发现即便不是数据分析师，具备这4项能力都能在职场中为自己加分。试想一下，一场电商大促结束复盘，别人花大把时间梳
系统 2019-09-27 17:50:26 2336
目录一、引言1.1可变or不可变二、拷贝三、浅拷贝三、深拷贝一、引言在python中，对象赋值实际上是对象的引用。当创建一个对象，然后把它赋给另一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用针对该列表l1=['a'，'b'，'c'，['d'，'e'，'f']]一般有三种方法，分别为：拷贝（赋值）、浅拷贝、深拷贝注意：拷贝/浅拷贝/深拷贝都是针对可变类型数据而言的1.1可变or不可变id不变值可变，即在原值的基础上修改，则为可变数
系统 2019-09-27 17:49:51 2336
