原文:《BI项目笔记》增量ETL数据抽取的策略及方法增量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删
系统 2019-08-12 01:32:01 2285
Windows中Python多版本共存问题（Windows10）很多时候，一个版本的python无法满足需求，就需要在一台机器上面安装多个版本的python在Linux系统中安装多版本很容易，今天在此记录一下在Windows中进行多版本Python安装首先需要去到Python官网下载两个版本的Python由于我经常使用的是Python3版本，所以我先安装的是Python3版本，正常安装过后，将Python3安装路径加入到PATH环境变量中分别为：(每个人的
系统 2019-09-27 17:56:31 2284
一组有序项目的集合可变的数据类型【可进行增删改查】列表中可以包含任何数据类型，也可包含另一个列表【可任意组合嵌套】列表是以方括号“[]”包围的数据集合，不同成员以“,”分隔列表可通过序号访问其中成员定义>>>l=[]#空列表>>>l=[1,2,3]>>>l=[1,2,3,['a','b']]>>>l=list('linuxeye')>>>l['l','i','n','u','x','e','y','e']>>>l=list(range(5))>>>l[0,
系统 2019-09-27 17:53:39 2284
阻塞IO（blockingIO）在linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概是这样：当用户进程调用了recvfrom这个系统调用，kernel内核就开始了IO的第一个阶段：准备数据。对于networkio(网络io)来说，很多时候数据在一开始还没有到达（比如，还没有收到一个完整的UDP包），这个时候kernel(内核)就要等待足够的数据到来。等着对方把数据放到自己操作系统内存而在用户进程这边，整个进程会被阻塞。
系统 2019-09-27 17:53:03 2284
如下所示：list=[1,2,3,4,5,6,7,8,9,0,11,0,13,14,15,16,17,18,19,20]#把list分为长度为5的4段forjinrange(0,len(list),5):matrix.append(list[j:j+5])matrix=np.array(matrix)#转array型printmatrix[0]#输出第一段结果：[[12340][67800][110131415][160181920]]以上这篇在pytho
系统 2019-09-27 17:52:10 2284
本文定位：想通过python调用top命令获取cpu使用率但暂时没有思路的情况。如果单纯为了获得cpu的利用率，通过top命令重定向可以轻松实现，命令如下：复制代码代码如下:top-bi>cpuHistory.log或复制代码代码如下:top-bi|teecpuHistory.log这个就不解释了，不懂的朋友查询下top的帮助文档。这里要实现的是通过python调用top命令，并获得cpu的利用率信息。用过popen的朋友很快就能想到类似如下的代码（这个是
系统 2019-09-27 17:51:42 2284
python解析网页，无出BeautifulSoup左右，此是序言安装BeautifulSoup4以后的安装需要用eazy_install，如果不需要最新的功能，安装版本3就够了，千万别以为老版本就怎么怎么不好，想当初也是千万人在用的啊。安装很简单复制代码代码如下:$wget"http://www.crummy.com/software/BeautifulSoup/download/3.x/BeautifulSoup-3.2.1.tar.gz"$tarzx
系统 2019-09-27 17:51:29 2284
情景：我用python爬取了很多.ts的文件，他们是一个个只有几秒的短视频，现在想把它们合并成一个电影：合并的命令copy/b*.tsnew_name.mp4/b是以二进制的形式合并：现在我要执行的命令为：copy/bD:\pythonFetch\movie\20190905\*.tsD:\pythonFetch\movie\20190905\new.mp4及将D:\pythonFetch\movie\20190905\文件夹下所有的.ts后缀的文件以二进
系统 2019-09-27 17:50:37 2284
暑期经验分享写在前面的话python代码的书写规范编码空行空格注释规范命名规范函数开头写在前面的话时间飞逝，转眼两年已经过去了，现在也已经到了忙碌奔波写论文找工作的时间了，仔细回想下之前两年的点点滴滴，除了在各种push下做了一些小项目，其他真的没有一点东西，真的惭愧。这么长一段时间的python语言的使用还是积累下来了一些东西，下面是把自己的一些愚见记录下来，希望能够给读者有一点点帮助。python代码的书写规范书写代码的时候一定要注意养成遵守规范的好习
系统 2019-09-27 17:49:16 2284
今天这篇文章中我们来了解一下python之中的字典，在这文章之中我会对python字典修改进行说明,以及举例说明如何修改python字典内的值。废话不多说，我们开始进入文章吧。首先我们得知道什么是修改字典修改字典向字典添加新内容的方法是增加新的键/值对，修改或删除已有键/值对如下实例:#!/usr/bin/pythondict={'Name':'Zara','Age':7,'Class':'First'};dict['Age']=8;#updateexis
系统 2019-09-27 17:49:04 2284
