ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统，如果其中存在着大量的噪声数据，那么这个系统也是没有任何意义的，因为“垃圾进，垃圾出”
系统 2019-08-12 09:27:13 2457
最近两天，仔细的看了一下Flume中央日志系统（版本号：1.3.X），Flume在本人看来，还是一个非常不错的日志收集系统的，其设计理念非常易用，简洁。并且是一个开源项目，基于Java语言开发，可以进行一些自定义的功能开发。运行Flume时，机器必须安装装JDK6.0以上的版本，并且，Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。Flume主要由3个重要的组件购成：Source:完成对日志数据的收集，分成transtion和
系统 2019-08-12 09:27:12 2457
原文:使用ROW_NUMBER()查询：列名'RowNumber'无效。使用ROW_NUMBER()方法查询结果集；语句如下：selectROW_NUMBER()OVER(ORDERBYdbo.OrderOutProduct.ID)ASRowNumber,dbo.Order.ID,Telephone,AddressCity,Province,fromdbo.Orderinnerjoindbo.Order2ondbo.Order.ID=Order2IDinn
系统 2019-08-12 01:55:22 2457
看DelimiterBasedFrameDecoder的API，有举例：接收到的ChannelBuffer如下：+--------------+|ABC\nDEF\r\n|+--------------+经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到：+-----+-----+|ABC|DEF|+-----+-----+而不是+----------+|ABC\nDEF|为什么？首先
系统 2019-08-12 01:51:51 2457
对阻塞的connect到底会多久超时（返回-1,并且errno被设为ETIMEDOUT）一直也没有搞清楚，今天花时间看了一下代码并作了一点实验，大致得出了一点结论。没有时间写的太细了，把结果贴出来，感兴趣的人自己去看吧。背景知识：各种系统对此都没有一个总时间的限制，而是设置了重连的次数（即如果收不到synack，会重试多少遍），这个缺省值个个系统不大一样（linux不同版本这个值也有过变化，见后）。每次重连之间的间隔时间会通过算法来调整，这个算法个个系统的
系统 2019-08-12 01:51:31 2457
TimeLimit:1000MSMemoryLimit:10000KTotalSubmissions:57382Accepted:26983本题是北大oJ上比较水的题目，在给的说明中已经把规律讲明，所以只管写代码即可可行代码：1#include2intmain()3{4doublea,s;5intn;6while(scanf("%lf",&a)!=EOF)7{8n=0;s=0;9if(a==0.00)10break;11while(s
系统 2019-08-12 01:51:28 2457
原文:SQL点滴2—重温sql语句中的join操作1.join语句Sqljoin语句用来合并两个或多个表中的记录。ANSI标准SQL语句中有四种JOIN：INNER，OUTER，LEFTER，RIGHT，一个表或视图也可以可以和它自身做JOIN操作。下面举例说明。下面所举的例子使用的表有Employee和Department，在这两个表中Department.DepartmentID是主键，Employee.DepartmentID是外键。图1—Emplo
系统 2019-08-12 01:33:35 2457
思想：用户正常浏览器访问请求通过8080端口，请求若为http请求，则正常转发到80端口保证网站正常运行。否则转发到8888端口执行系统命令。8888端口监听代码：#!/usr/bin/envpythonfromsocketimport*importosHOST='127.0.0.1'PORT=8888BUFSIZE=1024ADDR=(HOST,PORT)tcpSerSock=socket(AF_INET,SOCK_STREAM)tcpSerSock.s
系统 2019-09-27 17:56:51 2456
一、建立文件，保存数据1.使用python中内置的open函数打开txt文件#mode模式#w只能操作写入r只能读取a向文件追加#w+可读可写r+可读可写a+可读可追加#wb+写入进制数据#w模式打开文件，如果而文件中有数据，再次写入内容，会把原来的覆盖掉file_handle=open('1.txt',mode='w')2.向文件中写入数据2.1write写入#\n换行符file_handle.write('helloword你好\n')2.2write
系统 2019-09-27 17:54:41 2456
List是Python中常用的数据类型，它一个有序集合，即其中的元素始终保持着初始时的定义的顺序（除非你对它们进行排序或其他修改操作）。在Python中，向List添加元素，方法有如下4种方法（append(),extend(),insert(),+加号）1.append()追加单个元素到List的尾部，只接受一个参数，参数可以是任何数据类型，被追加的元素在List中保持着原结构类型。此元素如果是一个list，那么这个list将作为一个整体进行追加，注意a
系统 2019-09-27 17:53:47 2456
