这节我们主要讲讲我的游戏交易数据分析项目的ETL（数据抽取、加载、转换）具体是怎么做的。先来讲下源系统吧，因为我们的交易主站的服务器不是架在公司的，因此不能直接从源系统直接抽取数据了。事实上我们已经存在一个简单的数据分析系统了，只不过这个是以前人家做的，没有采用sqlserver2005的BI平台来做，而是直接写winform程序来弄的。原来的数据抽取是主站那边提供导出的excel文件过来，然后到我们这边，导入到我们的分析库中去。好了，为了简便，事实上我只
系统 2019-08-12 01:33:11 2505
原文:《BI那点儿事—数据的艺术》目录索引原创·《BI那点儿事—数据的艺术》教程免费发布各位园友，大家好，我是Bobby，在学习BI和开发的项目的过程中有一些感悟和想法，整理和编写了一些学习资料，本来只是内部学习使用，但为了方便更多的BI开发者，推动BI企业级应用开发，决定整理成一部教程，并在网络上免费发布该教程，希望为BI时代贡献绵薄之力！本教程是由Bobby参考官方文档，综合市面相关书籍，经过充分的吸收消化，结合开发实践的而创作的一部原创作品，为了本教
系统 2019-08-12 01:32:51 2505
微软已经在.NETFramework4中添加了对LocalDB的支持。LocalDB是SQLServerDenali的免费开发者版本，它的目的是要提供大部分服务器API，而不增加管理上的工作。现在开发者可以从VisualStudio中访问LocalDB实例，这有助于他们使用简单而且易于维护的SQL数据来开发和测试程序。一、.NETFramework4十大新特性简单来说，.NETFramework4包含10大新特性，分别为：1、应用程序兼容性和部署Appli
系统 2019-08-12 01:32:31 2505
一直在想怎么样才能让dbHelper更简单，更灵活，更僵化。终于我发布了第一个开源版本的dbhelper.此helper将使用System.Data.DbHelper作为命名空间。采用内部驱动与内容Session的方式来进行管理。而作为使用者，你只需要作两件事情。1、注册一个驱动；2、继承Dal创建自己的数据处理层。Dbhelper在进行事务操作时需要使用Lock来开启事务；Unlock提交事务。当出错时自动进行事务回滚(获立事务的Dal除外)。多个Dal
系统 2019-08-12 01:32:21 2505
近期大概学习了一下ZooKeeper，本身并没有深入。LGG尝试着在虚拟机里面搭了平台，看了看一些教材，从网上到处看别人的博文并引用之，还请各位大牛们谅解我的剽窃。现总结例如以下。1.ZooKeeper的学习与应用1.1.概述ZooKeeper是Apache在非常多云计算项目中的一个，与Hadoop密切相关，这样的情况导致我一開始觉得ZooKeeper的搭建须要Hadoop项目作为支持，可是最后发现全然不须要，它是能够单独执行的一个项目。在网上看到了一个非
系统 2019-08-12 01:31:43 2505
概述日期和时间的相互转换可以利用Python内置模块time和datetime完成，且有多种方法供我们选择，当然转换时我们可以直接利用当前时间或指定的字符串格式的时间格式。获取当前时间转换我们可以利用内置模块datetime获取当前时间，然后将其转换为对应的时间戳。importdatetimeimporttime#获取当前时间dtime=datetime.datetime.now()un_time=time.mktime(dtime.timetuple()
系统 2019-09-27 17:57:40 2504
为什么要降维？高维情形下，样本数据稀疏，距离计算困难。为什么能进行降维？收集的数据虽是高维但与学习任务密切相关的也许仅仅是某个低维分布无监督降维：PCA最大重构性：找到一个超平面使得样本点在这个超平面的投影尽量分开。PCA也可以看作是逐一筛选方差最大方向；对协方差矩阵XX^T特征分解，取最大特征值及其特征向量；在去掉该特征值以及特征向量后，继续取最大特征值；关于PCA的几个问题：投影方向应该取多少才好？根据博客https://blog.csdn.net/m
系统 2019-09-27 17:56:39 2504
pythoncx_Oracle模块的安装最近需要写一个数据迁移脚本，将单一Oracle中的数据迁移到MySQLSharding集群，在linux下安装cx_Oracle感觉还是有一点麻烦的，整理一下，做个总结。对于Oracle客户端，不只需要安装相应的python模块(这里我用了Oracle官方的python模块――cx_Oracle)，还需要安装OracleClient，一般选择InstantClient就足够了，还需要配置tnsnames.ora(当然
系统 2019-09-27 17:56:39 2504
本文实例讲述了python通过zlib实现压缩与解压字符串的方法。分享给大家供大家参考。具体实现方法如下：使用zlib.compress可以压缩字符串。使用zlib.decompress可以解压字符串。如下复制代码代码如下:#coding=utf-8importzlibs="helloword,00000000000000000000000000000000"printlen(s)c=zlib.compress(s)printlen(c)d=zlib.de
系统 2019-09-27 17:54:22 2504
工具类classCalendarUtils:"""日期工具类"""@staticmethoddefdelta_day(delta=0):""":paramdelta:偏移量:return:0今天,1昨天,2前天,-1明天..."""return(datetime.now()+timedelta(days=delta)).strftime('%Y-%m-%d')@staticmethoddefdelta_week(delta=0):""":paramdelt
系统 2019-09-27 17:48:35 2504
