这节我们主要讲讲我的游戏交易数据分析项目的ETL（数据抽取、加载、转换）具体是怎么做的。先来讲下源系统吧，因为我们的交易主站的服务器不是架在公司的，因此不能直接从源系统直接抽取数据了。事实上我们已经存在一个简单的数据分析系统了，只不过这个是以前人家做的，没有采用sqlserver2005的BI平台来做，而是直接写winform程序来弄的。原来的数据抽取是主站那边提供导出的excel文件过来，然后到我们这边，导入到我们的分析库中去。好了，为了简便，事实上我只
系统 2019-08-12 01:33:11 2472
设置Tomcat启动的初始内存其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn-Xms-Xmx等选项可进行设置三、实例，以下给出1G内存环境下javajvm的参数设置参考：JAVA_OPTS="-server-Xms800m-Xmx800m-XX:PermSize=64M-XX:MaxNewSize=256m-XX:MaxPermSize=128m-Djava.awt.headless=tr
系统 2019-08-12 01:33:09 2472
http://www.360doc.com/content/14/1208/13/16070877_431273418.shtml使用JMeter对Tomcat进行压力测试与Tomcat性能调优nginx&tomcat吞吐量研究报告http://wenku.baidu.com/link?url=fMp1sd8qBi87S23KeI5NbEK7mPjR-mWBTe-pb4bn4iYQN1VQOAGkIG7bbnn5csmRyhYe4skXYoC5emJUkc
系统 2019-08-12 01:32:47 2472
BCP是SQLServer中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。本文介绍如何利用BCP导入导出数据。BCP是SQLServer中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。BCP可以将数据库的表或视图直接导出，也能通过SELECTFROM语句对表或视图进行过滤后导出。在导入导出数据时，可以使用默认值或是使用一个格式
系统 2019-08-12 01:32:40 2472
概述日期和时间的相互转换可以利用Python内置模块time和datetime完成，且有多种方法供我们选择，当然转换时我们可以直接利用当前时间或指定的字符串格式的时间格式。获取当前时间转换我们可以利用内置模块datetime获取当前时间，然后将其转换为对应的时间戳。importdatetimeimporttime#获取当前时间dtime=datetime.datetime.now()un_time=time.mktime(dtime.timetuple()
系统 2019-09-27 17:57:40 2471
为什么要降维？高维情形下，样本数据稀疏，距离计算困难。为什么能进行降维？收集的数据虽是高维但与学习任务密切相关的也许仅仅是某个低维分布无监督降维：PCA最大重构性：找到一个超平面使得样本点在这个超平面的投影尽量分开。PCA也可以看作是逐一筛选方差最大方向；对协方差矩阵XX^T特征分解，取最大特征值及其特征向量；在去掉该特征值以及特征向量后，继续取最大特征值；关于PCA的几个问题：投影方向应该取多少才好？根据博客https://blog.csdn.net/m
系统 2019-09-27 17:56:39 2471
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要cmd安装pipinstallrequests安装完成后import一下，正常则说明可以开始使用了。基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型importrequestsresponse=requests.get('http://www.baidu.com')print(response.
系统 2019-09-27 17:56:23 2471
前两天有个朋友说，想实现一个文本文件按照固定行数进行分割成多个文本文件，却不知如何实现。如果数据量小手动分割下就好了，如果数据量很大的话手动完成实在太耗费人力了，也不现实。那么就需要借助脚本去实现。既然有朋友想简单的完成这个任务，那么不如记录下来，给需要的朋友提供方便。下面我就分别使用python和php进行脚本的实现和操作，当然用其他语言都能实现，大家可根据对语言的熟悉程度进行自主选择，如果有朋友还没有达到编写代码的能力的话，那么最起码对语言环境的使用要
系统 2019-09-27 17:55:42 2471
学习python以来的第一爬虫，参考《Python3网络爬虫开发实践》爬取目标为：猫眼电影Top100榜完全是依葫芦画瓢，首先请求网页内容，然后在通过正则表达式提取自己感兴趣的数据，最后转成json格式存入文本文件。importjsonimporttimeimportrequestsimportredefget_one_page(url):headers={'User-agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_
系统 2019-09-27 17:50:24 2471
createtime:2019年7月8日我在网上找了好多，现在基本实现了传输视频的功能，其思路是：首先得先了解如何使用openCV采集摄像头数据，其次得了解pythonsocket网络编程。因为socket不能直接传输openCV采集的数据，所以还需要转码操作。在该版本我实现最基本的功能，客户端采集，服务端接收（也可以倒过来，看个人需求），使用类实现。服务端#!usr/bin/python#coding=utf-8importsocketimportcv2
系统 2019-09-27 17:50:00 2471
