搜索到与相关的文章
各行各业

crawler_网络爬虫之数据分析_httpwatcher

所谓爬虫,首先要通过各种手段爬取到想要站点的数据。web2.0之后,各种网络站点类型越来越多,早期的站点多为静态页面【html、htm】,后来逐步加入jsp。asp,等交互性强的页面。再后来随着js的兴起,也处于站点的美观和易于维护,越来越多的ajax异步请求方式数据站点。[不扯犊子了,马上上示例]参与工作时间不是很长,但工作期间一直做不同的爬虫项目。对常见的页面数据获取,有一些简单的认识。接触到的页面分为三类。A静态页面(数据在源码中直接可以获取到)B数

系统 2019-08-12 01:33:24 2612

数据库相关

《BI那点儿事》Cube的存储

原文:《BI那点儿事》Cube的存储关系OLAP(ROLAP)ROLAP的基本数据和聚合数据均存放在关系数据库中;ROLAP存储模式使得分区的聚合存储在关系数据库的表(在分区数据源中指定)中。但是,可为分区数据使用ROLAP存储模式,而不在关系数据库中创建聚合。使用ROLAP的维度的数据实际上存储在用于定义维度的表中。相对查询性能低。多维OLAP(MOLAP)MLOAP的基本数据和聚合数据均存放在多维数据库中;MOLAP存储模式使得分区的聚合和其源数据的复

系统 2019-08-12 01:32:49 2612

Tomcat

配置Tomcat的日志系统

成功配置tomcat的log4j日志系统,格式:HTML+每天以yyyy-mm-dd.log命名的日志文件一、引言:实习单位让用log4j配置webapp的日志系统,要求产生的日志文件是html格式,而且是每天以yyyy-mm-dd日期格式命名的日志文件。这个以前让自己费神了一段时间,近期花了两天时间总算配置成功了!只是配置成功的是tomcat的,不是单个webapp的,现把步骤记录下来,晚上再配置webapp的。先写一步一步的操作,后面再解说一些log4

系统 2019-08-12 01:32:35 2612

Tomcat

nginx整合tomcat

1、准备软件(存放在目录/home/sofeware下)agentzh-headers-more-nginx-module-v0.15rc2-0-g2c629de.tar.gz#支持隐藏头部信息(不是必须,觉得需要就安装吧)nginx-upstream-jvm-route-0.1.tar.gz#nginx会话记录的必须模块(用于tomcat集群,单tomcat就直接忽略相关操作)pcre-8.10.tar.gz#包括perl兼容的正规表达式库(shell>

系统 2019-08-12 01:32:18 2612

Linux

Install RRDTool on Red Hat Enterprise Linux

http://www.cyberciti.biz/faq/howto-install-rrdtool-on-rhel-linux/InstallRRDToolonRedHatEnterpriseLinuxbyVIVEKGITEonJULY28,2008·38COMMENTS·lastupdatedatJULY28,2008Q.I'vedownloadedRRDToolpackagecalledrrdtool-1.3.1.tar.gz.But./config

系统 2019-08-12 01:31:41 2612

Python

CentOS 升级Python3.5

系统环境CentOS7.3阿里云服务器1.ll/usr/bin/python*2.此时python的默认版本还是2.7.53.mvpythonpython.bak备份源文件后期可以恢复2.7.5版本4.下载自己需要的python版本https://www.python.org/ftp/python/以3.5为例子5.下载好了利用FTP工具上传到/root上传不再演示6.mkdir/usr/local/python3创建python3的文件存放位置依照个人习

系统 2019-09-27 17:57:41 2611

Python

Python- 反射 及部份内置属性方法

@property类的静态属性,封装内部具体实现细节,调用的时候类似调用数据属性。既可以访问类属性,也可以访问实例属性![](https://s1.51cto.com/images/blog/201906/08/6de11e5b657bbb1c6e02f4ed64821fa7.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_1

系统 2019-09-27 17:51:11 2611

编程技术

js页面文字选中后分享到新浪微博实现

一、功能简述正是微博如火如荼的时节,其中各个微博的分享功能是网站推广产品的好东东啊,此时如何方便快捷的使用微博的分享功能就显得比较重要了。我的站点每篇文章的底部有一些分享的链接:不过我觉得这些分享基本上就是聋子的耳朵——摆设。除非这篇文章惊天地、泣鬼神,痛彻心扉,穿越前世今生。但是,如果有更加方便快捷的分享方式,这种冷淡得让人结冰的场面或许就不会经常出现。一般翻译软件都有划词翻译功能,例如有道桌面词典的桌面划词翻译功能:启用后,随便选中那个软件的一段文字,

系统 2019-08-29 23:45:37 2611

编程技术

Flixel-helloworld

Thefirst,mostbasicprojectyoucanmakeis,ofcourse,HelloWorld!Wearegoingtowalkyouthroughallthemenusandlinechanges,butultimatelywearecreatingthesetwofiles:HelloWorld.aspackage{importorg.flixel.*;//Allowsyoutorefertoflixelobjectsinyourc

系统 2019-08-29 23:38:17 2611

编程技术

在ASP控制数字及字母输入

1如何在Asp中象在JavaScrip里一样控制输入的值只能是英文或数字,现在我整理如下,下面我以接收变量String的值讲解如下:23方法一:4Str=Request("String")5Temp=Server.Urlencode(Str)6IfStr=TempThen7Response.Write"你输入的不是英文或数字"8EndIf910文法二:11Str=Request("String")12ForI=1ToLen(Str)13A=Mid(Stri

系统 2019-08-29 23:34:13 2611