搜索到与相关的文章
Hadoop

《openstack 和hadoop的区别是什么?》

openstack和hadoop的区别是什么?(一)openstack仿照的Amazon的云,hadoop仿照的是Google的云openstack注重的是虚拟化/虚拟机及其配套的服务,hadoop注重的是海量的数据分析和处理。(二)2OpenStack主要目的是做一整套的云计算基础构架。包括云计算(Compute),网络(Network),对象存贮(ObjectStore),镜像文件存储(Image),身份认证(Authentication),Block

系统 2019-08-12 09:27:35 3502

Windows

zookeeper windows安装和使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html这个页面上的步骤完成

系统 2019-08-12 01:32:14 3502

redis

redis源码笔记 - 刘浩de技术博客 - 博客园

redis源码笔记-刘浩de技术博客-博客园redis源码笔记记录发现的一个hiredis的bug摘要:hiredis是redis官方提供的c客户端库。在读代码的过程中,发现了一个bug,记录一下。hiredis里定义了一个上下文结构(structredisContext),代码如下(deps/hiredis/hiredis.h):https://github.com/antirez/hiredis/blob/master/hiredis.h157/*Co

系统 2019-08-12 01:33:33 3501

PHP

PHP环境出现时区问题

如下图所示,php执行的时候出现如下提示:解决办法:重新设置php编译的时区。具体方法如下:1.找到php.ini文件;2.修改php.ini文件中的date.timezone的值,将其设置为"Asia/Chongqing"或者"Asia/Shanghai";3.重新启动web服务器;PHP环境出现时区问题

系统 2019-08-12 01:32:53 3501

Hadoop

Hadoop 集群 傻瓜式搭建手记

关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf文件夹下,分别是:masters/slavers:配置masters和slavers的机器IPhadoop-env.sh:Hadoop运行时的环境变量,比如JAVA_HOME,LOG之类的core-site.xml:Hadoop的核心配置文件,对应并覆盖core-default.xml中的配置项hdfs-site.xml:HDFS的配置文件,对应并覆盖hdfs-de

系统 2019-08-29 23:51:04 3498

Hive

hive实战 - qiang.xu - 博客园

hive实战-qiang.xu-博客园hive实战1.安装hive2.hive实战3.hive存储模型4.深入hql查询语言5.参考资料及代码下载<1>.安装hive下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件:xuqiang@ubuntu:~/hadoop/src/hive$tarzxvfhive-0.7.0-bin.tar.gz设置环境变量:xuqiang@ubuntu:~/hadoo

系统 2019-08-12 01:32:58 3498

数据库相关

防sql注入 盲注等措施 ESAPI的使用

SQL注入往往是在程序员编写包含用户输入的动态数据库查询时产生的,但其实防范SQL注入的方法非常简单。程序员只要a)不再写动态查询,或b)防止用户输入包含能够破坏查询逻辑的恶意SQL语句,就能够防范SQL注入。在这篇文章中,我们将会说明一些非常简单的防止SQL注入的方法。我们用以下Java代码作为示例,Stringquery="SELECTaccount_balanceFROMuser_dataWHEREuser_name="+request.getPar

系统 2019-08-12 01:52:23 3497

Python

[Python知识图谱] 三.Jieba工具中文分词、添加自定义词典及词性标注

本系列文章主要结合Python语言实现知识图谱构建相关工程,具有一定创新性和实用性,非常希望各位博友交流讨论,相互促进成长。前面两篇文章详细讲解了哈工大Pyltp工具,包括中文分词、词性标注、实体识别、依存句法分析和语义角色标注等。但是其中文分词效果不是很理想,如“贵州财经大学”总是切分成“贵州”、“财经”和“大学”,这是因为词典中这些词的权重较高。这篇文章主要介绍最经典的自然语言处理工具之一——Jieba,包括中文分词、添加自定义词典及词性标注等内容。知

系统 2019-09-27 17:55:18 3496

Hadoop

hadoop namenode多次格式化后,导致datanode启

jpshadoopnamenode-formatdfsdirectory:/home/hadoop/dfs--data--current/VERSION#WedJul3020:41:03CST2014storageID=DS-ab96ad90-7352-4cd5-a0de-7308c8a358ffclusterID=CID-aa2d4761-974b-4451-8858-bbbcf82e1fd4cTime=0datanodeUuid=a3356a09-78

系统 2019-08-12 09:27:32 3496