HDFSHadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。HDFS全称是HadoopDistributedSystem。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。优点：1）适合存储非常大的文件2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式3）适合部署在廉价的机器上缺点
系统 2019-08-12 09:27:40 2025
开通这个blog是希望自己能够与志同道合的人有更多的交流，同时还有老师的作业要求。很长时间以来我从博客园看到了许多高质量的文章，学到了很多自己希望学到的知识，有了些许提高，非常感谢博客园这个平台，希望自己的博客不会半途而废，能坚持写下去。既然提到了老师的作业要求，我会在一开始写一些关于软件测试的相关内容，既能够完成作业，也可以使自己多了解这方面的内容。之后的内容还会与我的专业相关，另外肯定会有我自己更感兴趣的内容（比如绘画，etc.）。写在第一篇
系统 2019-08-12 09:27:10 2025
前段时间一直在研究openstack，后来老师告诉我需要用docker容器来搭建hadoop集群，所以就将战场转移到docker上来了，话说docker最近这段时间太火了，但是说实话我觉得应用起来还不是很成熟，问题不少。就拿docker容器管理来说吧，现在没有一个官方的成熟的docker管理平台，还得我们敲命令行来操作，对于运维还是有一定难度的。由于项目需要，需要开发一套docker容器的管理平台，所以我就在网上先找现成的，皇天不负苦心人，让我发现了shi
系统 2019-08-12 09:26:54 2025
迅雷是我们常用的下载工具之一，但是我们在使用迅雷时经常有些烦人的广告，那么，我们怎么去掉它呢？修改之前关闭迅雷。一、去广告1、打开迅雷的安装目录我的是C:\ProgramFiles\ThunderNetwork\Thunder\Program2、找到gui.cfg文件，然后用记事本打开3、把它的内容改为：[URL]ADServer=LastModifyTime=Mon,2Apr200706:32:45GMTNavigateTimes=10TimeSpan=
系统 2019-08-12 09:26:53 2025
按下操作会加快开关机时间的:1.开机程序越少,系统启动XX越快,开始-运行,键入"msconfig".点击"启动",建议你只留下:rfwmain,RAVTMER,RAVMON此三项是瑞星杀毒软件,应随时启动对系统进行监视,ctfmon.exe是输入法显示,这项不要删掉,不然会遇麻烦的.2.另开始-所有程序,找到"启动".点击打开后,把里面全部删掉.有些系统必须用的,你就是设置他不让启动,它也照起不误.3.用"休眠"加快开机速度.如果此功能未被开启,可以:开
系统 2019-08-12 09:26:51 2025
WhatisShark?SHARKisafast,modular,feature-richopen-sourceC++machinelearninglibrarywebsite:http://image.diku.dk/shark/sphinx_pages/build/html/index.htmlBecauseofInstallingSharkdependingonBoostandCMakeInstallstepsforShark:1.installth
系统 2019-08-12 09:26:50 2025
撰文/MartinFowler编译/透明Java社群近来掀起了一阵轻量级容器的热潮，这些容器能够帮助开发者将来自不同项目的组件组装成为一个内聚的应用程序。在它们的背后有着同一个模式，这个模式决定了这些容器进行组件装配的方式。人们用一个大而化之的名字来称呼这个模式：“控制反转”（InversionofControl，IoC）。在本文中，我将深入探索这个模式的工作原理，给它一个更能描述其特点的名字——“依赖注入”（DependencyInjection），并将
系统 2019-08-12 09:26:49 2025
摘要：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术，具体的应用需求还得具体分析，本文总结了三者之间的优缺点。【编者按】负载均衡（LoadBalancing）建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力，同时能够提高网络的灵活性和可用性。目前使用最为广泛的负载均衡软件是Nginx、LVS、HAP
系统 2019-08-12 09:26:43 2025
如果你的工程在调试时需要某些程序集存在于GAC，但那些程序集是你另外的工程编译时生成的，或者因为其它原因是动态变化的，那么最好的做法是在编译该工程时就把这些程序集重新添加到GAC中。如果因为部署等工作导致你的GAC中存在你工程的程序集，而使你不能加断点调试等，而这种事情又经常发生，那么在编译该工程时就把这些程序集重新添加到GAC中也不失为一个好的解决方案。让程序集在编译时自动添加到GAC的思路很简单，就是写一个批处理文件，然后在工程的生成事件中调用这个批处
系统 2019-08-12 01:31:55 2025
安装urllib库更适合写爬虫文件，scrapy更适合做爬虫项目。步骤：先更改pip源，国外的太慢了，参考：https://www.jb51.net/article/159167.htm升级pip：python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目：scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2024
