简易的分布式文件系统本来初期打算用Hadoop2,可是后来有限的服务器部署了SolrCloud,各种站点,发现资源不够了,近10T的文件,已经几乎把服务器的磁盘全部用光。想来想去,由于目前架构基于Scala的,所以还是用ScalaAkka实现了一个简单版本的分布式文件系统。Scala版本是2.10.3:http://www.scala-lang.org,Akka版本是2.2.3:http://akka.io。所有文件随机放在不同的服务器上,在数据库中记录了
系统 2019-08-12 01:31:55 2307
1.原本安装了Python,还有必要安装Anaconda吗?有必要Anaconda,其包含了conda、Python等180多个科学包及其依赖项,是一个开源的包、环境管理器,能够在不同的环境之间切换.2.什么是MongoDB?MongoDB是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。3.什么是Robomogo?MongoDB的可视化界面。下载Robomogo免费版就足够用了4.什么是
系统 2019-09-27 17:57:08 2306
Python学习教程(Python学习路线):面试题(三)31、两个列表[1,5,7,9]和[2,2,6,8]合并为[1,2,2,3,6,7,8,9]extend可以将另一个集合中的元素逐一添加到列表中,区别于append整体添加32、用python删除文件和用linux命令删除文件方法python:os.remove(文件名)linux:rm文件名33、log日志中,我们需要用时间戳记录error,warning等的发生时间,请用datetime模块打印
系统 2019-09-27 17:56:55 2306
python字典操作提取key,valuedictionaryName[key]=value1.为字典增加一项2.访问字典中的值3、删除字典中的一项4、遍历字典5、字典遍历的key\value6、字典的标准操作符7、判断一个键是否在字典中8、python中其他的一些字典方法9、将两个字典合并a={'a':1,'b':2,'c':3}b={'aa':11,'bb':22,'cc':33}#方法一print(dict(a,**b))#方法二这其实就是在内存中创
系统 2019-09-27 17:55:54 2306
前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。将字符串和Bytes互相转换可以使用encode()和decode()方法。URL编码正常的URL中是只能包含ASCII字符的,也就是字符、数字和一些符号。而URL编码就是一种浏览器用来避免url中出现特殊字符(如汉字)的编码方式。Base64编码Base64是一种用64个字符来表示任意二进制数据的方法。Base64编码可以称为密码学的基石。可以将任意的二
系统 2019-09-27 17:55:14 2306
这里写自定义目录标题阅读目录urllib.request.urlopen()请求示例程序urlopen()提供的返回值方法urlopen()传递data参数urlopen()传递timeout参数阅读目录urllib是python内置的HTTP请求库,无需安装即可使用,它包含了4个模块:request:它是最基本的http请求模块,用来模拟发送请求error:异常处理模块,如果出现错误可以捕获这些异常parse:一个工具模块,提供了许多URL处理方法,如:
系统 2019-09-27 17:54:47 2306
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块,它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re模块也提供了与这些方法功能完全一致的函数,这些函数使用一个模式字符串做为它们的第一个参数。本章节主要介绍Python中常用
系统 2019-09-27 17:54:25 2306
描述符:如果一个类中包含了三个魔术方法(get,set,delete)之一或者全部的类这个类就是一个描述符描述符的作用:描述符的作用就是对类/对象中某个成员进行详细的管理操作。数据描述符:(完整)同时具备三个魔术方法的类就是数据描述符非数据描述符(不完整):没有同时具备三个魔术方法的类就是非数据描述符三个魔术方法:__get__():触发时机:在访问对象成员属性(该成员已经交给描述符管理的时候)的时候触发作用:设置当前属性获取的值参数:self描述符的对象
系统 2019-09-27 17:54:25 2306
Python面向对象编程——继承与派生一、初始继承1、什么是继承继承指的是类与类之间的关系,是一种什么“是”什么的关系,继承的功能之一就是用来解决代码重用问题。继承是一种创建新类的方式,在python中,新建的类可以继承一个或多个父类,父类又可以成为基类或超类,新建的类称为派生类或子类2、python中类的继承分为:单继承和多继承classParentClass1:#定义父类passclassParentClass2:#定义父类passclassSubCl
系统 2019-09-27 17:53:48 2306
首先,先介绍两种引入模块的方法。法一:将整个文件引入import文件名文件名.函数名()/文件名.类名通过这个方法可以运行另外一个文件里的函数法二:只引入某个文件中一个类/函数/变量需要从某个文件中引入多个函数或变量时,用逗号隔开即可from文件名import函数名,类名,变量名接下来,通过一个具体的例子说明引入模块的具体方法:假设新建一个python包test2,里边有一个名为run.py的python文件,run.py文件里有一个名为running()
系统 2019-09-27 17:51:22 2306