在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 1872
简单生成器有许多优点。生成器除了能够用更自然的方法表达一类问题的流程之外，还极大地改善了许多效率不足之处。在Python中，函数调用代价不菲；除其它因素外，还要花一段时间解决函数参数列表（除了其它的事情外，还要分析位置参数和缺省参数）。初始化框架对象还要采取一些建立步骤（据TimPeters在comp.lang.python上所说，有100多行C语言程序；我自己还没检查Python源代码呢）。与此相反，恢复一个生成器就相当省力；参数已经解析完了，而且框架对
系统 2019-09-27 17:49:57 1872
我每个月都要读一本书写一个书评，平时写书评用的插图都是在网上找的图，前段时间觉得这样不够炫酷要做一点炫酷的东西。最开始的想法是提取小说中的高频词做成词云，实践下来发现效果并不理想，主要是有吸引力的词汇太少并不能突出这本书的特点；于是想到用爬虫爬取评论来提取关键词，试验下来发现效果不错。有了思路接下来要看怎么实现了，由于我本人是写java语言的，而java语言上并没有很好词云工具，于是自然想到了python。python我并不是很熟悉，完成这个小程序也遇到了
系统 2019-09-27 17:47:48 1872
接触了Python这么多时间后，感触良多。每一次学习都是不一样的体验，Python课也是一个很不一样的上课体验。这样的课程和其他的课程完全两样，让我们一改对传统课程的认知，由于机房的环境，自带电脑的我们也会更快进入编程环境中。如果说以往的上课让我们觉得枯燥，这样上课的方式能让学生更快地进入状态。博客园的教学方式也是十分的新颖，电子作业的提交、网上作业的发布，使得学习生活借助了互联网的便利。尽管作业中的代码是对所有人开放的，但开源的好处可想而知。每个初学者都
系统 2019-09-27 17:47:04 1872
最近在用djangorestframe框架做一个商城项目，有一个关于购物车的业务逻辑，是用cookie和redis存储的购物车信息，在这里记录一下。完成一个商城项目，如果不做一个购物车，就是十分可惜的。我们先来分析一下业务逻辑，参照，京东、淘宝等大型电商网站，可以发现，对于登录用户以及未登录用户，都是可以使用购物车功能。所以首先我们将这两种情况区分开来，采用不同的存储方式。先来看一下已登录用户，购物车其实类似我们在游览网页时的收藏功能，用于收藏用户喜欢的一
系统 2019-09-27 17:46:41 1872
我们已经接触过函数(function)的参数(arguments)传递。当时我们根据位置，传递对应的参数。我们将接触更多的参数传递方式。回忆一下位置传递：复制代码代码如下:deff(a,b,c):returna+b+cprint(f(1,2,3))在调用f时，1，2，3根据位置分别传递给了a,b,c。关键字传递有些情况下，用位置传递会感觉比较死板。关键字(keyword)传递是根据每个参数的名字传递参数。关键字并不用遵守位置的对应关系。依然沿用上面f的定义
系统 2019-09-27 17:45:51 1872
协同过滤在用户――物品（user-item）的数据关系下很容易收集到一些偏好信息（preference），比如评分。利用这些分散的偏好信息，基于其背后可能存在的关联性，来为用户推荐物品的方法，便是协同过滤，或称协作型过滤（collaborativefiltering）。这种过滤算法的有效性基础在于：用户的偏好具有相似性，即用户是可分类的。这种分类的特征越明显，推荐的准确率就越高物品之间是存在关系的，即偏好某一物品的任何人，都很可能也同时偏好另一件物品不同环
系统 2019-09-27 17:38:39 1872
大家在使用SSH或telnet远程连接服务器时，可能都遇到为一些长时间运行的任务而头疼，比如系统备份、ftp传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为他们执行的时间太长了。必须等待它执行完毕，在此期间可不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。也许nohup命令可以达到这个目的，如果程序的标准输出/标准错误是终端，nohup默认将其重定向到nohup.out文件。值得注意的是nohup命令只是使得程序忽略
系统 2019-08-29 23:52:02 1872
摘要:这本书看了一段时间，一直没有上手，今天刚才北京回来，新的项目需要提供一个原型，感觉比较适合ROR的开发方式，决定把《AgileWebDevelopmentwithRails》中的例子，走一遍，看一下开发的效果。阅读全文Duiker2007-03-1316:44发表评论AgileWebDevelopmentwithRails读书笔记（一）
系统 2019-08-29 23:36:56 1872
分层与分模块开发，是开发时经常选用的两种方式，应该说分模块开发是较多被采用的方式，但一直以来都觉得其实分层方式自己是比较欣赏的方式，对于两种开发方式分别的看法是：分层开发优点：1、保持系统分层结构分层开发在这点上无疑是可以保证的，同时有利于保证系统层次的职责的清晰以及分离。2、面向接口的编程由于采用分层开发，各层次之间采用接口依赖的方式就更容易被执行了。缺点：1、容易造成瓶颈现象由于分层开发各个承担人员的任务难度不一样，很容易形成瓶颈现象。2、对于系统设计
系统 2019-08-29 22:55:11 1872
