编程技术 - 军军小站|张军博客
Python

python连接hive

前言之前在读hive数据的时候,经常使用读hdfsparquet文件的方法,虽然封装函数一样,调用起来也方便,但是总觉得不得劲,既然我需要的是hive数据,为何不直接读hive呢?刚好今天又遇到了这个问题,就花了两个小时,研究了不同的方法,mark一下,以便查阅。好了,进入正题,下面列出了两种方法,但大体上差不多,可根据需要选择。另外,还看到使用impala操作hive的方法,没有详细研究,有空再看看。pyhive在网上查了一下,使用比较多的是pyhs2和

系统 2019-09-27 17:51:36 3078

编程技术

从概率角度来确定临界点问题

我们在很多日常生活中都会遇到“临界点”的问题。什么是临界点呢?譬如,当手机话费低于10元时,移动就会发送一条提醒短信,告知“您的余额已不多,请及时充值”。这个10元就是临界点。为什么要设置10元,而不是20元?临界点的意义不在此罗嗦了。下面我们来看看在设计中如何来确定临界点呢?前几天在China-pub上看到几本关于产品经理的新书,可以用手机短信和邮件的方式来进行到货短信的通知。手机截图如下图:我们重点来看看短信这部分,受短信字数的限制,书名的字数也会存在

系统 2019-08-12 09:29:57 3078

C#

C#中利用FileSystemWatcher对单个文件内容的监视

在项目中需要用FileSystemWatcher对单个文件内容进行监视,文件中每添加一行则需要Fire相应的事件,代码如下publicclassCommandWatcher{publiceventEventHandlerCommandHandler;Fields#regionFieldsprivatestringfileName;privateFileSystemWatcherwatcher;privateSystem.

系统 2019-08-12 09:26:54 3078

Javascript

使用纯javascript通过className来获取元素 (ge

MarkFinklesuggestedthatIdosomespeedtesting,nowthatanativeimplementationofgetElementsByClassNamehaslandedintheMozillatrunk(destinedforFirefox3).SoIwentaroundanddugupallofthedifferent,existing,implementationsthatIcouldfind.Currently

系统 2019-08-29 22:47:45 3077

Hive

hive实战 - qiang.xu - 博客园

hive实战-qiang.xu-博客园hive实战1.安装hive2.hive实战3.hive存储模型4.深入hql查询语言5.参考资料及代码下载<1>.安装hive下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件:xuqiang@ubuntu:~/hadoop/src/hive$tarzxvfhive-0.7.0-bin.tar.gz设置环境变量:xuqiang@ubuntu:~/hadoo

系统 2019-08-12 01:32:58 3076

Python

"开火车的纸牌游戏"-python版本

小Byte和小Dance玩一种叫“开火车的”纸牌游戏,游戏规则如下:1.初始给两人随机平分52张扑克牌,每个人26张;2.小Byte先开始,将第一张牌放下;3.随后两人轮流按序(按从第一张到最后一张的顺序出牌,手中牌的顺序不可以被打乱)放置扑克,后一张扑克压在前一张扑克上;4.如果出现之前放下的某张扑克s和将要放下的扑克t点数相同,则当前玩家获得从s到t之间所有的牌(包括s和t这两张);5.玩家手上26张牌都出完后,清点双方获得的牌数,牌数多的玩家获胜,若

系统 2019-09-27 17:48:35 3075

编程技术

浅谈返回值类型: json与html

返回json时要注意的一些东西:1、后台千万不要用StringBuilder的AppendLine()方法,这样会夹杂进去"\r\n",而不能成功;2、json是脆弱的,如果要构建html作为其中的一个值,而html中又有单双引号,那么在后台最好是这样:sb.Replace("\"","%db%");sb.Replace("'","%single%");strAjaxHtml=string.Format("{{\"count\":\"{0}\",\"htm

系统 2019-08-29 23:10:40 3075

Python

python将图片旋转,颠倒,修改尺寸

直接上代码,根据需求注释选择相应修改fromPILimportImageimportosimportos.pathrootdir=r'G:\jianfeng\project\rubblish_det\faster_rcnn\rubbish_voc_xml\rubbish_pic_forTest\4396'#指明被遍历的文件夹forparent,dirnames,filenamesinos.walk(rootdir):forfilenameinfilenam

系统 2019-09-27 17:57:38 3074

Android

【Android 开发教程】Toast通知

本章节翻译自《Beginning-Android-4-Application-Development》,如有翻译不当的地方,敬请指出。原书购买地址http://www.amazon.com/Beginning-Android-4-Application-Development/dp/1118199545/Toast通知是Android中最简单的消息通知。接下来展示如何使用吐司通知。1.新建一个工程,Toast。2.main.xml中的代码。

系统 2019-08-29 23:11:24 3074

Jquery

js报错 jquery.js 在eclipse里报错解决

errorsrunningbuilder‘javascriptvalidator’onproject如图:解决办法:右击项目名–Properties–Builders–将JavaScriptValidator前面的勾去掉即可。eclipse中加放jQuery.js文件报js语法错误解决办法(2012-02-2910:08:02)转载▼标签:杂谈三个地方:1、eclipse设置:window->preference->Validator->Errors/Wa

系统 2019-08-29 22:19:38 3072

CSS

CSS3 support for Internet Explorer 6, 7, and

whatisit?

ie-css3isascripttoprovideinternetexplorersupportforsomenewstylesavailableintheupcomingcss3standard.

howitworks

ifyou'reviewingthispageininternetexplorer,someoftheelementshavebeenrebuiltbyt

系统 2019-08-12 09:29:39 3072

Python

Python3使用科大讯飞API接口实现音频文件转写

注意事项科大讯飞语音转写API文档链接:https://www.xfyun.cn/doc/asr/lfasr/API.html.科大讯飞语音转写Python3的demo下载链接:http://xfyun-doc.ufile.ucloud.com.cn/1564736425808301/weblfasr_python3_demo.zip上一篇写了用百度智能云进行音频文件转写的博客,但是那个效果啊,有点惨不忍睹,至少我的识别结果是这样。然后转而使用了一下科大讯

系统 2019-09-27 17:50:42 3071

Python

Python实现学生信息管理系统

要求描述:学生的信息包括:学号,姓名,年龄,性别,出生日期,地址,电话,E-mail等等。试设计一个学生信息管理系统,使之能提供一下基本功能:系统以菜单方式工作学生信息录入功能(学生信息用文件保存)---输入学生信息浏览功能---输出查询、排序功能---算法按学号查询按姓名查询学生信息的删除与修改(可选项)基本思路同之前写的那篇图书借阅系统,在此就不多赘述。直接上代码,代码如下:importosclassStudent(object):def__init_

系统 2019-09-27 17:45:28 3071

编程技术

053_《Delphi网络通信协议分析与应用实现》

《Delphi网络通信协议分析与应用实现》Delphi教程系列书籍(053)《Delphi网络通信协议分析与应用实现》网友(邦)整理EMail:shuaihj@163.com下载地址:Pdf书名:Delphi网络通信协议分析与应用实现作者:钟军汪晓平等著出版社:人民邮电出版社书号:7115110034出版日期:2003年1月开本:787*10921/16页码:483版次:2003年1月北京第一版第一次印刷内容简介本书介绍如何利用Delphi开发网络与通信应

系统 2019-08-29 23:54:09 3071

Python

python实现各种插值法(数值分析)

一维插值插值不同于拟合。插值函数经过样本点,拟合函数一般基于最小二乘法尽量靠近所有样本点穿过。常见插值方法有拉格朗日插值法、分段插值法、样条插值法。拉格朗日插值多项式:当节点数n较大时,拉格朗日插值多项式的次数较高,可能出现不一致的收敛情况,而且计算复杂。随着样点增加,高次插值会带来误差的震动现象称为龙格现象。分段插值:虽然收敛,但光滑性较差。样条插值:样条插值是使用一种名为样条的特殊分段多项式进行插值的形式。由于样条插值可以使用低阶多项式样条实现较小的插

系统 2019-09-27 17:53:54 3070