在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5GHzIntelCorei7内存:32GBHDDR31600MHz硬盘:3TBFusionDrive数据
系统 2019-09-27 17:57:15 1945
我们都知道验证码是一张图片,这样程序自动识别的难度大,安全性高。设计到图片,先来看一下img标签里的src属性,也是实现验证码的一个小原理我们都知道src属性可以直接把图片拿过来:比如说拿到本地的图片就在直接可以显示在页面上那它是怎么实现的呢?其实src属性同样像服务端发送了一个请求,Django服务端接收到之后,自动把本地文件读取并返回给了客户端,就实现了上面的效果下面来自己实现一下:html:#src属性是一个url,对应处理函数:deftu2(req
系统 2019-09-27 17:54:30 1945
不希望跨版本升级,只希望小版本升级可以用下面的方法sudoadd-apt-repositoryppa:jonathonf/python-3.5sudoapt-getupdatesudoapt-getinstallpython3.5python-V
系统 2019-09-27 17:54:29 1945
在写桌面软件时,通常会使用到托盘上的泡泡提示功能,让我们来看看使用python如何实现这个小功能。一、Linux系统在Linux上,实现一个气泡提示非常简单,使用GTK实现的pynotify模块提供了些功能,我的环境是Ubuntu,默认安装此模块,如果没有,下载源文件编译安装一个。实现代码如下:#!/usr/bin/python#coding:utf-8importpynotifypynotify.init("Bubble@Linux")bubble_no
系统 2019-09-27 17:54:28 1945
元类在python中一切皆对象,类也是对象,只不过类是一个创建对象的对象,我们可以在类中动态的创建一个类,比如deffunc(name):ifname=="Plane":classPlane(object):passreturnPlaneelse:classMetrorolite(object):passreturnMrtroolite虽然根据上述代码可以动态创建一个类,但是整个类的代码仍需要我们编写的type()有两种作用:1、检查对象类型classPe
系统 2019-09-27 17:53:29 1945
一、分析:抓取动态页面js加载的人民日报里面的新闻详情https://wap.peopleapp.com/news/1先打开,然后查看网页源码,发现是一堆js,并没有具体的每个新闻的url详情,于是第一反应,肯定是js动态加载拼接的url。然后接着按f12查看,就看url,发现出来了好多url。然后点击具体的某一个新闻详情页面,查看url,把这个url的后面两个数字其中一个拿到访问主页的时候,f12抓包结果里面去查找,发现一个url,点击这个url,发现p
系统 2019-09-27 17:52:31 1945
添加首页和尾页:views.py:fromdjango.shortcutsimportrenderfromapp01importmodelsdefbook_list(request):#从URL中取参数page_num=request.GET.get("page")print(page_num,type(page_num))page_num=int(page_num)#定义两个变量保存数据从哪儿取到哪儿data_start=(page_num-1)*10d
系统 2019-09-27 17:51:57 1945
在程序开发时候一套好的开发环境和工具栈,可以帮我们极大的提高开发的效率,避免把大量时间浪费在周边琐事上。本文以Python的为例,教大家如何快速打造优秀的Python的项目开发环境:内容涵盖了模块依赖管理,代码风格管理,调试测试管理和Git版本管理,使用githook做项目规范检查等。pipxPipx是一款跨平台的Python环境隔离管理工具,可以在支持在Linux,MacOS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境,并以
系统 2019-09-27 17:51:53 1945
算法思想来自于网上资源,先使用图像边缘和车牌颜色定位车牌,再识别字符。车牌定位在predict方法中,为说明清楚,完成代码和测试后,加了很多注释,请参看源码。车牌字符识别也在predict方法中,请参看源码中的注释,需要说明的是,车牌字符识别使用的算法是opencv的SVM,opencv的SVM使用代码来自于opencv附带的sample,StatModel类和SVM类都是sample中的代码。SVM训练使用的训练样本来自于github上的EasyPR的c
系统 2019-09-27 17:51:17 1945
一代码编排1缩进4个空格的缩进(编辑器都可以完成此功能),不要使用Tap,更不能混合使用Tap和空格。2每行最大长度79,换行可以使用反斜杠,最好使用圆括号。换行点要在操作符的后边敲回车。3类和top-level函数定义之间空两行;类中的方法定义之间空一行;函数内逻辑无关段落之间空一行;其他地方尽量不要再空行。二文档编排1模块内容的顺序:模块说明和docstring―import―globals&constants―其他定义。其中import部分,又按标准
系统 2019-09-27 17:51:16 1945