Python

使用Python检测文章抄袭及去重算法原理解析

在互联网出现之前,“抄”很不方便,一是“源”少,而是发布渠道少;而在互联网出现之后,“抄”变得很简单,铺天盖地的“源”源源不断,发布渠道也数不胜数,博客论坛甚至是自建网站,而爬虫还可以让“抄”完全自动化不费劲。这就导致了互联网上的“文章”重复性很高。这里的“文章”只新闻、博客等文字占据绝大部分内容的网页。中文新闻网站的“转载”(其实就是抄)现象非常严重,这种“转载”几乎是全文照抄,或改下标题,或是改下编辑姓名,或是文字个别字修改。所以,对新闻网页的去重很有

系统 2019-09-27 17:51:18 2455

Python

对于Python的框架中一些会话程序的管理

Django,Bottle,Flask,等所有的pythonweb框架都需要配置一个SECRET_KEY。文档通常推荐我们使用随机的值,但我很难发现他有任何文字说明,因为这样容易被破解(本地攻击或者文本阅读在webapp中更容易受攻击)。攻击者可以使用SECRET_KEY伪造cookies,csrftoken然后使用管理员工具。不过这很难做到,不过他可以搞一些小破坏,比如执行恶意代码。这也是我下面将要介绍的。记得以前使用PHP找到一个可以读服务器上任意文件

系统 2019-09-27 17:38:23 2455

编程技术

Zju 1710 The Snail又一道模拟题

本题是道模拟题,又错了好几次,真太不细心了!你聪明的,能先去做做zju1710TheSnail吗?若你已经AC了,请来告诉我下面的程序错在哪里,谢谢!#includeusingnamespacestd;inth,u,d,f;boolflag;intclimb()...{inti=1;doubles=0,t=u,deta=t*f/100;while(true)...{s+=t;if(s>h)...{flag=true;break;}s-=

系统 2019-08-29 23:52:40 2455

编程技术

nutz初使用之MVC HelloWorld (netbeans html,jq

2.1.HelloWorld之jquery说明:(1)这是nutz与html进行相互通讯。Html网页中使用了jquery(2)netbeans6.9.1版开发,nutz1.a.31,jquery1.3.2(3)功能:打开new.html网页,输入姓名、年龄,按提交,nutz收到new.html发出的信息,然后增加点信息,再返回给new.html。最后new.html显示返回值(4)这只是一个示例,返回的json还是字符串,如果要直接返回json对象,请看

系统 2019-08-29 23:50:05 2455

编程技术

自动化测试框架:用AOP为每一个操作写Log

在写这个自动化测试框架的时候,我一直在留意各方面的需求。毕竟,我本人并没有做过真正的自动化测试。管理测试方面的领导,提出一个需求,就是在用例运行失败的时候,应该将过程记录下来,并形成报告,Email给相关人员。个人认为这个需求是非常合理的。事实上,任何系统,如果没有输出,那么只能停留在程序员手里。有了报表,才叫真正解决了用户的目标需求。在分析这个需求的过程,我提出了针对每一个操作接口的每一个方法,进行Log。而完成这个工作的第一方法,就想到了AOP,也就是

系统 2019-08-29 23:23:00 2455

编程技术

十个网志流量统计工具一览

电视台看收视率,报纸算销售量,网站则是计人流,数排名。要知道自己的网志有多受欢迎的话,从1数到10的GooglePageRank可看到一个大概,或在Alexaholic里直接查询及列出,那纯属於你的个十百千万,十万百万千万的位置之一。如果嫌数目太大丶排位不够前,又有缩窄了范围的部落格观察,以另一种算法,度出了的中文网志排行榜。无论如何,任凭外在的名次是前或後,最吸引博客眼球的还是回到自家网志的流量数据,从网路洪荒年代的HitCounter,到现时五花八门的

系统 2019-08-29 23:22:11 2455

编程技术

SQL学习简单样例(一):CROSS JOIN

1.CROSSJOIN除了内连接(innerjion),外连接(leftjoin,rightjoin,fulljoin),还支持交叉连接。交叉连接返回被连接两个表的卡迪尔乘积,即:1.2CROSSJOIN语法select列名from表名1crossjoin表名2where表名1.列名=表名2.列名1.3CROSSJOIN实例样例数据:要求:用crossjoin语句找出两表中学生序号相同的学生,并将其所有字段组合在一个表中。selecta.序号,b.姓名,a

系统 2019-08-29 22:37:47 2455

编程技术

Maven 3.0 下载

Maven3.0下载地址发布了,关注Maven3.0正式版的朋友可以直接去官方获取最新的Maven3.0正式版下载地址下载试用。Maven3.0正式版是继2005年发布的Maven2.0之后变化最大的一个版本(历时5年之后发布的版本,变化不大也不可能了),相信很多朋友对从Maven1.x升级到Maven2.x的时候还心有余悸吧,其变化之大几乎改变了全部的POM架构。不过本次发布的Maven3.0并没有像之前那般大变化,Maven3.0完全兼容Maven2.

系统 2019-08-29 22:30:44 2455

编程技术

谷歌封杀阿里云背后:反盗版与防分裂

谷歌封杀阿里云出于两大目的:防止安卓阵营的硬件基石开放手机联盟(OHA)分裂;谴责阿里云对安卓应用APP的盗版。阿里云如果要回应这些指责,光发声明是不够的,还需要遵循开源协议,公开云OS部分代码。在谷歌封杀宏碁推出“阿里云”手机之后,双方各就此发表了两轮声明。这些声明也使得事件爆发之初的一些判断和表态看上去十分可笑,诸如“谷歌封杀是给阿里云加冕”、“阿里云因为采用与谷歌相似的webapp战略规划所以被后者忌惮”等等,有些已经在双方的声明中被直接否定,也有些

系统 2019-08-12 09:30:33 2455

Python

Python Django框架单元测试之文件上传测试示例

本文实例讲述了PythonDjango框架单元测试之文件上传测试。分享给大家供大家参考,具体如下:Submittingfilesisaspecialcase.ToPOSTafile,youneedonlyprovidethefilefieldnameasakey,andafilehandletothefileyouwishtouploadasavalue.Forexample:>>>c=Client()>>>withopen('test.jpg')asfp

系统 2019-09-27 17:54:41 2454

Python

在VS2017中用C#调用python脚本的实现

情景是这样的:在C#中调用python脚本进行post请求,python脚本中使用了requests包。Python的开发环境我们有比较多的选择,pycharm、sublimetext等等。但是作为.net平台的Python语言ironPython,可以和C#交互,让编程更活泛。ironPython本身其实就是一个python的开发环境,我的电脑上还装有python2.7和pycharm,开始的时候使用pycharm写的,本来的想法是用VS直接调用就可以了

系统 2019-09-27 17:53:18 2454

Python

Python使用pyserial进行串口通信的实例

安装pyserialpipinstallpyserial查看可用的端口#coding:utf-8importserial.tools.list_portsplist=list(serial.tools.list_ports.comports())iflen(plist)<=0:print("没有发现端口!")else:plist_0=list(plist[0])serialName=plist_0[0]serialFd=serial.Serial(seri

系统 2019-09-27 17:50:55 2454

Python

如何简单的在Ubuntu上为Python配置OpenCV

经常做图像处理的童鞋可能知道opencv在计算机视觉上的地位,所以很多时候无论是自己做一些小的项目还是做什么,opencv都是一个非常好的选择。注意:本文是为Python配置opencv,如果您是使用C++进行opencv开发,那么需要去opencv官网进行源码下载。1.Windows平台pipinstallopencv-python2.Linux平台我是用的是Ubuntu,其它的应该都可以...(1)为Python2.7配置opencvsudoapt-g

系统 2019-09-27 17:50:29 2454

Python

Python爬虫:现学现用xpath爬取豆瓣音乐

爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方式的对比。抓取方式性能使用难度正则表达式快困难Lxml快简单BeautifulSoup慢简单这样一比较我我选择了Lxml(xpath)的方式了,虽然有三种方式,但肯定是要选择最好的方式来爬虫,这个道理大家都懂,另外有兴趣的朋友也可以去了解另外两种爬虫方式!好了现在来讲讲xpath由于Xpath属于lxml模块

系统 2019-09-27 17:49:53 2454

Python

Python3 学习之路~之集合详解

集合(set)是一个无序的不重复元素序列。可以使用大括号{}或者set()函数创建集合,注意:创建一个空集合必须用set()而不是{},因为{}是用来创建一个空字典。创建格式:basket={'apple','orange','apple','pear','orange','banana'}print(basket)集合的基本操作1添加元素1.1语法格式如下:s.add(x)thisset=set(("Google","Runoob","Taobao"))

系统 2019-09-27 17:49:39 2454