Python

python爬虫框架scrapy 豆瓣实战

Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架,用于以快速,简单,可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存

系统 2019-09-27 17:46:17 2112

编程技术

Draw2d 连线二 ChopboxAnchor EllipseAnchor

关键字:Draw2d,连线,ChopboxAnchorEllipseAnchor连线一提到的连线其实并没有连接到图形的边框上,这个问题主要取决于锚点(Anchor)。如果将代码中的椭圆改为正圆就很容易看出来了。publicclassHelloWorld2{publicstaticvoidmain(Stringargs[]){Shellshell=newShell();shell.setText("Draw2dHelloWorld");shell.setSi

系统 2019-08-29 23:50:49 2112

编程技术

ip地址子网掩码

IP和子网掩码的一些知识我们都知道,IP是由四段数字组成,在此,我们先来了解一下3类常用的IPA类IP段0.0.0.0到127.255.255.255B类IP段128.0.0.0到191.255.255.255C类IP段192.0.0.0到223.255.255.255XP默认分配的子网掩码每段只有255或0A类的默认子网掩码255.0.0.0一个子网最多可以容纳1677万多台电脑B类的默认子网掩码255.255.0.0一个子网最多可以容纳6万台电脑C类的

系统 2019-08-29 23:37:30 2112

编程技术

WEB服务器工作机制由浅至深(1):多线程模拟服

用Socket和ServerSocket这两个类模拟监听80端口请求的WEB服务器其实很简单的,我搞了一晚上才搞定。。。。。。说说为神马吧,主要是InputStream的阻塞机制!刚开始,我一次性读取1024字节,成功了。然后我又想到如果请求的字节数很长的话,只读取一次肯定不行,于是就用循环的方法使用read方法读取Request输入流的数据。然后,悲剧的事情就发生了!!!read方法竟然阻塞了,然后找资料找了好久找不到有用的资料,只看见有人说用java.

系统 2019-08-29 23:21:07 2112

编程技术

FlashMX2004组件事件简单调试器

FlashMx2004的发布,特别是改为V2components以后,components的功能得到了极大的强化。而对于普通编程者来说,首先要了解的就是如何合理的使用这些components来完成期望的工作,也就是这个components能实现什么功能,会响应哪些事件,响应事件的过程是如何的,如何编写事件响应函数。为此,我编写了一个简单的components事件调试器,用来调试components的事件响应过程(具体每个components的实现功能,请查

系统 2019-08-29 23:18:51 2112

编程技术

递归算法

递归算法是一种特殊的调用形式,是方法自己调用自己,这样有点比较难理解,但我们也可以认为方法调用另外一个方法,只不过方法名相同而已,且方法的算法也相同。这样也许还是比较难理解,我们可以用一个图来表示该算法:我们可以举个简单的例子来运用下递归算法。我们在读初中的时候,老师一般会出这样一道题目:计算出1+2+3+……+100的结果,现在学程序阶段,我们首先想到的一般是用循环来做,但其实我们也可以使用递归算法来做这道题目。代码如下:publicclassTest{

系统 2019-08-29 23:05:13 2112

编程技术

Eclipse知识点滴

Eclipse是一个非常优秀的集成开发环境,源于IBM已经投入了4000万美元的软件源码(VisualAgeforJava),在IBM的支持下,Eclipse发展得非常的迅速,现在已经成为最流行Java开发工具。Eclipse是一个非常优秀的集成开发环境,它旨在简化用于多操作系统软件工具的开发过程,可以用于管理多种开发任务,同时又是一个成熟,精心设计的,可扩展的体系结构。Eclipse的主要特点是:开放的、可扩展的IDE,成功的底层图形界面API,强大的插

系统 2019-08-29 23:02:19 2112

编程技术

与辛鹏和王昕聊OPUG(开放流程社区)

晚上,和东方易维的CTO辛鹏和总经理王昕先生,在中关村西区那个西堤咖啡,聚了聚,聊了有关OPUG的事宜。OPUG(开发流程用户组)的地址是http://www.opug.org.cn/,欢迎大家访问。很佩服辛鹏现在还能有这番热情,弄这个OPUG社区。他的想法也还是有很多可取之处的,比如:(1)现在国内有关流程社区这一块,一直是一个空白。但国内流程应用和接触流程的技术人员和客户也越来越多,大家实际是需要这么一个社区的。(2)国内的流程产品Provider之间

系统 2019-08-29 22:34:55 2112

编程技术

基于DirectShow/DES的MPEG-2音视频编辑软件的实

引言1994年欧洲制定的数字视频广播(DVB)标准和1996年美国联邦通信委员会(FCC)的先进电视制式委员会(ATSC)地面广播电视标准,在视频部分都采用了MPEG-2标准。我国的CATV数字网,也采用DVB标准。MPEG-2标准的出现,大大推动了数字视频业务的发展。越来越多的节目交换是以MPEG-2压缩方式进行的,使演播室制作涉及大量对MPEG编码压缩节目的处理,如非线性编辑涉及的不同节目间的切换、剪切和串编、在画面上加字幕、台标、实现淡入淡出等。其中

系统 2019-08-29 22:28:40 2112

编程技术

一个简单的Cairngorm框架例子_原理

我们新建工程,有一个Cairngrom的swc包一定要引进去才行(一般放在libs文件夹里面),不然是不能成功的,所以大家可以Cairngrom的官方网站上去下载,我在这里提供地址:http://opensource.adobe.com/wiki/display/cairngorm/Cairngorm有关这个框架,在网络上有很多图表用来讨论。下面是框架图表:使用Cairngorm的第一步是建立框架结构的骨架,包括了三个对象:ModelLocater;Ser

系统 2019-08-29 22:28:01 2112

编程技术

DirectionalViewPager支持横向和纵向的ViewPage

项目地址:https://github.com/JakeWharton/Android-DirectionalViewPager这个别人已经试过了:Android之仿网易V3.5新特性http://blog.csdn.net/way_ping_li/article/details/9359191我只是重新测试了一下,感觉可以用。只是要注意,需要导入-v4.jar包,并且VerticalViewPagerCompat.java一定要放在android.sup

系统 2019-08-29 22:17:54 2112

编程技术

HTTP Cache的实现介绍

我们都知道浏览器会缓存访问过网站的网页,浏览器通过URL地址访问一个网页,显示网页内容的同时会在电脑上面缓存网页内容。如果网页没有更新的话,浏览器再次访问这个URL地址的时候,就不会再次下载网页,而是直接使用本地缓存的网页。只有当网站明确标识资源已经更新,浏览器才会再次下载网页。一、什么是HTTPCache对于浏览器的这种网页缓存机制大家已经耳熟能详了,举个例子来说,JavaEye的新闻订阅地址:http://www.iteye.com/rss/news,

系统 2019-08-12 09:30:28 2112

Python

21、 Python快速开发分布式搜索引擎Scrapy精讲—爬虫数据保存

【百度云搜索,搜各种资料:http://www.bdyss.cn】【搜网盘,搜各种资料:http://www.swpan.cn】注意:数据保存的操作都是在pipelines.py文件里操作的将数据保存为json文件spider是一个信号检测#-*-coding:utf-8-*-#Defineyouritempipelineshere##Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting#See:ht

系统 2019-09-27 17:57:13 2111

Python

python 之 Django框架(orm单表查询、orm多表查询、聚合查询

12.329orm单表查询importosif__name__=='__main__':#指定当前py脚本需要加载的Django项目配置信息os.environ.setdefault("DJANGO_SETTINGS_MODULE","orm_demo.settings")importdjangodjango.setup()#启动Django项目fromapp01importmodels#返回QuerySet对象的方法:ret=models.Book.ob

系统 2019-09-27 17:56:39 2111