文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso
系统 2019-09-27 17:46:04 1854
美空网数据----简介从今天开始,我们尝试用2篇博客的内容量,搞定一个网站叫做“美空网”网址为:http://www.moko.cc/,这个网站我分析了一下,我们要爬取的图片在下面这个网址http://www.moko.cc/post/1302075.html然后在去分析一下,我需要找到一个图片列表页面是最好的,作为一个勤劳的爬虫coder,我找到了这个页面http://www.moko.cc/post/da39db43246047c79dcaef44c2
系统 2019-09-27 17:45:41 1854
装饰器:概念:把一个函数当作参数传递给一个函数,返回一个替代版的函数本质上就是一个返回函数的函数“在不改变原函数的基础上,给函数增加功能”@符号,那只是一个简短的方式来生成一个被装饰的函数defpaint(func):参数是一个函数definner():print('#########')这个的整个部分就都是装饰器func()returninner@paint这个就是函数戴帽子,也就是装饰器deffunc():print('haveaniceday!!')
系统 2019-09-27 17:45:41 1854
1.简介celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。建议的消息代理RabbitMQ的,但提供有限支持Redis,Beanstalk,MongoDB,CouchDB,,和数据库(使用SQLAlchemy的或Django的ORM)。celer
系统 2019-09-27 17:38:47 1854
简单记一下python中List的sort方法(或者sorted内建函数)的用法。List的元素可以是各种东西,字符串,字典,自己定义的类等。sorted函数用法如下:sorted(data,cmp=None,key=None,reverse=False)其中,data是待排序数据,可以使List或者iterator,cmp和key都是函数,这两个函数作用与data的元素上产生一个结果,sorted方法根据这个结果来排序。cmp(e1,e2)是带两个参数的
系统 2019-09-27 17:38:23 1854
在Python2.5中,with关键字被加入。它将常用的try...except...finally...模式很方便的被复用。看一个最经典的例子:withopen('file.txt')asf:content=f.read()在这段代码中,无论with中的代码块在执行的过程中发生任何情况,文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常,那么在这个异常被抛出前,程序会先将被打开的文件关闭。再看另外一个例子。在发起一个数据库事务请求的时候,经常会用
系统 2019-09-27 17:38:19 1854
对于某一类网站,管理界面是基础设施中非常重要的一部分。这是以网页和有限的可信任管理者为基础的界面,它可以让你添加,编辑和删除网站内容。一些常见的例子:你可以用这个界面发布博客,后台的网站管理者用它来润色读者提交的内容,你的客户用你给他们建立的界面工具更新新闻并发布在网站上,这些都是使用管理界面的例子。但是管理界面有一问题:创建它太繁琐。当你开发对公众的功能时,网页开发是有趣的,但是创建管理界面通常是千篇一律的。你必须认证用户,显示并管理表格,验证输入的有效
系统 2019-09-27 17:37:46 1854
Linux的initrd技术是一个非常普遍使用的机制,linux2.6内核的initrd的文件格式由原来的文件系统镜像文件转变成了cpio格式,变化不仅反映在文件格式上,linux内核对这两种格式的initrd的处理有着截然的不同。本文首先介绍了什么是initrd技术,然后分别介绍了Linux2.4内核和2.6内核的initrd的处理流程。最后通过对Linux2.6内核的initrd处理部分代码的分析,使读者可以对initrd技术有一个全面的认识。为了更好
系统 2019-08-29 23:52:14 1854
前几天在《一个基于MFC的自动化(Automation)实例》上说最近会发一个关于如何挂接浏览器事件的教程,现在如期兑现承诺啦。说实话,解决这个问题花了我近一年的时间,虽然期间不是每天都在想这个问题,但无论如何这听起来绝对是一段不短的时间!也许因为我是生物系的吧,不能像计算机系的朋友那样有那么多现成的资源可以利用,一切都靠自学,碰到不懂的问题就在浩瀚的网络世界中寻找答案,有时候的确感到很孤独!人生最大的痛苦莫过于有了问题没有答案,有了答案又没有Money!
系统 2019-08-29 23:11:50 1854
简单即是美——品C语言的幽雅C语言技术专家作客51CTO技术聊天室近期机械工业出版社华章公司在C语言技术领域,为广大读者准备了两本C语言技术图书——《C语言教程(原书第4版)》及《C语言初级编程(原书第3版)》,4月
系统 2019-08-29 23:10:33 1854