- 军军小站|张军博客
搜索到与相关的文章
Python

腾讯视频 Python 爬虫项目实战

文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso

系统 2019-09-27 17:46:04 1854

Python

Python爬虫入门【3】:美空网数据爬取

美空网数据----简介从今天开始,我们尝试用2篇博客的内容量,搞定一个网站叫做“美空网”网址为:http://www.moko.cc/,这个网站我分析了一下,我们要爬取的图片在下面这个网址http://www.moko.cc/post/1302075.html然后在去分析一下,我需要找到一个图片列表页面是最好的,作为一个勤劳的爬虫coder,我找到了这个页面http://www.moko.cc/post/da39db43246047c79dcaef44c2

系统 2019-09-27 17:45:41 1854

Python

python——装饰器

装饰器:概念:把一个函数当作参数传递给一个函数,返回一个替代版的函数本质上就是一个返回函数的函数“在不改变原函数的基础上,给函数增加功能”@符号,那只是一个简短的方式来生成一个被装饰的函数defpaint(func):参数是一个函数definner():print('#########')这个的整个部分就都是装饰器func()returninner@paint这个就是函数戴帽子,也就是装饰器deffunc():print('haveaniceday!!')

系统 2019-09-27 17:45:41 1854

Python

Python环境下安装使用异步任务队列包Celery的基础教程

1.简介celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的,但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。建议的消息代理RabbitMQ的,但提供有限支持Redis,Beanstalk,MongoDB,CouchDB,,和数据库(使用SQLAlchemy的或Django的ORM)。celer

系统 2019-09-27 17:38:47 1854

Python

Linux系统上Nginx+Python的web.py与Django框架环境

1.编译nginx在网上买了一本《实战nginx-取代Apache的高性能服务器》,写的比较浅,主要是些配置方面的东西,不过却正是目前我所需要的。由于需要支持https和rewrite,所以除了nginx的源码之外,又下载了openssl-0.9.8r.tar.gz和pcre-8.12.tar.gz,把他们和nginx-1.0.4.tar.gz放到同一个目录。为了方便编译,笔者写了一个脚本,代码如下:#!/bin/bash#================

系统 2019-09-27 17:38:47 1854

Python

python中快速进行多个字符替换的方法小结

先给出结论:要替换的字符数量不多时,可以直接链式replace()方法进行替换,效率非常高;如果要替换的字符数量较多,则推荐在for循环中调用replace()进行替换。可行的方法:1.链式replace()string.replace().replace()1.x在for循环中调用replace()「在要替换的字符较多时」2.使用string.maketrans3.先re.compile然后re.sub……defa(text):chars="&#"for

系统 2019-09-27 17:38:36 1854

Python

python中List的sort方法指南

简单记一下python中List的sort方法(或者sorted内建函数)的用法。List的元素可以是各种东西,字符串,字典,自己定义的类等。sorted函数用法如下:sorted(data,cmp=None,key=None,reverse=False)其中,data是待排序数据,可以使List或者iterator,cmp和key都是函数,这两个函数作用与data的元素上产生一个结果,sorted方法根据这个结果来排序。cmp(e1,e2)是带两个参数的

系统 2019-09-27 17:38:23 1854

Python

Python 中的with关键字使用详解

在Python2.5中,with关键字被加入。它将常用的try...except...finally...模式很方便的被复用。看一个最经典的例子:withopen('file.txt')asf:content=f.read()在这段代码中,无论with中的代码块在执行的过程中发生任何情况,文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常,那么在这个异常被抛出前,程序会先将被打开的文件关闭。再看另外一个例子。在发起一个数据库事务请求的时候,经常会用

系统 2019-09-27 17:38:19 1854

编程技术

initrd 机制解析

Linux的initrd技术是一个非常普遍使用的机制,linux2.6内核的initrd的文件格式由原来的文件系统镜像文件转变成了cpio格式,变化不仅反映在文件格式上,linux内核对这两种格式的initrd的处理有着截然的不同。本文首先介绍了什么是initrd技术,然后分别介绍了Linux2.4内核和2.6内核的initrd的处理流程。最后通过对Linux2.6内核的initrd处理部分代码的分析,使读者可以对initrd技术有一个全面的认识。为了更好

系统 2019-08-29 23:52:14 1854

编程技术

香港十大气质男明星

周润发:大气此君出演的多数电影中,都实难挡其魅力,无论主演客串,都令众多演员望尘莫及。大将之风。梁朝伟:灵气不要被他油头粉面或落魄颓废的造型迷离忧郁的眼神所迷惑。实有让观众细细品味的风采,具有影帝风采。周星弛:人气他对香港电影的喜剧贡献实在太大了,创造了他独特的喜剧风格,佳作不断,且深入人心。成龙:神气这条龙似乎越来越红,红的发烫。在好来坞的发展比发哥更明朗化。而且涉足商业也更加的多,有了自己的服装品牌,自己的公司,自己的寿司店等,看来大哥要更忙啦!吴镇宇

系统 2019-08-29 23:23:43 1854