搜索到与相关的文章
Python

腾讯视频 Python 爬虫项目实战

文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso

系统 2019-09-27 17:46:04 2025

Python

Python 实现堆排序

#堆排序defheap_sort(arr):root=len(arr)//2-1while(root>=0):heap_adjust(arr,root,len(arr)-1)root=root-1#此时生成的大顶堆,满足每个根节点为子树中最大,因此,之后只需要对最顶的子树进行调整i=len(arr)-1whilei>=0:arr[0],arr[i]=arr[i],arr[0]heap_adjust(arr,0,i-1)i=i-1defheap_adjust

系统 2019-09-27 17:45:50 2025

Python

Python深入学习之特殊方法与多范式

Python一切皆对象,但同时,Python还是一个多范式语言(multi-paradigm),你不仅可以使用面向对象的方式来编写程序,还可以用面向过程的方式来编写相同功能的程序(还有函数式、声明式等,我们暂不深入)。Python的多范式依赖于Python对象中的特殊方法(specialmethod)。特殊方法名的前后各有两个下划线。特殊方法又被成为魔法方法(magicmethod),定义了许多Python语法和表达方式,正如我们在下面的例子中将要看到的。

系统 2019-09-27 17:45:48 2025

Python

Python-demo(listen)

importrequestsimportjson#爬虫原理模拟浏览器获取请求数据#点击播放连接#url="https://www.ximalaya.com/revision/play/album?albumId=297790&pageNum=1&sort=1&pageSize=30"url="https://www.ximalaya.com/revision/play/album?albumId=333001&pageNum=1&sort=1&pageSi

系统 2019-09-27 17:45:43 2025

Python

python xml.etree.ElementTree遍历xml所有节点实例

pythonxml.etree.ElementTree遍历xml所有节点XML文件内容:代码:#-*-coding:UTF-8-*-#从文件中读取数据importxml.etree.ElementTreeasET#全局唯一标识unique_id=1#遍历所有的节点defwalkData(root_node,level,result_list):globalunique_idtemp_list=[unique_id,level,root_node.tag,r

系统 2019-09-27 17:38:43 2025

Python

在Python中调用ggplot的三种方法

本文提供了三种不同的方式在Python(IPythonNotebook)中调用ggplot。在大数据时代,数据可视化是一个非常热门的话题。各个BI的厂商无不在数据可视化领域里投入大量的精力。Tableau凭借其强大的数据可视化的功能成为硅谷炙手可热的上市公司。Tableau的数据可视化的产品,其理论基础其实是《TheGrammarofGraphic》,该书提出了对信息可视化的图表的语法抽象体系,数据的探索和分析可以由图像的语法来驱动,而非有固定的图表类型来

系统 2019-09-27 17:38:39 2025

Python

浅谈python多线程和队列管理shell程序

首先来描述下环境,在机器上有很多个JAVA程序,我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本举个例子:我们现在要同时运行这些脚本,来达到快速启动所有的JAVA程序,如果我们只用多线程的话,线程是不会返回消息给父进程,我们如何才能知道这些程序是启动成功了呢?所以我们用到了队列来管理。"""我试过gevent,但是会在command这里造成阻塞"""gevent代码如下如果有朋友知道如何优化,请您告诉我#!/usr/bin/python2.7#-

系统 2019-09-27 17:38:36 2025

Python

Python3实现Web网页图片下载

先来介绍一些pythonweb编程基础知识1.GET与POST区别1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP请求的内容,而GET是在HTTP头部传输的;2)POST与GET在HTTP中传送的方式不同,GET的参数是在HTTP的头部传送的,而Post的数据则是在HTTP请求的内

系统 2019-09-27 17:38:29 2025

Python

python服务器端收发请求的实现代码

最近学习了python的一些服务器端编程,记录在此。发送get/post请求#coding:utf-8importhttplib,urllib#加载模块#urllib可以打开网站去拿#res=urllib.urlopen('http://baidu.com');#printres.headers#定义需要进行发送的数据params=urllib.urlencode({'param':'6'});#定义一些文件头headers={"Content-Type"

系统 2019-09-27 17:38:17 2025

Python

Python提取Linux内核源代码的目录结构实现方法

今天用Python提取了Linux内核源代码的目录树结构,没有怎么写过脚本程序,我居然折腾了2个小时,先是如何枚举出给定目录下的所有文件和文件夹,os.walk可以实现列举,但是os.walk是只给出目录名和文件名,而没有绝对路径。使用os.path.listdir可以达到这个目的,然后是创建目录,由于当目录存在是会提示创建失败的错误,所以我先想删除所有目录,然后再创建,但是发现还是有问题,最好还是使用判断如果不存在才创建目录,存在时就不创建,贴下代码:#

系统 2019-09-27 17:38:11 2025