importrequestsimportjson#爬虫原理模拟浏览器获取请求数据#点击播放连接#url="https://www.ximalaya.com/revision/play/album?albumId=297790&pageNum=1&sort=1&pageSize=30"url="https://www.ximalaya.com/revision/play/album?albumId=333001&pageNum=1&sort=1&pageSi
系统 2019-09-27 17:45:43 2025
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用
系统 2019-09-27 17:38:44 2025
pythonxml.etree.ElementTree遍历xml所有节点XML文件内容：代码：#-*-coding:UTF-8-*-#从文件中读取数据importxml.etree.ElementTreeasET#全局唯一标识unique_id=1#遍历所有的节点defwalkData(root_node,level,result_list):globalunique_idtemp_list=[unique_id,level,root_node.tag,r
系统 2019-09-27 17:38:43 2025
本文提供了三种不同的方式在Python（IPythonNotebook）中调用ggplot。在大数据时代，数据可视化是一个非常热门的话题。各个BI的厂商无不在数据可视化领域里投入大量的精力。Tableau凭借其强大的数据可视化的功能成为硅谷炙手可热的上市公司。Tableau的数据可视化的产品，其理论基础其实是《TheGrammarofGraphic》，该书提出了对信息可视化的图表的语法抽象体系，数据的探索和分析可以由图像的语法来驱动，而非有固定的图表类型来
系统 2019-09-27 17:38:39 2025
首先来描述下环境，在机器上有很多个JAVA程序，我们在每个JAVA程序里都配置了一个启动|停止|重启的脚本举个例子：我们现在要同时运行这些脚本，来达到快速启动所有的JAVA程序，如果我们只用多线程的话，线程是不会返回消息给父进程，我们如何才能知道这些程序是启动成功了呢？所以我们用到了队列来管理。"""我试过gevent,但是会在command这里造成阻塞"""gevent代码如下如果有朋友知道如何优化，请您告诉我#!/usr/bin/python2.7#-
系统 2019-09-27 17:38:36 2025
先来介绍一些pythonweb编程基础知识1.GET与POST区别1)POST是被设计用来向web服务器上放东西的，而GET是被设计用来从服务器取东西的，GET也能够向服务器传送较少的数据，而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP请求的内容，而GET是在HTTP头部传输的；2)POST与GET在HTTP中传送的方式不同，GET的参数是在HTTP的头部传送的，而Post的数据则是在HTTP请求的内
系统 2019-09-27 17:38:29 2025
最近学习了python的一些服务器端编程，记录在此。发送get/post请求#coding:utf-8importhttplib,urllib#加载模块#urllib可以打开网站去拿#res=urllib.urlopen('http://baidu.com');#printres.headers#定义需要进行发送的数据params=urllib.urlencode({'param':'6'});#定义一些文件头headers={"Content-Type"
系统 2019-09-27 17:38:17 2025
今天用Python提取了Linux内核源代码的目录树结构，没有怎么写过脚本程序，我居然折腾了2个小时，先是如何枚举出给定目录下的所有文件和文件夹，os.walk可以实现列举，但是os.walk是只给出目录名和文件名，而没有绝对路径。使用os.path.listdir可以达到这个目的，然后是创建目录，由于当目录存在是会提示创建失败的错误，所以我先想删除所有目录，然后再创建，但是发现还是有问题，最好还是使用判断如果不存在才创建目录，存在时就不创建，贴下代码：#
系统 2019-09-27 17:38:11 2025
先看代码：In[1]:a={'name':'wang'}In[2]:a.get('age')In[3]:a['age']---------------------------------------------------------------------------KeyErrorTraceback(mostrecentcalllast)in()---->1a['age']KeyError:'age'In[4]:a.get('age',10)Out[4
系统 2019-09-27 17:38:06 2025
Flash提供的linkage给我们的编程带来了极大的便利,我们甚至可以主场景里面不放如何元素,所有的元素都放在库中,然后用action来组织调用.但是,在默认的方式下,Flash必须将linkage的所有元素都下载完毕以后,才开始执行第一帧的action,这样就造成loading的失效.怎么解决这个难题呢?fictiony提供了一个解决的方案,可以很好的解决这个问题:首先,对于库中所有的linkage,将Exportinfirst这个选项去掉(如图),这
系统 2019-08-29 23:42:12 2025
