原始数据原始数据大致是这样子的：每条数据中的四个数据分别是当前节点名称，节点描述（指代一些需要的节点属性),源节点（即最顶层节点），父节点（当前节点上一层节点）。datas=[["root","根节点","root",None],["node1","一级节点1","root","root"],["node2","一级节点2","root","root"],["node11","二级节点11","root","node1"],["node12","二级节点1
系统 2019-09-27 17:47:39 1727
因为最近接触到调用新浪微博开放接口的项目，所以就想试试用python调用微博API。SDK下载地址：http://open.weibo.com/wiki/SDK代码不多十几K，完全可以看懂。有微博账号可以新建一个APP，然后就可以得到appkey和appsecret，这个是APP获得OAuth2.0授权所必须的。了解OAuth2可以查看链接新浪微博的说明。OAuth2授权参数除了需要appkey和appsecret还需要网站回调地址redirect_uri
系统 2019-09-27 17:47:08 1727
发送端代码：#!/usr/bin/python#-*-coding:UTF-8-*-importsocketimportstructraw_socket=socket.socket(socket.PF_PACKET,socket.SOCK_RAW,socket.htons(0x1234))raw_socket.bind(("eth0",0))packet=struct.pack("!6s6sH","\xff\xff\xff\xff\xff\xff","\x
系统 2019-09-27 17:46:50 1727
1.字典键-值对中，值元素的便捷创建增减主要是利用collections中的defaultdict普通复杂过程：pairs=[('a',1),('a',2),('b',2)]d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)或d={}#普通字典d.setdefault('a',[]).append(1)d.setdefault('a',[]).append(2)d.setdef
系统 2019-09-27 17:46:20 1727
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1727
闭包(closure)是函数式编程的重要的语法结构。函数式编程是一种编程范式(而面向过程编程和面向对象编程也都是编程范式)。在面向过程编程中，我们见到过函数(function)；在面向对象编程中，我们见过对象(object)。函数和对象的根本目的是以某种逻辑方式组织代码，并提高代码的可重复使用性(reusability)。闭包也是一种组织代码的结构，它同样提高了代码的可重复使用性。不同的语言实现闭包的方式不同。Python以函数对象为基础，为闭包这一语法结
系统 2019-09-27 17:45:45 1727
新来的一个工程师不懂HBase，java不熟，python还行，我建议他那可以考虑用HBase的thrift调用，完成目前的工作。首先，安装thrift下载thrift，这里，我用的是thrift-0.7.0-dev.tar.gz这个版本tarxzfthrift-0.7.0-dev.tar.gzcdthrift-0.7.0-devsudo./configure--with-cpp=no--with-ruby=nosudomakesudomakeinstal
系统 2019-09-27 17:45:33 1727
importsubprocessoutput=Popen(["mycmd","myarg"],stdout=PIPE).communicate()[0]importsubprocessp=subprocess.Popen(['ls','-a'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)out,err=p.communicate()printout#workonUnix/Linuxonlyimportcom
系统 2019-09-27 17:45:26 1727
如果不用“with”，那么Python会在何时关闭文件呢？答案是：视情况而定。Python程序员最初学到的东西里有一点就是可以通过迭代法很容易地遍历一个打开文件的全文：f=open('/etc/passwd')forlineinf:print(line)注意上面的代码具有可行性，因为我们的文件对象“f”是一个迭代器。换句话说，“f“知道在一个循环或者任何其他的迭代上下文中做什么，比如像列表解析。我的Python课堂上的大多数学生都具有其他编程语言背景，在使
系统 2019-09-27 17:45:26 1727
本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考，具体如下：在前面这篇//www.jb51.net/article/162418.htm我们已经简单了解了”python的多进程”，现在我们需要把抓取基金网站(28页)内容写成多进程的方式。因为进程也不是越多越好，我们计划分3个进程执行。意思就是：把总共要抓取的28页分成三部分。怎么分呢？#初始ranger=range(1,29)#步长step=10myList=[r[x:x+
系统 2019-09-27 17:45:24 1727
