网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。1.网络爬虫的定义网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫
系统 2019-09-27 17:38:28 1964
python基于新浪sae开发的微信公众平台,实现功能:输入段子---回复笑话输入开源+文章---发送消息到开源中国输入快递+订单号---查询快递信息输入天气---查询南京最近五天天气状况输入微博热点---回复微博当前热门话题输入电影+名称---回复百度云盘中搜索的链接具体实现代码:#-*-coding:utf-8-*-importhashlibimportwebimportlxmlimporttimeimportosimporturllib2,jsoni
系统 2019-09-27 17:38:18 1964
今天用Python提取了Linux内核源代码的目录树结构,没有怎么写过脚本程序,我居然折腾了2个小时,先是如何枚举出给定目录下的所有文件和文件夹,os.walk可以实现列举,但是os.walk是只给出目录名和文件名,而没有绝对路径。使用os.path.listdir可以达到这个目的,然后是创建目录,由于当目录存在是会提示创建失败的错误,所以我先想删除所有目录,然后再创建,但是发现还是有问题,最好还是使用判断如果不存在才创建目录,存在时就不创建,贴下代码:#
系统 2019-09-27 17:38:11 1964
相信很多初学python的小伙伴都会遇到这样的坑:环境变量配置不好,无法正常启动python。那么环境变量究竟是个什么东西呢?为什么要设置它?下面我们来说一说。1、什么是环境变量引用百度百科里面的解释:环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。看到这里我相信大家可能还是有所疑惑,但是,不急,接着看。2、为什么需要环境变量windows系统下,假如我们安装了某一款软件,安装结束后,在安装目录会生成一个该软件的
系统 2019-09-27 17:37:44 1964
市面上有很多开源的监控系统:Cacti、nagios、zabbix。感觉都不符合我的需求,为什么不自己做一个呢用Python两个小时徒手撸了一个简易的监控系统,给大家分享一下,希望能对大家有所启发首先数据库建表建立一个数据库“falcon”,建表语句如下:CREATETABLE`stat`(`id`int(11)unsignedNOTNULLAUTO_INCREMENT,`host`varchar(256)DEFAULTNULL,`mem_free`int
系统 2019-09-27 17:37:43 1964
js验证表单大全1.长度限制<
系统 2019-08-29 23:33:05 1964
B树、B-树、B+树、B*树都是什么B树即二叉搜索树:1.所有非叶子结点至多拥有两个儿子(Left和Right);2.所有结点存储一个关键字;3.非叶子结点的左指针指向小于其关键字的子树,右指针指向大于其关键字的子树;如:B树的搜索,从根结点开始,如果查询的关键字与结点的关键字相等,那么就命中;否则,如果查询关键字比结点关键字小,就进入左儿子;如果比结点关键字大,就进入右儿子;如果左儿子或右儿子的指针为空,则报告找不到相应的关键字;如果B树的所有非叶子结点
系统 2019-08-29 23:15:58 1964
7,对象的初始化以及实例变量的作用域本系列讲座有着很强的前后相关性,如果你是第一次阅读本篇文章,为了更好的理解本章内容,笔者建议你最好从本系列讲座的第1章开始阅读,请点击这里。到目前为止,我们都使用的是下列方式创建对象[类名new];这种new的方式,实际上是一种简化的方式。笔者在这里总结一下前面几章里面曾经提到过关于创建对象的2个步骤:第一步是为对象分配内存也就是我们所说的allocation,runtime会根据我们创建的类的信息来决定为对象分配多少内
系统 2019-08-29 22:48:05 1964
如果在opencms里上传pdf文件,点文件时opencms会启动内置的pdf阅读器实现pdf的在线阅读,现在问题也要实现word文档的在线预览功能,而在opencms上传word后,点它会跳到下载页面,有没人遇到过这种情况啊?本想找个适合opencms的word转pdf的插件,但几乎找不到;也想过把word上传后转成html保存,因为要集成到opencms的,也不好实现,大家有什么好的意见呀OpenCms在线预览问题
系统 2019-08-29 22:42:14 1964
在Silverlight和WPF项目开发中,经常要和Xaml语言打交道,大家都知道,一个清晰明了的开发语言布局可以让开发人员方便,快捷的阅读和理解代码,这里我介绍几个Xaml开发布局设计技巧。这里我用VisualStudio2010作为演示,首先打开VS2010,然后选中菜单栏Tools->Options->TextEditor->XAML->会看到以下效果:选中以上选项后,在代码方面会有如下显示效果,方便多属性控件阅读和理解,如果选中“Positionf
系统 2019-08-29 22:39:46 1964