最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用
系统 2019-09-27 17:38:44 2021
前言因为有一些网站需要每日检查是否有问题，所以需要一个报警监控的机制，这个需要你指定你发送的邮箱和你接收的邮箱，就可以做到对网站自动监控了。这里用的是python3.5需要安装的插件:1、smtplib:发邮件需要用到2、pycurl:访问网站时会需要用到3、linecache:在读取txt网站清单时需要用到具体思路:python程序从txt里面批量读取到网站的信息,通过Curl.py模拟浏览器去访问网站,并且把访问的结果写入到以自己的网站名称-日期.tx
系统 2019-09-27 17:38:41 2021
概述考虑这样一个问题，有hello.py脚本，输出”hello,world!”；有TestInput.py脚本，等待用户输入，然后打印用户输入的数据。那么，怎么样把hello.py输出内容发送给TestInput.py，最后TestInput.py打印接收到的”hello,world!”。下面我来逐步讲解一下shell的交互方式。hello.py代码如下:#!/usr/bin/pythonprint"hello,world!"TestInput.py代码如
系统 2019-09-27 17:38:38 2021
实例如下：defTestDic1():dict2={'aa':222,11:222}forvalindict2:printvaldefTestDic2():dict2={'aa':222,11:222}for(key,val)indict2.items():printkey,":",valdefTestList1():list=[1,2,3,4,5,3,2,'ada','fs3']foriinrange(len(list)):printlist[i]def
系统 2019-09-27 17:38:16 2021
下表列出了所有Python语言支持的算术运算符。假设变量a持有10和变量b持有20，则：例子:试试下面的例子就明白了所有的Python编程语言提供了算术运算符：#!/usr/bin/pythona=21b=10c=0c=a+bprint"Line1-Valueofcis",cc=a-bprint"Line2-Valueofcis",cc=a*bprint"Line3-Valueofcis",cc=a/bprint"Line4-Valueofcis",cc=
系统 2019-09-27 17:38:13 2021
以下函数列出某个目录下（包括子目录）所有文件，本随笔重点不在于递归函数的实现，这是一个很简单的递归，重点在于熟悉Python库os以及os.path一些函数的功能和用法。1.os.listdir(path):列出path下所有内容（包括文件和目录，不包括.和..）2.os.path.join(path1,path2,path3...):拼接目录，例如将'home','test'拼接成'home/test/'3.os.path.isdir(path):判断p
系统 2019-09-27 17:38:04 2021
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2的使用细节。Proxy的设置Timeout设置在HTTPRequest中加入特定的HeaderRedirectCookie使用HTTP的PUT和DELETE方法得到HTTP的返回码DebugLogProxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想
系统 2019-09-27 17:37:51 2021
1.算法：（设查找的数组期间为array[low,high]）（1）确定该期间的中间位置K（2）将查找的值T与array[k]比较。若相等，查找成功返回此位置；否则确定新的查找区域，继续二分查找。区域确定如下：a.array[k]>T由数组的有序性可知array[k,k+1,……,high]>T;故新的区间为array[low,……，K-1]b.array[k]复制代码代码如下:#!/usr/bin/python#-*-coding:utf-8-*-def
系统 2019-09-27 17:37:51 2021
1.准备工作：工欲善其事必先利其器，因此我们有必要在进行Coding前先配置一个适合我们自己的开发环境，我搭建的开发环境是：操作系统：Ubuntu14.04LTSPython版本：2.7.6代码编辑器：SublimeText3.0这次的网络爬虫需求背景我打算延续DotNet开源大本营在他的那篇文章中的需求，这里就不再详解。我们只抓取某一省中所有主要城市从2015-11-22到2015-10-24的白天到夜间的所有天气情况。这里以湖北省为例。2.实战网页爬虫
系统 2019-09-27 17:37:46 2021
python有一个相应的特殊解构器（destructor）方法名为__del__()。然而，由于python具有垃圾对象回收机制（靠引用计数），这个函数要直到该实例对象所有的引用都被清除掉后才会被执行。python中的解构器是在实例释放前提供特殊处理功能方法，它们通常没有被实现，因为实例很少被显式释放。在下面的例子中，我们分别创建（并覆盖）__init__()和__del__()构造器及解构函数，然后，初始化类并给同样的对象很多别名。id()内建函数可用来
系统 2019-09-27 17:37:40 2021
AllITeBooks多线程爬取-写在前面对一个爬虫爱好者来说，或多或少都有这么一点点的收集癖~发现好的图片，发现好的书籍，发现各种能存放在电脑上的东西，都喜欢把它批量的爬取下来。然后放着，是的，就这么放着.......然后慢慢的遗忘掉.....AllITeBooks多线程爬取-爬虫分析打开网址http://www.allitebooks.com/发现特别清晰的小页面，一看就好爬在点击一本图书进入，发现下载的小链接也很明显的展示在了我们面前，小激动一把，这
系统 2019-09-27 17:56:53 2020
本文实例讲述了python对字典进行排序的方法，是非常实用的技巧。分享给大家供大家参考。具体实现方法如下：importitertoolsthekeys=['b','a','c']thevalues=['bbb','aaa','cccc']d=dict(itertools.izip(thekeys,thevalues))#创建字典printddefsortedDictValue(adict):keys=adict.keys()keys.sort()retur
系统 2019-09-27 17:56:31 2020
1、判断目录是否存在、判断文件是否存在、创建目录、重命名目录或文件importos#获取当前目录路径：E:\Work\Projects\pythonprint(os.getcwd())#判断当前目录是否存在，不存在则创建目录dir1ifnotos.path.isdir('dir1'):os.mkdir('dir1')#判断指定目录是否存在，不存在则创建目录dir22ifnotos.path.isdir('E:\Work\Projects\python\di
系统 2019-09-27 17:54:34 2020
Python简介Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。Python是一门入门非常简单的编程语言，也是目前很受欢迎的编程语言，在人工智能、网络爬虫、计算科学、Web应用、用户交互界面、自动化运维等方面都有广泛的应用，是一门很有前途的编程语言。Python是一门非常简单优雅的编程语言，可以用极少的代码就能实现强大
系统 2019-09-27 17:54:15 2020
正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。在前面学习了比较多模式，有前向搜索的，也有后向搜索的，有肯定模式的，也有否定模式的。这次再来学习一个，就是后向搜索肯定模式，意思就
系统 2019-09-27 17:53:26 2020
