爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找
系统 2019-09-27 17:51:06 2072
前言在刚学习编程的时候总是忘记处理一些特例(尤其是动态语言可以传各种值),为了养成良好的编程和测试习惯,在编写单元测试用例的时候,我们注意考虑下如下测试用例(等价类划分):正常值功能测试边界值(比如最大最小,最左最右值)异常值(比如None,空值,非法值)实战操作defbinary_search(array,target):ifnotarray:return-1beg,end=0,len(array)whilebeg
系统 2019-09-27 17:50:52 2072
当你开始着手部署应用时,最简单的方式莫过于使用管理员身份重启my_app或者所有服务,使产品升级至当前版本。开始的时候一切都很好,但是最终你会发现一旦应用启动以后,在重启期间去尝试连接会得到众多HTTP503错误。最后你可能发现Gunicorn和uWSGI可以在不关闭套接字的情况下重新加载你的应用,这样在你的应用启动时,网络请求仅仅是被延时了一点点。只要你的应用不会花费很长时间在启动上,它就会工作的很好。不幸的是,现有的许多应用可能会花费1分钟的时间在启动
系统 2019-09-27 17:49:22 2072
Python中的函数调用与c++不同的是将this指针直接作为self当作第一个形参进行处理,从而将静态函数与实例方法的调用形式统一了起来。在实际编程过程中,可以通过传递函数的地址、函数的形参的方式将所有函数(包括静态函数、类实例函数)的调用用统一的方式表达出来,方便统一接口和抽象。待传递的2个函数如下:classOperation:@staticmethoddefclose_buy():""":return:"""print("testevent")pr
系统 2019-09-27 17:48:56 2072
在平时工作和生活中经常看到一些颜色很好看的图片,就我个人而言,很想有这样一个工具能够获取到任意一张图片的配色以及主色调,之前看到有人分享过自己开发的iOS端的取配色工具,但个人觉得这种工具在pc上的需求更大,于是便尝试用python写了这样一个库。以下:HaishokuHaishokuGithub文档haishoku是一个日语词,意思是配色.Haishoku是一个用来获取图片主色调和主要配色方案的python库,依赖于python3和pillow。功能获取
系统 2019-09-27 17:48:21 2072
前言Python的字典有好多个名称("映射"、"哈希"、"散列"或者"关系数组"),那你知道为什么字典会被称为Hash(翻译为"哈希"或"散列")吗?你知道为什么字典对于键(Key)的存储数据要求比较严格,但对于对应的值(Value)的存储却要求很宽松吗?读完这篇文章,你将深刻理解这些问题背后的真相!hash首先我们来解释一下什么是Hash,来自维基百科:散列函数(或散列算法,又称哈希函数,英语:HashFunction)是一种从任何一种数据中创建小的数字
系统 2019-09-27 17:47:41 2072
很喜欢Python这门语言。在看过语法后学习了Django这个Web开发框架。算是对Python有些熟悉了。不过对里面很多东西还是不知道,因为用的少。今天学习了两个魔术方法:__new__和__init__。开攻:如果对Python有所简单了解的话应该知道它包含类这个概念的。语法如下:复制代码代码如下:classClassName::...问题来了。像我们学习的C#或是Java这些语言中,声明类时,都是有构造函数的。类似下面这样子:复制代码代码如下:pub
系统 2019-09-27 17:47:33 2072
endswith()方法返回true,如果字符串以指定后缀结尾,否则返回(False可选限制的匹配从给定的索引开始和结束)。语法以下是endswith()方法的语法:str.endswith(suffix[,start[,end]])参数suffix--这可能是一个字符串或者是元组用于查找后缀。start--切片从此开始end--切片到此为止返回值如果字符串以指定的后缀结束此方法返回true,否则返回false。例子下面的例子显示了endswith()方法
系统 2019-09-27 17:47:19 2072
前些天用python处理xml的转换的一个小程序,用来把xml,xsl转换成html。用的libxml2,所以还要先安装了libxml2模块才能使用。#-*-coding:mbcs-*-#!/usr/bin/pythonimportlibxml2,libxsltclasscompoundXML:def__init__(self):self._result=Noneself._xsl=Noneself._xml=Nonedefdo(self,xml_file
系统 2019-09-27 17:47:12 2072
一、什么是Selenium?Selenium是一个基于浏览器的自动化测试工具,它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分:SeleniumIDE、SeleniumWebDriver和SeleniumGrid。SeleniumIDE:Firefox的一个扩展,它可以进行录制回放,并把录制的操作以多种语言(例如java、python等)的形式导出成测试用例。SeleniumWebDriver:提供Web自动化所需
系统 2019-09-27 17:45:45 2072