一、网络爬虫的定义网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫
系统 2019-09-27 17:38:09 2145
os模块中关于文件/目录常用的函数使用方法函数名使用方法getcwd()返回当前工作目录chdir(path)改变工作目录listdir(path=’.’)列举指定目录中的文件名(’.‘表示当前目录,’…'表示上一级目录)mkdir(path)创建单层目录,如该目录已存在抛出异常makedirs(path)递归创建多层目录,如该目录已存在抛出异常,注意:'E:\a\b’和’E:\a\c’并不会冲突remove(path)删除文件rmdir(path)删除单
系统 2019-09-27 17:56:19 2144
在Python中,比较两个对象(变量)是否相等,可以用“is”和“==”操作,但它俩有什么区别?什么时候用“is”,什么时候用“==”?在面试时,发现不少候选人很难把这两者完全说清楚,因此在这篇文章中,「Python之禅」将对二者进行深入浅出的对比介绍。先举个例子小黄最近手头非常宽裕,花重金购买了一辆P90D特斯拉,我们暂且给这车取名叫"小P",这辆车和隔壁老王家的车(车名叫"小王")是一模一样的,无论是型号、外表还是价格都一样,是同批次生产的。这里我们可
系统 2019-09-27 17:56:18 2144
本文实例讲述了python实现生成Word、docx文件的方法。分享给大家供大家参考,具体如下:http://python-docx.readthedocs.io/en/latest/index.html生成word的利器!一、快速开始fromdocximportDocumentdocument=Document()1、段落加一个段落,下面paragraph是前面内容的光标指向,后面再该处插入一句话。paragraph=document.add_parag
系统 2019-09-27 17:56:14 2144
利用python进行经纬度轨迹展示嘿!各位好久不见,距离第一次发博客已经过去两年多了,本人也从本科生变成了研究生,好了书归正传,最近在做一个关于航班滑行路径轨迹的项目,目的是将航班的经纬度数据在地图上显现出来并生成一条路径,以方便日后的滑行路径优化与分析。本文所用的语言为python,使用的是folium包,数据在flightaware网站上可以找到,使用这个包之前还是需要先进行pipinstallfoliumfolium的基本用法folium.Map([
系统 2019-09-27 17:54:57 2144
以往的文章中小编已经给大家陆续推荐了很多的Python书籍,可以说品种齐全、本本经典了,不知道你是不是已经眼花缭乱,不知道该选择哪本好了呢?今天我来为大家分享十本不可错过的Python好书,分别适合入门、进阶到精深三个不同阶段的人来阅读。Python高性能编程Amazon五星畅销书。Python入门进阶必读。Python代码仅仅能够正确运行还不够,你需要让它运行得更快。Python核心编程(第3版)(点击图书,可直接下载)系列销量逾70000册。Pytho
系统 2019-09-27 17:54:26 2144
1.腾讯企业邮箱SMTP服务器地址:smtp.exmail.qq.com,ssl端口为:4652.确保腾讯企业邮箱中开启了SMTP服务:3.示例代码:#!/usr/bin/envpython3#-*-coding:utf-8-*-importsmtplibfromemail.mime.textimportMIMETextfromemail.utilsimportformataddr#发件人邮箱账号my_sender='xx@xxx.com'#user登录邮
系统 2019-09-27 17:54:14 2144
为什么要做接口测试在日常开发过程中,有人做前端开发,有人负责后端开发。接口就是连接前后台,由于前端开发和后端开发的速度可能不一样,例如后端开发好了,但是前端没有开发。那么我们是不是就不需要测试呢?一般我们大部分人都是做功能测试,很多是界面的功能测试。如果你理解了接口测试,那么你就可以针对接口进行测试看看测试金字塔,接口测试是在中间部分,底层是单元测试,最顶端是界面测试。从三者的面积大小来看,单元测试和接口测试,才是重点,而界面测试真的是太少。这个面积,你可
系统 2019-09-27 17:52:16 2144
来源|Medium作者|arjunaskykok整理/Aholiab出品|区块链大本营(blockchain_camp)根据IEEE此前的一项调查,Python已成为最受开发者欢迎的语言之一。由于其对于技术小白天然友好的特性,以及不断更新的新功能。Python越来越受到国内外开发者的喜爱。越来越多被用于独立、大型项目的开发开始使用Python。20世纪90年代初荷兰人GuidovanRossum为了打发圣诞节的无趣,决心开发一个新的脚本解释程序,作为ABC
系统 2019-09-27 17:51:48 2144
read_csv#函数原型pandas.read_csv(filepath_or_buffer,sep=',',delimiter=None,header='infer',names=None,index_col=None,usecols=None,squeeze=False,prefix=None,mangle_dupe_cols=True,dtype=None,engine=None,converters=None,true_values=None,f
系统 2019-09-27 17:51:17 2144
习题1:读入文件pmi_days.csv,完成以下操作:1.统计质量等级对应的天数,例如:优:5天良:3天中度污染:2天2.找出PMI2.5的最大值和最小值,分别指出是哪一天。importcsva=0b=0c=0d=0lista=[]listb=[]withopen("pmi_days.csv",'r')asf:reader=csv.reader(f)fieldnames=next(reader)#获取数据的第一列,作为后续要转为字典的键名生成器,next
系统 2019-09-27 17:50:54 2144
Python编写从ZabbixAPI获取信息此脚本用Python3.6执行是OK的。#-*-coding:utf-8-*-importjsonimporturllib.request,urllib.error,urllib.parseclassZabbixAPI:def__init__(self):self.__url='http://192.168.56.102/zabbix/api_jsonrpc.php'self.__user='admin'self
系统 2019-09-27 17:50:37 2144
RSS是一个可用多种扩展来表示的缩写:“RDF站点摘要(RDFSiteSummary)”、“真正简单的辛迪加(ReallySimpleSyndication)”、“丰富站点摘要(RichSiteSummary)”,也许还能用其他扩展来表示。在如此混乱的名称背后,您会发现和这样一个平凡的技术领域相关的故事多得令人吃惊。RSS是用于分发Web站点上的内容的摘要的一种简单的XML格式。它能够用于共享各种各样的信息,包括(但不是仅限于)简讯、Web站点更新、事件日
系统 2019-09-27 17:49:55 2144
1.可传入参数:@app.route('/user/')#常用的不加参数的时候默认是字符串形式的@app.route('/post/')#常用的#指定int,说明是整型的@app.route('/post/')@app.route('/post/')@app.route('/login',methods=['GET','POST'])DEFAULT_CONVERTERS={'default':UnicodeConverter,'string':Unicod
系统 2019-09-27 17:49:32 2144
概述如果你已经阅读过上一个章节,那么你应该已经完成了充分的准备工作并且创建了一个很简单的具有如下文件结构的Web应用:microblog|-flask文件夹|-<一些虚拟环境的文件>|-app文件夹||-static文件夹||-templates文件夹||-__init__.py文件||-views.py文件|-tmp文件夹|-run.py文件亲,想要运行这个程序么?那就运行这个run.py文件,然后在你的浏览器里边打开http://localhost:5
系统 2019-09-27 17:49:00 2144