Python

零基础写python爬虫之爬虫的定义及URL构成

一、网络爬虫的定义网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫

系统 2019-09-27 17:38:09 2321

Python

全面了解Python环境配置及项目建立

一、安装PythonPython比较稳定的两个版本是Python3.5和Python2.7,我用的是Python2.7,下载地址是:https://www.python.org/downloads/,下载之后按照正常的软件安装过程安装即可。配置Python环境变量:控制面板->系统->高级系统设置->环境变量->Path,在Path中添加python的安装路径,例如:C:\Python27;然后,一直点击确定orOK。python环境变量即配置完成,打开c

系统 2019-09-27 17:38:05 2321

Python

Python学习笔记(三)Python基本数字类型及其简单操作

一、数字类型表示数字或数值的数据类型称为数字类型,Python语言提供3种数字类型:整数、浮点数和复数,分别对应数学中的整数、实数和复数,下面就一起来了解一下他们吧!1.整数类型整数类型与数学中整数的概念一致,整数类型共有4种进制表示:十进制、二进制、八进制和十六进制。例:进制种类引导符号描述十进制无默认情况,例如123,-456二进制0b或0B由字符0到1组成,例如,0b1101,0B1101八进制0o或0O由字符0到7组成,例如,0b761,0B761

系统 2019-09-27 17:57:18 2320

Python

快速入门 Python 数据分析实用指南

Python现如今已成为数据分析和数据科学使用上的标准语言和标准平台之一。那么作为一个新手小白,该如何快速入门Python数据分析呢?下面根据数据分析的一般工作流程,梳理了相关知识技能以及学习指南。数据分析一般工作流程如下:数据采集数据存储与提取数据清洁及预处理数据建模与分析数据可视化1.数据采集数据来源分为内部数据和外部数据,内部数据主要是企业数据库里的数据,外部数据主要是下载一些公开数据取或利用网络爬虫获取。(如果数据分析仅对内部数据做处理,那么这个步

系统 2019-09-27 17:56:33 2320

Python

[python学习笔记]loc与iloc函数的用法及区别

loc(location)为SelectionbyLabel函数,即通过标签(行列索引的具体值)来索引数据,由于loc函数中索引的标签是str类型,所以标签的开头和结尾都要写。importpandasaspdimportnumpyasnpdf=pd.DataFrame(np.arange(0,60,2).reshape(10,3),columns=list('abc'))df.loc[0:2,['b','c']]#默认行索引情况下,选取df前三行的b,c两

系统 2019-09-27 17:55:53 2320

Python

python在openstreetmap地图上绘制路线图的实现

利用python进行经纬度轨迹展示嘿!各位好久不见,距离第一次发博客已经过去两年多了,本人也从本科生变成了研究生,好了书归正传,最近在做一个关于航班滑行路径轨迹的项目,目的是将航班的经纬度数据在地图上显现出来并生成一条路径,以方便日后的滑行路径优化与分析。本文所用的语言为python,使用的是folium包,数据在flightaware网站上可以找到,使用这个包之前还是需要先进行pipinstallfoliumfolium的基本用法folium.Map([

系统 2019-09-27 17:54:57 2320

Python

Python爬虫之xlml解析库(全面了解)

1.XpathXpath是一门在XML中查找信息的语言,可用来在XML文档中对元素和属性进行遍历。XQuery和xpoint都是构建于xpath表达之上2.节点父(parent),子(children),兄弟(sibling),先辈(ancetstor),后代(Decendant)3.选取节点路径表达式表达式描述路径表达式结果nodename选取此节点上的所有的子节点bookstore选取bookstore元素的所有子节点/从根节点上选取/bookstor

系统 2019-09-27 17:54:09 2320

Python

python 实现返回一个列表中出现次数最多的元素方法

如下所示:#返回一个列表中出现次数最多的元素defshowmax(lt):index1=0#记录出现次数最多的元素下标max=0#记录最大的元素出现次数foriinrange(len(lt)):flag=0#记录每一个元素出现的次数forjinrange(i+1,len(lt)):#遍历i之后的元素下标iflt[j]==lt[i]:flag+=1#每当发现与自己相同的元素,flag+1ifflag>max:#如果此时元素出现的次数大于最大值,记录此时元素的

系统 2019-09-27 17:54:01 2320

Python

python爬虫实例二:地图上的火锅美味

申明:本文出自我自己的微信号python1024,属于个人原创。先看下代码目录结构:有三个.py文件,map_craw.py、stat.py、store.py分别的功能是爬取数据、数据分析、将爬取的数据存储入mysql数据库中,由于stat.py还没写完,这篇文章主要讲数据的爬取与存储。这里的地图就是baidumap,如果是没有爬虫基础的同学先到CSDN里面搜一下,安装个Chrome浏览器,顺便在浏览器的右上角更多中找到更多工具—>扩展程序选项将JSONV

系统 2019-09-27 17:53:30 2320

Python

Python从ZabbixAPI获取信息及实现Zabbix-API 监控的方法

Python编写从ZabbixAPI获取信息此脚本用Python3.6执行是OK的。#-*-coding:utf-8-*-importjsonimporturllib.request,urllib.error,urllib.parseclassZabbixAPI:def__init__(self):self.__url='http://192.168.56.102/zabbix/api_jsonrpc.php'self.__user='admin'self

系统 2019-09-27 17:50:37 2320

Python

Python制作微信好友背景墙教程(附完整代码)

引言前段时间,微信朋友圈开始出现了一种晒照片新形式,微信好友墙,即在一张大图片中展示出自己的所有微信好友的头像。效果如下图,出于隐私考虑,这里作了模糊处理。是不是很炫,而且这还是独一无二的,毕竟每个人的微信好友是不一样的。本文就教大家用Python来实现这种效果。环境操作系统:WindowsPython版本:3.7.3代码实现我们需要首先需要获取好友的头像信息,接下来处理图像并完成图像的拼接。准备工作在这里,我们登录微信获取好友信息,使用的是wxpy模块;

系统 2019-09-27 17:50:08 2320

Python

详解用Python练习画个美队盾牌

0环境Python版本:3.6.6操作系统:MacOSMojave10.14.21引言最近我媳妇每天晚上吃饭时候也拿手机看,上厕所也在看。看着看着还会笑?WTF?你在干嘛呢?没错,她在看美队……这男人比我帅?……比我有钱?……还是比我有腔调?……答案很明显,我相信你们的眼睛都是雪亮的。那问题来了,作为一个男人,怎么能忍?虽然是个明星,虽然是假的,虽然已经挽回不了败局了……那我就送个美队的盾牌给你吧……这篇文章不是Turtle的入门篇,所以关于基本的画笔使用

系统 2019-09-27 17:49:37 2320

Python

使用Python为中秋节绘制一块美味的月饼

每逢佳节…对于在外的游子,每逢佳节倍思亲。而对于996ICU的苦逼程序猿们,最期待的莫过于各种节假日能把自己丢在床上好好休息一下了。这几天各公司都陆续开始发中秋礼品了。朋友圈各种秀高颜值的月饼,所以今天我也提前给大家送去一份中秋的美味月饼吧!python&turtlepython的turtle库,最早还是在小甲鱼的**【零基础入门学习Python】**中接触的,好久没用了有些生疏,带大家一起回顾下模块的使用吧。如果你是想认真学习这个库,推荐去官网仔细学习h

系统 2019-09-27 17:48:03 2320

Python

Python中处理字符串之endswith()方法的使用简介

endswith()方法返回true,如果字符串以指定后缀结尾,否则返回(False可选限制的匹配从给定的索引开始和结束)。语法以下是endswith()方法的语法:str.endswith(suffix[,start[,end]])参数suffix--这可能是一个字符串或者是元组用于查找后缀。start--切片从此开始end--切片到此为止返回值如果字符串以指定的后缀结束此方法返回true,否则返回false。例子下面的例子显示了endswith()方法

系统 2019-09-27 17:47:19 2320

Python

Python从list类型、range()序列简单认识类(class)【可迭代】

本文实例讲述了Python从list类型、range()序列简单认识类(class)。分享给大家供大家参考,具体如下:list类型定义:items=[]这就定义了一个名叫items的list。往里填充数据:items.append(1)items.append(3)items.append(4)print(items)#[1,3,4]range序列上面那个list,如果我们要append进去0~9的数字。最好是利用循环。items=[]forxinrang

系统 2019-09-27 17:46:52 2320