如何爬取全国两千多个城市的经纬度?其实找对了数据源就一点也不难。哪些网站可能会有全国所有城市的经纬度呢?高德地图?百度地图?统计局?淘宝?……这次我们来试试通过饿了么爬取:importrequests,csv,Geohashurl='https://www.ele.me/restapi/shopping/v1/cities'headers={'referer':'https://www.ele.me/home/','user-agent':'user-ag
系统 2019-09-27 17:48:42 2775
前言Matplotlib是Python的绘图库。它可与NumPy一起使用,提供了一种有效的MatLab开源替代方案。它也可以和图形工具包一起使用,如PyQt和wxPython。用matplotlib绘制一些大家比较熟悉又经常混淆的统计图形,掌握这些统计图形可以对数据可视化有一个深入理解。Windows系统安装Matplotlib进入到cmd窗口下,执行以下命令:python-mpipinstall-Upipsetuptoolspython-mpipinst
系统 2019-09-27 17:55:51 2774
接触Python也有一段时间了,Python相关的框架和模块也接触了不少,希望把自己接触到的自己觉得比较好的设计和实现分享给大家,于是取了一个“CharmingPython”的小标,算是给自己开了一个头吧,希望大家多多批评指正。:)fromflaskimportrequestFlask是一个人气非常高的PythonWeb框架,笔者也拿它写过一些大大小小的项目,Flask有一个特性我非常的喜欢,就是无论在什么地方,如果你想要获取当前的request对象,只要
系统 2019-09-27 17:47:42 2774
系统环境CentOS7.3阿里云服务器1.ll/usr/bin/python*2.此时python的默认版本还是2.7.53.mvpythonpython.bak备份源文件后期可以恢复2.7.5版本4.下载自己需要的python版本https://www.python.org/ftp/python/以3.5为例子5.下载好了利用FTP工具上传到/root上传不再演示6.mkdir/usr/local/python3创建python3的文件存放位置依照个人习
系统 2019-09-27 17:57:41 2773
有时候手工执行Python脚本跑的好好的,但是部署到Linux的crontab中后,就会遇到一些问题,最近终于有空整理一下这方面的内容,其实也是自己也踩了一些别人踩过的坑!这里仅仅列举个人遇到的一些小问题,经验和精力问题,不能面面俱到,仅总结一下自己遇到的这些问题。环境变量问题cron中的环境变量和系统的环境变量是不一样的,我们可以通过设置定时脚本将cron中的环境变量打印出来,然后一对比,你就能发现差异*****env>/tmp/env.txt如果你Py
系统 2019-09-27 17:52:17 2773
一.特征选择-单变量特征选择1.SelectKBest可以依据相关性对特征进行选择,保留k个评分最高的特征。方差分析分类问题使用f_classif,回归问题使用f_regression。f_classif:分类任务跟目标的分类,将样本划分成n个子集,S1,S2,..,Sn,我们希望每个子集的均值μ1,μ2,...,μn不相等。我们假设H0:μ1=μ2=...=μn,当然我们希望拒绝H0,所以我们希望构造出来f最大越好。所以我们可以通过第i个特征xi对分类进
系统 2019-09-27 17:48:11 2773
前言在处理excel数据时发现了xlwt的局限性�C不能写入超过65535行、256列的数据(因为它只支持Excel2003及之前的版本,在这些版本的Excel中行数和列数有此限制),这对于实际应用还是不够的。为此经过一番寻找发现了一个支持07/10/13版本Excel的openpyxl,虽然功能很强大,但是操作起来感觉没有xlwt方便。下面分别说下几个模块的常用操作。xlrdxlrd是用来从Excel中读写数据的,但我平常只用它进行读操作,写操作会遇到些
系统 2019-09-27 17:54:33 2772
计算字符串中所有数字的和,字符串中有数字和字母组合而成如果出现连续数字,按照一个数操作具体解释在代码行里:defsum_str(str1):len1=len(str1)#首先将字符串str1的长度赋值给len1sum=n=0#建立一个值为0的空变量sun#建立一个值为0的空变量nforiinrange(len1):#用i来遍历字符串的长度if49<=ord(str1[i])<=57:#判断字符ascii码是否在数字ascii值范围内n=n*10#n*=10
系统 2019-09-27 17:49:34 2772
前言在平时的工程中,我们在构建工程时,常常需要用到配置文件,用来配置项目的一些信息,比如数据库,请求网址,文件夹,线程、进程数等信息,这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码,会单独存放在一个文件夹中,方便管理,常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparse
系统 2019-09-27 17:57:19 2771
1.前言当日期数据作为图表的坐标轴时通常需要特殊处理,应为日期字符串比较长,容易产生重叠现象2.设定主/次刻度2.1引用库frommatplotlib.datesimportDateFormatter,WeekdayLocator,DayLocator,MONDAY,YEARLY2.2获取每月/周/日数据获取每月一日数据monthdays=MonthLocator()获取每周一的日期数据mondays=WeekdayLocator(MONDAY)#主要刻度
系统 2019-09-27 17:56:21 2771
1.open()语法open(file[,mode[,buffering[,encoding[,errors[,newline[,closefd=True]]]]]])open函数有很多的参数,常用的是file,mode和encodingfile文件位置,需要加引号mode文件打开模式,见下面3buffering的可取值有0,1,>1三个,0代表buffer关闭(只适用于二进制模式),1代表linebuffer(只适用于文本模式),>1表示初始化的buff
系统 2019-09-27 17:53:40 2771
根据2018年Python开发者大调查,Python3的渗透率已经快速增长至84%,越来越多的开发者使用Python进行数据分析。同时在Web开发、运维、系统维护等领域也是Python开发者们的主力战场。所以学习Python后到底要做些什么?从其他语言转到Python要怎么学、做些什么?你要跳槽、晋升,硬核技能是否已经Get?今天就来说说一直不得法的人应该如何入门。Python没有你想象中的简单对于Python来说,一直有个误区,那就是「Python很简单
系统 2019-09-27 17:51:46 2771
匹配手机号importrephoneRegex=re.compile(r'''((\d{3}|\(\d{3}\))?#areacode(\s|-|.)?#separator(\d{3})#first3digits(\s|-|.)#separator(\d{4})#last4digits(\s*(ext|x|ext.)\s*(\d{2,5}))?#extension)''',re.VERBOSE)电话号码从一个“可选的”区号开始,所以区号分组跟着一个问号。因
系统 2019-09-27 17:50:29 2771
MASK图像掩膜处理在图像操作中有时候会用到掩膜处理,如果使用遍历法掩膜图像ROI区域对于python来讲是很慢的,所以我们要找到一种比较好的算法来实现掩膜处理。假设我们有一副图像:而我们关心的区域就在这一小堆线上,想把这一堆线提取出来,我们先通过numpy生成一个mask图像:sss=np.zeros([480,640],dtype=np.uint8)sss[300:350,310:400]=255生成一个640*480大小的一个图片,填充为0,然后在3
系统 2019-09-27 17:48:10 2771
本文实例讲述了Python流行ORM框架sqlalchemy安装与使用。分享给大家供大家参考,具体如下:安装http://docs.sqlalchemy.org1、安装#进入虚拟环境#执行./python3-mpipinstallimportsqlalchemyprint(sqlalchemy.__version__)#1.1.15我这里使用的版本是1.1.15创建连接对象http://docs.sqlalchemy.org/en/latest/orm/t
系统 2019-09-27 17:57:32 2770