Python

Python批量删除mysql中千万级大量数据

场景描述线上mysql数据库里面有张表保存有每天的统计结果,每天有1千多万条,这是我们意想不到的,统计结果咋有这么多。运维找过来,磁盘占了200G,最后问了运营,可以只保留最近3天的,前面的数据,只能删了。删,怎么删?因为这是线上数据库,里面存放有很多其它数据表,如果直接删除这张表的数据,肯定不行,可能会对其它表有影响。尝试每次只删除一天的数据,还是卡顿的厉害,没办法,写个Python脚本批量删除吧。具体思路是:每次只删除一天的数据;删除一天的数据,每次删

系统 2019-09-27 17:57:14 2720

Python

利用sentinel hub Python开发包查询和下载Sentinel-2

利用sentinelhubPython开发包查询和下载Sentinel-2等卫星遥感数据1.描述sentinelhubPython包支持用户利用两种方式进行卫星遥感数据的下载和处理。第一种方式是使用OGC(WMS和WCS)Web请求,它支持Sentinel-2L1C和L2A,Sentinel-1,Landsat8,MODIS和DEM数据源。第二种方式是支持从AWS(AmazonWebService)上获取数据。从AWS上获取数据时需要提供AWS账号信息,当

系统 2019-09-27 17:56:37 2720

Python

linux安装python3

linux安装python3首先下载python3的包,可以在官网搜索到点击这里下载完成后我放在/mnt目录下,需要解压,如下图所示接下来我门需要下载源码编译所需要的一些工具yum-yinstallzlibzlib-develyum-yinstallbzip2bzip2-develyum-yinstallncursesncurses-develyum-yinstallreadlinereadline-develyum-yinstallopensslopen

系统 2019-09-27 17:55:36 2720

Python

python爬虫第3关项目一键下电影

要求:实现功能:用户输入喜欢的电影名字,程序即可在电影天堂https://www.ygdy8.com爬取电影所对应的下载链接,并将下载链接打印出来。importrequestsfrombs4importBeautifulSoupfromurllib.requestimportquote#quote()函数,可以帮我们把内容转为标准的url格式,作为网址的一部分打开movie=input('你想看什么电影呀?')gbkmovie=movie.encode('

系统 2019-09-27 17:55:22 2720

Python

小白专场-树的同构-python语言实现

目录一、题意理解二、求解思路更新、更全的《数据结构与算法》的更新网站,更有python、go、人工智能教学等着你:一、题意理解给定两棵树T1和T2。如果T1可以通过若干次左右孩子互换就变成T2,则我们称两棵树是“同构的”。现给定两棵树,请你判断它们是否是同构的。输入格式:输入给出2棵二叉树的信息:先在一行中给出该树的结点树,随后N行第i行对应编号第i个结点,给出该结点中存储的字母、其左孩子结点的编号、右孩子结点的编号如果孩子结点为空,则在相应位置给出“-”

系统 2019-09-27 17:56:51 2719

Python

python之最常用的模块一箩筐

python之最常用的模块一箩筐其实我挺羡慕火车的为什么?他们连擦肩而过都那么久request模块:requests是一个功能强大、简单易用的HTTP请求库请求requests.get('http://httpbin.org/get')requests.post('http://httpbin.org/post')requests.put('http://httpbin.org/put')requests.delete('http://httpbin.or

系统 2019-09-27 17:56:33 2719

Python

Python爬虫,爬取腾讯漫画实战

先上个爬取的结果图最后的结果为每部漫画按章节保存运行环境IDEVS2019Python3.7Chrome、ChromeDriverChrome和ChromeDriver的版本需要相互对应先上代码,代码非常简短,包含空行也才50行,多亏了python强大的库importosimporttimeimportrequestsfromseleniumimportwebdriverfromlxmlimportetreedefgetChapterUrl(url):he

系统 2019-09-27 17:51:22 2719

Python

PYTHON使用中 遇到的问题及解决

1,MYSQL安装与使用相关:https://blog.csdn.net/qq_30336433/article/details/80037989navicat注册安装和激活(验证可行)PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,Python2中则使用mysqldb。https://www.runoob.com/python3/python3-mysql.htmlPython3MySQL数据库连接-PyMySQL驱动http

系统 2019-09-27 17:49:21 2719

Python

python基础_函数

函数基础目标函数的快速体验函数的基本使用函数的参数函数的返回值函数的嵌套调用在模块中定义函数01.函数的快速体验所谓函数,就是把具有独立功能的代码块组织为一个小模块,在需要的时候调用函数的使用包含两个步骤:1.定义函数——封装独立的功能2.调用函数——享受封装的成果函数的作用,在开发程序时,使用函数可以提高编写的效率以及代码的重用02.函数基本使用2.1函数的定义定义函数的格式如下:def函数名():函数封装的代码……def是英文define的缩写函数名称

系统 2019-09-27 17:48:34 2719

Python

008 Python基本语法元素小结

目录一、概要二、保留字三、温度转换一、概要缩进、注释、命名、变量、保留字数据类型、字符串、整数、浮点数、列表赋值语句、分支语句、函数input()、print()、eval()、print()格式化二、保留字三、温度转换

系统 2019-09-27 17:55:10 2718

Python

详解Python中的join()函数的用法

函数:string.join()Python中有join()和os.path.join()两个函数,具体作用如下:join():连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串os.path.join():将多个路径组合后返回一、函数说明1、join()函数语法:'sep'.join(seq)参数说明sep:分隔符。可以为空seq:要连接的元素序列、字符串、元组、字典上面的语法即:以sep作为分隔符,将seq所有的元

系统 2019-09-27 17:50:48 2718

Python

python绘制空间自由电荷电场

importnumpyasnpfrommayaviimportmlabfromsympyimport*frommayavi.mlabimport*q=1#电荷量e0=4*3.14*8.85#4×pi×ε0放大10的12次方defcacualte():x,y,z=np.mgrid[-1:1:20j,-1:1:20j,-1:1:20j]#xyz网格化,形成填充三维坐标数组r=np.sqrt(x**2+y**2+z**2)#与原点距离E_scale=q/(e0*

系统 2019-09-27 17:49:54 2718

Python

Python机器学习算法库scikit-learn学习之决策树实现方法详解

本文实例讲述了Python机器学习算法库scikit-learn学习之决策树实现方法。分享给大家供大家参考,具体如下:决策树决策树(DTs)是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型,通过从数据特性中推导出简单的决策规则来预测目标变量的值。例如,在下面的例子中,决策树通过一组if-then-else决策规则从数据中学习到近似正弦曲线的情况。树越深,决策规则越复杂,模型也越合适。决策树的一些优势是:便于说明和理解,树可以可视化表达;需要很少

系统 2019-09-27 17:48:44 2718

Python

Python 梯度下降法

接上篇博客题目描述:自定义一个可微并且存在最小值的一元函数,用梯度下降法求其最小值。并绘制出学习率从0.1到0.9(步长0.1)时,达到最小值时所迭代的次数的关系曲线,根据该曲线给出简单的分析。代码:#-*-coding:utf-8-*-"""CreatedonTueJun410:19:032019@author:Administrator"""importnumpyasnpimportmatplotlib.pyplotaspltplot_x=np.lin

系统 2019-09-27 17:55:44 2717

Python

python 装饰函数 和 闭包 基础总结。

一、装饰函数(1)概念:装饰器本质上是一个Python函数或类,它可以让其他函数或类在不需要做任何代码修改的前提下增加额外功能,装饰器的返回值也是一个函数/类对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景,装饰器是解决这类问题的绝佳设计。有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码到装饰器中并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。使用方法:先定义一个装饰器(帽子)再定

系统 2019-09-27 17:55:30 2717