搜索到与相关的文章
Python

使用Python Pandas处理亿级数据的方法

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5GHzIntelCorei7内存:32GBHDDR31600MHz硬盘:3TBFusionDrive数据

系统 2019-09-27 17:57:15 2355

Python

解析python的局部变量和全局变量

局部变量什么是局部变量通俗定义:函数内部定义的变量就叫局部变量。话不多说,代码如下:deftest1():a=300#定义一个局部变量a,并初始化300print("--test1--修改前:a=%s"%a)a=200#给变量a重新赋值200print("--test1--修改后:a=%s"%a)deftest2():a=400#定义另一个局部变量a,并初始化400print("--test2--修改后:a=%s"%a)#分别调用函数test1,test2

系统 2019-09-27 17:56:01 2355

Python

Python实现SSH远程登陆,并执行命令的方法(分享)

在自动化测试过程中,比较常用的操作就是对远程主机进行操作,如何操作呢?使用SSH远程登陆到主机,然后执行相应的command即可。使用Python来实现这些操作就相当简单了。下面是测试code。代码如下:(code运行环境:python27+eclipse+pydev)importparamikodefsshclient_execmd(hostname,port,username,password,execmd):paramiko.util.log_to_

系统 2019-09-27 17:55:40 2355

Python

程序员!别再埋头学Python了!

原文链接:https://edu.csdn.net/bundled/detail/49?utm_source=wx0有人说,随着AI和大数据的兴起,Python变得越来越强了,它语言简洁、开发效率高、可移植性强,并且可以和其他编程语言(比如C++)轻松无缝衔接所以,很多程序员把Python当作第一语言来学习,单在和小伙伴们的沟通中,我发现了大部分小伙伴经常在基础部分就放弃了,原因无非是:1、基础相当薄弱型:最近在学爬虫,遇到一个知识点,钻研了2小时没出来,

系统 2019-09-27 17:54:12 2355

Python

Python 2.x 即将终止更新和技术支持,是时候和它讲再见了

Python2的报废(EOL)日期迟迟未到,不过现在终于有了眉目。自2020年1月1日起,Python2将不再得到支持。Python的核心开发人员将不再提供错误修复版或安全更新。因此,如果你仍在使用Python2.x,是时候将代码移植到Python3了。如果你继续使用未得到支持的模块,可能危及贵企业及数据的安全性,因为无人修复的漏洞迟早会出现。问题的严重性下面这张表列出了十个流行的Python软件包及统计数据,来自Python社区开发和共享的软件的存储中心

系统 2019-09-27 17:54:02 2355

Python

Python爬取小说

起因:有一天突然想看本小说,在小说网站上不能下载,广告太多,便。。。思路:–分析网站的结构–爬取目录(获得章节名和链接)–多线程加载章节网页–正则匹配内容–保存生成错误日志–链接单个章节txt合并为一个#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp

系统 2019-09-27 17:53:50 2355

Python

Python网络爬虫:基础知识Beautiful Soup

一、BeautifulSoup简介网络数据挖掘指的是从网站中获取数据的过程,数据挖掘技术可以让我们从网站世界中收集大量有价值的数据。BeautifulSoup是一个Python库,可以从HTML或XML文件中获取数据,利用它你可以做很多事情,比如你可以持续解析某个商品的最新价格,以便跟踪价格的波动情况。二、BeautifulSoup安装安装BeautifulSouppip3installbeautifulsoup4检验是否安装成功frombs4import

系统 2019-09-27 17:53:33 2355

Python

Python实现生成简单的Makefile文件代码示例

在linux下写几个测试程序,还要一行行的输入g++命令进行编译,当经常改测试代码的时候,那一次次的敲(或者一次次的上线箭头选)也感觉不爽,不如make来的快。用Makefile的好处就不用多说了,这里我写了个脚本,其功能是自动搜索当前目录(不包括子目录)下的“.c”文件生成Makefile文件。代码在这里,功能有限(适用于单个文件是一个独立的测试代码的情况),需要的朋友可以稍作修改以满足需求。复制代码代码如下:#!/usr/bin/python'''Fi

系统 2019-09-27 17:51:44 2355

Python

python实现模拟按键,自动翻页看u17漫画

python适用于windows平台使用win32gui,win32api,win32con包simu_read.py复制代码代码如下:#-*-coding=utf-8-*-'''模拟按键翻页Usage:pythonsimu_read.py101.510表示翻10页,1.5表示在一页中按pgdn的时间间隔为1.5s一页pgdn3次,之后按→翻到下一页把浏览器打开到u17要看的漫画中,之后启动该程序,再切回u17便可以自动翻页看漫画了。仅供娱乐,了解pyth

系统 2019-09-27 17:51:27 2355

Python

Python3 中的循环语句有 for 和 while。

while循环Python中while语句的一般形式while判断条件:语句while有限循环n=100sum=0counter=1whilecounter<=n:sum=sum+countercounter+=1print("1到%d之和为:%d"%(n,sum))while无限循环我们可以通过设置条件表达式永远不为false来实现无限循环,实例如下:var=1whilevar==1:#表达式永远为truenum=int(input("输入一个数字:")

系统 2019-09-27 17:49:30 2355