在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2219
本文实例为大家分享了python淘宝秒杀的具体代码，供大家参考，具体内容如下#淘宝秒杀脚本，扫码登录版importosfromseleniumimportwebdriverimportdatetimeimporttimefromosimportpathdriver=webdriver.Chrome()deflogin(url):#打开淘宝登录页，并进行扫码登录driver.get("https://www.taobao.com")time.sleep(3)
系统 2019-09-27 17:50:37 2219
scipy的引入要制作一张具有特定形状的词云图，便需要一张原始图片提供形状参数，于是我们便要使用scipyscipy的安装在Windows系统中，在命令提示符中输入pipinstallscipy进行安装若报错则尝试pip3installscipy或sudopip3installscipy在苹果系统中则建议直接输入sudopip3installscipy若报错则参照Windows下的方法scipy的运用scipy旨在提取原始图片的形状参数，并应用于制作特定形
系统 2019-09-27 17:50:36 2219
Python数据类型详解——集合一、定义集合跟列表有点像，也是可以存一堆数据的，不过它有几个独特的特点：1、集合里的元素不可变，即不能再集合里存储列表（list）、字典（dict）。字符串、数字、元组等不可变类型可以存储再集合中。2、天生去重，即在集合里不会出现重复元素，就算你故意写入重复元素，集合也会自动去掉重复的，只保留一个。3、无序，集合中的元素没有先后之分。二、语法1、创建集合a={2,321,'Kwan',1,'小明','Kwan',321}2、
系统 2019-09-27 17:50:08 2219
python基础学习笔记（四）2013-04-1823:59虫师阅读(...)评论(...)编辑收藏列表本节继续讨论列表不同元组和字符串的地方：列表是可变的（mutable）----可以改变列表的内容，并且列表有很多有用的、专门的方法。List函数可以将一个字符串拆分成列表。>>>list('chongshi')['c','h','o','n','g','s','h','i']改变列表：元素赋值例如，我们想对一个列表中的某个元素赋值。>>>x=[1,2,3
系统 2019-09-27 17:48:57 2219
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 2219
首先还是应该科普下函数参数传递机制，传值和传引用是什么意思？函数参数传递机制问题在本质上是调用函数（过程）和被调用函数（过程）在调用发生时进行通信的方法问题。基本的参数传递机制有两种：值传递和引用传递。值传递（passl-by-value）过程中，被调函数的形式参数作为被调函数的局部变量处理，即在堆栈中开辟了内存空间以存放由主调函数放进来的实参的值，从而成为了实参的一个副本。值传递的特点是被调函数对形式参数的任何操作都是作为局部变量进行，不会影响主调函数的
系统 2019-09-27 17:47:11 2219
replace()方法返回当前old换成new，可选择的替代限制到最大数量的字符串的副本。语法以下是replace()方法的语法：str.replace(old,new[,max])参数old--这是要进行更换的旧子串。new--这是新的子串，将取代旧的子字符串。max--如果这个可选参数max值给出，仅第一计数出现被替换。返回值此方法返回字符串的拷贝与旧子串出现的所有被新的所取代。如果可选参数最大值给定，只有第一个计数发生替换。例子下面的示例演示了rep
系统 2019-09-27 17:47:10 2219
上面的博客把基本的HTML解析库已经说完了，这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一：爬取猫眼电影TOP100信息代码地址：https://gitee.com/dwyui/maoyan-Requests.git项目二：美食爬取（包含多层爬取）代码地址：https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 2219
truncate()方法截断该文件的大小。如果可选的尺寸参数存在，该文件被截断(最多)的大小。大小默认为当前位置。当前文件位置不改变。注意，如果一个指定的大小超过了文件的当前大小，其结果是依赖于平台。注意：此方法不会在当文件工作在只读模式打开。语法以下是truncate()方法的语法：fileObject.truncate([size])参数size--如果可选参数存在，文件被截断(最多)的大小。返回值此方法不返回任何值。例子下面的例子显示truncate
系统 2019-09-27 17:46:23 2219
