一、为什么要使用Python进行数据分析？python拥有一个巨大的活跃的科学计算社区，拥有不断改良的库，能够轻松的集成C,C++,Fortran代码（Cython项目），可以同时用于研究和原型的构建以及生产系统的构建。二、Python的优势与劣势：1.Python是一种解释型语言，运行速度比编译型数据慢。2.由于python有一个全局解释器锁（GIL）,防止解释器同时执行多条python字节码，所以python不适用于高并发、多线程的应用程序。三、使用P
系统 2019-09-27 17:55:00 2188
【摘要】在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。1.本节目标本节中，我们
系统 2019-09-27 17:54:29 2188
python的mysqldb安装步骤详解安装MySQLdb：一、什么是MySQLdb？解释：MySQLdb是Python操作MySQL的一个接口包。这里要理解一个概念，python操作数据库，都是需要一个类似MySQLdb这样的中间层，这些中间层抽象了具体的实现，提供了统一的API供开发者使用。二、如何安装MySQLdb？python2环境下：sudopipinstallMySQL-python。MySQL-python目前暂时还不支持python3，有些
系统 2019-09-27 17:54:02 2188
这是小编推荐的第25篇好文来源：Python与算法之美作者：梁云1991一，分析代码运行时间第1式，测算代码运行时间平凡方法快捷方法（jupyter环境）第2式，测算代码多次运行平均时间平凡方法快捷方法（jupyter环境）第3式，按调用函数分析代码运行时间平凡方法快捷方法（jupyter环境）第4式，按行分析代码运行时间平凡方法快捷方法（jupyter环境）二，加速你的查找第5式，用set而非list进行查找低速方法高速方法第6式，用dict而非两个li
系统 2019-09-27 17:53:41 2188
Python中，队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块，虽然简单易用，但是不小心的话，还是会出现一些意外。创建一个“队列”对象importQueueq=Queue.Queue(maxsize=10)Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。将一个值放入队列中q.put(10)调用队列对
系统 2019-09-27 17:53:36 2188
一.如何调用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任务',int(time.time()))timer=TaskTimer()#把任务加入任务队列timer.join_task(f1,[1,2],timing=15.5)#每天15:30执行timer.join_task(f2,[3],timi
系统 2019-09-27 17:53:12 2188
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2188
什么是浅拷贝？先看一个例子a=[1,2,3,4]b=aa.pop(0)print(a)print(b)输出：[2,3,4][2,3,4]正常对于这种可变对象的这种赋值，会导致a和b指向一个内存地址，而我们将a中的第0个元素剔除后，实质就是改变了对应的内存地址中的数值，所以会导致b也发生变化下面看一下浅拷贝：a=[1,2,3,4]b=a.copy()a.pop(0)print(a)print(b)输出[2,3,4][1,2,3,4]这种就是浅拷贝，拷贝的列表
系统 2019-09-27 17:50:34 2188
Django里面集成了SQLite的数据库，对于初期研究来说，可以用这个学习。第一步，创建数据库就涉及到建表等一系列的工作，在此之前，要先在cmd执行一个命令：pythonmanage.pymigrate这个命令就看成一个打包安装的命令，它会根据mysite/settings.py的配置安装一系列必要的数据库表第二步，我们要建立一个Model层，修改demo/model.py：fromdjango.dbimportmodelsclassQuestion(m
系统 2019-09-27 17:49:15 2188
目录一、Python基础1.数据类型和变量2.字符串和编码3.list和tuplelisttuple4.条件判断5.循环6.dict和setdictset二、函数1.调用函数2.定义函数3.函数的参数位置参数默认参数可变参数关键字参数命名关键字参数参数组合4.递归函数三、高级特性1.切片2.迭代3.列表生成式4.生成器5.迭代器四、函数式编程1.高阶函数map/reducefiltersorted2.返回函数3.匿名函数4.装饰器5.偏函数五、模块六、面向
系统 2019-09-27 17:49:08 2188
