优化数据库的注意事项：1、关键字段建立索引。2、使用存储过程，它使SQL变得更加灵活和高效。3、备份数据库和清除垃圾数据。4、SQL语句语法的优化。（可以用Sybase的SQLExpert，可惜我没找到unexpired的序列号）5、清理删除日志。SQL语句优化的基本原则：1、使用索引来更快地遍历表。缺省情况下建立的索引是非群集索引，但有时它并不是最佳的。在非群集索引下，数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。一般来
系统 2019-08-12 01:32:25 2006
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:57:15 2005
前言PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google操作步骤安装Python3.X参考配置全局变量sudovim/etc/profileexportPATH=/usr/bin/python3:$PATHsource/etc/profile打开CDHWeb配置spark-env.sh文件如下：即添加：exportPYSPARK_PYTHON=/usr/bin/pyth
系统 2019-09-27 17:56:03 2005
目录瞎比比与print相比logging有什么优势？基础用法保存到文件多模块使用logging使用配置文件配置logging瞎比比这篇文章其实早在一个月之前就写好了。奈何，加班猛如虎，真的怕了。直至今天才幸运地有了个双休，赶紧排版一下文章发布了。以下为正文。在初学Python的时候，我们使用print("helloworld")输出了我们的第一行代码。在之后的日子里，便一直使用print进行调试（当然，还有IDE的debug模式）。但是，当你在线上运行Py
系统 2019-09-27 17:55:27 2005
一.垃圾回收机制Python中的垃圾回收是以引用计数为主，分代收集为辅。1、导致引用计数+1的情况对象被创建，例如a=23对象被引用，例如b=a对象被作为参数，传入到一个函数中，例如func(a)对象作为一个元素，存储在容器中，例如list1=[a,a]2、导致引用计数-1的情况对象的别名被显式销毁，例如dela对象的别名被赋予新的对象，例如a=24一个对象离开它的作用域，例如f函数执行完毕时，func函数中的局部变量（全局变量不会）对象所在的容器被销毁，
系统 2019-09-27 17:55:03 2005
Python自动生成代码-通过tkinter图形化操作并生成代码框架背景脚本代码Demo_CodeGenerator.pydisplay.pyFileHandler.py:脚本运行结果：脚本代码目录其它好玩的Python脚本背景在写代码过程中，如果有频繁重复性的编码操作，或者可以Reuse的各类代码，可以通过Python写一个脚本，自动生成这类代码，就不用每次手写、或者copy了。比如新建固定的代码框架、添加一些既定的软件逻辑，通讯协议、消息模板等等，再编
系统 2019-09-27 17:54:25 2005
廖雪峰Python教程笔记（六）8模块使用模块8模块在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在Python中，一个.py文件就称之为一个模块（Module）。模块的好处：最大的好处是大大提高了代码的可维护性。引用其他模块，编写代码不必从零开始可以避免函数名和变量名冲突，尽量不要与内置函数名字
系统 2019-09-27 17:54:19 2005
如下所示：#返回一个列表中出现次数最多的元素defshowmax(lt):index1=0#记录出现次数最多的元素下标max=0#记录最大的元素出现次数foriinrange(len(lt)):flag=0#记录每一个元素出现的次数forjinrange(i+1,len(lt)):#遍历i之后的元素下标iflt[j]==lt[i]:flag+=1#每当发现与自己相同的元素，flag+1ifflag>max:#如果此时元素出现的次数大于最大值，记录此时元素的
系统 2019-09-27 17:54:01 2005
Python序列化的概念很简单。内存里面有一个数据结构，你希望将它保存下来，重用，或者发送给其他人。你会怎么做？这取决于你想要怎么保存，怎么重用，发送给谁。很多游戏允许你在退出的时候保存进度，然后你再次启动的时候回到上次退出的地方。（实际上，很多非游戏程序也会这么干）在这种情况下，一个捕获了当前进度的数据结构需要在你退出的时候保存到硬盘上，接着在你重新启动的时候从硬盘上加载进来。Python标准库提供pickle和cPickle模块。cPickle是用C编
系统 2019-09-27 17:53:40 2005
爬虫爬取网页信息的思路：发送网页端请求—>获取响应内容—>解析内容—>获取想要的数据—>保存数据这次我们要实现的是爬取静态网页的股票数据，首先是获取沪深A股的所有股票代码，再用这些股票代码获取相应股票的信息东方财富网有所有个股的股票代码（沪深A股所有股票）查看其网页源代码在网页源代码中可以搜索到相应的元素，判断其是数据是静态的接下来是获取每只个股的信息，由于周六日没开市，东方财富网的个股信息没有显示这里改用百度股市通(个股)同样地检查元素可以发现个股的信息
系统 2019-09-27 17:52:55 2005
