在工作中遇到一个需求，需要用Python脚本读取一个13G的文件，把每行的记录写入redis。由于机器的内存只有8G，所以不能一次将磁盘上的文件全部读入内存，需要一行一行读取文件。Python按行读取文件主要是使用file.readline方法或者利用file对象的迭代器性质，而file.readlines方法则是一次把所有内容从磁盘读入内存。当内存足够时，file.readlines方法显然会更快，因为磁盘I/O次数更少。下面给出了三种遍历文件每行的方式
系统 2019-09-27 17:56:36 2259
生成器在Python中，使用了yield的函数被称为生成器（generator）。生成器是一个返回迭代器的函数，只能用于迭代操作，更简单点理解生成器就是一个迭代器。在调用生成器运行的过程中，每次遇到yield时函数会暂停并保存当前所有的运行信息，返回yield的值,并在下一次执行next()方法时从当前位置继续运行。调用一个生成器函数，返回的是一个迭代器对象。列表推导式空间开销大占用内存耗时大,.生成器保存的是算法，而列表保存的计算后的内容，所以同样内容的
系统 2019-09-27 17:56:08 2259
本章包括：1、了解卷积神经网络（convnets）2、使用数据增强来减轻过度拟合3、使用预训练的convnet进行特征提取4、微调预训练的信号5、可视化回馈学习的内容以及他们如何做出分类决策一、引言一个简单的convnet示例。第二章中的密接网络的测试精度为97.8%，而convnet的测试精度为99.3%：我们将错误率降低了68%（相对）。为什么这个简单的convnet比一个紧密连接的模型工作得那么好呢？为了回答这个问题，让我们深入研究conv2d和ma
系统 2019-09-27 17:55:54 2259
python中的数字类型工具python中为更高级的工作提供很多高级数字编程支持和对象，其中数字类型的完整工具包括：1.整数与浮点型，2.复数，3.固定精度十进制数，4.有理分数，5.集合，6.布尔类型7.无穷的整数精度8.各种数字内置函数及模块。基本数字类型python中提供了两种基本类型：整数（正整数金额负整数）和浮点数（注：带有小数部分的数字），其中python中我们可以使用多种进制的整数。并且整数可以用有无穷精度。整数的表现形式以十进制数字字符串写
系统 2019-09-27 17:54:10 2259
使用selenium浏览器自动化测试框架爬取网易云音乐电台专栏代码#!/usr/bin/envpython#-*-coding:utf-8-*-#@Time:2019/7/921:02#@Author:nick#@Site:http://www.isscollege.com/fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptions#实例化一个启动参数对象chr
系统 2019-09-27 17:53:26 2259
上集回顾上一节我们学了一些数字的数学运算，了解了运算优先级PMDAS。变量和命名程序输入和运行结果没问题，不过一开始运行的时候产生了出错消息：这条消息的意思是在第5行的“cars_not_driven=cars-drivers"语句中，变量drivers没有被定义。回到程序中查看，确实是赋值变量drivers的语句中错误拼写了该单词，从而只有drives的变量，而没有我们预期的drivers的变量，用起来自然会产生报错。巩固练习1、使用浮点数作为space
系统 2019-09-27 17:52:36 2259
PythonSMTP发送邮件SMTP（SimpleMailTransferProtocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。Python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。Python创建SMTP对象语法如下：importsmtplibsmtpObj=smtplib.SMTP([host[,port[,local_hostname]]])参数说明：
系统 2019-09-27 17:52:12 2259
Python处理JSON数据时，dumps函数是经常用到的，当JSON数据中有特殊类型时，往往是比较头疼的，因为经常会报这样一个错误。自定义编码类#!/usr/bin/envpython#-*-coding:utf-8-*-#Author:wxnacy(wxnacy@gmail.com)importjsonfromdatetimeimportdatetimeUSER_DATA=dict(id=1,name='wxnacy',ts=datetime.now(
系统 2019-09-27 17:52:11 2259
打开谷歌/火狐浏览器，按F12打开开发者工具—>选择【网络】编辑器浏览器输入：https://www.ximalaya.com/yinyue/12521114/点击计入音乐[未播放前]点击进入音乐[播放中][是一个json格式的URL]访问搜索界面的源代码，查找albumId，通过这些albumid获取音频文件的urlhttps://www.ximalaya.com/revision/play/album?albumId=12521114&pageNum=
系统 2019-09-27 17:51:18 2259
如果一些应用需要到中文字体（如果pygraphviz,不安装中文字体，中文会显示乱码）,就要在image中安装中文字体。默认pythonimage是不包含中文字体的：mac-temp:relation_graphtest$dockerrun--rm-itpythonbashroot@36d738e2084c:/#fc-list/usr/share/fonts/truetype/dejavu/DejaVuSerif-Bold.ttf:DejaVuSerif:
系统 2019-09-27 17:50:38 2259
