由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护首先在cmd中连接MySQL并且创建一个数据库json在图形化界面workbench中可以看到接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可#建立python与MySQL之间的连接mysql=pymysql.conn
系统 2019-09-27 17:53:26 1867
通过纯Python完成股票回测框架的搭建。什么是回测框架?无论是传统股票交易还是量化交易,无法避免的一个问题是我们需要检验自己的交易策略是否可行,而最简单的方式就是利用历史数据检验交易策略,而回测框架就是提供这样的一个平台让交易策略在历史数据中不断交易,最终生成最终结果,通过查看结果的策略收益,年化收益,最大回测等用以评估交易策略的可行性。代码地址在最后。本项目并不是一个已完善的项目,还在不断的完善。回测框架回测框架应该至少包含两个部分,回测类,交易类.回
系统 2019-09-27 17:51:37 1867
es实现聚合es通过agg实现聚合,详情可见es文档有时候查询es数据的时候可能需要实现多字段groupby的功能,例如:SELECTsum(item_count)fromAgroupbyfield1,field2,field3要实现多个维度的聚合,需要嵌套的agg查询语句:{"query":{},"aggs":{"field1":{"terms":{"field":"field1","size":2147483647#设置一个大的分桶数,防止一次统计不完
系统 2019-09-27 17:51:32 1867
最近在一个python工具中需要实现串口自动触发工作的功能,之前只在winform上面实现,今天使用python试试。这里简单记一下:首先用wxpython实现一个Button,点击事件绑定函数OnButtonAutoStopAllself.button_autoStopAll=wx.Button(id=wxID_FRAME1BUTTONAUTOSTARTALL,label=u'AUTOSTOPALL',name='button_autoStop',par
系统 2019-09-27 17:50:43 1867
原始数据原始数据大致是这样子的:每条数据中的四个数据分别是当前节点名称,节点描述(指代一些需要的节点属性),源节点(即最顶层节点),父节点(当前节点上一层节点)。datas=[["root","根节点","root",None],["node1","一级节点1","root","root"],["node2","一级节点2","root","root"],["node11","二级节点11","root","node1"],["node12","二级节点1
系统 2019-09-27 17:49:50 1867
简介在这篇文章中,我将向大家演示怎样向一个通用计算器一样解析并计算一个四则运算表达式。当我们结束的时候,我们将得到一个可以处理诸如1+2*-(-3+2)/5.6+3样式的表达式的计算器了。当然,你也可以将它拓展的更为强大。我本意是想提供一个简单有趣的课程来讲解语法分析和正规语法(编译原理内容)。同时,介绍一下PlyPlus,这是一个我断断续续改进了好几年的语法解析接口。作为这个课程的附加产物,我们最后会得到完全可替代eval()的一个安全的四则运算器。如果
系统 2019-09-27 17:49:09 1867
问题1:需要得到一个类似{“demo”:{“key”:”value”}}这样格式的字典dic。dic=dict()dic_temp=dict()dic_temp={"key":"value"}dic["demo"]=dic_temp问题2:创建一个多值映射字典.。d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)问题3:需要得到一个类似[{“id”:1,“text”:“Root
系统 2019-09-27 17:48:04 1867
如果你不希望从头开始创造一种数据格式来存放数据,JSON是一个很好的选择。如果你对Python有所了解,就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式,并且很容易解析,因而成为了一种被广泛使用的数据格式。另外,不要因为JSON名称而望文生义,JSON并不仅仅在JavaScript中使用,它也可以在其它
系统 2019-09-27 17:47:24 1867
PyHook是一个基于Python的“钩子”库,主要用于监听当前电脑上鼠标和键盘的事件。这个库依赖于另一个Python库PyWin32,如同名字所显示的,PyWin32只能运行在Windows平台,所以PyHook也只能运行在Windows平台。关于PyHook的使用,在它的官方主页上就有一个简单的教程,大体上来说,可以这样使用#-*-coding:utf-8-*-#3importpythoncom4importpyHook5defonMouseEvent
系统 2019-09-27 17:47:22 1867
今天在写爬虫程序的时候由于要翻页,做除法分页的时候出现了复制代码代码如下:totalCount='100'totalPage=int(totalCount)/20ValueError:invalidliteralforint()withbase10的错误网上同样的错误有人建议用round(float(“1.0″)),但是解决不了我这个问题,round(float(“1.0″))是用于解决浮点数转换为整形数的,而我这个则是因为原字符串转换为整形后做除法,虽然
系统 2019-09-27 17:45:38 1867