最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用
系统 2019-09-27 17:38:44 2068
在业务稳定性要求比较高的情况下，运维为能及时发现问题，有时需要对应用程序的日志进行实时分析，当符合某个条件时就立刻报警，而不是被动等待出问题后去解决，比如要监控nginx的$request_time和$upstream_response_time时间，分析出最耗时的请求，然后去改进代码，这时就要对日志进行实时分析了，发现时间长的语句就要报警出来，提醒开发人员要关注，当然这是其中一个应用场景，通过这种监控方式还可以应用到任何需要判断或分析文件的地方，所以今天
系统 2019-09-27 17:38:40 2068
本文提供了三种不同的方式在Python（IPythonNotebook）中调用ggplot。在大数据时代，数据可视化是一个非常热门的话题。各个BI的厂商无不在数据可视化领域里投入大量的精力。Tableau凭借其强大的数据可视化的功能成为硅谷炙手可热的上市公司。Tableau的数据可视化的产品，其理论基础其实是《TheGrammarofGraphic》，该书提出了对信息可视化的图表的语法抽象体系，数据的探索和分析可以由图像的语法来驱动，而非有固定的图表类型来
系统 2019-09-27 17:38:39 2068
######################分支语句python3.5#################代码的缩进格式很重要建议4个空格来控制#根据逻辑值（True，Flase）判断程序的运行方向#Ture：表示非空的量（String，tuple元组、list、set、dictonary），所有非零的数字#False：0，None、空的量#逻辑表达式可以包含逻辑运算符andornotif：##################################
系统 2019-09-27 17:38:35 2068
我在工作的时候，在测试环境下使用的数据库跟生产环境的数据库不一致，当我们的测试环境下的数据库完成测试准备更新到生产环境上的数据库时候，需要准备更新脚本，真是一不小心没记下来就会忘了改了哪里，哪里添加了什么，这个真是非常让人头疼。因此我就试着用Python来实现自动的生成更新脚本，以免我这烂记性，记不住事。主要操作如下：1.在原先basedao.py中添加如下方法，这样旧能很方便的获取数据库的数据，为测试数据库和生产数据库做对比打下了基础。defselect
系统 2019-09-27 17:38:12 2068
系统管理员通常从svn/git中检索代码，部署站点后通常首先会生成该站点所有文件的MD5值，如果上线后网站页面内容被篡改（如挂马）等，可以比对之前生成MD5值快速查找去那些文件被更改，为了使系统管理员第一时间发现，可结合crontab或nagios等工具。程序测试如下：#pythoncheck_change.pyUsage:pythoncheck_change.pyupdate/home/wwwrootpythoncheck_change.pycheck/
系统 2019-09-27 17:38:00 2068
在学数据可视化，缺少点数据进行实操，就想着从饿了么上面爬点外卖店信息。主要是获取数据，所以代码比较简陋，直接上代码：importrequestsimportjsonimportcsvdefcrawler_ele(page=0):defget_page(page):url='https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&
系统 2019-09-27 17:32:50 2068
效果演示：现在开始制作：1.新建一flash文档,550x400。2.导入几张图片，几张就随你高兴罗，我这里是4张。3.将一张图片拉到舞台上，设置图片宽为1100，高为400，打对齐面板相对于舞台右对齐。4.第50帧插入关键帧，点击图片，打开对齐面板相对于舞台左对齐，建立补间动画。5.新插入一层，画一无笔触任一色矩形，大小为550x400，居中对齐。第50帧插入帧，右击该层，设为遮罩层。6.新插入一层，将同一图片从库中拖出，打开对齐面板，宽、高匹配（即55
系统 2019-08-29 23:36:17 2068
本节介绍开发者在使用缓存的时候，常用的方法。每个方法在实际开发中都可以找到对应的用处，会有代码示例。分两个部分介绍，第一个部分包括下面的一些用法：向缓存添加数据，Add方法，如何向缓存中添加数据，设置过期，设置优先级。从缓存中删除数据，Remove方法从缓存中获取数据，GetData方法清空缓存，Flush方法第二部分介绍缓存的加载。1.1向缓存中添加数据需要缓存的数据，在创建和传输的时候都是很消耗性能的。例如，一个零售商的应用系统，一些列产品数据需要从数
系统 2019-08-29 23:29:28 2068
七、AJAX开发到这里，已经可以清楚的知道AJAX是什么，AJAX能做什么，AJAX什么地方不好。如果你觉得AJAX真的能给你的开发工作带来改进的话，那么继续看看怎么使用AJAX吧。7.1、AJAX应用到的技术AJAX涉及到的7项技术中，个人认为Javascript、XMLHttpRequest、DOM、XML比较有用。A、XMLHttpRequest对象XMLHttpRequest是XMLHTTP组件的对象，通过这个对象，AJAX可以像桌面应用程序一样只
系统 2019-08-29 22:33:22 2068
