Python版本是2.7.9，在win8上测试成功，就是抓取有点慢，本来想用多线程的，有事就罢了。模板之家的网站上的url参数与页数不匹配，懒得去做分析了，就自己改代码中的url吧。大神勿喷！复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-#byustcwq#2015-03-15importurllib,urllib2,os,timefrombs4importBeautifulSoupstart=time.c
系统 2019-09-27 17:51:30 1852
Python还有“敌人”吗？最近网络上一则帖子吸引了笔者，大意内容为：据说A是有2年多经验的Python工程师，面一个公司相关的岗位，由于人手紧缺，所以只问了一个框架，就按笔者提的35K办理了入职。（35K为A的砍价策略）关于这则帖子背后的动机或者真实性，我们不再去追究。不过这从侧面反映出了Python的火热，也说明了Python的壮大带给其他语言的焦虑和压力。所以，当我们聊Python时，我们究竟该聊些什么？这四个Python项目，让你瞬间读懂Pytho
系统 2019-09-27 17:51:05 1852
一个用python实现的统计代码行数的小工具，供大家参考，具体内容如下实现功能计算出某一目录以及子目录下代码文件的行数在计算代码的过程中，只对标准命名的文件进行统计，如[文件名.文件类型]排除了以“#”开头的包含文件，宏定义等，如#include,#define,#pragma等排除了c,cpp文件中的“//”,“/…/”等的注释排除了python文件中import,from等开头的导入使用方法新建countLines.py文件，复制代码到文件中，将其放在
系统 2019-09-27 17:50:59 1852
在python中内嵌函数可以引用外层函数作用域中的变量，并且可以通过某种操作来对其进行修改。这里我们就可以使用到nonlocal语句来进行声名。我之前写过一篇global用法的文章，nonlocal的用法与global的用法很像，本篇博客的后面就会讲一下nonlocal和global的区别。nonlocal语句的用法语法：允许内嵌函数修改定义在语法上位于外层的函数的作用域中的一个或者多个名称用法：nonlocal[变量名]注意：此语句仅适用于python3
系统 2019-09-27 17:50:55 1852
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1852
最近，我们老大要我写一个守护者程序，对服务器进程进行守护。如果服务器不幸挂掉了，守护者能即时的重启应用程序。上网Google了一下，发现Python有很几个模块都可以创建进程。最终我选择使用subprocess模块，因为在Python手册中有这样一段话:Thismoduleintendstoreplaceseveralother,oldermodulesandfunctions,suchas:os.system、os.spawn*、os.popen*、po
系统 2019-09-27 17:50:33 1852
np矩阵乘积np.dot(A,B)：对于二维矩阵，计算真正意义上的矩阵乘积。对于一维矩阵，计算两者的内积，也称为向量点乘（内积）。点乘的几何意义是可以用来表征或计算两个向量之间的夹角，以及在b向量在a向量方向上的投影，见如下Python代码：importnumpyasnp#2-Darray:2x3two_dim_matrix_one=np.array([[1,2,3],[4,5,6]])#2-Darray:3x2two_dim_matrix_two=np.
系统 2019-09-27 17:50:18 1852
在做自动化测试时，遇到两种情况需要判断usb是否已连接上（注，本文仅针对用adb命令来control手机）一种是在开测时（前提是同时要测试多台),希望等待所有设备usb全部识别后同时进行测试。对于这一种，当然是可以另开一个窗口不断的输入adbdevices来检测，但不够AI。一种是在测试过程中有时usb会自动断开，这时如果不判断usb是否有重新连接的话，则测试还会往下执行，测试指定是失败的。第一种情况：其思路还是要利用adbdevices来不断的获取当前已
系统 2019-09-27 17:49:57 1852
Django里面集成了SQLite的数据库，对于初期研究来说，可以用这个学习。第一步，创建数据库就涉及到建表等一系列的工作，在此之前，要先在cmd执行一个命令：pythonmanage.pymigrate这个命令就看成一个打包安装的命令，它会根据mysite/settings.py的配置安装一系列必要的数据库表第二步，我们要建立一个Model层，修改demo/model.py：fromdjango.dbimportmodelsclassQuestion(m
系统 2019-09-27 17:49:15 1852
回顾在前面的系列章节中，我们创建了一个数据库并且学着用用户和邮件来填充，但是到现在我们还没能够植入到我们的程序中。两章之前，我们已经看到怎么去创建网络表单并且留下了一个实现完全的登陆表单。在这篇文章中，我们将基于我门所学的网络表单和数据库来构建并实现我们自己的用户登录系统。教程的最后我们小程序会实现新用户注册，登陆和退出的功能。为了能跟上这章节，你需要前一章节最后部分，我们留下的微博程序。请确保你的程序已经正确安装和运行。在前面的章节，我们开始配置我们将要
系统 2019-09-27 17:48:59 1852
