因为盘搜搜索出来的链接有很多已经失效了,影响找数据的效率,因此想到了用爬虫来过滤出有效的链接,顺便练练手~这是本次爬取的目标网址http://www.pansou.com,首先先搜索个python,之后打开开发者工具,可以发现这个链接下的json数据就是我们要爬取的数据了,把多余的参数去掉,剩下的链接格式为http://106.15.195.249:8011/search_new?q=python&p=1,q为搜索内容,p为页码以下是代码实现:import
系统 2019-09-27 17:48:14 2071
python中对对象dump报错:ObjectoftypeCOUPON_CATE_V2isnotJSONserializable使用classObj.__dict__如打印对象:print(str(coupon_cate_v2.__dict__))
系统 2019-09-27 17:48:11 2071
前言Go大概2009年面世以来,已经8年了,也算是8年抗战。在这8年中,已经有很多公司开始使用Go语言开发自己的服务,甚至完全转向Go开发,也诞生了很多基于Go的服务和应用,比如Dokcer、k8s等,很多的大公司也在用,比如google(作为开发Go语言的公司,当仁不让)、Facebook、腾讯、百度、阿里、京东、小米以及360,当然除了以上提到的,还有很多公司也都开始尝试Golang,这其中是什么原因呢?让我们来一起分析分析。原因1:性能Go极其地快。
系统 2019-09-27 17:48:04 2071
经常有同学问我Python入门及进阶的学习书籍,所以今天给大家分享两本书。Python编程:从入门到实践Python从入门到实践,豆瓣评分9.1分,基于Python3.5也兼顾了2.7。书前半部分(11章)是对Python基础知识的讲解,而后半部分(9章)分别讲述了三个项目实践,从「外星人入侵」游戏,数据可视化,DjangoWEB开发进行实践。可以说是真的兼顾了「入门」和「实践」。难能可贵的是作者专门拿出一章来讲如何进行单元测试,单元测试我觉得是一个程序员
系统 2019-09-27 17:47:47 2071
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单,因此我决定为它写一个辅助教程。在本教程中,我们将从我们的bitbucket账户中爬取一个项目列表。教程中的代码可以从我的Github中找到。我们将会按照以下步骤进行:提取登录需要的详细信息执行站点登录爬取所需要的数据在本教程中,我使用了以下包(可以在requirements.txt中找到):requestslxml#步骤一:研究该网站打开登录页面进入以下页面“bitbuck
系统 2019-09-27 17:47:27 2071
斐波那契数列:12345678910...11235813213455...1.用迭代实现斐波那契数列(非递归方法)deffab(n):n1=1n2=1n3=1ifn<1:print('输入有误!')while(n-2)>0:n3=n2+n1#第三项为前两项和n1=n2#计算完,整体后移,准备计算下一项n2=n3n-=1returnn3a=int(input('请输入要计算的斐波那契项数:'))result=fab(a)print('第%d项斐波那契数为%
系统 2019-09-27 17:46:56 2071
mysql是一个优秀的开源数据库,它现在的应用非常的广泛,因此很有必要简单的介绍一下用python操作mysql数据库的方法。python操作数据库需要安装一个第三方的模块,在http://mysql-python.sourceforge.net/有下载和文档。由于python的数据库模块有专门的数据库模块的规范,所以,其实不管使用哪种数据库的方法都大同小异的,这里就给出一段示范的代码:#-*-encoding:gb2312-*-importos,sys,
系统 2019-09-27 17:38:41 2071
一、什么是递归如果函数包含了对其自身的调用,该函数就是递归的。递归做为一种算法在程序设计语言中广泛应用,它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解,递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算,大大地减少了程序的代码量。例如,要计算1-9的9位数字的乘积,直观的算法是1*2*3*4*5*6*7*8*9,如果要计算1-10000的乘积,直观的算法就难于实现出,而递归就可以很简单的实现。请看示例:deffact(
系统 2019-09-27 17:38:31 2071
四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信网,好了,网站截图如下:网站的代码如下:准考证号:请输入15位准考证号姓名:姓名超过3个字,可只输入前3个由图中可以看出表单提交的链接为/cet/query,即:http://www.chsi.com.cn/cet/query,好了,填写表单和结果如下:
系统 2019-09-27 17:38:16 2071
简单的一个python日志处理类复制代码代码如下:#/usr/bin/python#coding=utf-8importtime,typesclasslogsys:def__init__(self,project,logfilename='sys_log.txt'):self.project=projectself.logfilename=logfilenamedefget_log_time(self):returntime.strftime("%Y-%m
系统 2019-09-27 17:37:44 2071