一、在豆瓣网爬取以下图书的信息:二、参考代码:1、连接MongoDB数据库,并且创建数据库和表importpymongomyclient=pymongo.MongoClient("mongodb://127.0.0.1:27017/")db=myclient['webCrawler']#创建数据库webCrawlerdatatable=db['Book_info']#创建Book_info表2、爬取数据并且存储到数据库importreimportpanda
系统 2019-09-27 17:56:44 2242
最近需要实现一个服务程序的gracefulexiting,保证在退出前关闭所有已创建的子线程python借助KeyboardInterrupted异常响应键盘中断,因此首先尝试在子线程中try-catch这个异常(失败)查阅原因,键盘中断只有主线程可以响应并处理,子线程无法收到这个异常。因此可以使用类似这样的结构:cond=Truedefstart_task():whilecond:#dosomethingdefterminate_task():#brea
系统 2019-09-27 17:55:29 2242
认识模块对于模块,在前面的一些举例中,已经涉及到了,比如曾经有过:importrandom(获取随机数模块)。为了能够对模块有一个清晰的了解,首先要看看什么模块,这里选取官方文档中对它的定义:复制代码代码如下:AmoduleisafilecontainingPythondefinitionsandstatements.Thefilenameisthemodulenamewiththesuffix.pyappended.Withinamodule,themo
系统 2019-09-27 17:55:19 2242
思路:利用time函数返回的时间字符串与指定时间字符串做比较,相等的时候执行对应的操作。不知道大家的思路是什么,感觉这样比较耗CPU。。。。此处设置为15:30:10输出相应内容,需要执行什么,就修改什么。importtimewhileTrue:time_now=time.strftime("%H:%M:%S",time.localtime())#刷新iftime_now=="15:30:10":#此处设置每天定时的时间#此处3行替换为需要执行的动作pri
系统 2019-09-27 17:55:04 2242
有很多程序运行时间比较长,如果不将运行过程输出将很难判断程序运行的时间。下边这段程序将按照上图所示的格式输出程序运行进程、已用时间、剩余时间。deftime_change(time_init):#定义将秒转换为时分秒格式的函数time_list=[]iftime_init/3600>1:time_h=int(time_init/3600)time_m=int((time_init-time_h*3600)/60)time_s=int(time_init-t
系统 2019-09-27 17:54:42 2242
前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示:#方法中不传参数则是以默认的utf-8编码进行转换In[1]:'南北'.encode()Out[1]:b'\xe5\x8d\x97\xe5\x8c\x97'In[2]:b'\xe5\
系统 2019-09-27 17:52:59 2242
声明本篇主要讲,关于peewee的一些拓展:包括新式CRUD-数据导入导出-信号-数据库反向生成模型。扩展官档:http://docs.peewee-orm.com/en...作者友好与peewee提问方式当我用到拓展模块的新CRUD时,文档给的内容少之又少。因为拓展的新CRUD是真的方便好用,和(PyMongo的用法差不多)但是功能却不全。并且与我们第二篇,讲的CRUD又不兼容。所以在难以取舍之际,我选择了提问。peewee作者在官档中详细说到。如果你有
系统 2019-09-27 17:52:46 2242
Python是面向对象的语言,所以程序抛出的异常也是类。常见的异常类1.NameError:尝试访问一个没有申明的变量2.ZeroDivisionError:除数为03.SyntaxError:语法错误4.IndexError:索引超出序列范围5.KeyError:请求一个不存在的字典关键字6.IOError:输入输出错误(比如你要读的文件不存在)7.AttributeError:尝试访问未知的对象属性8.TypeError:传给函数的参数类型不正确,比如
系统 2019-09-27 17:52:45 2242
搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号。通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息爬虫首先通过首页进入,可以按照类别抓取,通过“查看更多”可以找出页面链接规则:importrequestsasreqimportrereTypes=r'id="pc_\d*"uigs="(pc_\d*)">([\s\S]*?)'Entry="http://weixin
系统 2019-09-27 17:51:38 2242
目录条件判断if循环for...in...whilebreakcontinue继"Python学习之路二":条件判断if比如,输入用户年龄,根据年龄打印不同的内容,在Python程序中,用if语句实现:>>>age=18>>>ifage>=18:print("yourageis",age)print("adult")yourageis18adult>>>根据Python的缩进规则,如果if语句判断是True,就把缩进的两行print语句执行了,否则,什么也
系统 2019-09-27 17:51:22 2242