python包含子目录中的模块方法比较简单,关键是能够在sys.path里面找到通向模块文件的路径。下面将具体介绍几种常用情况:(1)主程序与模块程序在同一目录下:如下面程序结构:`--src|--mod1.py`--test1.py若在程序test1.py中导入模块mod1,则直接使用importmod1或frommod1import*;(2)主程序所在目录是模块所在目录的父(或祖辈)目录如下面程序结构:`--src|--mod1.py|--mod2|`
系统 2019-09-27 17:54:32 1893
引入:Python中有个logging模块可以完成相关信息的记录,在debug时用它往往事半功倍一、日志级别(从低到高):DEBUG:详细的信息,通常只出现在诊断问题上INFO:确认一切按预期运行WARNING:一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如。磁盘空间低”)。这个软件还能按预期工作。ERROR:更严重的问题,软件没能执行一些功能CRITICAL:一个严重的错误,这表明程序本身可能无法继续运行注:这5个等级,也分别对
系统 2019-09-27 17:54:25 1893
jsonJSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,易于人阅读和编写。json是我们在制作爬虫时非常常见的网络对象,本文就列举python对于json的基本操作。json函数使用json函数首先要导入json库即importjson主要使用以下两个函数:json.dumps将Python对象编码成JSON字符串json.loads将已编码的JSON字符串解码为Python对象json.dumpsjson.dump
系统 2019-09-27 17:54:25 1893
divmod(a,b)函数中文说明:divmod(a,b)方法返回的是a//b(除法取整)以及a对b的余数返回结果类型为tuple参数:a,b可以为数字(包括复数)版本:在python2.3版本之前不允许处理复数,这个大家要注意一下英文说明:Taketwo(noncomplex)numbersasargumentsandreturnapairofnumbersconsistingoftheirquotientandremainderwhenusinglon
系统 2019-09-27 17:53:37 1893
今天介绍个神奇的网站!堪称爬虫偷懒的神器!我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例,我们的请求头是这样的:一般来说,我们只要添加user-agent就能满足绝大部分需求了,Python代码如下:importrequestsheaders={#'authority':'developer.mozilla.org',#'pragma':'no-cache',#'cache-control':'no-cach
系统 2019-09-27 17:53:21 1893
一.如何调用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任务',int(time.time()))timer=TaskTimer()#把任务加入任务队列timer.join_task(f1,[1,2],timing=15.5)#每天15:30执行timer.join_task(f2,[3],timi
系统 2019-09-27 17:53:12 1893
早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆XX网站下载部分文档,于是自己亲身试验了一番,效果还不错。本例所登录的某网站需要提供用户名,密码和验证码,在此使用了python的urllib2直接登录网站并处理网站的Cookie。Cookie的工作原理:Cookie由服务端生成,然后发送给浏览器,浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时,会发送该Cookie给服务器,这样服务器就知道该用户是否合
系统 2019-09-27 17:53:11 1893
前段时间时间为大家讲解了如何使用requests库模拟登录淘宝,而今天我们将对该功能进行丰富。所以我们把之前的那个版本定为1.0,而今天修改的版本定为2.0。版本的迭代意味着功能的升级,那今天的2.0版本较之前的1.0版本有哪些改进呢?我们一起来看看!1.0版本实现步骤我们先来回顾一下模拟登录淘宝的步骤吧,我们还是先看看淘宝登录的详细时序图:这是淘宝网登录的一个请求流程,而我们模拟登录也是根据这样的一个流程。但是在代码模拟登录的时候就不会分的这么细,我们根
系统 2019-09-27 17:52:34 1893
在之前学习的RDD和DataFrame数据集主要处理的是离线数据,随着时代发展进步,我们会发现越来越多数据是在源源不断发回到数据中心,同时需要立刻响应给用户,这样的情况我们就会用到实时处理,常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起,实时数据源主要有:FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源,常用的有本地文件fil
系统 2019-09-27 17:52:32 1893
原文链接:https://mp.csdn.net/postedit/98402744学习Python您是否会面临以下问题?“网上充斥着大量的学习资源、书籍、视频教程和博客,但是大部分都是讲解基础知识,不够深入;也有的比较晦涩,难以理解”。CSDNPython学习社群将帮助您过滤网上的垃圾教程资源的技能,同时,您可以在社群内与其他有经验的程序员交流获取帮助。CSDNPython社群专属福利---7月公开课表如下:课程一《Python小白重难点解析》7月24日
系统 2019-09-27 17:51:47 1893