之前想爬取一些淘宝的数据,后来发现需要登录,找了很多的资料,有个使用request的sessions加上cookie来登录的,cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的,获取动态网页还得另寻他法,一般需要的数据可以在网页的源码中得到,但是你知道的,有些动态加载的就不是那么简单了,而且我发现这样获得的源码中,有些想要获取的数据的格式是经过改动的,比如我要某个商品的具体链接,发现并不能直接使用。总体而言,这是一次失
系统 2019-09-27 17:54:47 1783
主要逻辑是判断文件的最后修改时间与创建时间是否在秒级别上一致,此代码适用于Python2.importtimeimportos#ReadfimenameFileName='D:/scapegoat/xx.csv'#printfilecreationtimeprinttime.strftime('%Y-%m-%d%H:%M:%S',time.localtime(os.stat(FileName).st_ctime))#printfilemodifiedtim
系统 2019-09-27 17:54:41 1783
闭包是Python装饰器的基础。要理解闭包,先要了解Python中的变量作用域规则。变量作用域规则首先,在函数中是能访问全局变量的:>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后,在一个嵌套函数中,内层函数能够访问在外层函数中定义的局部变量:>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是
系统 2019-09-27 17:54:39 1783
作者:HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列,项目地址:https://github.com/HelloGitHub-Team/Article一、nosenose是一个第三方单元测试框架,它完全兼容unittest,并且号称是一个更好用的测试框架。那么nose除了具备unittest的所有功能外,还具有哪些优势呢?1.1用例编写用例的编写方式除了编写继承于unittest.TestCase的测试类外,还可以编
系统 2019-09-27 17:54:38 1783
今天我们来介绍下Python基础教程学习之iter()方法另外的用法。据说很少有人知道这个用法!一、上代码、学用法我们都比较熟悉iter(obj),会返现一个迭代器,如果obj不是可迭代对象,则会报错。但其实如果仔细看官方文档,会发现iter()方法其实是接受两个参数的,文档说明如下iter(object[,sentinel])sentinel英文翻译为哨兵。sentinel参数是可选的,当它存在时,object不再传入一个可迭代对象,而是一个可调用对象,
系统 2019-09-27 17:54:30 1783
话不多说,代码说话:importnumpyasnpimportmathclassConv2D(object):def__init__(self,shape,output_channels,ksize=3,stride=1,method='VALID'):self.input_shape=shapeself.output_channels=output_channelsself.input_channels=shape[-1]self.batchsize=s
系统 2019-09-27 17:54:06 1783
python字符串替换是python操作字符串的时候经常会碰到的问题,这里简单介绍下字符串替换方法。python字符串替换可以用2种方法实现:1是用字符串本身的方法。2用正则来替换字符串下面用个例子来实验下:a='helloword'把a字符串里的word替换为python1、用字符串本身的replace方法复制代码代码如下:a.replace('word','python')输出的结果是hellopython2、用正则表达式来完成替换:复制代码代码如下:
系统 2019-09-27 17:53:34 1783
使用open函数,第一个参数为文件名,例如“C:\abc.txt”,这里要注意的是r“C:\abc.txt”。第二个参数为文件的操作方式,这里着重探讨写入,写入主要分为覆盖写入和追加写入。#覆盖写入例子:file=open(r'C:\abc.txt','w')file.write("abc")#写入字符串file.close#关闭文件#追加写入例子:file=open(r'C:\abc.txt','a')file.write("abc")#写入字符串fil
系统 2019-09-27 17:53:29 1783
本文实例讲述了Python类的专用方法。分享给大家供大家参考。具体分析如下:Python类可以定义专用方法,专用方法是在特殊情况下或当使用特别语法时由Python替你调用的,而不是在代码中直接调用(象普通的方法那样)。1.__init__类似于构造函数复制代码代码如下:#!/usr/local/bin/pythonclassStudy:def__init__(self,name=None):self.name=namedefsay(self):prints
系统 2019-09-27 17:53:14 1783
这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可
系统 2019-09-27 17:53:05 1783