首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类,将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:57 2363
1、使用type()type()函数:判断对象类型基本类型的判断:>>>type(123)>>>>>type('str')>>>>>type(None)>用type()判断一个变量指向函数或者类:>>>type(abs)#函数>>>type(a)#类比较变量的type类型Python的types模块里为定义好常量的type类型,在使用之前需要先导入>>>importtypes>>>type('abc')==types.StringTypeTrue>>>ty
系统 2019-09-27 17:55:18 2363
自己在写文章的时候,也有到处去逛一逛,渐渐发现了一些有意思的事,经常会有人用同样的评论到处刷,不知道是为了加没什么用的积分,还是纯粹为了表达楼主好人。那么问题来了,这种无聊的事情当然最好能够自动化咯,自己也来试了一把,纯属娱乐。登陆要评论当然要能够先进行登陆,采用requests库进行处理,尝试能否看到自己的消息列表:msg_url="http://msg.csdn.net/"r=requests.get(msg_url,auth=('drfish','p
系统 2019-09-27 17:54:53 2363
set是一组数,无序,内容不能重复,通过调用set()方法创建,那么如何对set集合进行遍历呢?1.简单的set:s1=set(['111','222','333'])对于s1,是一组数,有几种方法可以遍历:function1:直接用in的方式遍历set集合。function2:用iter()迭代器来遍历集合看到前两种方法可能有人就有疑问了,为啥和上面写入s1时候的顺序不一样,别急,往下看。function3:这种方法只能输出index,并不能输出valu
系统 2019-09-27 17:54:33 2363
本章包括1、一个神经网络的例子2、张量和张量操作3、神经网络如何通过反向传播和梯度下降来学习一、一个神经网络的例子GitHub链接使用Python库Keras学习对手写数字进行分类的神经网络(将手写数字(28*28px)的灰度图像分为10个类别:0-9;使用MNIST数据集,含有6000张测试图像,10000张训练图像)1、在Keras中加载MNIST数据集fromkeras.datasetsimportmnist(train_images,train_l
系统 2019-09-27 17:54:23 2363
参考文章:【Tensorflow2.0】Tensorflow2.0的安装教程tensorflow2.0安装以及教程最全Tensorflow2.0入门教程持续更新TensorFlow2.0教程-安装TensorFlow2.0以下是本电脑安装tensorflow2.0的过程。安装anaconda3.6或者其他版本创建一个环境,用来安装tensorflow2.0以及相关的pythonpackages.condacreate-ntensorflow2.0pytho
系统 2019-09-27 17:53:32 2363
前几天遇到一个问题,需要把网页中的一部分内容挑出来,于是找到了urllib和HTMLParser两个库.urllib可以将网页爬下来,然后交由HTMLParser解析,初次使用这个库,在查官方文档时也遇到了一些问题,在这里写下来与大家分享.一个例子复制代码代码如下:fromHTMLParserimportHTMLParserclassMyHTMLParser(HTMLParser):defhandle_starttag(self,tag,attrs):pr
系统 2019-09-27 17:52:26 2363
1安装百度apipip3installbaidu-aip2代码fromaipimportAipImageClassify"""你的APPIDAKSK"""APP_ID='你的APP_ID'API_KEY='你的API_KEY'SECRET_KEY='你的SECRET_KEY'client=AipImageClassify(APP_ID,API_KEY,SECRET_KEY)defget_file_content(filePath):withopen(fil
系统 2019-09-27 17:52:03 2363
Python是适合做大数据分析的计算机语言吗?如今是一个大数据时代,通过数据分析,我们可以得到任何我们想知道的事情,充分挖掘数据的价值。之前有人说过JAVA语言是最适合做数据分析的计算机编程语言之一,在这里,我想说其实Python大数据也是大数据分析最受欢迎的编程语言。Python是一个强大的,灵活的,开放的,易于学习的源语言,使用方便,并具有强大的数据操作和分析库。其简单的语法使编程新手很容易学习和掌握,经历过Matlab,,C/C++,java,或Vi
系统 2019-09-27 17:50:38 2363
Python是当今日趋流行的一种脚本语言,它比Java更简单,比php更强大,并且还适用于做桌面应用的开发,在ubuntu中,更加是必须的一种脚本引擎,所以有必要去学习一下,这里的文章只针对有一定编程基础,最好是比较熟悉php或javascript的用户,如果没任何基础的新手建议找更详细的教程去学习。Python的变量是不需要定义的,这方面和php一样,它比javascript还是宽松,不过它是用缩进作为段落标识的,作为习惯了C语言风格语法的人,可能一开始
系统 2019-09-27 17:48:24 2363