这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可
系统 2019-09-27 17:53:05 1865
第1题:如何解决验证码的问题,用什么模块,听过哪些人工打码平台?PIL、pytesser、tesseract模块平台的话有:(打码平台特殊,不保证时效性)云打码挣码斐斐打码若快打码超级鹰第2题:ip被封了怎么解决,自己做过ip池么?关于ip可以通过ip代理池来解决问题ip代理池相关的可以在github上搜索ipproxy自己选一个去说https://github.com/awolfly9/IPProxyTool提供大体思路:获取器通过requests的爬虫
系统 2019-09-27 17:52:35 1865
如下所示:#-*-coding:utf-8-*-importrequestsimportthreadingimporttimeclasspostrequests():def__init__(self):self.url='请求网址'self.files={'unknown_image':open('刘诗诗.jpg','rb')}defpost(self):try:r=requests.post(self.url,files=self.files)print
系统 2019-09-27 17:52:33 1865
本文实例讲述了Python多线程threading模块用法。分享给大家供大家参考,具体如下:多线程-threadingpython的thread模块是比较底层的模块,python的threading模块对thread做了一些包装,可以更加方便的被使用。1.使用threading模块单线程执行#coding=utf-8importtimedefsaySorry():print('跑一圈')time.sleep(1)if__name__=="__main__"
系统 2019-09-27 17:52:32 1865
我浏览了下网上关于怎么Python爬虫入门的文章,发现有的还在教人用urllib来发送http请求,这真是有点误人子弟了。本文也不提倡刚开始去学习第三方爬虫框架,我想把要学习的知识简化一些,让入门更快速,更专注。Python爬虫入门:技能真要说Python爬虫需要具备什么知识,那就是你得会Python,哈哈。其他的知识就是你能熟练运用Python的几个第三方库,当然你具备一点htmljavascriptcsshttp协议可以提高你的解决问题的效率,但这是一
系统 2019-09-27 17:52:27 1865
看python社区大妈组织的内容里边有一篇讲python内存优化的,用到了__slots__。然后查了一下,总结一下。感觉非常有用python类在进行实例化的时候,会有一个__dict__属性,里边有可用的实例属性名和值。声明__slots__后,实例就只会含有__slots__里有的属性名。#coding:utf-8classA(object):x=1def__init__(self):self.y=2a=A()printa.__dict__print(
系统 2019-09-27 17:52:11 1865
1,递归函数的定义:函数内部可以调用其他的函数,当然可以调用函数自己,函数调用自身的编程技巧称为递归。2,递归函数的代码特点:函数内部的代码是相同的,只是传递的参数不同、需设置当参数满足条件时,不在执行函数,称为递归的出口,这个必须设置,否则会造成死循环。3,示例代码:倒序打印defsum_numbers(num):print(num)#递归的出口,当参数满足条件时,不在进行递归.#递归出口很重要,如不设置则会出现死循环ifnum==1:return1#函
系统 2019-09-27 17:52:06 1865
Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块,对常用的机器学习方法进行了封装,包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时,便可根据下图来选择相应的方法。Sklearn具有以下特点:简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、
系统 2019-09-27 17:51:55 1865
阅读更多网上流传以下几种安装1)要安装或升级pip,需要下载get-pip.py.地址:https://bootstrap.pypa.io/get-pip.py然后运行以下命令(需要管理员权限):pythonget-pip.py试了试:不行2)去官网下载①https://pypi.python.org/pypi/pip②下载之后的包上传到服务器上③然后解压tar-zxvf***④解压之后会有个文件夹⑤进入到文件夹,执行命令pythonsetup.pyins
系统 2019-09-27 17:51:30 1865
阅读更多操作列表#列表循环for循环(for**in**)1.注意使用for循环时print前要缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)#可在for循环中执行更多操作#2.不使用for循环时,切记print能缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)print("theyaresocute")#在
系统 2019-09-27 17:51:30 1865