新建一个module，用于根据用户名来获取文章的url#coding=utf-8frombs4importBeautifulSoupimportrequests#获取博客文章数量defget_page_size(user_name):article_list_url='https://blog.csdn.net/'+user_namereq=requests.get(url=article_list_url)article_list_html=req.te
系统 2019-09-27 17:54:34 2430
ref@https://blog.csdn.net/handsomekang/article/details/9615239cls参数和self参数cls当前个类self当前这个类的实例@staticmethod@classmethod一般来说，要使用某个类的方法，需要先实例化一个对象再调用方法。而使用@staticmethod或@classmethod，就可以不需要实例化，直接类名.方法名()来调用。这有利于组织代码，把某些应该属于某个类的函数给放到那个
系统 2019-09-27 17:53:51 2430
运行时请在其目录下添加user.txtpasswd.txt两文件。否则会报错。程序没有加异常处理。代码比较挫.....复制代码代码如下:#coding:utf-8-importbase64importurllib2importQueueimportthreading,re,sysqueue=Queue.Queue()classRout_thread(threading.Thread):def__init__(self,queue,passwd):threa
系统 2019-09-27 17:53:17 2430
有时候我们会碰到一些元素不可见，这个时候selenium就无法对这些元素进行操作了。例如，下面的情况：Python页面主要通过“display:none”来控制整个下拉框不可见。这个时候如果直接操作这个下拉框，就会提示：fromseleniumimportwebdriverfromselenium.webdriver.support.selectimportSelectimportos,timedriver=webdriver.Chrome()file_p
系统 2019-09-27 17:52:49 2430
目录1、模块简介2、应用今天介绍的这个项目提供了一个很好的解决方案——只需要1行命令就能够从各大视频网站中下载想要的视频，而且不必安装视频网站专用APP或者第三方缓存工具——Python神器库You-Get。1、模块简介You-Get是GitHub上一个评分很高的Python项目，作为一款精巧的命令行应用程序，可以很方便地从Web网站下载视频。其下载的视频文件可以直接打开播放，不需要安装特定的网络浏览器，也免去了在线观看广告太长的烦恼。事实上，you-ge
系统 2019-09-27 17:52:48 2430
应用场景在很多关键词提取任务中，使用tfidf等方法提取得到的仅仅是若干零碎词汇。这样的零碎词汇无法真正的表达文章的原本含义，我们并不想要它。例如：>>>text='朝鲜确认金正恩出访俄罗斯将与普京举行会谈...'>>>keywords=['俄罗斯','朝鲜','普京','金正恩','俄方']在很多时候，我们往往需要更细化的短语描述，来作为文本的关键信息展示。这样的需求在生成词云、提供摘要阅读、关键信息检索等任务中都非常重要。例如：>>>phrases=[
系统 2019-09-27 17:52:22 2430
基本思路就是，使用MIMEMultipart来标示这个邮件是多个部分组成的，然后attach各个部分。如果是附件，则add_header加入附件的声明。在python中，MIME的这些对象的继承关系如下。MIMEBase|--MIMENonMultipart|--MIMEApplication|--MIMEAudio|--MIMEImage|--MIMEMessage|--MIMEText|--MIMEMultipart一般来说，不会用到MIMEBase，
系统 2019-09-27 17:50:33 2430
除了重新定义，还可以用索引修改A=['a','b',3,4,5]A[0]=1print(A)A=['a','b',3,4,5]A[A.index('b')]=2print(A)将变量添加到列表里A=['a','b',3,4,5]a=6A.append(a)print(A)A=['a','b',3,4,5]a=[6]A.append(a)print(A)将两个序列的元素合并A=['a','b',3,4,5]a=[6,'g']A.extend(a)print(
系统 2019-09-27 17:48:28 2430
爬虫前奏爬虫的实际例子搜索引擎（百度、谷歌、360搜索等）伯乐在线惠惠购物助手数据分析与研究（数据冰山知乎专栏）抢票软件等什么是网络爬虫通俗理解：爬虫是一个模拟人类请求网站行为的程序，可以自动请求网页，并将数据爬取下来，然后使用一定的规则提取有价值的数据通用爬虫和聚焦爬虫**通用爬虫：**通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分，主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份**聚焦爬虫：**是面向特定需求的一种网络爬
系统 2019-09-27 17:48:25 2430
urllib库是python内置的http请求库，包含四个模块：函数说明urllib.request请求模块urllib.error异常处理模块urllib.parseURL解析模块urllib.robotparserrobots.txt模块robots.txt是Robots协议（网络爬虫排除协议），是互联网界通行的道德模范，基于以下原则：搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权网站有义务保护其使用者的个人信息和隐私不被侵犯爬取白度网
系统 2019-09-27 17:48:19 2430
