之前在公司做一个项目，项目需求是按照标签分类，去不同网站上爬取文章的内容，标题等。然后我就一个网站一个网站的去配xpath，可是网站特别多的时候，领导就会对我提出一个需求能不能，写一种程序然后用来解析所有的网站，也就是智能化解析。这对我一个刚刚做爬虫不久的新手就是很头疼了。于是各种网上找资料，于是发现了DIFFBOT这个东西。官网https://www.diffbot.com，注册后会有15天的免费使用的时间。注册后会发邮件给你一个token,通过toke
系统 2019-09-27 17:57:24 2578
下面就是今天下午的研究成果。发布系统需要响应用户的中断请求，需要在GET方法中杀掉由subprocess派生的子进程，刚开始直接用os.kill发现子进程的子进程无法kill，谷歌了一些，发现kill可以干掉进程组，于是测试，但是默认情况下，subprocess派生的进程组和主程序，也就是我的web.py进程是在一个进程组里的，这要是kill了，那就调的了。继续翻google，看subprocess的document时发现这个变量：subprocess.C
系统 2019-09-27 17:56:58 2578
#-*-coding:utf-8-*-importsysreload(sys)sys.setdefaultencoding('utf-8')importosfromseleniumimportwebdriverfromselenium.webdriver.common.keysimportKeysfromselenium.webdriver.chrome.optionsimportOptionsimporttimechrome_options=Option
系统 2019-09-27 17:54:58 2578
我们都知道，爬虫获取页面的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，python从网页中提取数据的包很多，常用的解析模块有下面的几个：BeautifulSoupAPI简单但解析速度慢，不推荐使用lxml由C语言编写的xml解析库(libxm2),解析速度快但是API复杂Scrapy综合以上两者优势实现了自己的数据提取机制，被称为Selector选择器。它是由lxml库构建的，并简化了API，先通过XPath或者CSS选择器选中要提取
系统 2019-09-27 17:54:28 2578
以下代码对于元组，字典和列表都是可以用的A=[1,2,3]print(A)#输出整个列表，包括逗号和括号等A=[1,2,3]forainA:print(a)#输出所有元素A=[1,2,3]N=0whileN列表的排序https://blog.csdn.net/GrofChen/article/details/91466264列表的所有内置函数https://blog.csdn.net/GrofChen/article/details/91371937
系统 2019-09-27 17:53:29 2578
声明：代码的运行环境为Python3。Python3与Python2在一些细节上会有所不同，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Python从入门到深度学习》，欢迎大家关注~K-Means算法、K-Means++算法以及MeanShift算法都是基于距离的聚类算法，一般此类聚类的聚类结果都是球状的簇，但当聚类结果是非球状的时候，基于距离聚类的聚类算法得到的聚类结果并不是那么的好，然而，基于密度的聚类
系统 2019-09-27 17:52:43 2578
阅读更多分词工具的选择：现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分词效果还很不错。分词前的准备：待分词的中文文档存放分词之后的结果文档中文停用词文档（用于去停用词，在网上可以找到很多）分词之后的结果呈现：图1去停用词和分词前的中文文档图2去停用词和分词之后的结果文档分词和去停用词代码
系统 2019-09-27 17:47:53 2578
Adapter介绍Adapter是将数据绑定到UI界面上的桥接类。Adapter负责创建显示每个项目的子View和提供对下层数据的访问。支持Adapter绑定的UI控件必须扩展AdapterView抽象类。创建自己的继承自AdapterView的控件和创建新的Adapter类来绑定它们是可能的。一些Android提供的Adapter介绍在多数情况下，你不需要白手创建自己的Adapter。Android提供了一系列Adapter来将数据绑定到UIWidget
系统 2019-08-29 23:48:27 2578
理解什么是数组不是要说CollectionFramework么，怎么又提到数组了。这就要看一下Framework这个单词了，我们常听人说到一些OpenSourceFramework像Struts、Hibernate、Spring等等。从根本上说这些Framework的作用就是为了提高开发效率，如果抛开效率不考虑完全可以不使用这些Framework，Java中的CollectionFramework也是一样，只不过它在更底层，被放在了Java类库中，其底层实
系统 2019-08-29 23:45:27 2578
Valang是ValidationLanguage的缩写，ValangValidator的字面含义就是“使用验证语言的验证器”，是一种支持声明的验证器。本文详细的介绍了ValangValidator的使用和相关所需的配置。作为一种新型的验证工具，它提供的验证语言（valang）具有简单、易学，易扩展等特点。Valang是ValidationLanguage的缩写，ValangValidator的字面含义就是“使用验证语言的验证器”，它是一种支持声明的验证器
系统 2019-08-29 23:16:21 2578
