之前在公司做一个项目，项目需求是按照标签分类，去不同网站上爬取文章的内容，标题等。然后我就一个网站一个网站的去配xpath，可是网站特别多的时候，领导就会对我提出一个需求能不能，写一种程序然后用来解析所有的网站，也就是智能化解析。这对我一个刚刚做爬虫不久的新手就是很头疼了。于是各种网上找资料，于是发现了DIFFBOT这个东西。官网https://www.diffbot.com，注册后会有15天的免费使用的时间。注册后会发邮件给你一个token,通过toke
系统 2019-09-27 17:57:24 2580
#-*-coding:utf-8-*-importsysreload(sys)sys.setdefaultencoding('utf-8')importosfromseleniumimportwebdriverfromselenium.webdriver.common.keysimportKeysfromselenium.webdriver.chrome.optionsimportOptionsimporttimechrome_options=Option
系统 2019-09-27 17:54:58 2580
我们都知道，爬虫获取页面的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，python从网页中提取数据的包很多，常用的解析模块有下面的几个：BeautifulSoupAPI简单但解析速度慢，不推荐使用lxml由C语言编写的xml解析库(libxm2),解析速度快但是API复杂Scrapy综合以上两者优势实现了自己的数据提取机制，被称为Selector选择器。它是由lxml库构建的，并简化了API，先通过XPath或者CSS选择器选中要提取
系统 2019-09-27 17:54:28 2580
环境准备python3.6PyCharm2017.1.3Windows环境框架搭建selenium3.6安装方法：pipinstallselenium实现步骤：一、步骤分析1、选择“账号密码登录”2、用户名、密码输入，登录3、文件上传注：本文主要介绍利用selenium包下的webdriver加载Firefox浏览器。二、元素捕捉利用火狐浏览器firebug插件复制控件的XPATH路径，注：Python3.6对应Firefox版本40.x，暂不支持最新版本
系统 2019-09-27 17:53:36 2580
以下代码对于元组，字典和列表都是可以用的A=[1,2,3]print(A)#输出整个列表，包括逗号和括号等A=[1,2,3]forainA:print(a)#输出所有元素A=[1,2,3]N=0whileN列表的排序https://blog.csdn.net/GrofChen/article/details/91466264列表的所有内置函数https://blog.csdn.net/GrofChen/article/details/91371937
系统 2019-09-27 17:53:29 2580
针对很普遍的每个元素的操作会遍历每个元素进行操作。这里给出了几种写法，列表每个元素自增等数学操作同理；示例：整形列表ilist加1个数、元素类型转字符串：ilist=[1,2,3,10,11,12]#每个元素加5，四种方法fori,vinenumerate(ilist):ilist[i]=v+5[x+5forxinilist]map(lambdax:x+5,ilist)#仅python2list(map(lambdax:x+5,ilist))[*map(l
系统 2019-09-27 17:52:46 2580
在android上，我们可以使用QPython来编写、执行Python脚本。它对很多android系统函数进行了方便的封装，使用QPython编写功能简单的小程序异常方便。这个示例是我之前用来读取手机位置信息并作为进一步处理数据的基础脚本。复制代码代码如下:#-*-coding:utf-8-*-importandroidhelperimporttimefrommathimportradiansdroid=androidhelper.Android()dro
系统 2019-09-27 17:51:52 2580
相信大家都做过九宫格的游戏，规则是要求填数字1-9在九个方格内，使横竖斜相加和相等。只填九个那可能有些简单，但是填25个，填49个，81个等奇数个那，这时候就要求我们去找其中的规律。找到规律又要如何用代码实现？希望大家看代码之前，先来看下这个口诀：首居上行正中央，依次斜向右上方，上出框时往下写，右出框时左边放，排重退回下格填，右上排重一个样。释义：1要放在第一行的正中央，每次按依次向上的格式去填值，如果超出上边框就把它竖直往下移到最后一行，如果超出右边框就
系统 2019-09-27 17:48:35 2580
zfill()方法用零垫串来填充左边宽度。语法以下是zfill()方法的语法：str.zfill(width)参数width--这是字符串的最终宽度，即填充零后得到的宽度。返回值此方法返回补齐的字符串。例子下面的例子显示了zfill()方法的使用。#!/usr/bin/pythonstr="thisisstringexample....wow!!!";printstr.zfill(40);printstr.zfill(50);当我们运行上面的程序，它会产生
系统 2019-09-27 17:47:05 2580
将Python脚本文件包装成可执行文件，其目的有二:一则:不需要依赖Python编译器就可以运行软件二则:不想让自己的源码公布出去常用的工具有:py2exe、cx_freeze等【工具:py2exe】安装py2exe安装该工具很简单:只需要从官方网站:http://www.py2exe.org/下载与版本对应的安装程序，点击下一步即可完成安装。安装后，执行importpy2exe，不报错则表示安装成功!复制代码代码如下:>>>importpy2exe>>>
系统 2019-09-27 17:45:59 2580
