一、BeautifulSoup简介网络数据挖掘指的是从网站中获取数据的过程，数据挖掘技术可以让我们从网站世界中收集大量有价值的数据。BeautifulSoup是一个Python库，可以从HTML或XML文件中获取数据，利用它你可以做很多事情，比如你可以持续解析某个商品的最新价格，以便跟踪价格的波动情况。二、BeautifulSoup安装安装BeautifulSouppip3installbeautifulsoup4检验是否安装成功frombs4import
系统 2019-09-27 17:53:33 2336
一、前言以前使用selenium的无头浏览器，自从phantomjs2016后慢慢不更新了之后，selenium也开始找下家，这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api，随后firefox也开始做。现在selenium的测试也都支持这两个浏览器的无头模式了，只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本pyppeteer，是因为有些网页是可以检测到是否是使用了seleni
系统 2019-09-27 17:52:58 2336
本文分享的实例主要实现的是Python+matplotlib绘制一个有阴影和没有阴影的3D条形图，具体如下。首先看看演示效果：完整代码如下：importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#setupthefigureandaxesfig=plt.figure(figsize=(8,3))ax1=fig.add_subplot(121,projec
系统 2019-09-27 17:52:34 2336
1.安装python-crontabpipinstallpython-crontab2.设置定时任务fromcrontabimportCronTabmy_cron=CronTab(user='xxx')job1=my_cron.new(command='pythonxxx1.py')job1.minute.every(6)#定周期任务，每6分钟运行一次job2=my_cron.new(command='pythonxxx2.py')job2.hour.ev
系统 2019-09-27 17:50:23 2336
目录1、常见并发类型2、同步版本3、多线程4、异步IO5、多进程6、总结1、常见并发类型I/O密集型：蓝色框表示程序执行工作的时间，红色框表示等待I/O操作完成的时间。此图没有按比例显示，因为internet上的请求可能比CPU指令要多花费几个数量级的时间，所以你的程序可能会花费大部分时间进行等待。CPU密集型：IO密集型程序将时间花在cpu计算上。常见并发类型以及区别：2、同步版本我们将使用requests访问100个网页，使用同步的方式，request
系统 2019-09-27 17:50:10 2336
一、线程队列queue队列：使用方法同进程的Queue一样如果必须在多个线程之间安全地交换信息时，队列在线程编程中尤其有用。重要：q.put():往队列里面放值，当参数block=Ture的时候，timeout参数将会有作用，当队列已经满了的时候，在往里面放值时，block为True程序将会等待timeout的时间，过了时间程序会报错，block如果为Flase时，程序不会等待直接报错q.get():从队列里面取值，当参数block=Ture的时候，tim
系统 2019-09-27 17:48:44 2336
Anaconda是Python的一个开源发行版本，主要面向科学计算，预装了丰富强大的库。使用Anaconda可以轻松管理多个版本的Python环境。Download：https://www.anaconda.com/download/Anaconda默认有两个版本，可以选择64位还是32位安装，当你安装了其中一个版本时，系统默认为该版本。同时你可以在已安装的Anaconda版本中添加另一个版本的Python，实现多版本共存。Anaconda可以使用命令行进
系统 2019-09-27 17:48:03 2336
一、列表元素的追加和插入append():追加一个元素到列表extend():列表拉伸，追加多个元素到列表insert():在指定索引处插入元素二、列表元素的删除pop(a)：弹出列表中索引为a的元素，默认为列表最后一个元素pop()弹出的值可用变量接收remove():删除列表元素del：从内存种删除一个元素三、列表元素的重新赋值1、通过索引，重新赋值2、通过切片赋值四、列表元素的排序x.sort()#列表排序，默认按照ascii排序x.sort(rev
系统 2019-09-27 17:48:02 2336
join()方法方法返回一个在序列的字符串元素被加入了由str分隔的字符串。语法以下是join()方法的语法：str.join(sequence)参数sequence--这是要连接的元素的顺序。返回值此方法返回一个字符串，在序列seq字符串的连接。元素之间的分离器是字符串str。例子下面的示例演示了join()方法的使用。#!/usr/bin/pythonstr="-";seq=("a","b","c");#Thisissequenceofstrings.
系统 2019-09-27 17:47:13 2336
BeautifulSoup库解析器解析器使用方法条件bs4的HTML解析器BeautifulSoup(mk,'html.parser')安装bs4库lxml的HTML解析器BeautifulSoup(mk,'xml')pipinstalllxmllxml的XML解析器BeautifulSoup(mk,'xml')pipinstalllxmlhtml5lib的解析器BeautifulSoup(mk,'htm5lib')pipinstallhtm151ibBe
系统 2019-09-27 17:46:54 2336
