文|yangrq1018经常在腾讯视频上看电影，在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多，又缺乏索引，只能不停地往下来，让js加载更多的条目。然而前面的看完了，每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中，方便选片。项目地址：https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包：requestsbs4-Beautifulso
系统 2019-09-27 17:46:04 1927
本文定位：已将CPU历史数据存盘，等待可视化进行分析，可暂时没有思路。前面一篇文章（//www.jb51.net/article/61956.htm）提到过在linux下如何用python将top命令的结果进行存盘，本文是它的后续。python中我们可以用matplotlib很方便的将数据可视化，比如下面的代码：复制代码代码如下:importmatplotlib.pyplotaspltlist1=[1,2,3]list2=[4,5,9]plt.plot(l
系统 2019-09-27 17:45:54 1927
1、Pythonstartswith()方法用于检查字符串是否是以指定子字符串开头，如果是则返回True，否则返回False。如果参数beg和end指定值，则在指定范围内检查。https://www.runoob.com/python/att-string-startswith.html2、Pythonisalnum()方法检测字符串是否由字母和数字组成。https://www.runoob.com/python/att-string-isalnum.ht
系统 2019-09-27 17:45:35 1927
先看代码：In[1]:a={'name':'wang'}In[2]:a.get('age')In[3]:a['age']---------------------------------------------------------------------------KeyErrorTraceback(mostrecentcalllast)in()---->1a['age']KeyError:'age'In[4]:a.get('age',10)Out[4
系统 2019-09-27 17:38:06 1927
邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。kNN方法在类别决策时，只与极
系统 2019-09-27 17:38:02 1927
这里以监控内存使用率为例，写的一个简单demo性程序，具体操作根据51reboot提供的教程写如下。一、建库建表创建falcon数据库：mysql>createdatabasefalconcharactersetutf8;QueryOK,1rowaffected(0.00sec)创建内存监控使用的表stat，表结构如下：CREATETABLE`stat`(`id`int(11)unsignedNOTNULLAUTO_INCREMENT,`host`varc
系统 2019-09-27 17:37:58 1927
pillowPillow是PIL的一个派生分支，但如今已经发展成为比PIL本身更具活力的图像处理库。pillow可以说已经取代了PIL，将其封装成python的库（pip即可安装），且支持python2和python3，目前最新版本是3.0.0。Pillow的Github主页：https://github.com/python-pillow/PillowPillow的文档(对应版本v3.0.0)：https://pillow.readthedocs.org
系统 2019-09-27 17:56:31 1926
本文实例讲述了python中bisect模块用法，分享给大家供大家参考。具体方法分析如下：这个模块只有几个函数，一旦决定使用二分搜索时，立马要想到使用这个模块。示例代码如下：importbisectL=[1,3,3,6,8,12,15]x=3x_insert_point=bisect.bisect_left(L,x)#在L中查找x，x存在时返回x左侧的位置，x不存在返回应该插入的位置..这是3存在于列表中，返回左侧位置１printx_insert_poin
系统 2019-09-27 17:56:28 1926
一个简单的实现classNaiveFilter():'''FilterMessagesfromkeywordsverysimplefilterimplementation>>>f=NaiveFilter()>>>f.add("sexy")>>>f.filter("hellosexybaby")hello****baby'''def__init__(self):self.keywords=set([])defparse(self,path):forkeywo
系统 2019-09-27 17:56:10 1926
Anaconda是一个旗舰版的python安装包,因为普通的python没有库,如果需要安装一些重要的库,要经常一个一个下载,会非常麻烦.所以这个一个集成的，可以手动批量升级的软件.而且库的安装也很全下载速度快.从官网下载完以后，next安装好.配置环境变量,把安装的文件夹的绝对路径拷贝到环境变量的path里面.不配置python都启动不了，当然，如果之前安装过其他版本的python可以考虑把之前多余的环境变量路径删掉.打开anacondaprompt，输
系统 2019-09-27 17:55:04 1926
单线程执行python的内置模块提供了两个内置模块：thread和threading，thread是源生模块，threading是扩展模块，在thread的基础上进行了封装及改进。所以只需要使用threading这个模块就能完成并发的测试实例创建并启动一个单线程importthreadingdefmyTestFunc():print("我是一个函数")t=threading.Thread(target=myTestFunc)#创建一个线程t.start()
系统 2019-09-27 17:54:54 1926
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的PythonAPIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类，通常在特定HTTPURLs中产生。1.URLError通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。这种情况下，异常同样会带有"reason"属性，它是一个tuple（可以
系统 2019-09-27 17:54:51 1926
通过将对象序列化可以将其存储在变量或者文件中，可以保存当时对象的状态，实现其生命周期的延长。并且需要时可以再次将这个对象读取出来。Python中有几个常用模块可实现这一功能。pickle模块存储在变量中dumps(obj)返回存入的字节dic={'age':23,'job':'student'}byte_data=pickle.dumps(dic)#out->b'\x80\x03}q\x00(X\x03\x00\x00\...'print(byte_dat
系统 2019-09-27 17:54:49 1926
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1926
今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1926
