上面的博客把基本的HTML解析库已经说完了，这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一：爬取猫眼电影TOP100信息代码地址：https://gitee.com/dwyui/maoyan-Requests.git项目二：美食爬取（包含多层爬取）代码地址：https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 2162
适用的日志格式：106.45.185.214--[06/Aug/2014:07:38:59+0800]"GET/HTTP/1.0"20010"-""-"171.104.119.22--[06/Aug/2014:08:55:01+0800]"GET/HTTP/1.0"20010"-""-"27.31.238.242--[06/Aug/2014:09:43:19+0800]"GET/HTTP/1.0"20010"-""-"218.65.202.131--[06
系统 2019-09-27 17:46:56 2162
truncate()方法截断该文件的大小。如果可选的尺寸参数存在，该文件被截断(最多)的大小。大小默认为当前位置。当前文件位置不改变。注意，如果一个指定的大小超过了文件的当前大小，其结果是依赖于平台。注意：此方法不会在当文件工作在只读模式打开。语法以下是truncate()方法的语法：fileObject.truncate([size])参数size--如果可选参数存在，文件被截断(最多)的大小。返回值此方法不返回任何值。例子下面的例子显示truncate
系统 2019-09-27 17:46:23 2162
一篇关于STR和UNICODE的好文章整理下python编码相关的内容注意:以下讨论为Python2.x版本,Py3k的待尝试开始用python处理中文时，读取文件或消息，http参数等等一运行，发现乱码(字符串处理，读写文件，print)然后，大多数人的做法是，调用encode/decode进行调试，并没有明确思考为何出现乱码所以调试时最常出现的错误错误1Traceback(mostrecentcalllast):File"",line1,inUnico
系统 2019-09-27 17:46:15 2162
本节内容paramiko模块（基于SSH用于连接远程服务器并执行相关操作）paramiko模块SSHClient用于连接远程服务器并执行基本命令基于用户名密码连接#Author:yyqianimportparamiko#创建SSH对象ssh=paramiko.SSHClient()#允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())#连接服务器ssh
系统 2019-09-27 17:46:15 2162
文|yangrq1018经常在腾讯视频上看电影，在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多，又缺乏索引，只能不停地往下来，让js加载更多的条目。然而前面的看完了，每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中，方便选片。项目地址：https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包：requestsbs4-Beautifulso
系统 2019-09-27 17:46:04 2162
Python中将数字格式化时，有些时候需要将数字格式化，为了显示美观，需要补零。今天在写代码时，看见别人的奇怪写法，觉得有必要在这里把Python更好的写法重写一下。看到的别人的代码foriinrange(99):num_str=str(i)iflen(num_str)>1:num_str='0'+str(i)print(num_str)看到这段代码，我的三观被刷新了。如果补零比较多，确实代码的行数可观。常见和不常见的格式化补零方法foriinrange(
系统 2019-09-27 17:45:59 2162
ini文件是windows中经常使用的配置文件，主要的格式为：复制代码代码如下:[Section1]option1:value1option2:value2python提供了一个简单的模块ConfigParser可以用来解析类似这种形式的文件。对于ConfigParser模块可以解析key:value和key=value这样的类型，对于#和;开头的行将会自动忽视掉。相当于注释行。常用的函数：复制代码代码如下:ConfigParser.RawConfigPa
系统 2019-09-27 17:45:50 2162
本文实例讲述了PythonMongoDB插入数据时已存在则不执行，不存在则插入的解决方法。分享给大家供大家参考，具体如下：前言：想把QQ日志爬虫(Python)爬下来的日志保存到MongoDB里面。但insert的时候报错：E11000duplicatekeyerrorcollection:QQ.Blogindex:_id_dupkey:{:"965464518_1301232446"}后来知道错误的原因是：插入的数据和已有数据的ID重复了。我想要的是：插
系统 2019-09-27 17:38:32 2162
Python登录网站详解及实例对于大部分论坛，我们想要抓取其中的帖子分析，首先需要登录，否则无法查看。这是因为HTTP协议是一个无状态(Stateless)的协议，服务器如何知道当前请求连接的用户是否已经登录了呢？有两种方式：在URI中显式地使用SessionID；利用Cookie，大概过程是登录一个网站后会在本地保留一个Cookie，当继续浏览这个网站的时候，浏览器会把Cookie连同地址请求一起发送过去。Python提供了相当丰富的模块，所以对于这种网
系统 2019-09-27 17:38:24 2162
本文实例讲述了Python中实现两个字典（dict）合并的方法，分享给大家供大家参考。具体方法如下：现有两个字典dict如下：dict1={1:[1,11,111],2:[2,22,222]}dict2={3:[3,33,333],4:[4,44,444]}合并两个字典得到类似：{1:[1,11,111],2:[2,22,222],3:[3,33,333],4:[4,44,444]}方法1：dictMerged1=dict(dict1.items()+di
系统 2019-09-27 17:56:41 2161
定制pattern的string模板(template)详解string.Template的pattern是一个正则表达式,可以通过覆盖pattern属性,定义新的正则表达式.如:使用新的定界符"{{",把{{var}}作为变量语法.代码:#-*-coding:utf-8-*-'''''Createdon2014.6.5@author:Administrator@edition:python3.3.0,eclipsepydev'''importstring
系统 2019-09-27 17:56:16 2161
python连接Mysql数据库：Python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作，但是每次连接MySQL数据库请求时，都是独立的去请求访问，相当浪费资源，而且访问数量达到一定数量时，对mysql的性能会产生较大的影响。因此，实际使用中，通常会使用数据库的连接池技术，来访问数据库达到资源复用的目的。数据库连接池python的数据库连接池包DBUtils：DBUtils是一套Python数据库连接池包，并允许对非线程安全的
系统 2019-09-27 17:55:24 2161
一、什么是多态<1>一种类型具有多种类型的能力<2>允许不同的对象对同一消息做出灵活的反应<3>以一种通用的方式对待个使用的对象<4>非动态语言必须通过继承和接口的方式来实现二、python中的多态<1>通过继承实现多态（子类可以作为父类来使用）<2>子类通过重载父类的方法实现多态classAnimal:defmove(self):print('animalismoving....')classDog(Animal):passdefmove(obj):ob
系统 2019-09-27 17:55:15 2161
目录一、概论二、方法论三、实践能力一、概论深入理解Python语言实例2:Python蟒蛇绘制模块1:turtle库的使用turtle程序语法元素分析二、方法论Python语言及海龟绘图体系三、实践能力初步学会使用Python绘制简单图形
系统 2019-09-27 17:55:09 2161
