首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:58 1932
获取制定标签内容，以及HTML全部文本代码#-*-coding:utf-8-*-importrehtml="岗位职责：完成推荐算法、数据统计、接口、后台等服务器端相关工作必备要求：良好的自我驱动力和职业素养，工作积极主动、结果导向"#获得全部文本dr=re.compile(r'<[^>]+>',re.S)dd=dr.sub('',html)print(dd)print("*"*20)#取出p标签中的文本html_regex=r".*?(.*?)"resul
系统 2019-09-27 17:56:47 1932
最近开始研究Python的并行开发技术，包括多线程，多进程，协程等。逐步整理了网上的一些资料，今天整理了一下greenlet相关的资料。并发处理的技术背景并行化处理目前很受重视，因为在很多时候，并行计算能大大的提高系统吞吐量，尤其在现在多核多处理器的时代，所以像lisp这种古老的语言又被人们重新拿了起来，函数式编程也越来越流行。介绍一个python的并行处理的一个库：greenlet。python有一个非常有名的库叫做stackless，用来做并发处理，主
系统 2019-09-27 17:56:35 1932
python网络编程详解网络编程的专利权应该属于Unix，各个平台（如windows、Linux等）、各门语言（C、C++、Python、Java等）所实现的符合自身特性的语法都大同小异。在我看来，懂得了Unix的socket网络编程，其他的形式的网络编程方法也就知道了。这句话说得还不太严谨。准确的应该说成懂得了socket编程的原理，网络编程也就知道了，不同之处就在于每个平台，每个语言都有自己专享的语法，我们直接灵活套用就行了。下面是用python实现的
系统 2019-09-27 17:55:59 1932
目录一、概要1.1方法论1.2实践能力一、概要程序设计基本方法：https://www.cnblogs.com/nickchen121/p/11164043.htmlPython开发环境配置：https://www.cnblogs.com/nickchen121/p/11164149.html实例1:温度转换：https://www.cnblogs.com/nickchen121/p/11164029.htmlPython程序语法元素分析：https://
系统 2019-09-27 17:55:34 1932
阅读更多文件名全小写,可使用下划线包应该是简短的、小写的名字。如果下划线可以改善可读性可以加入。如mypackage。模块与包的规范同。如mymodule。类总是使用首字母大写单词串。如MyClass。内部类可以使用额外的前导下划线。函数&方法函数名应该为小写，可以用下划线风格单词以增加可读性。如：myfunction，my_example_function。*注意*：混合大小写仅被允许用于这种风格已经占据优势的时候，以便保持向后兼容。函数和方法的参数总使
系统 2019-09-27 17:55:28 1932
本来PHP还学艺不精，又报了计算机二级Python的考试，还有一个半月的时间，抓紧买了高教社的这两本书，今天正式开始学习这个语言，虽然没法和世界上最好的语言PHP相提并论，但是也值得一学。虽然先看蓝K，但是很喜欢黄K前言里的第一句话：“应试”是个中性词。设定一个阶段目标，为之努力，这是一种乐趣！正式开始：第1章程序设计基本方法1.1程序设计语言高级语言根据执行机制分为：静态语言（C、Java）、脚本语言（JavaScript、PHP、Python）。执行方
系统 2019-09-27 17:55:21 1932
背景有一个工作邮箱，会接收许多人不断地投递的简历。由于邮件数量比较多，因此产生了一个需求。要求自动将邮件从邮件服务器取回到本地，并将邮件的基本信息存入本地的sqlite数据库。邮件的正文以单独文件的形式存放在文件夹下。实现备注：在python2.7下测试运行正常，如果用python3,可能需要对代码稍做修改。1，邮件配置参数文件mail.conf[mail163]#此外应写上你实际的帐号与密码user=xxxx@163.compassword=xxxxxp
系统 2019-09-27 17:55:14 1932
通过将对象序列化可以将其存储在变量或者文件中，可以保存当时对象的状态，实现其生命周期的延长。并且需要时可以再次将这个对象读取出来。Python中有几个常用模块可实现这一功能。pickle模块存储在变量中dumps(obj)返回存入的字节dic={'age':23,'job':'student'}byte_data=pickle.dumps(dic)#out->b'\x80\x03}q\x00(X\x03\x00\x00\...'print(byte_dat
系统 2019-09-27 17:54:49 1932
主要逻辑是判断文件的最后修改时间与创建时间是否在秒级别上一致，此代码适用于Python2.importtimeimportos#ReadfimenameFileName='D:/scapegoat/xx.csv'#printfilecreationtimeprinttime.strftime('%Y-%m-%d%H:%M:%S',time.localtime(os.stat(FileName).st_ctime))#printfilemodifiedtim
系统 2019-09-27 17:54:41 1932
