抓取猫眼电影上面Top100榜单,抓取的内容有电影名称,主演,上映时间,图片,得分等信息。抓取的内容以文件形式保存,地址为https://maoyan.com/board/41.分析该榜单页面如下拉到底部点击下一页,发现此时的URL变化了。此时的URL变为https://maoyan.com/board/4?offset=10,比之前的URL多了参数offset=10,再点击下一页的URL为https://maoyan.com/board/4?offset
系统 2019-09-27 17:56:34 2468
准备工作基础环境准备win10pycharmpython3(同时保证有pip环境)scrapy环境准备打开网址https://www.lfd.uci.edu/~gohlke/pythonlibs/下载Twisted(按python版本+系统位数对应)(浏览器下ctrl+f直接搜索)下载scrapy(截止本文撰写,当前版本是:Scrapy-1.6.0-py2.py3-NONE-any.whl)(不区分系统和python版本)准备好这两个whl文件(我习惯在桌
系统 2019-09-27 17:54:59 2468
点击上方“Python技术之巅”,马上关注,每天下午17:40准时推送真爱,请置顶或星标车栗子发自凹非寺量子位报道|公众号QbitAI过几天就端午了,端午结束离十一也不远了,准备出去游玩或者回家的小伙伴票买了吗?今天给大家推荐一个GitHub热榜上的一个项目Python抢票工具项目名很干脆,就是“12306”,标星超过8.4k,来自名叫文贤平的程序员。这很可能是全GitHub最德高望重的购票小助手了,功能一直在更新,且现已支持Python3.6以上版本。有
系统 2019-09-27 17:54:36 2468
pythonWSGI框架详解WSGI几个关于WSGI相关的概念WSGI:全称是WebServerGatewayInterface,WSGI不是服务器,python模块,框架,API或者任何软件,只是一种规范,描述webserver如何与webapplication通信的规范。server和application的规范在PEP3333中有具体描述。要实现WSGI协议,必须同时实现webserver和webapplication,当前运行在WSGI协议之上的w
系统 2019-09-27 17:54:22 2468
函数概念函数创建和调用空函数函数的定义与调用查看函数文档函数返回值函数的优势变量作用域局部变量全局变量global函数参数传递形参与实参参数检查默认参数可变参数拆包关键字参数参数组合匿名函数应用递归函数概念求阶乘汉诺塔概念如果在开发程序时,需要某块代码多次,但是为了提高编写的效率以及代码的重用,所以把具有独立功能的代码块组织为一个小模块,这就是函数.函数创建和调用空函数定义一个什么事也不做的空函数,可以用pass语句;pass可以用来作为占位符,还没想好怎
系统 2019-09-27 17:51:46 2468
Python数据科学入门DmitryZinoviev著熊子源译第8章绘图可编程的绘图方法主要有三种:增量绘图:从一张空白画布开始进行增量绘图,然后使用专门的函数逐步添加图形、坐标轴、标签和图例等。最后显示出所绘制的图像并可以保存在文件中。集成绘图:集成绘图将描述图形、图表、坐标轴、标签和图例等所有必要参数传递给绘图函数。可以实现即时绘制、装饰并保存最终绘图。图层绘图:图层工具用于展示要绘制的内容、如何绘制以及可展示其他任意特征的虚拟图层。第41单元使用Py
系统 2019-09-27 17:51:36 2468
前一篇文章Python:使用threading模块实现多线程编程四[使用Lock互斥锁]我们已经开始涉及到如何使用互斥锁来保护我们的公共资源了,现在考虑下面的情况�C如果有多个公共资源,在线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且同时等待对方的资源,这会引起什么问题?死锁概念所谓死锁:是指两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些
系统 2019-09-27 17:50:56 2468
openpyxl特点openpyxl(可读写excel表)专门处理Excel2007及以上版本产生的xlsx文件,xls和xlsx之间转换容易注意:如果文字编码是“gb2312”读取后就会显示乱码,请先转成Unicode1、openpyxl读写单元格时,单元格的坐标位置起始值是(1,1),即下标最小值为1,否则报错!tableTitle=['userName','Phone','age','Remark']#维护表头#ifrow<1orcolumn<1:#
系统 2019-09-27 17:49:39 2468
阅读更多关于Python的多线程,经常我们会听到老手说:“python下多线程是鸡肋,推荐使用多进程!”,但是为什么这么说呢?要知其然,更要知其所以然。所以有了下面的深入研究:首先强调背景:1、GIL是什么?GIL的全称是GlobalInterpreterLock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。2、每个CPU在同一时间只能执行一个线程(在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时
系统 2019-09-27 17:48:20 2468
一、冒泡排序这个算法的名字由来是因为越大的元素会经由交换慢慢“浮”到数列的顶端(升序或降序排列),就如同碳酸饮料中二氧化碳的气泡最终会上浮到顶端一样,故名“冒泡排序”。冒泡排序算法的原理如下:比较相邻的元素。如果第一个比第二个大,就交换他们两个。对每一对相邻元素做同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的元素应该会是最大的数。针对所有的元素重复以上的步骤,除了最后一个。持续每次对越来越少的元素重复上面的步骤,直到没有任何一对数字需要比较。#
系统 2019-09-27 17:48:10 2468