Python

python爬虫---从零开始(一)初识爬虫

我们开始来谈谈python的爬虫。1,什么是爬虫:网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网,我们的爬虫就犹如一个蜘蛛,当在互联网遇到所需要的资源,我们就会爬取下来,即为爬虫是一个请求网站并且提取数据的自动化程序。2,下面我们来提到两个名词:1)请求,request即为我们的请求,当我们在浏览器内输入网址,敲击回车时,这时浏览器就会发送消息给该网址所在

系统 2019-09-27 17:50:56 2199

Python

Python第五次作业

#读入文件pmi_days.csv,完成以下操作:1.统计质量等级对应的天数,例如:优:5天良:3天中度污染:2天2.找出PMI2.5的最大值和最小值,分别指出是哪一天。importpandasaspdimportcsvdays_path=open(r"C:\Users\Administrator\Desktop\pmi_days.csv")days_df=pd.read_csv(days_path)data=days_df.groupby('质量等级')

系统 2019-09-27 17:50:41 2199

Python

Python中的上下文管理器相关知识详解

前言with这个关键字,对于每一学习Python的人,都不会陌生。操作文本对象的时候,几乎所有的人都会让我们要用withopen,这就是一个上下文管理的例子。你一定已经相当熟悉了,我就不再废话了。withopen('test.txt')asf:printf.readlines()什么是上下文管理器?基本语法withEXPRasVAR:BLOCK先理清几个概念1.上下文表达式:withopen('test.txt')asf:2.上下文管理器:open('te

系统 2019-09-27 17:50:17 2199

Python

震惊!几道Python 理论面试题,Python面试题No18

本面试题题库,由公号:非本科程序员整理发布第1题:简述解释型和编译型编程语言?解释型语言编写的程序不需要编译,在执行的时候,专门有一个解释器能够将VB语言翻译成机器语言,每个语句都是执行的时候才翻译。这样解释型语言每执行一次就要翻译一次,效率比较低。用编译型语言写的程序执行之前,需要一个专门的编译过程,通过编译系统,把源高级程序编译成为机器语言文件,翻译只做了一次,运行时不需要翻译,所以编译型语言的程序执行效率高,但也不能一概而论,部分解释型语言的解释器通

系统 2019-09-27 17:49:35 2199

Python

python使用tomorrow实现多线程的例子

如下所示:importtime,requestesfromtomorrowimportthreads@threads(10)#使用装饰器,这个函数异步执行defdownload(url):returnrequests.get(url)defmain():start=time.time()urls=['https://pypi.org/project/tomorrow/0.2.0/','https://www.cnblogs.com/pyld/p/47167

系统 2019-09-27 17:48:19 2199

Python

python里 super类的工作原理详解

super的工作原理如下:defsuper(cls,inst):mro=inst.__class__.mro()returnmro[mro.index(cls)+1]其中,cls代表类,inst代表实例,上面的代码做了两件事:获取inst的MRO列表查找cls在当前MRO列表中的index,并返回它的下一个类,即mro[index+1]当你使用super(cls,inst)时,Python会在inst的MRO列表上搜索cls的下一个类。下面看一个例子:cl

系统 2019-09-27 17:47:45 2199

Python

【Python】自定义分页

Django内置了分页设置,但不够灵活,需要我们自定义分页。下面代码考虑了利用bootstrap分页组件来实现页面美化,如果不想使用,可以不调用url_format_by_bootstrap函数,即可实现普通分页。具体的参数和代码均有注释#!python3#@Project:mysite2-pager.py#@Info:自定义分页操作importreclassPageInfo:""":paramcurrent_page当前页码:paramdata要分页的数

系统 2019-09-27 17:47:37 2199

Python

python爬虫框架scrapy 豆瓣实战

Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架,用于以快速,简单,可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存

系统 2019-09-27 17:46:17 2199

Python

Python基础篇之初识Python必看攻略

Python简介python的创始人为吉多・范罗苏姆(GuidovanRossum)。1989年的圣诞节期间,吉多・范罗苏姆为了在阿姆斯特丹打发时间,决心开发一个新的脚本解释程序,作为ABC语言的一种继承。Python和其他语言的对比:C和Python、Java、C#等C语言:代码编译得到机器码,机器码在处理器上直接执行,每一条指令控制CPU工作其他语言:代码编译得到字节码,虚拟机执行字节码并转换成机器码再后在处理器上执行Python和CPython这门语

系统 2019-09-27 17:38:12 2199

编程技术

Google AJAX Search API+TAG=美味的站点

前言del.icio.us提供了多种可重用的数据格式。而它提供了通用API访问和类似PHP的输出格式,使这些数据也可以被JavaScript开发者将其作为JSON格式所使用。GoogleAJAXSearchAPI提供一些简单的web对象:它们执行建立在各种Google服务(页面搜索、本地搜索、视频搜索、Blog搜索、新闻搜索)之上的内嵌(inline)搜索。如何把这两项技术结合在一起呢?GoogleAJAXSearchAPI+TAG=美味的站点?什么是Go

系统 2019-08-29 23:51:20 2199

编程技术

四舍五入VS银行家舍入

相信细心的程序员们早就发现了.net环境下默认舍入算法的是“四舍六入”的算法。从小学我们就学过“四舍五入”算法,但是更加科学的舍入办法应该是“四舍六入”,也就是今天我们要讨论的“银行家舍入”。大家可以做一个Demo。C#环境下1:classProgram2:{3:staticvoidMain(string[]args)4:{5:do6:{7:Console.WriteLine("请输入一个小数回车测试,输入其他回车结束测试");8:stringNum=Co

系统 2019-08-29 23:47:00 2199

编程技术

权限管理工具的使用方法

functionStorePage(){d=document;t=d.selection?(d.selection.type!='None'?d.selection.createRange().text:''):(d.getSelection?d.getSelection():'');void(keyit=window.open('http://www.365key.com/storeit.aspx?t='+escape(d.title)+'&u='+es

系统 2019-08-29 23:34:17 2199

编程技术

执子之手,与子偕老

很多时候,我们需要一双温暖的手,更胜于甜蜜灿烂的言语。就像一碗热汤的关怀,虽不能随身携带,却是生命中最平和的实实在在。我不知道为什么只想牵着你的手也许是因为我刚一出生就已认识你了我不停地寻找、寻找也许偶尔被沿路的风景打扰但只要你手里的温度还在我就一直存在我爱你如同爱阳光爱空气爱水分爱大海爱世界爱我自己这边太多的人他们有他们的语言他们的故事我们有彼此的信念彼此的微笑和你在冷天也始终温暖的手掌我一直在怀疑我们可不可以一直手拉手走下去?我想起那个冬天你第一次牵我

系统 2019-08-29 23:23:40 2199

编程技术

参与开源项目的6条建议

开源项目是提高自身能力和做你喜欢的事的好方法,有其他项目的实际经验也能让你更符合求职要求,给你带来更多的机会。问题是大家都不知道从哪里开始。以下6个简单的提示告诉你如何开始F/OSS(FreeandOpenSourceSoftware).1.参与那些你使用过的开源软件背后的项目这很显然,请不要去寻找那些你既没用过也不了解的软件的项目。根据你用过的开源软件,来列一个你可能会参与的开源项目清单。不要遗漏了参与库文件或模块开发的可能——参与专门为开发者服务服务的

系统 2019-08-29 23:20:19 2199