今天给大家出一个关于Python爬虫面试题的总结,相对于来说出现频率比较高的一些!1.为什么requests请求需要带上header?原因是:模拟浏览器,欺骗服务器,获取和浏览器一致的内容header的形式:字典headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/54.0.2840.99Safari/537.
系统 2019-09-27 17:56:15 1812
文件的属性所谓属性,就是能够通过一个文件对象得到的东西。复制代码代码如下:>>>f=open("131.txt","a")>>>f.name'131.txt'>>>f.mode#显示当前文件打开的模式'a'>>>f.closed#文件是否关闭,如果关闭,返回True;如果打开,返回FalseFalse>>>f.close()#关闭文件的内置函数>>>f.closedTrue文件的有关状态很多时候,我们需要获取一个文件的有关状态(有时候成为属性,但是这里的文
系统 2019-09-27 17:56:05 1812
读取文件,将每一行作为列表的一个值,求每个字符串出现的次数,以及有哪些字符串。写入文件,按次数大小排序,次数后面对应着字符串#-*-coding:utf-8-*-input1=open('jpc.txt','r')output1=open('out.txt','w')list_of_all_the_lines=input1.read()a=list_of_all_the_lines.splitlines(False)myset=set(a)mylist_c
系统 2019-09-27 17:55:22 1812
问题1:如果日期中有千年以前的情况(没法用格式化函数),如('2010-11-23','1989-3-7','2010-1-5','978-12-1','2010-2-4')参照方法1问题2:如果日期中没有千年以前的情况,做法就很多了。参照方法2和方法3#-*-coding:utf-8-*-importtimefromoperatorimportitemgetterarr=('2010-11-23','1989-3-7','2010-1-5','978-1
系统 2019-09-27 17:54:50 1812
今天闲来无聊无意间看到了百度股票,就想着用python爬一下数据,于是就找到了东方财经网,结合这两个网站,写了一个小爬虫,数据保存在文件中,比较简单的示例,就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析,打开东方财经网股票列表页,和百度股票详情页,右键查看网页源代码,网址后面的代码就是股票代码,所以打算先获取股票代码,然后获取详情,废话少说,直接上代码吧:importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1812
目录一、变量存哪了?二、Python垃圾回收机制2.1引用计数三、小整数池一、变量存哪了?x=10变量存放在内存中这句话太宽泛了,我们把它具体化。对于电脑内存这个大内存,每定义一个变量就会在这个大内存中开辟一个小空间,小空间内存放变量值10,然后内存给这个小空间一个变量名x(门牌号),x指向10。二、Python垃圾回收机制对于p1.py,如果我们再加上一段代码x=11,大内存会开辟另一个小空间存储变量值11,把变量值绑定另一个门牌号x,但是由于之前有x,
系统 2019-09-27 17:54:25 1812
Python单例模式的两种实现方法方法一importthreadingclassSingleton(object):__instance=None__lock=threading.Lock()#usedtosynchronizecodedef__init__(self):"disablethe__init__method"@staticmethoddefgetInstance():ifnotSingleton.__instance:Singleton.__
系统 2019-09-27 17:54:01 1812
这两天有许多Python小白加入学习群,并且问了许多关于Pycharm基本使用的问题,今天小编就以配置Python解释器的问题给大家简单絮叨一下。1、一般来说,当我们启动Pycharm,如果Pycharm正常激活的话,就会直接进入到Pycharm中去,并且Pycharm经常会弹出下图的界面。(如果有小伙伴的Pycharm尚未激活,可以站内私信,小编这有好几个激活码,给大家分享。)其实这个是Pycharm的提示信息,一般是Pycharm的简易或快捷方式介绍或
系统 2019-09-27 17:53:59 1812
字典是键/值对构成的集合,字典通过大括号来创建,字典的键是字符串,而值可以是任何数据对象。字典有两个重要的特征:字典是无序的,字典项没有特定的顺序,只能通过键来获取值;字典是可变的,支持原处修改键的值;字典是作为散列表来实现的,可增长,搜索非常快速;和列表一样,字典存储的是对象的引用,不是拷贝。创建字典创建空的字典:>>>d={}创建包含两个项目的字典:>>>d={'name':'vic','age':28}创建包含嵌套类型的字典:>>>d={'stude
系统 2019-09-27 17:52:13 1812
功能:为已存在的函数或对象添加额外的功能原则:不改变源代码为其添加功能不改变函数的调用方式方法:装饰器=高阶函数+嵌套函数(高阶函数:一个函数可以作为参数传递给另外一个函数,或者,一个函数的返回值是一个函数,即函数的入口地址)函数名作为参数传递给装饰器(@decorator_name)装饰函数返回函数名(函数地址)注意:默认情况下,装饰器会修改名字和文档说明,但是可以使用functools中的@wraps()解决。@wraps接受一个函数来进行装饰,并加入
系统 2019-09-27 17:51:46 1812