搜索到与相关的文章
Python

python爬虫 urllib模块发起post请求过程解析

urllib模块发起的POST请求案例:爬取百度翻译的翻译结果1.通过浏览器捉包工具,找到POST请求的url针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应的url点击clear按钮可以把抓包工具,所抓到请求清空然后填上翻译字条发送ajax请求,红色框住的都是发送的ajax请求抓包工具All按钮代表显示抓到的所有请求,包括GET、POST请求、基于ajax的POST请求XHR代表只显示抓到

系统 2019-09-27 17:52:59 2238

Python

Python之路【第十二篇】:Python面向对象高级

一、反射1什么是反射反射的概念是由Smith在1982年首次提出的,主要是指程序可以访问、检测和修改它本身状态或行为的一种能力(自省)。这一概念的提出很快引发了计算机科学领域关于应用反射性的研究。它首先被程序语言的设计领域所采用,并在Lisp和面向对象方面取得了成绩。2python面向对象中的反射:通过字符串的形式操作对象相关的属性。python中的一切事物都是对象(都可以使用反射)四个可以实现自省的函数下列方法适用于类和对象(一切皆对象,类本身也是一个对

系统 2019-09-27 17:52:50 2238

Python

数据分析(7)-如何使用Python与Hadoop生态系统进行交互(译)

我们都知道hadoop主要使用java实现的,那么如何使用python与hadoop生态圈进行交互呢,我看到一篇很好的文章,结合google翻译和自己的认识分享给大家。您将学习如何从HadoopDistributedFilesystem直接加载文件内存等信息。将文件从本地移动到HDFS或设置Spark。frompathlibimportPathimportpandasaspdimportnumpyasnpspark安装首先,安装findspark,以及py

系统 2019-09-27 17:52:29 2238

Python

Python爬取妹子图

爬虫成果当你运行代码后,文件夹就会越来越多,如果爬完的话会有2000多个文件夹,20000多张图片。不过会很耗时间,可以在最后的代码设置爬取页码范围。本文目标熟悉Requests库,BeautifulSoup库熟悉多线程爬取送福利,妹子图网站结构我们从http://meizitu.com/a/more_1.html这个链接进去,界面如图一所示图一:可以看到是一组一组的套图,点击任何一组图片会进入到详情界面,如图二所示图二:可以看到图片是依次排开的,一般会有

系统 2019-09-27 17:51:31 2238

Python

如何利用python查找电脑文件

利用python查找电脑里的文件非常方便比如在我的电脑:D:\软件文件夹里有非常非常多的软件。我忘记某个软件叫什么名字了,只记得文件名称里有now,而且后缀名是.zip利用python如何实现查找呢?用python非常简单:代码如下截图:首先是导入模块os然后就是利用os.listdir()打开目录下的所有文件,files其实是一个列表。其实前2行可以合并为一行:files=os.listdir(u'D:\软件')这样写也行。下面就是一个for循环非常简单

系统 2019-09-27 17:51:24 2238

Python

python中执行shell命令的几个方法小结

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)最近有个需求就是页面上执行shell命令,第一想到的就是os.system,os.system('cat/proc/cpuinfo')但是发现页面上打印的命令执行结果0或者1,当然不满足需

系统 2019-09-27 17:50:55 2238

Python

python----03(面向对象进阶02)

slots魔法:当我们需要限定自定义类型的对象只能绑定某些属性,可以通过在类中定义__slots__变量来进行限定。__slots__的限定只对当前类的对象生效,对子类并不起任何作用。静态方法和类方法:静态方法可解决对象未创建出来的问题。案例:例如我们定义一个正方形类,通过四个边长来构造正方形,并提供计算面积的方法。定义类方法:类方法的第一个参数约定名为cls,它代表的是当前类相关的信息的对象(类本身也是一个对象,有的地方也称之为类的元数据对象),通过这个

系统 2019-09-27 17:48:02 2238

Python

Python2.x中文乱码问题解决方法

Python中乱码问题是一个很头痛的问题。在Python3中,对中文进行了全面的支持,但在Python2.x中需要进行相关的设置才能使用中文。否则会出现乱码【问题原因】在Python2.x中主要是字符编码的问题,处理不好的话,会导致乱码。Python默认采取的ASCII编码,字母、标点和其他字符只使用一个字节来表示,但对于中文字符来说,一个字节满足不了需求。复制代码代码如下:>>>importsys>>>sys.getdefaultencoding()'a

系统 2019-09-27 17:46:00 2238

Python

Python中使用PIPE操作Linux管道

Linux中进程的通信方式有信号,管道,共享内存,消息队列socket等。其中管道是*nix系统进程间通信的最古老形式,所有*nix都提供这种通信方式。管道是一种半双工的通信机制,也就是说,它只能一端用来读,另外一端用来写;另外,管道只能用来在具有公共祖先的两个进程之间通信。管道通信遵循先进先出的原理,并且数据只能被读取一次,当此段数据被读取后,马上会从数据中消失,这一点很重要。Linux上,创建管道使用pipe函数,当它执行后,会产生两个文件描述符,分别

系统 2019-09-27 17:45:56 2238

Python

Python爬虫入门【1】: CentOS环境安装

简介你好,当你打开这个文档的时候,我知道,你想要的是什么!Python爬虫,如何快速的学会Python爬虫,是你最期待的事情,可是这个事情应该没有想象中的那么容易,况且你的编程底子还不一定好,这套课程,没有你想要的Python基础,没有变量,循环,数组等基础知识,因为我不想在那些你可以直接快速学会的地方,去浪费你的时间。好了,这套课程是基于Python3.0以上写的,操作系统我使用的是CentOS7+所以里面的好多内容可能和你的不一样,当然也会导致许多问题

系统 2019-09-27 17:45:42 2238