搜索到与相关的文章
Python

Python中单线程、多线程和多进程的效率对比实验实例

python的多进程性能要明显优于多线程,因为cpython的GIL对性能做了约束。Python是运行在解释器中的语言,查找资料知道,python中有一个全局锁(GIL),在使用多进程(Thread)的情况下,不能发挥多核的优势。而使用多进程(Multiprocess),则可以发挥多核的优势真正地提高效率。对比实验资料显示,如果多线程的进程是CPU密集型的,那多线程并不能有多少效率上的提升,相反还可能会因为线程的频繁切换,导致效率下降,推荐使用多进程;如果

系统 2019-09-27 17:56:12 2400

Python

python高级编程——网络编程(三)

TCP和并发服务器与UDP不同的是,他是一个面向连接的,可靠的数据传输协议TCP通信比较复杂先写一个TCP服务器,一般步骤如下:1、首先是要创建一个socket套接字:socket()2、服务器一般是需要一个固定的IP地址和固定端口号,服务器就要绑定这个IP地址和端口号:bind()3、客户端连接服务器是是有一定的数量(允许最大连接数)的,而这个数量是服务器设定的:listen()4、上面3步是做被连接的准备,这一步是来接受客户端的数据,在接受数据之前,服

系统 2019-09-27 17:56:05 2400

Python

Python爬虫新手教程: 知乎文章图片爬取器

1.知乎文章图片爬取器之二博客背景昨天写了知乎文章图片爬取器的一部分代码,针对知乎问题的答案json进行了数据抓取,博客中出现了部分写死的内容,今天把那部分信息调整完毕,并且将图片下载完善到代码中去。首先,需要获取任意知乎的问题,只需要你输入问题的ID,就可以获取相关的页面信息,比如最重要的合计有多少人回答问题。问题ID为如下标红数字编写代码,下面的代码用来检测用户输入的是否是正确的ID,并且通过拼接URL去获取该问题下面合计有多少答案。在学习过程中有什么

系统 2019-09-27 17:55:50 2400

Python

python使用pika操作rabbitmq总结(一)

python连接操作rabbitMQ主要是使用pika库安装:pipinstallpika==1.0.1注意:pika1.x与pika0.x有一些不同,使用的时候需要看清版本使用,避免踩坑Pika是用于Python的RabbitMQ(AMQP0-9-1)客户端库注:官方对于pika有如下介绍:Sincethreadsaren’tappropriatetoeverysituation,itdoesn’trequirethreads.Pikacoretakes

系统 2019-09-27 17:55:08 2400

Python

Python自用工具包PyTls

我们搞了个python的工具包PyTls。做这件事的初衷是发生了一个星期要用python同时开发3个项目的情况,我发现了两个现象:1.有很多定制化的需求是极度高频反复重写的;2.有很多功能之前写过,可能因为稍许复杂又忘了,再用的时候又要去Google。所以,拉着同组的一个实习生,一起维护了PyTls的这个项目,为的就是那句"lifeisshort,weneedpython"。所有的详细的测试demo都可以在我的git找到,PyTls的测试demos希望可以

系统 2019-09-27 17:54:40 2400

Python

Python 爬取qqmusic音乐url并批量下载

qqmusic上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的。于是,来了个qqmusic的爬虫。至少我觉得for循环爬虫,最核心的应该就是找到待爬元素所在url吧。下面开始找吧(讲的不对不要笑我)#寻找url:这个url可不想其他的网站那么好找。把我给累得不轻,关键是数据多,从那么多数据里面挑出有用的数据,最后组合为music真正的music。昨天做的时候整理的几个中间url:#url1:https://c.y.qq

系统 2019-09-27 17:52:45 2400

Python

使用Python-OpenCV向图片添加噪声的实现(高斯噪声、椒盐噪声)

在matlab中,存在执行直接得函数来添加高斯噪声和椒盐噪声。Python-OpenCV中虽然不存在直接得函数,但是很容易使用相关的函数来实现。代码:importnumpyasnpimportrandomimportcv2defsp_noise(image,prob):'''添加椒盐噪声prob:噪声比例'''output=np.zeros(image.shape,np.uint8)thres=1-probforiinrange(image.shape[0

系统 2019-09-27 17:48:52 2400

Python

Python爬虫运用正则表达式的方法和优缺点

前言我看到最近几部电影很火,查了一下猫眼电影上的数据,发现还有个榜单,里面有各种经典和热映电影的排行榜,然后我觉得电影封面图还挺好看的,想着一张一张下载真是费时费力,于是突发奇想,好像可以用一下最近学的东西实现我的需求,学习了正则表达式之后,想着要感受一下它在爬虫里面的效果和优缺点。目标:爬取Top100榜单上电影的封面图Top100榜单规则:将猫眼电影库中的经典影片,按照评分和评分人数从高到低综合排序取前100名,每天上午10点更新。相关数据来源于“猫眼

系统 2019-09-27 17:48:31 2400

Python

《Python编程从入门到实践》笔记

阅读时间:2019.08.25----2019.08.30:第一部分基础知识。第2章:变量1、变量的命名和使用变量名只能包含字母、数字和下划线。可以字母或者下划线打头,但不能以数字打头。例如:可以为message_1,不能为1_message。变量名不能包含空格,但可使用下划线分隔。例如:变量名greeting_message,不能为greetingmessage。不能用Python关键字和函数名作为变量名。慎用小写字母l和大写字母O。2、字符串用引号括起

系统 2019-09-27 17:48:19 2400

Python

python爬虫---从零开始(六)Selenium库

什么是Selenium库:自动化测试工具,支持多种浏览器。支持的浏览器包括IE(7,8,9,10,11),MozillaFirefox,Safari,GoogleChrome,Opera等。爬虫中主要用来解决JavaScript渲染的问题。用于驱动浏览器,并且给予浏览器动作。安装Selenium库:pip3installseleniumSelcnium库的使用详解:在使用之前我们需要安装webDriver驱动,具体安装方式,自行百度,切记版本对应。基本使用

系统 2019-09-27 17:47:40 2400