Python - 军军小站|张军博客
Python

Python 爬虫“学前班”!学会免踩坑!

作者|喵叔责编|胡巍巍出品|CSDN(ID:CSDNnews)爬虫应用的广泛,例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的,但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的,这个时候我们就需要智能爬虫。智能爬虫目前有三种:1.基于网页内容的爬虫当网页含有大量需要提取的信息时,我们就需要用到基于网页内容的爬虫。该爬虫会将HTML视为文本并利用NLP技术进行处理。虽然说这种基于网页内容的爬虫可以

系统 2019-09-27 17:55:06 1928

Python

python 实现返回一个列表中出现次数最多的元素方法

如下所示:#返回一个列表中出现次数最多的元素defshowmax(lt):index1=0#记录出现次数最多的元素下标max=0#记录最大的元素出现次数foriinrange(len(lt)):flag=0#记录每一个元素出现的次数forjinrange(i+1,len(lt)):#遍历i之后的元素下标iflt[j]==lt[i]:flag+=1#每当发现与自己相同的元素,flag+1ifflag>max:#如果此时元素出现的次数大于最大值,记录此时元素的

系统 2019-09-27 17:54:01 1928

Python

Python-1-Day

C=float(input("EnteradegreeinCelsius:"))F=(9/5)*C+32print("{0}Celsiusis{1}Fahrenheit".format(C,F))EnteradegreeinCelsius:4343.0Celsiusis109.4FahrenheitimportmathR,H=eval(input("Entertheradiusandlengthofacylinder:"))area=R*R*math.pi

系统 2019-09-27 17:53:26 1928

Python

python连接mongodb数据库,并将数据存成dataframe

首先需要有连接mongodb数据库基本信息:CONFIG_HOST='11.111.11.11'CONFIG_PORT='27017'CONFIG_DATABASE='databasename'CONFIG_USER='username'CONFIG_PASSWORD=XXXXXXCONFIG_TABLE='tablename'python通过pymongo对mongodb进行访问,提取出databasename中tablename中的colname_a,

系统 2019-09-27 17:53:00 1928

Python

python控制台实现tab补全和清屏的例子

在shell(bash)下有2个很基本的功能,那就是tab补全,和clear清屏,对于我这种时不时不自觉的就手残要clear清屏一下的人来说,python控制台不能清屏很不爽,经过google的帮忙,找到了解决办法。执行“manpython”可以看到这样一个环境变量:PYTHONSTARTUPIfthisisthenameofareadablefile,thePythoncommandsinthatfileareexecutedbeforethefirst

系统 2019-09-27 17:52:47 1928

Python

Python内置高阶函数sort()与sorted()

一、内置函数sort()原型:sort(fun,key,reverse=False)参数:1、参数fun是表明此sort函数是基于何种算法进行排序的,一般默认情况下python中用的是归并排序,并且一般情况下我们是不会重写此参数的,所以基本可以忽略;2、参数key用来指定一个函数,此函数在每次元素比较时被调用,此函数代表排序的规则,也就是你按照什么规则对你的序列进行排序;3、参数reverse是用来表明是否逆序,默认的False情况下是按照升序的规则进行排

系统 2019-09-27 17:52:44 1928

Python

python 按照固定长度分割字符串的方法小结

有如下的一堆mac地址,需要更改成一定格式,如mac='902B345FB021'改为mac='90-2B-34-5F-B0-21'。借助python脚本,可以轻松实现,原理就是:字符串的按照固定长度拆分。1,文件mac.txt,保存了如下的mac地址:50E549E32ECB902B3413EFA650E549ECBA1C902B3457B16F1C6F65296DF9902B34131A1450E549E3E2F850E5493A2696902B345

系统 2019-09-27 17:51:20 1928

Python

python爬虫正则表达式爬妹子图

声明:仅为了学习爬虫,请勿用于商业和恶意爬取数据,否则后果自负,作者享有该文章的所有解释权原创文章:只需要在程序运行时输入一个数字,就会爬取1-该页数的图片,并且爬取小图对应的详情大图(套图),代码复制可用,下面是我爬取的部分数据。小图太过性感,这里就不截图了importrequestsimportreimportosheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.

系统 2019-09-27 17:48:57 1928

Python

用Python编写生成树状结构的文件目录的脚本的教程

有时候需要罗列下U盘等移动设备或一个程序下面的目录结构的需求。基于这样的需求个人整理了一个使用Python的小工具,期望对有这方面需求的朋友有所帮助。以下为具体代码:如果你所有要求的文件目录不需要完整的文件路径的话,直接更换下面的注释代码即可~#-*-coding:utf-8-*-importosdeflist_files(startPath):fileSave=open('list.txt','w')forroot,dirs,filesinos.walk

系统 2019-09-27 17:48:18 1928

Python

梅尔频率倒谱系数(mfcc)及Python实现

语音识别系统的第一步是进行特征提取,mfcc是描述短时功率谱包络的一种特征,在语音识别系统中被广泛应用。一、mel滤波器每一段语音信号被分为多帧,每帧信号都对应一个频谱(通过FFT变换实现),频谱表示频率与信号能量之间的关系。mel滤波器是指多个带通滤波器,在mel频率中带通滤波器的通带是等宽的,但在赫兹(Hertz)频谱内mel滤波器在低频处较密集切通带较窄,高频处较稀疏且通带较宽,旨在通过在较低频率处更具辨别性并且在较高频率处较少辨别性来模拟非线性人类

系统 2019-09-27 17:48:18 1928

Python

Python 爬取 B 站 5000 条视频,揭秘为何千万人为它流泪!

【程序人生编者按】《哪吒》看哭了无数人!编者看的那场,有很多小朋友,一开始他们还被太乙真人的滑稽,逗得哈哈笑。到了哪吒成魔要杀父亲、跪别父母、因为宿命不得以和敖丙为敌时,影院里突然安静下来。或许是编者泪点低,看着哪吒和李婧夫妇哭,自己也忍不住跟着哭。人们喜欢《哪吒》,不仅是因为它的特效,更是因为里面的亲情友情乃至师生情,是我们每个人的向往啊......本期文章,程序人生特邀作者Yura爬取B站5000条视频,为你揭秘电影的更多“优秀梗”,看完还能Get新技

系统 2019-09-27 17:46:45 1928

Python

python3使用request来post文件请求

阅读更多最近尝试使用request来发送上传文件的post请求,网上找了很多直接post文件的例子,借鉴发现这个方法行不通,于是尝试了另外一种方式:通过第三方包requests_toolbelt讲文件转为数据流来发送请求,尝试成功。第一类,单个文件,包含在消息体#-*-coding:utf-8-*-importrequests#引入requests_toolbelt包,直接使用数据流来发送上传文件的post请求fromrequests_toolbelt.m

系统 2019-09-27 17:45:25 1928

Python

bpython 功能强大的Python shell

Python是一个非常实用、流行的解释型编程语言,其优势之一就是可以借助其交互的shell进行探索式地编程。你可以试着输入一些代码,然后马上获得解释器的反馈,而不必专门写一个脚本。但是Python自带的shell也有一些局限性,例如无法自动补全、不能高亮语法等。好在强大的Python对默认shell进行了扩展,开发了许多漂亮的Pythonshell。每一个都提供了一个极好的交互性的Python体验。今天我就为大家介绍其中较为优秀的一款―bpython。bp

系统 2019-09-27 17:38:14 1928

Python

浅谈python字符串方法的简单使用

学习python字符串方法的使用,对书中列举的每种方法都做一个试用,将结果记录,方便以后查询。(1)s.capitalize();功能:返回字符串的的副本,并将首字母大写。使用如下:>>>s='wwwwww'>>>scap=s.capitalize()>>>scap'Wwwwww'(2)s.center(width,char);功能:返回将s字符串放在中间的一个长度为width的字符串,默认其他部分用空格填充,否则使用char参数填充。举例如下:>>>s'

系统 2019-09-27 17:37:56 1928

Python

C++大战Python - 以C++11重写欢乐斗地主残局解答器

业界传说Python平均一行代码能够顶的上几十行C/C++代码。业界还传说,C++效率能够达到Python的几十倍。对于以上二者,笔者本来感觉也许差不多只是略夸张。笔者曾经用C++和Python分别实现了不带cache的求Fibonacci数的函数,大约C++的效率确实可以达到Python效率的几十倍,不过代码量没有几十倍,只是略多。但这个毕竟是toyprogramming,如果是在一个真正实用性的项目当中,C++和Python在效率以及代码量上的对比究竟

系统 2019-09-27 17:57:17 1927