Python

Python入门篇之正则表达式

正则表达式有两种基本的操作,分别是匹配和替换。匹配就是在一个文本字符串中搜索匹配一特殊表达式;替换就是在一个字符串中查找并替换匹配一特殊表达式的字符串。1.基本元素正则表达式定义了一系列的特殊字符元素以执行匹配动作。正则表达式基本字符字符描述text匹配text字符串.匹配除换行符之外的任意一个单个字符^匹配一个字符串的开头$匹配一个字符串的末尾在正则表达式中,我们还可用匹配限定符来约束匹配的次数。匹配限定符最大匹配最小匹配描述**重复匹配前表达式零次或多

系统 2019-09-27 17:55:12 2554

Python

Python爬虫运用正则表达式的方法和优缺点

前言我看到最近几部电影很火,查了一下猫眼电影上的数据,发现还有个榜单,里面有各种经典和热映电影的排行榜,然后我觉得电影封面图还挺好看的,想着一张一张下载真是费时费力,于是突发奇想,好像可以用一下最近学的东西实现我的需求,学习了正则表达式之后,想着要感受一下它在爬虫里面的效果和优缺点。目标:爬取Top100榜单上电影的封面图Top100榜单规则:将猫眼电影库中的经典影片,按照评分和评分人数从高到低综合排序取前100名,每天上午10点更新。相关数据来源于“猫眼

系统 2019-09-27 17:48:31 2554

Python

python实现两个经纬度点之间的距离和方位角的方法

最近做有关GPS轨迹上有关的东西,花费心思较多,对两个常用的函数总结一下,求距离和求方位角,比较精确,欢迎交流!1.求两个经纬点的方位角,P0(latA,lonA),P1(latB,lonB)(很多博客写的不是很好,这里总结一下)defgetDegree(latA,lonA,latB,lonB):"""Args:pointp1(latA,lonA)pointp2(latB,lonB)Returns:bearingbetweenthetwoGPSpoints

系统 2019-09-27 17:47:46 2554

Python

2019 年最全 Python 面试题汇总

目前Python面试主要涉及一下6个大方向:Python的基础语法(输入输出、条件循环、文件操作、异常、模块与包、Python特性、Linux基础、Git)掌握Python数据类型(字典、字符串、列表、元组、集合)Python高级编程(元类、内存管理与垃圾回收机制、函数、函数参数、内建函数、Lambda、设计模式、单例、工厂、装饰器)面向对象内容(类、对象)正则表达式、系统编程、网络编程Web方向(FLask、Django、Tornado、爬虫及爬虫常见的

系统 2019-09-27 17:47:34 2554

Python

Python的垃圾回收机制详解

引用计数在Python源码中,每一个对象都是一个结构体表示,都有一个计数字段。typedefstruct_object{intob_refcnt;struct_typeobject*ob_type;}PyObject;PyObject是每个对象必有的内容,其中ob_refcnt就是作为引用计数。当一个对象有了新的引用时,它的ob_refcnt就会增加,引用它的对象被删除时则减少。一旦对象的引用计数为0,该对象立即被回收,占用空间就会被释放。优点简单易用实时

系统 2019-09-27 17:45:38 2554

Python

python中的上下文管理器和with语句块

上下文管理器对象存在的目的就是管理with语句。上下文管理器协议包含__enter__和__exit__两个方法。with语句开始运行时,会在上下文管理器对象上调用__enter__方法。with语句运行结束后,会在上下文管理器对象上调用__exit__方法来看一个例子,把文件对象当成上下文管理器使用withopen('test.dat')asfp:secc=fp.read(20)>>>len(src)20>>>fp<_io.TextIOWrapperna

系统 2019-09-27 17:57:27 2553

Python

Python标准库Difflib有坑? —— 两个方法快速提升数据对比效率

一前言最近在开发的数据核对方案中用到了Python标准库Difflib,本来它工作的挺符合预期,可当它遇到那个文件,仿佛遇到了克星,那文件才100行*77列的数据,经它对比,居然耗时61s。这是无法接受的,因为后续线上流量抽取比对,绝非这点量级。该怎么破?二重现现象以下是使用Difflib比对那个文件,数据量是100行*77列,耗时61s,如下:好吧,那就降低数据量到5行*77列,看看效果,耗时只有0.05s,如下:从耗时结果上,不难发现,Difflib在

系统 2019-09-27 17:57:27 2553

Python

如何用Python来理一理红楼梦里的那些关系

前言今天,一起用Python来理一理红楼梦里的那些关系不要问我为啥是红楼梦,而不是水浒三国或西游,因为我也鉴定的认为,红楼才是无可争议的中国古典小说只巅峰,且不接受反驳!而红楼梦也是我多次反复品读的为数不多的小说,对它的感情也是最深的。好了,不酸了,开干。数据准备红楼梦TXT文件一份金陵十二钗+贾宝玉人物名称列表人物列表内容如下:宝玉nr黛玉nr宝钗nr湘云nr凤姐nr李纨nr元春nr迎春nr探春nr惜春nr妙玉nr巧姐nr秦氏nr这份列表,同时也是为了做

系统 2019-09-27 17:56:35 2553

Python

Python下的Softmax回归函数的实现方法(推荐)

Softmax回归函数是用于将分类结果归一化。但它不同于一般的按照比例归一化的方法,它通过对数变换来进行归一化,这样实现了较大的值在归一化过程中收益更多的情况。Softmax公式Softmax实现方法1importnumpyasnpdefsoftmax(x):"""Computesoftmaxvaluesforeachsetsofscoresinx."""pass#TODO:Computeandreturnsoftmax(x)x=np.array(x)x=

系统 2019-09-27 17:55:58 2553

Python

python爬虫———多线程threading模块爬取抖音用户信息

爬虫背景:由于原来的数据库中有1.5亿左右的用户id,但是其中有1.2亿的用户资料是不完整的(没有粉丝数量,点赞数量等,算是无用数据),现在老板要求将这些没有资料的用户更新信息,咋办?刚开始的想法是使用主从模式+scrapy爬取,但是写着写着觉得麻烦(写python的都很懒,scrapy还是比较臃肿的),然后突然想到,python中的多线程,处理爬虫这种存在大量io的操作时,多线程是非常有用的,而且省服务器资源(其他的爬虫也在服务器,能省一点是一点,毕竟是

系统 2019-09-27 17:52:29 2553

Python

python输入多行字符串的方法总结

Python中输入多行字符串:方法一:使用三引号>>>str1='''Leventselève,ilfauttenterdevivre.起风了,唯有努力生存。(纵有疾风起,人生不言弃。)'''>>>str1'Leventselève,ilfauttenterdevivre.\n起风了,唯有努力生存。\n(纵有疾风起,人生不言弃。)'>>>print(str1)Leventselève,ilfauttenterdevivre.起风了,唯有努力生存。(纵有疾风

系统 2019-09-27 17:51:17 2553

Python

在Python下利用OpenCV来旋转图像的教程

OpenCV是应用最被广泛的的开源视觉库。他允许你使用很少的代码来检测图片或视频中的人脸。这里有一些互联网上的教程来阐述怎么在OpenCV中使用仿射变换(affinetransform)旋转图片--他们并没有处理旋转一个图片里的矩形一般会把矩形的边角切掉这一问题,所以产生的图片需要修改。当正确的使用一点代码时,这是一点瑕疵。defrotate_about_center(src,angle,scale=1.):w=src.shape[1]h=src.shap

系统 2019-09-27 17:49:24 2553

Python

centos7安装Python3及出现BUG记录

一、安装(傻瓜式)1、mkdir/usr/local/python32、cd/usr/local/python33、wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz4、yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-dev

系统 2019-09-27 17:47:23 2553

Python

python运维开发常用模块(7)web探测模块pycurl

1.模块介绍pycurl(http://pycurl.sourceforge.net)是一个用C语言写的libcurlPython实现,功能非常强大,支持的操作协议有FTP、HTTP、HTTPS、TELNET等,可以理解成Linux下curl命令功能的Python封装,简单易用。本节通过调用pycurl提供的方法,实现探测Web服务质量的情况,比如响应的HTTP状态码、请求延时、HTTP头信息、下载速度等,利用这些信息可以定位服务响应慢的具体环节,下面详细

系统 2019-09-27 17:46:10 2553

Python

浅谈Python的垃圾回收机制

一.垃圾回收机制Python中的垃圾回收是以引用计数为主,分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中,如果一个对象的引用数为0,Python虚拟机就会回收这个对象的内存。#encoding=utf-8__author__='kevinlu1010@qq.com'classClassA():def__init__(self):print'objectborn,id:%s'%str(hex(id(self)))def__del__(self

系统 2019-09-27 17:45:35 2553