拥有Python标签的文章
Python

python2爬取百度贴吧指定关键字和图片代码实例

目的:在百度贴吧输入关键字和要查找的起始结束页,获取帖子里面楼主所发的图片思路:获取分页里面的帖子链接列表获取帖子里面楼主所发的图片链接列表保存图片到本地注意事项:问题:在谷歌浏览器使用xpathhelper插件时有匹配结果,但在程序里面使用python内带的xpath匹配却为空的原因。原因:不同服务器会对不同的浏览器返回不同的数据,导致在谷歌浏览器看到的和服务器返回的有区别解决方法:使用IE浏览器的User-agenet,而且越老的版本,报错几率相对越小

系统 2019-09-27 17:57:03 2149

Python

K近邻算法的python实现

前言在K近邻的原始算法中,没有对K近邻的方法进行优化,还是遍历训练集,找到与输入实例最近的K个训练实例,统计他们的类别,以此作为输入实例类别的判断。具体的模型理论见:统计学习方法——K近邻法(原始方法)1.K近邻算法的实现在算法实现的过程中,利用的是欧氏距离进行点与点之间的距离度量。在进行数据运算的时候,没有利用numpy,而是利用Python中自带的list来进行数据的计算。defknn(x,dataSet,labels,k):distanceMemor

系统 2019-09-27 17:56:59 2149

Python

python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)

一、在豆瓣网爬取以下图书的信息:二、参考代码:1、连接MongoDB数据库,并且创建数据库和表importpymongomyclient=pymongo.MongoClient("mongodb://127.0.0.1:27017/")db=myclient['webCrawler']#创建数据库webCrawlerdatatable=db['Book_info']#创建Book_info表2、爬取数据并且存储到数据库importreimportpanda

系统 2019-09-27 17:56:44 2149

Python

python装饰器常见使用方法分析

本文实例讲述了python装饰器常见使用方法。分享给大家供大家参考,具体如下:python的装饰器,可以用来实现,类似springAOP类似的功能。一样可以用来记录某个方法执行前做什么,执行后做什么,或者用来记录日志,运行的时间等,更有甚者,用这个来做权限拦截,也未尝不可。从两个方面来描述python的装饰模式:1.对普通方法的装饰2.对在class类中的方法的装饰,不需要给参数的情况3.对在class类中的方法的装饰,需要给参数的情况一,对普通方法的装饰

系统 2019-09-27 17:55:42 2149

Python

深入理解python对象及属性

类属性和实例属性首先来看看类属性和类实例的属性在python中如何存储,通过__dir__方法来查看对象的属性>>>classTest(object):pass>>>test=Test()#查看类属性>>>dir(Test)['__class__','__delattr__','__dict__','__doc__','__format__','__getattribute__','__hash__','__init__','__module__','__

系统 2019-09-27 17:54:39 2149

Python

Python使用random模块生成随机数操作实例详解

本文实例讲述了Python使用random模块生成随机数操作。分享给大家供大家参考,具体如下:今天在用Python编写一个小程序时,要用到随机数,于是就在网上查了一下关于Python生成各种随机数的方法,现将其总结如下:此处,利用Python中的random模块生成随机数。因此首先必须导入该模块:importrandom一.随机产生一个元素importrandom#生成一个0到1的随机浮点数:0<=n<1.0print(random.random())>>

系统 2019-09-27 17:54:26 2149

Python

Python函数系列之返回值及可变参数(一)

每个编程语言中(诸如:Java、C++、C)等都有函数的,Python也不例外函数的主要作用有哪些呢?1、将程序的功能进行模块化,功能模块清晰2、减少重复代码的工作量3、便于阅读及维护、调试等一、函数的结束及返回值#-*-coding:utf-8-*-deff1():print("ThisisFun()")return#函数调用结束print("--End1--")print("Print2")return"---End2--"f1()print(type

系统 2019-09-27 17:54:20 2149

Python

Python API 自动化实战详解(纯代码)

主要讲如何在公司利用Python搞API自动化。1.分层设计思路dataPool:数据池层,里面有我们需要的各种数据,包括一些公共数据等config:基础配置tools:工具层common:公共方法层runCase:需要运行的测试用例noRunCase:不需要运行的测试用例testReport:这里存放生成的测试报告2.编写common:公共方法层2.1getTimestamp.py我们在common文件夹下新建一个getTimestamp.py。因为业务

系统 2019-09-27 17:53:46 2149

Python

生产环境隔离外网如何安装python包

1.http://mirrors.zte.com.cn/pypi/simple/下载python版本的whl安装包,不是win版2.pipinstall*安装pipinstallgrpcio-1.20.1-cp37-cp37m-manylinux1_x86_64.whlpipinstallasvprotobuf-0.3.17a0-py3-none-any.whl

系统 2019-09-27 17:53:13 2149

Python

Jacobi迭代算法的Python实现详解

importnumpyasnpimporttime1.1Jacobi迭代算法defJacobi_tensor_V2(A,b,Delta,m,n,M):start=time.perf_counter()#开始计时find=0#用于标记是否在规定步数内收敛X=np.ones(n)#迭代起始点x=np.ones(n)#用于存储迭代的中间结果d=np.ones(n)#用于存储Ax**(m-2)的对角线部分m1=m-1m2=2-mforiinrange(M):pri

系统 2019-09-27 17:53:10 2149

Python

Python编写工具Pycharm破解

我这边使用的是Pycharm2019.1.3Pycharm下载地址官网:https://www.jetbrains.com/pycharm/?fromMenu网盘:链接:https://pan.baidu.com/s/1wENzS6uIlIPjpKmNPnjo-g提取码:qqsk##开始破解找到系统的hosts文件hosts文件路径一般在:C:\Windows\System32\drivers\etc右键编辑,在最下方加上如下两句话0.0.0.0accou

系统 2019-09-27 17:52:49 2149

Python

Python爬取视频(其实是一篇福利)过程解析

窗外下着小雨,作为单身程序员的我逛着逛着发现一篇好东西,来自知乎你都用Python来做什么?的第一个高亮答案。到上面去看了看,地址都是明文的,得,赶紧开始吧。下载流式文件,requests库中请求的stream设为True就可以啦,文档在此。先找一个视频地址试验一下:#-*-coding:utf-8-*-importrequestsdefdownload_file(url,path):withrequests.get(url,stream=True)asr

系统 2019-09-27 17:52:41 2149

Python

Python线程下使用锁的技巧分享

使用诸如Lock、RLock、Semphore之类的锁原语时,必须多加小心,锁的错误使用很容易导致死锁或相互竞争。依赖锁的代码应该保证当出现异常时可以正常的释放锁。典型代码如下:try:lock.acquire()#关键部分...finally:lock.release()另外,所有种类的锁还支持上下文管理协议(写起来更简洁):with语句自动获取锁,并且在控制流离开上下文时自动释放锁。withlock:#关键部分...此外,编写代码时一般应该避免同时获取

系统 2019-09-27 17:50:41 2149

Python

python抽取pdf中内容

这两天一直在windows上做用python(版本是3.6)抽取pdf中内容的东西,主要就是从pdf中提取出里面的字体和表格内容。尝试了好些个库,现在算是找到比较符合我需求(比较好用)的pdf解析的了。在这个过程中,用了以下几个库:PDFminerPDFminer算是一个还算不错的吧,安装直接用pip安装就行。如下:pipinstallpdfminer3k它这个对pdf中内容做了好些个对象,用这些对象来存储不同的信息,比如表格有LTFigure对象存储、文

系统 2019-09-27 17:50:26 2149

Python

python之禅

起源2001年秋召开第十届InternationalPythonConference(IPC10,Pycon的前身),打算征集一条印在会议T恤衫上的标语,最终他们从Python社区收到了500多条投稿。并最中筛选确认为importthis,他们选择之后觉得需要实现它,经过讨论最中定义为了由TimPeter写的《ThezenofPython》触发在交互命令中输入importthis就会触发。>>>importthisTheZenofPython,byTimP

系统 2019-09-27 17:50:10 2149