Python

详解Python网络爬虫功能的基本写法

网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。1.网络爬虫的定义网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫

系统 2019-09-27 17:38:28 1633

Python

Python入门学习之字符串与比较运算符

Python字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。一般记为:s="a1a2・・・an"(n>=0)它是编程语言中表示文本的数据类型。python的字串列表有2种取值顺序:从左到右索引默认0开始的,最大范围是字符串长度少1从右到左索引默认-1开始的,最大范围是字符串开头如果你的实要取得一段子串的话,可以用到变量[头下标:尾下标],就可以截取相应的字符串,其中下标是从0开始算起,可以是正数或负数,下标可以为空表示取到头或尾。比如

系统 2019-09-27 17:38:20 1633

Python

Python 实现数据库更新脚本的生成方法

我在工作的时候,在测试环境下使用的数据库跟生产环境的数据库不一致,当我们的测试环境下的数据库完成测试准备更新到生产环境上的数据库时候,需要准备更新脚本,真是一不小心没记下来就会忘了改了哪里,哪里添加了什么,这个真是非常让人头疼。因此我就试着用Python来实现自动的生成更新脚本,以免我这烂记性,记不住事。主要操作如下:1.在原先basedao.py中添加如下方法,这样旧能很方便的获取数据库的数据,为测试数据库和生产数据库做对比打下了基础。defselect

系统 2019-09-27 17:38:12 1633

Python

深入解析Python中的上下文管理器

1.上下文管理器是什么?举个例子,你在写Python代码的时候经常将一系列操作放在一个语句块中:(1)当某条件为真�C执行这个语句块(2)当某条件为真�C循环执行这个语句块有时候我们需要在当程序在语句块中运行时保持某种状态,并且在离开语句块后结束这种状态。所以,事实上上下文管理器的任务是�C代码块执行前准备,代码块执行后收拾。上下文管理器是在Python2.5加入的功能,它能够让你的代码可读性更强并且错误更少。接下来,让我们来看看该如何使用。2.如何使用上

系统 2019-09-27 17:38:08 1633

Python

Python3 执行系统命令并获取实时回显功能

下面先给大家介绍下Python3执行系统命令并获取实时回显最近在改造一些打包的逻辑,原来在Windows下是基于批处理制作的,由于批处理用起来不是很方便,一些实时的计算基本无法胜任,所以转向Python3。但在以前脚本的基础上很多是需要调用系统命令的比如VS编译一个项目,我们需要获取实时的回显知道编译的结果和进度。所以就有了以下方法:@staticmethoddef__external_cmd(cmd,code="utf8"):print(cmd)proc

系统 2019-09-27 17:38:04 1633

Python

python递归打印某个目录的内容(实例讲解)

以下函数列出某个目录下(包括子目录)所有文件,本随笔重点不在于递归函数的实现,这是一个很简单的递归,重点在于熟悉Python库os以及os.path一些函数的功能和用法。1.os.listdir(path):列出path下所有内容(包括文件和目录,不包括.和..)2.os.path.join(path1,path2,path3...):拼接目录,例如将'home','test'拼接成'home/test/'3.os.path.isdir(path):判断p

系统 2019-09-27 17:38:04 1633

Python

Python 和 JS 有哪些相同之处

【嵌牛导读】Python是一门运用很广泛的语言,自动化脚本、爬虫,甚至在深度学习领域也都有Python的身影。作为一名前端开发者,也了解ES6中的很多特性借鉴自Python(比如默认参数、解构赋值、Decorator等),同时本文会对Python的一些用法与JS进行类比。不管是提升自己的知识广度,还是更好地迎接AI时代,Python都是一门值得学习的语言。【嵌牛鼻子】python与JS的相似之处【嵌牛提问】python与JS有哪些相似呢?【嵌牛正文】数据类

系统 2019-09-27 17:38:01 1633

Python

python连接mysql实例分享

示例一#coding=UTF-8importsysimportMySQLdbimporttimereload(sys)sys.setdefaultencoding('utf-8')defconnectDemo():returnMySQLdb.Connection("127.0.0.1","root","root","demo",3306,charset="utf8")if__name__=='__main__':begin=time.time()conn=

系统 2019-09-27 17:37:59 1633

Python

Python的Flask框架的简介和安装方法

请在开始使用Flask之前阅读本文。也希望本文能够回答关于Flask项目的初衷以及目标,以及flask适用的场景(情境)等问题。什么是“微”?“微”(“Micro”)并不是意味着把整个Web应用放入到一个Python文件,尽管确实可以这么做。当然“微”(“Micro”)也不是意味Flask的功能上是不足的。微框架中的“微”(“Micro”)是指Flask旨在保持代码简洁且易于扩展。Flask不会为你做太多的选择,例如选择什么样的数据库。Flask为你做的是

系统 2019-09-27 17:37:52 1633

Python

Linux下安装Python3和django并配置mysql作为django

我的操作系统为centos6.51首先选择django要使用什么数据库。django1.10默认数据库为sqlite3,本人想使用mysql数据库,但为了测试方便顺便要安装一下sqlite开发包。yuminstallmysqlmysql-devel#为了测试方便,我们需要安装sqlite-devel包yuminstallsqlite-devel2接下来需要安装Python了,因为Python3已经成为主流,所以接下来我们要安装Python3,到官网去下载P

系统 2019-09-27 17:37:45 1633

Python

Python简单日志处理类分享

简单的一个python日志处理类复制代码代码如下:#/usr/bin/python#coding=utf-8importtime,typesclasslogsys:def__init__(self,project,logfilename='sys_log.txt'):self.project=projectself.logfilename=logfilenamedefget_log_time(self):returntime.strftime("%Y-%m

系统 2019-09-27 17:37:44 1633

Python

Python中暂存上传图片的方法

很简单的代码,记录一下。复制代码代码如下:importImageimage=Image.open('a.jpg')importcStringIObuf=cStringIO.StringIO()image.save(buf,image.format,quality=75)data=buf.getvalue()a=u.writeFile('/this/logo.jpg',data,True)应用在使用django,用户上传图片后,将图片转存到别的服务器。但是转

系统 2019-09-27 17:37:43 1633

Python

Python 性能优化技巧总结

1.使用测量工具,量化性能才能改进性能,常用的timeit和memory_profiler,此外还有profile、cProfile、hotshot等,memory_profiler用了psutil,所以不能跟踪cpython的扩展;2.用C来解决费时的处理,c是效率的代名词,也是python用来解决效率问题的主要途径,甚至有时候我都觉得python是c的完美搭档。常用的是Cython,直接把py代码c化然后又能像使用py包一样使用,其次是ctypes,效

系统 2019-09-27 17:37:43 1633

编程技术

AS3.0教程:强大的事件机制(1)

Event机制作为重头戏,在ActionScript3.0中加强了很多。更加统一、易用、标准、灵活。ActionScript2.0中有众多的事件实现机制:[1b]回顾和比较[/1b]AS1.0玩家最爱用onClipEvent(),on(),又方便又直接。缺点在于逻辑分散到了各个舞台元件中,难以管理和维护。更加别说代码重用了。别跟俺说可以Copy,Paste,这不叫重用,这叫低级。AS2.0中,增加了一些事件处理机制:1.回调函数:onLoad,onComp

系统 2019-08-29 23:53:44 1633