Python

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新

系统 2019-09-27 17:54:44 2252

Python

python学习——FTP作业

本实例有文件传输相关功能,包括:文件校验、进度条打印、断点续传客户端示例:importsocketimportjsonimportosimporthashlibCODE={'1001':'重新上传文件'}deffile_md5(file_path):obj=open(file_path,'rb')m=hashlib.md5()forlineinobj:m.update(line)obj.close()returnm.hexdigest()defjdt(si

系统 2019-09-27 17:54:16 2252

Python

Python 面向对象基础

一、面向对象概述如今主流的软件开发思想有两种:一个是面向过程,另一个是面向对象。面向过程出现得较早,典型代表为C语言,开发中小型项目的效率很高,但是很难适用于如今主流的大中型项目开发场景。面向对象则出现得更晚一些,典型代表为Java或C++等语言,更加适合用于大型开发场景。两种开发思想各有长短。对于面向过程的思想:需要实现一个功能的时候,看重的是开发的步骤和过程,每一个步骤都需要自己亲力亲为,需要自己编写代码(自己来做)对于面向对象的思想:当需要实现一个功

系统 2019-09-27 17:53:52 2252

Python

leetcode 53. Maximum Subarray 解法 python

一.问题描述Givenanintegerarraynums,findthecontiguoussubarray(containingatleastonenumber)whichhasthelargestsumandreturnitssum.Example:Input:[-2,1,-3,4,-1,2,1,-5,4],Output:6Explanation:[4,-1,2,1]hasthelargestsum=6.Followup:Ifyouhavefigur

系统 2019-09-27 17:53:31 2252

Python

Python集中化管理平台Ansible介绍与YAML简介

本文实例讲述了Python集中化管理平台Ansible介绍与YAML。分享给大家供大家参考,具体如下:一中文社区http://ansible.cn/forum.php二点睛Ansible(http://www.ansibleworks.com/)一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,是AnsibleWorks公司名下的项目,该公司由Cobbler及Func的作者于2012年创建成立。Ansible基于Python语言实现,由Para

系统 2019-09-27 17:53:03 2252

Python

Python传递参数的多种方式(小结)

一位置传递没什么好过多讲解.#位置传递实例:deffun1(a,b,c):returna+b+cprint(fun1(1,2,3))输出:6二关键字传递更具每个参数的名字写入函数参数#关键字传递deffun2(a,b,c):returna+b+cprint(fun2(1,c=3,b=2))输出:6三参数默认值传递给函数的输入参数设定一个默认值,如果该参数最终没有输入,则使用默认参数出入函数.#默认值传递deffun3(a,b=2,c=3):returna+

系统 2019-09-27 17:52:29 2252

Python

数据分析 NO.9 python进阶深入

第十二~十三天:python进阶深入1.生成器:创建生成器最简单的方法就是用圆括号()代替方括号[]把列表生成式的[]变成()生成器只能调用一次,不占用资源。用完就释放出来。foriing:print(i)也可以调用Next函数直到计算出最后一个元素位置,但是这种方法很明显不适用,并且最后会抛出StopIteration的错误。斐波那契数列:除第一个和第二个数外,任意一个数都可由前两个数相加得到:1,1,2,3,5,8,13,21,34,…return返回

系统 2019-09-27 17:51:38 2252

Python

蒙特卡罗模拟 - python实现

基本原理蒙特卡罗方法通过抓住事物运动的几何数量和几何特征,利用数字方法来加以模拟,即进行一种数字模拟实验。它是以一个概率模型为基础,按照这个模型所描绘的过程,通过模拟实验的结果,作为问题的近似解。主要步骤如下:1.构造或描述概率过程2.实现从已知概率分布抽样3.建立各种估计量示例一:π值的计算importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt%matplotlibinline#π的计算n=

系统 2019-09-27 17:50:56 2252

Python

Python对HTML转义字符进行反转义的实现方法

什么是转义字符在HTML中<、>、&等字符有特殊含义(<,>用于标签中,&用于转义),他们不能在HTML代码中直接使用,如果要在网页中显示这些符号,就需要使用HTML的转义字符串(EscapeSequence),例如<的转义字符是<,浏览器渲染HTML页面时,会自动把转移字符串换成真实字符。转义字符(EscapeSequence)由三部分组成:第一部分是一个&符号,第二部分是实体(Entity)名字,第三部分是一个分号。比如,要显示小于号(<),就可以写<

系统 2019-09-27 17:49:32 2252

Python

python的基本数据类型

1.python的基本数据类型Number(数字)String(字符串)Tuple(元组)List(列表)Set(集合)Dictionary(字典)其中前3个为不可变数据类型,后三个为可变数据类型。1.1数字类型–Number支持int,float,bool,complex1.1.1数据运算基本运算规则不变,以下展示鲜知的。另外进行混合运算时,整数会自动转为浮点数。#除法得到一个整数,单个斜杠得到浮点数print(4/9)print(4//9)print(

系统 2019-09-27 17:49:13 2252

Python

python连接、操作mongodb数据库的方法实例详解

本文实例讲述了python连接、操作mongodb数据库的方法。分享给大家供大家参考,具体如下:数据库连接frompymongoimportMongoClientimportpandasaspd#建立MongoDB数据库连接client=MongoClient('162.23.167.36',27101)#或MongoClient("mongodb://162.23.167.36:27101/")#连接所需数据库,testDatabase为数据库名:db=

系统 2019-09-27 17:47:01 2252

Python

python小技巧积累--题库(持续更新)

原文链接:https://realpython.com/python-coding-interview-tips/介绍作为一名程序员,除了需要具备解决问题的思路以外,代码的质量和简洁性也很关键。python内置库中就有很多简洁而又优雅的操作,这里的知识都来源于网络积累,闲暇时整理下来方便温故。目录>选择正确的内置功能使用enumerate()而不是range()进行迭代使用递推式构造列表而不是map()和filter()使用断点breakpoint()调试

系统 2019-09-27 17:46:50 2252

Python

Python实现全角半角转换的方法

本文实例讲解了Python实现全角半角转换的方法,相信对于大家的Python学习能够起到一定的参考借鉴价值。如下所示:一、全角半角转换概述:全角字符unicode编码从65281~65374(十六进制0xFF01~0xFF5E)半角字符unicode编码从33~126(十六进制0x21~0x7E)空格比较特殊,全角为12288(0x3000),半角为32(0x20)而且除空格外,全角/半角按unicode编码排序在顺序上是对应的所以可以直接通过用+-法来处

系统 2019-09-27 17:46:42 2252

Python

Python实现一个带权无回置随机抽选函数的方法

需求有一个抽奖应用,从所有参与的用户抽出K位中奖用户(K=奖品数量),且要根据每位用户拥有的抽奖码数量作为权重。如假设有三个用户及他们的权重是:A(1),B(1),C(2)。希望抽到A的概率为25%,抽到B的概率为25%,抽到C的概率为50%。分析比较直观的做法是把两个C放到列表中抽选,如[A,B,C,C],使用Python内置的函数random.choice[A,B,C,C],这样C抽到的概率即为50%。这个办法的问题是权重比较大的时候,浪费内存空间。更

系统 2019-09-27 17:45:25 2252

Python

利用Python的Django框架生成PDF文件的教程

便携文档格式(PDF)是由Adobe开发的格式,主要用于呈现可打印的文档,其中包含有pixel-perfect格式,嵌入字体以及2D矢量图像。YoucanthinkofaPDFdocumentasthedigitalequivalentofaprinteddocument;indeed,PDFsareoftenusedindistributingdocumentsforthepurposeofprintingthem.可以方便的使用Python和Djang

系统 2019-09-27 17:38:47 2252