- 军军小站|张军博客
搜索到与相关的文章
Python

python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)

一、在豆瓣网爬取以下图书的信息:二、参考代码:1、连接MongoDB数据库,并且创建数据库和表importpymongomyclient=pymongo.MongoClient("mongodb://127.0.0.1:27017/")db=myclient['webCrawler']#创建数据库webCrawlerdatatable=db['Book_info']#创建Book_info表2、爬取数据并且存储到数据库importreimportpanda

系统 2019-09-27 17:56:44 1843

Python

python基础之流程控制(3)

1.python语句的分类1.单行代码一行的python代码2.代码块/组:以冒号作为开始,用缩进划分相同作用域,这样的结构称之为代码块,是一个整体。作用域是指作用范围。作用区域,使用了相同的缩进,即有相同的作用域。缩进:一个table距离或者四个空格。注意:代码块/组中严格区分空格和table,不能混合使用,必须只使用一种方式缩进!2.流程控制的分类流程控制:对计算机执行代码的管控就是流程控制。分类:1.顺序结构2.分支结构/选择结构3.循环结构3.顺序

系统 2019-09-27 17:56:11 1843

Python

python获取当前文件路径以及父文件路径的方法

#当前文件的路径pwd=os.getcwd()#当前文件的父路径father_path=os.path.abspath(os.path.dirname(pwd)+os.path.sep+".")#当前文件的前两级目录grader_father=os.path.abspath(os.path.dirname(pwd)+os.path.sep+"..")追加部分代码实例defTestPrtPwd(self):print("获取当前文件路径――"+os.path

系统 2019-09-27 17:55:58 1843

Python

Python程序设计模式

Python设计模式设计模式(DesignPattern)是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结。使用设计模式的目的:为了代码可重用性、让代码更容易被他人理解、保证代码可靠性。设计模式使代码编写真正工程化;设计模式是软件工程的基石脉络,如同大厦的结构一样。所有的设计模式示例都是来源于菜鸟教程,每个设计模式的UML都可以在菜鸟教程中找到相应的示例github地址:Python设计模式以工厂模式为例:工厂模式在菜鸟教程中的UML图为工厂

系统 2019-09-27 17:55:35 1843

Python

纯Python开发的nosql数据库CodernityDB介绍和使用实例

看看这个logo,有些像python的小蛇吧。这次介绍的数据库codernityDB是纯python开发的。先前用了下tinyDB这个本地数据库,也在一个api服务中用了下,一开始觉得速度有些不给力,结果一看实现的方式,真是太鸟了,居然就是json的存储,连个二进制压缩都没有。这里介绍的CodernityDB也是纯开发的一个小数据库。CodernityDB是开源的,纯Python语言(没有第三方依赖),快速,多平台的NoSQL型数据库。它有可选项支持HTT

系统 2019-09-27 17:55:03 1843

Python

开发人工智能电话机器人必须掌握的语言,Python

要说近几年科技圈什么最火热,无疑就是人工智能,各大科技公司纷纷投入这个浪潮之中,很多从事的是毫不相关的行业的企业也投入到了人工智能的开发与应用中,也想在里面分得一勺半羹。提及人工智能,就不得不说到和他息息相关的开发工具,python就是最接近AI的预言之一。总所周知,机器学习和深度学习是开发人工智能两个非常重要的模块,而Python拥有keras、Numpy、matplotlib、sklearn、等大量的库,像matplotlib、sklearn、pand

系统 2019-09-27 17:53:31 1843

Python

Python数据分析模块pandas用法详解

本文实例讲述了Python数据分析模块pandas用法。分享给大家供大家参考,具体如下:一介绍pandas(PythonDataAnalysisLibrary)是基于numpy的数据分析模块,提供了大量标准数据模型和高效操作大型数据集所需要的工具,可以说pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一。pandas主要提供了3种数据结构:1)Series,带标签的一维数组。2)DataFrame,带标签且大小可变的二维表格结构。

系统 2019-09-27 17:52:24 1843

Python

Python--实现二叉树的遍历操作

一、首先二叉树的定义:classTreeNode:def__init__(self,x):self.val=xself.left=Noneself.right=None构建一棵二叉树:classNode(object):def__init__(self,val):self.val=valself.lchild=Noneself.rchild=NoneclassTree(object):def__init__(self):self.root=Noneself

系统 2019-09-27 17:52:24 1843

Python

“晓白”学python-科普篇(4)-那些和python相关的岗位之...python爬虫工程师

上一小节老袁给晓白介绍了python-web开发工程师主要做什么,并从初中高级三个层次分析了这个岗位的具体需求。本节继续介绍python爬虫工程师的一些具体要求。python爬虫工程师该岗位做什么?python爬虫工程师主要是从网上爬取各种数据,然后对数据做整理和简单的存储。具体的职责如下:设计并实现公司的爬虫软件设计并实现网络数据的抓取规则,可以定期爬取指定的网站设计爬虫策略和防屏蔽规则,提高网页抓取效率和质量实现数据提取,清洗,结构化,数据库存储和统计

系统 2019-09-27 17:50:32 1843

Python

Python 实现数据结构-循环队列的操作方法

今天我们来到了循环队列这一节,之前的文章中,我介绍过了用python自带的列表来实现队列,这是最简单的实现方法。但是,我们都知道,在列表中删除第一个元素和删除最后一个元素花费的时间代价是不一样的,删除列表的第一个元素,那么在它之后的所有元素都要进行移动。所以当列表特别长的时候,这个代价就比较明显了。我们本文介绍的循环队列可以避免这个问题,同样我们上篇文章提到的用链表实现的方法也可以避免。下面,我们来介绍循环队列。循坏队列循环队列,就是将普通的队列首尾连接起

系统 2019-09-27 17:50:25 1843