搜索到与相关的文章
Python

Python数据可视化学习笔记1-绘制折线图

importmatplotlib.pyplotaspltinput_values=[1,2,3,4,5]squares=[1,4,9,16,25]plt.plot(input_values,squares,linewidth=5)plt.title('SquareNumbers',fontsize=24)plt.xlabel('Value',fontsize=14)plt.ylabel('SquareValue',fontsize=24)plt.tick_

系统 2019-09-27 17:52:11 2401

Python

python爬取Ajax动态加载网页过程解析

常见的反爬机制及处理方式1、Headers反爬虫:Cookie、Referer、User-Agent解决方案:通过F12获取headers,传给requests.get()方法2、IP限制:网站根据IP地址访问频率进行反爬,短时间内进制IP访问解决方案:1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池2、购买开放代理或私密代理IP3、降低爬取的速度3、User-Agent限制:类似于IP限制解决方案:构造自己的User-Agent池,每次访问随

系统 2019-09-27 17:51:32 2401

Python

python编写的最短路径算法

一心想学习算法,很少去真正静下心来去研究,前几天趁着周末去了解了最短路径的资料,用python写了一个最短路径算法。算法是基于带权无向图去寻找两个点之间的最短路径,数据存储用邻接矩阵记录。首先画出一幅无向图如下,标出各个节点之间的权值。其中对应索引:A――>0B――>1C――>2D――>3E――>4F――>5G――>6邻接矩阵表示无向图:算法思想是通过Dijkstra算法结合自身想法实现的。大致思路是:从起始点开始,搜索周围的路径,记录每个点到起始点的权值

系统 2019-09-27 17:51:19 2401

Python

Python图像处理PIL各模块详细介绍(推荐)

Image模块Image模块是在PythonPIL图像处理中常见的模块,对图像进行基础操作的功能基本都包含于此模块内。如open、save、conver、show…等功能。open类Image.open(file)⇒imageImage.open(file,mode)⇒image要从文件加载图像,使用open()函数,在Image模块:@zhangzijufromPILimportImage##调用库im=Image.open("E:\mywife.jpg

系统 2019-09-27 17:50:26 2401

Python

由Python运算π的值深入Python中科学计算的实现

π是一个无数人追随的真正的神奇数字。我不是很清楚一个永远重复的无理数的迷人之处。在我看来,我乐于计算π,也就是计算π的值。因为π是一个无理数,它是无限的。这就意味着任何对π的计算都仅仅是个近似值。如果你计算100位,我可以计算101位并且更精确。迄今为止,有些人已经选拔出超级计算机来试图计算最精确的π。一些极值包括计算π的5亿位。你甚至能从网上找到包含π的一百亿位的文本文件(注意啦!下载这个文件可能得花一会儿时间,并且没法用你平时使用的记事本应用程序打开。

系统 2019-09-27 17:49:11 2401

Python

Python程序中的进程操作-开启多进

目录一、multiprocess模块二、multiprocess.process模块三、process模块介绍3.1方法介绍3.2属性介绍3.3在windows中使用process模块的注意事项四、使用process模块创建进程4.1在Python中启动的第一个子进程4.2join方法4.3查看主进程和子进程的进程号4.4多个进程同时运行4.5多个进程同时运行,再谈join方法(1)4.6多个进程同时运行,再谈join方法(2)4.7通过继承Process

系统 2019-09-27 17:49:09 2401

Python

Python学习:日志

日志如果你曾经在代码中加入print()语句,在程序运行时输出某些变量的值,你就使用了记日志的方式来调试代码。记日志是一种很好的方式,可以理解程序中发生的事,以及事情发生的顺序。Python的logging模块使得你很容易创建自定义的消息记录。这些日志消息将描述程序执行何时到达日志函数调用,并列出你指定的任何变量当时的值。另一方面,缺失日志信息表明有一部分代码被跳过,从未执行。使用日志模块要启用logging模块,在程序运行时将日志信息显示在屏幕上,请将下

系统 2019-09-27 17:47:25 2401

Python

Python2.7版os.path.isdir中文路径返回false的解决方法

问题背景:本来想写一个脚本来处理硬盘里的文件,并进行分类处理,但是发现一个问题,使用python内置os模块里的方法出现一些问题,具体的见示例。主要使用的方法(python2.7版本)示例:在电脑的D盘下建立两个文件夹,并在两个文件夹下分别建立两个文件及目录:a:D:\\test\\test.txtb:D:\测试\测试.txt分别使用a,b路径来测试os.path的几个方法#!/usr/bin/envpython#-*-coding:utf-8-*-imp

系统 2019-09-27 17:46:41 2401

Python

python爬虫常用的模块分析

本文对Python爬虫常用的模块做了较为深入的分析,并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下:creepy模块某台湾大神开发的,功能简单,能够自动抓取某个网站的所有内容,当然你也可以设定哪些url需要抓。地址:https://pypi.python.org/pypi/creepy功能接口:set_content_type_filter:设定抓取的content-type(header中的contenttype)。包括text/htmla

系统 2019-09-27 17:45:57 2401

Python

用python + hadoop streaming 分布式编程(一

MapReduce与HDFS简介什么是Hadoop?Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统GoogleFileSystem,并发布了相关论文(可在GoogleResearch的网站上获得:GFS、MapReduce)。DougCutting和MikeCafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现,即同名的MapReduce和HDFS,合起来就是Hadoop。MapReduce的Dataflow如

系统 2019-09-27 17:38:38 2401