编程技术 - 军军小站|张军博客
Python

python爬虫学习之爬取某图片网站

0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题,创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在,返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge

系统 2019-09-27 17:48:14 1859

Python

Python使用稀疏矩阵节省内存实例

推荐系统中经常需要处理类似user_id,item_id,rating这样的数据,其实就是数学里面的稀疏矩阵,scipy中提供了sparse模块来解决这个问题,但scipy.sparse有很多问题不太合用:1、不能很好的同时支持data[i,...]、data[...,j]、data[i,j]快速切片;2、由于数据保存在内存中,不能很好的支持海量数据处理。要支持data[i,...]、data[...,j]的快速切片,需要i或者j的数据集中存储;同时,为了

系统 2019-09-27 17:48:09 1859

Python

python 读写excel文件操作示例【附源码下载】

本文实例讲述了python读写excel文件操作。分享给大家供大家参考,具体如下:对excel文件的操作,python有第三方的工具包支持,xlutils,在这个工具包中包含了xlrd,xlwt等工具包.利用这些工具,可以方便的对excel进行操作。1.下载xlutils:http://pypi.python.org/pypi/xlutils2.安装,解压下载文件之后,可以pythonsetup.pyinstall3.应用(生成EXCEL,遍历EXCEL,

系统 2019-09-27 17:47:52 1859

Python

Python中的并发编程实例

一、简介我们将一个正在运行的程序称为进程。每个进程都有它自己的系统状态,包含内存状态、打开文件列表、追踪指令执行情况的程序指针以及一个保存局部变量的调用栈。通常情况下,一个进程依照一个单序列控制流顺序执行,这个控制流被称为该进程的主线程。在任何给定的时刻,一个程序只做一件事情。一个程序可以通过Python库函数中的os或subprocess模块创建新进程(例如os.fork()或是subprocess.Popen())。然而,这些被称为子进程的进程却是独立

系统 2019-09-27 17:47:46 1859

Python

好程序员Python学习路线分享实现快速排序算法

好程序员Python学习路线分享实现快速排序算法,快速排序算法是一种基于交换的高效的排序算法,由C.R.A.Hoare于1962年提出,是一种划分交换排序。它采用了一种分治的策略,通常称其为分治法(Divideandconqueralgorithm)。分治法的基本思想将原问题分解为若干个规模更小但结构与原问题相似的子问题。递归地解这些子问题,然后将这些子问题的解组合为原问题的解。快速排序的基本思想先找到一个基准点(一般指数组的中部),然后数组被该基准点分为

系统 2019-09-27 17:47:30 1859

Python

python中的内置函数getattr()介绍及示例

在python的官方文档中:getattr()的解释如下:getattr(object,name[,default])Returnthevalueofthenamedattributeofobject.namemustbeastring.Ifthestringisthenameofoneoftheobject'sattributes,theresultisthevalueofthatattribute.Forexample,getattr(x,'fooba

系统 2019-09-27 17:47:19 1859

Python

Python标准库之Sys模块使用详解

sys模块提供了许多函数和变量来处理Python运行时环境的不同部分.处理命令行参数在解释器启动后,argv列表包含了传递给脚本的所有参数,列表的第一个元素为脚本自身的名称.使用sys模块获得脚本的参数复制代码代码如下:print"scriptnameis",sys.argv[0]#使用sys.argv[0]采集脚本名称iflen(sys.argv)>1:print"thereare",len(sys.argv)-1,"arguments:"#使用len(

系统 2019-09-27 17:46:35 1859

Python

python 含子图的gif生成时内存溢出的方法

今天想用python做个demo,含两个子图的动态gif,代码如下:importmatplotlib.pyplotaspltimportimageio,osimportmatplotlib#plt.ion()fig=plt.figure(0)ax1=plt.subplot(121)ax2=plt.subplot(122)ax1.set_title('input')ax2.set_title('GT')foriinrange(1000):img1=plt.i

系统 2019-09-27 17:46:22 1859

Python

使用Python的Django框架中的压缩组件Django

为了加快网站的加载速度,我们通常要多js和css进行压缩处理。这些js和css的压缩工作如果都手动处理,费时费力。DjangoCompressor可以实现js/css的自动压缩。DjangoCompressor在易用性方面做的非常好,按照文档做简单的设置后就可以正常工作。强烈建议大家去将文档完整的看一遍(文档很短)。使用的时候,只需要将css/js放到compress标签中DjangoCompressor即可自动进行处理。在debug模式时,DjangoC

系统 2019-09-27 17:46:13 1859

Python

Atom Python 配置Python3 解释器的方法

环境MacPython3.6.4Atom背景Atom执行PythonCode使用ScriptPackage,执行快捷键cmd+i。但是默认是执行Mac系统的2.7版本的Python。配置cmd+,(cmd+逗号)快捷键打开Settings,或者点击Atom→Preferences打开Settings点击OpenConfigFolder(会打开Atom的Project)打开.atom/packages/script/lib/grammars/python.c

系统 2019-09-27 17:46:08 1859

Python

Python安装selenium包详细过程

Python安装selenium包打开命令行窗口,进入python交互环境python尝试导入selenium包,报错,说明尚未安装seleniumimportselenium退出python交互环境exit()使用pip安装selenium包pipinstallselenium下载对应版本的webdirver,这里用的是某歌的,因为本机安装的某歌浏览器,网页有对应版本说明及下载地址,这里不写了,注意的是下载的dirver一定要在环境变量里path配有的路

系统 2019-09-27 17:46:04 1859

Python

Python基础--字典操作

dic={'key1':'value1','key2':'value2'}一、增if'key3'notindic:dic['key3']='value3'二、删deldic['key1']#删除键是'Name'的条目dic.clear()#清空字典所有条目deldic#删除字典三、改dic['key1']='value0'#更新四、查遍历forkey,valueindic.items():print(key,value)#同时遍历key,valuefori

系统 2019-09-27 17:45:50 1859

Python

python爬虫入门教程之糗百图片爬虫代码分享

学习python少不了写爬虫,不仅能以点带面地学习、练习使用python,爬虫本身也是有用且有趣的,大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下,写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下:复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------

系统 2019-09-27 17:45:42 1859

Python

python+mysql实现简单的web程序

这次要为我的python程序加上数据库,主要是实现从mysql中查询出数据并在页面上显示出来。首先是mysql的配置文件config.pyhost="127.0.0.1"user="root"password=""charset="utf8"database="service"port=3306然后是从数据库中读取数据的aService.pyimportMySQLdbimportsysimportconfigclassAService(object):de

系统 2019-09-27 17:45:28 1859

Python

对于Python编程中一些重用与缩减的建议

返璞归真许多流行的玩具都以这样一个概念为基础:简单的积木。这些简单的积木可通过多种方式组合在一起构造出全新的作品――有时甚至完全令人出乎意料。这一概念同样适用于现实生活中的建筑领域,将基本原材料组合在一起,形成有用的建筑物。平凡无奇的材料、技术和工具简化了新建筑物的建造过程,同样也简化了对新踏入此领域的人员的培训。相同的基本概念也适用于计算机程序开发技术,包括以Python编程语言编写的程序。本文介绍了使用Python创建基本构件(buildingbloc

系统 2019-09-27 17:38:30 1859