- 军军小站|张军博客
搜索到与相关的文章
Python

python_爬虫基础

url组成:协议域名端口(如果url里面没有端口,那么采用默认端口)文件路径文件名参数锚点HTTP:超文本传输协议端口:80工作原理:请求响应模型无连接无状态http请求包含哪些内容请求行(请求方法[get、post]url协议版本)请求头(每个参数以键值对形式存在)空行请求数据(请求参数)请求头参数1、user-agent:请求发起者的身份信息User-Agent:Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKi

系统 2019-09-27 17:46:58 1840

Python

python协程gevent案例 爬取斗鱼图片过程解析

分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图:在里面的请求中,最后发现它是以ajax加载的数据,数据格式为json,如图:圈住的部分是我们需要的数据,然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1,出于学习目的只爬取第一页(减少服务器压力)。然后把网址放到浏览器中测试是否可以访问。如图:结果正常。分析json数据,提取图片链接最后分析发现

系统 2019-09-27 17:46:57 1840

Python

python保存字典和读取字典的实例代码

读取一个已经保存了的字典f=open('dict_th','r')a=f.read()dict_hi=eval(a)f.close()保存一个字典dict={}list1=[]list2=[]forlineinlines:line=line.strip()if">"inline:list1.append(line)else:list2.append(line)foriinrange():dict[list1[i]]=list2[i]f6=open("dic

系统 2019-09-27 17:46:38 1840

Python

Python的Django中django-userena组件的简单使用教程

利用twitter/bootstrap,项目的基础模板算是顺利搞定。接下来开始处理用户中心。用户中心主要包括用户登陆、注册以及头像等个人信息维护。此前,用户的注册管理我一直使用django-registration。只是这个APP有些不思进取,09年发布了0.8alpha版后就一直没什么动静。这次决定尝试另外一个用户模块组件django-userena。相比django-registration,django-userena的功能要完善的多。除基础的登陆注

系统 2019-09-27 17:46:12 1840

Python

构建Python包的五个简单准则简介

创建一个软件包(package)似乎已经足够简单了,也就是在文件目录下搜集一些模块,再加上一个__init__.py文件,对吧?我们很容易看出来,随着时间的推移,通过对软件包的越来越多的修改,一个设计很差的软件包可能会出现循环依赖问题,或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包,你可能会忍不住把工具方法,工厂方法和异常处理都丢进__init__.py,千万别这样!一个结构良好的__init__.py文件,仅为一

系统 2019-09-27 17:45:42 1840

Python

Python中函数的用法实例教程

本文以数值计算为例讲述了Python中函数的用法,分享给大家供大家参考借鉴之用。具体如下:我们都知道圆的面积计算公式为:S=πr2当我们知道半径r的值时,就可以根据公式计算出面积。假设我们需要计算3个不同大小的圆的面积:r1=12.34r2=9.08r3=73.1s1=3.14*r1*r1s2=3.14*r2*r2s3=3.14*r3*r3当代码出现有规律的重复的时候,你就需要当心了,每次写3.14*x*x不仅很麻烦,而且,如果要把3.14改成3.1415

系统 2019-09-27 17:45:31 1840

Python

Python实现保证只能运行一个脚本实例

保证只能运行一个脚本实例,方法是程序运行时监听一个特定端口,如果失败则说明已经有实例在跑。使用装饰器实现,便于重用复制代码代码如下:importfunctoolsdefjust_one_instance(func):'''装饰器如果已经有实例在跑则退出复制代码代码如下::return:'''@functools.wraps(func)deff(*args,**kwargs):importsockettry:#全局属性,否则变量会在方法退出后被销毁globa

系统 2019-09-27 17:45:27 1840

Python

Python中不同进制互相转换(二进制、八进制、十进制和十六进制)

在我的印象里面进制互相转换确实是很常见的问题,所以在Python中,自然也少不了把下面这些代码收为util。这是从网上搜索的一篇也的还可以的Python进制转换,经过验证可以使用。下面贴出它的实现代码:#!/usr/bin/envpython#-*-coding:utf-8-*-#2/10/16basetrans.wrotebysrcdogon20th,April,2009#ldelementsinbase2,10,16.importos,sys#glob

系统 2019-09-27 17:38:46 1840

Python

Python中的yield浅析

在介绍yield前有必要先说明下Python中的迭代器(iterator)和生成器(constructor)。一、迭代器(iterator)在Python中,for循环可以用于Python中的任何类型,包括列表、元祖等等,实际上,for循环可用于任何“可迭代对象”,这其实就是迭代器迭代器是一个实现了迭代器协议的对象,Python中的迭代器协议就是有next方法的对象会前进到下一结果,而在一系列结果的末尾是,则会引发StopIteration。任何这类的对象

系统 2019-09-27 17:38:45 1840

Python

简单介绍Python中利用生成器实现的并发编程

我们都知道并发(不是并行)编程目前有四种方式,多进程,多线程,异步,和协程。多进程编程在python中有类似C的os.fork,当然还有更高层封装的multiprocessing标准库,在之前写过的python高可用程序设计方法中提供了类似nginx中masterprocess和workerprocess间信号处理的方式,保证了业务进程的退出可以被主进程感知。多线程编程python中有Thread和threading,在linux下所谓的线程,实际上是LW

系统 2019-09-27 17:38:17 1840