Python - 军军小站|张军博客
Python

Python中optionParser模块的使用方法实例教程

本文以实例形式较为详尽的讲述了Python中optionParser模块的使用方法,对于深入学习Python有很好的借鉴价值。分享给大家供大家参考之用。具体分析如下:一般来说,Python中有两个内建的模块用于处理命令行参数:一个是getopt,《Deepinpython》一书中也有提到,只能简单处理命令行参数;另一个是optparse,它功能强大,而且易于使用,可以方便地生成标准的、符合Unix/Posix规范的命令行说明。示例如下:fromoptpar

系统 2019-09-27 17:38:24 1917

Python

零基础写python爬虫之爬虫的定义及URL构成

一、网络爬虫的定义网络爬虫,即WebSpider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来,网络爬虫

系统 2019-09-27 17:38:09 1917

Python

python 采集中文乱码问题的完美解决方法

近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录1.在正常情况下..可以用importchardetthischarset=chardet.detect(strs)["encoding"]来获取该文件或页面的编码方式或直接抓取页面的charset=xxxx来获取2.遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.st

系统 2019-09-27 17:38:01 1917

Python

Python的Django框架中的Context使用

一旦你创建一个Template对象,你可以用context来传递数据给它。一个context是一系列变量和它们值的集合。context在Django里表现为Context类,在django.template模块里。她的构造函数带有一个可选的参数:一个字典映射变量和它们的值。调用Template对象的render()方法并传递context来填充模板:>>>fromdjango.templateimportContext,Template>>>t=Templ

系统 2019-09-27 17:37:55 1917

Python

python调用接口的方式

python中调用API的几种方式:-urllib2-httplib2-pycurl-requestsurllib2importurllib2,urllibgithub_url='https://api.github.com/user/repos'password_manager=urllib2.HTTPPasswordMgrWithDefaultRealm()password_manager.add_password(None,github_url,'u

系统 2019-09-27 17:57:30 1916

Python

Python:给定样本的排列组合,使用itertools

importitertools'''#product笛卡尔积(有放回的抽样排列)foriinitertools.product('ABCD',repeat=2):print(i)''''''#permutations排列(不放回抽样排列)foriinitertools.permutations('ABCD',2):print(i)''''''#combinations组合,没有重复(不返回抽样组合)foriinitertools.combinations(

系统 2019-09-27 17:57:07 1916

Python

python网络爬虫学习笔记之一 爬虫基础入门

爬虫工作的三个基本步骤:爬取网页、解析内容、存储数据准备先安装爬取网页需要用到的第三方库:requests和bs4pipinstallrequestspipinstallbs4爬取网页#coding:UTF-8importrequestslink="http://www.santostang.com/"headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(K

系统 2019-09-27 17:57:02 1916

Python

Python

一、Python基础1.1基本语法行与缩进:python最具特色的就是使用缩进来表示代码块,不需要使用大括号{}。多行语句:Python通常是一行写完一条语句,但如果语句很长,我们可以使用反斜杠()来实现多行语句,在[],{},或()中的多行语句,不需要使用反斜杠(\)。数字类型:整数int、布尔型bool(true)、浮点数float和复数complex(1+2j、1.1+2.2j)。字符串:引号和双引号使用完全相同,使用三引号(’’'或""")可以指定

系统 2019-09-27 17:53:35 1916

Python

python3 selenium + fiddler 爬取动态js页面数据

一、分析:抓取动态页面js加载的人民日报里面的新闻详情https://wap.peopleapp.com/news/1先打开,然后查看网页源码,发现是一堆js,并没有具体的每个新闻的url详情,于是第一反应,肯定是js动态加载拼接的url。然后接着按f12查看,就看url,发现出来了好多url。然后点击具体的某一个新闻详情页面,查看url,把这个url的后面两个数字其中一个拿到访问主页的时候,f12抓包结果里面去查找,发现一个url,点击这个url,发现p

系统 2019-09-27 17:52:31 1916

Python

【python+selenium学习】常见错误: 'gbk' codec

最近编写的自动化脚本,数据部分使用到了从配置文件中取,即自定义config.ini,但是在读取配置文件的时候却报错了'gbk'codeccan'tdecodebyte0xb0inposition30。错误信息的意思是gbk'编解码无法解码字节0xb0。开始我以为是配置文件中出现了中文字符,可检查后发现并没有。在网上查了相关资料后,无果。于是请教了其他同事,经过十几分钟的检查和验证,原来我在创建congfi.ini文件时,默认保存的编码类型是UTF-8。于是

系统 2019-09-27 17:52:28 1916

Python

Python--变量

变量的定义如:>>>width=20>>>height=5*9>>>width*height900>>>string="shouke"注意:1.Python中不能使用未定义的变量2.变量的定义无需进行类型声明,可直接赋值3.交互模式中,‘_’表示表达式最后输出值,如下:>>>tax=12.5/100>>>price=100.5>>>price*tax12.5625>>>price+_#等同于price+12.5625113.0625>>>round(_,2

系统 2019-09-27 17:52:16 1916

Python

详解Python3 pandas.merge用法

摘要数据分析与建模的时候大部分时间在数据准备上,包括对数据的加载、清理、转换以及重塑。pandas提供了一组高级的、灵活的、高效的核心函数,能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解。(用过SQL或其他关系型数据库的可能会对这个方法比较熟悉。)码字不易,喜欢请点赞!!!1.merge函数的参数一览表2.创建两个DataFrame3.pd.merge()方法设置连接字段。默认参数how是inner内连接,并且会按照相同的

系统 2019-09-27 17:51:27 1916

Python

Python数据分析基础

本书特色想深入应用手中的数据?还是想在上千份文件中重复同样的分析过程?没有编程经验的非程序员们如何能在最短的时间内学会用当今炙手可热的Python语言进行数据分析?来自Facebook的数据专家ClintonBrownley可以帮您解决上述问题。在他的这本书里,读者将能掌握基本Python编程方法,学会编写出处理电子表格和数据库中的数据的脚本,并了解使用Python模块来解析文件、分组数据和生成统计量的方法。●学习基础语法,创建并运行自己的Python脚本

系统 2019-09-27 17:49:39 1916

Python

python字典操作总结

python中的字典等同于键—值对,1个key对应1个value。接下来总结下字典的一些常见操作1、创建字典2、添加、修改字典3、删除字典or字典中的值4、遍历字典5、嵌套一、创建字典Python有两种方法可以创建字典,第一种是使用花括号,另一种是使用内建函数dict例>>>info={'color':'green','points':'5'}>>>info1=dict(color='green',points='5')>>>print(info)>>>p

系统 2019-09-27 17:48:37 1916