Python - 军军小站|张军博客
Python

【Python3爬虫】当爬虫碰到表单提交,有点意思

一、写在前面我写爬虫已经写了一段时间了,对于那些使用GET请求或者POST请求的网页,爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站,虽然爬取的难度不大,不过因为表单提交的存在,所以一开始还是有点摸不着头脑。至于最后怎么解决的,请慢慢往下看。二、页面分析这次爬取的网站是:https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg,该网站提供了美国的一些农田管理的数据。要查看具体的数据,需要选择年份、单位、

系统 2019-09-27 17:53:08 1891

Python

Python集中化管理平台Ansible介绍与YAML简介

本文实例讲述了Python集中化管理平台Ansible介绍与YAML。分享给大家供大家参考,具体如下:一中文社区http://ansible.cn/forum.php二点睛Ansible(http://www.ansibleworks.com/)一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,是AnsibleWorks公司名下的项目,该公司由Cobbler及Func的作者于2012年创建成立。Ansible基于Python语言实现,由Para

系统 2019-09-27 17:53:03 1891

Python

python爬虫 urllib模块发起post请求过程解析

urllib模块发起的POST请求案例:爬取百度翻译的翻译结果1.通过浏览器捉包工具,找到POST请求的url针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应的url点击clear按钮可以把抓包工具,所抓到请求清空然后填上翻译字条发送ajax请求,红色框住的都是发送的ajax请求抓包工具All按钮代表显示抓到的所有请求,包括GET、POST请求、基于ajax的POST请求XHR代表只显示抓到

系统 2019-09-27 17:52:59 1891

Python

Python爬取视频(其实是一篇福利)过程解析

窗外下着小雨,作为单身程序员的我逛着逛着发现一篇好东西,来自知乎你都用Python来做什么?的第一个高亮答案。到上面去看了看,地址都是明文的,得,赶紧开始吧。下载流式文件,requests库中请求的stream设为True就可以啦,文档在此。先找一个视频地址试验一下:#-*-coding:utf-8-*-importrequestsdefdownload_file(url,path):withrequests.get(url,stream=True)asr

系统 2019-09-27 17:52:41 1891

Python

Centos下实现安装Python3.6和Python2共存

写在前面centos6.8中默认自带的python版本为python2.6,那么这里需要将其改为python3下载并解压官方下载地址为https://www.python.org/downloads/,这里已3.6.3为例。#下载wgethttps://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz#解压tar-zxvfPython-3.6.3.tgzcdPython-3.6.3安装[root@localh

系统 2019-09-27 17:50:51 1891

Python

Python工程师面试时注意事项分享

Python作为当下炙手可热的互联网行业,吸引了一大批有志之士加入其中。那么掌握了相关技术,怎么在面试中一展风采俘获HR芳心呢?下面,千锋为大家总结了一些在Python面试中需要注意的事项,与君共享。​自我介绍之前讲过很多关于如何应对面试官提出的“自我介绍”这个问题,今天,针对Python程序员这个岗位,给大家重新梳理一下答题的结构。我们在做自我介绍时,可以按照:个人基本信息+基本技术构成+项目经验(具体项目以及在项目中的负责部分)+自我评价的结构来回答。

系统 2019-09-27 17:50:44 1891

Python

python Django里CSRF 对应策略详解

CSRF(CrossSiteRequestForgery,跨站域请求伪造)是一种网络的×××方式。我的理解是,比如你访问过招商银行的网站并登陆之后,你的cookie信息暂时不会失效,这时,hacker通过各种方式诱导你访问他给你提供的网站等链接,让你在同一浏览器访问hacker给你的网站时,那么他给你提供的网站里面有直接有向招商银行提交转账信息的请求,这时,这个转账请求会借用你刚刚登陆过招商银行的cookie信息,来使用的你的身份进行合法的转账。那么为了减

系统 2019-09-27 17:50:35 1891

Python

详解用Python练习画个美队盾牌

0环境Python版本:3.6.6操作系统:MacOSMojave10.14.21引言最近我媳妇每天晚上吃饭时候也拿手机看,上厕所也在看。看着看着还会笑?WTF?你在干嘛呢?没错,她在看美队……这男人比我帅?……比我有钱?……还是比我有腔调?……答案很明显,我相信你们的眼睛都是雪亮的。那问题来了,作为一个男人,怎么能忍?虽然是个明星,虽然是假的,虽然已经挽回不了败局了……那我就送个美队的盾牌给你吧……这篇文章不是Turtle的入门篇,所以关于基本的画笔使用

系统 2019-09-27 17:49:37 1891

Python

Python:暴力破解zip!

照顾没有接触过Python编程的同学,行文可能会有些啰嗦。废话少说,我们进入正题。2.1准备基本材料在/home/ziptest/目录下,我创建了两个文件,一个test.zip,是一个设置了密码的zip包,密码为456789。dict.txt文件是一个字典文件,简单的配置了几个密码。下面我们打开开发工具,开始编写测试代码。2.2ZIPFILE在python中操作zip文件,最简单的方式就是使用zipfile模块,使用该模块可以用来判断一个文件是否是压缩文件

系统 2019-09-27 17:49:27 1891

Python

用Python计算三角函数之acos()方法的使用

acos()方法返回x的反余弦值,以弧度表示。语法以下是acos()方法的语法:acos(x)注意:此函数是无法直接访问的,所以我们需要导入math模块,然后需要用math的静态对象来调用这个函数。参数x--这必须是在范围内的数字值-1到1,如果x大于1,则它会产生一个错误。返回值此方法返回的X反余弦,以弧度表示。例子下面的例子显示acos()方法的使用。#!/usr/bin/pythonimportmathprint"acos(0.64):",math.

系统 2019-09-27 17:47:33 1891

Python

用Python帮你上马,哪里无码打哪里

目录0引言1环境2需求分析3代码实现4代码全景展示5后记0引言所谓的像素图,就是对图像做一个颗粒化的效果,使其产生一种妙不可言的朦胧感。费话不多说,先来看一张效果图。▲效果图▲原图怎么样,效果还不错吧?现在,我们用Python来实现这种像素化的效果。1环境操作系统:WindowsPython版本:3.7.32需求分析一个最简单的实现思路,在打开图片后,把图片分割成一些像素块,再对这些像素块中的图像信息进行处理(修改图像中的RGB值)即可。这里我们使用Num

系统 2019-09-27 17:47:25 1891

Python

python爬虫爬取某站上海租房图片

对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python版本:python3.6,IDE:pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。第三方库首先安装我是用的pycharm所以另为的脚本安装我这就不介绍了。如上图打开默认设置选择ProjectInterprect

系统 2019-09-27 17:38:40 1891

Python

python语言元素知识点详解

指令和程序计算机的硬件系统通常由五大部件构成,包括:运算器、控制器、存储器、输入设备和输出设备。其中,运算器和控制器放在一起就是我们通常所说的中央处理器,它的功能是执行各种运算和控制指令以及处理计算机软件中的数据。我们通常所说的程序实际上就是指令的集合,我们程序就是将一系列的指令按照某种方式组织到一起,然后通过这些指令去控制计算机做我们想让它做的事情。今天我们使用的计算机虽然器件做工越来越精密,处理能力越来越强大,但究其本质来说仍然属于“冯・诺依曼结构”的

系统 2019-09-27 17:38:22 1891

Python

使用Python导出Excel图表以及导出为图片的方法

本篇讲下如何使用纯python代码将excel中的图表导出为图片。这里需要使用的模块有win32com、pythoncom模块。网上经查询有人已经写好的模块pyxlchart,具体代码如下:fromwin32com.clientimportDispatchimportosimportpythoncomclassPyxlchart(object):"""ThisclassexportschartsinanExcelSpreadsheettotheFileSy

系统 2019-09-27 17:37:59 1891

Python

基于Python_脚本CGI、特点、应用、开发环境(详解)

CGICGI目前由NCSA维护,NCSA定义CGI如下:CGI(CommonGatewayInterface),通用网关接口,它是一段程序,运行在服务器上如:HTTP服务器,提供同客户端HTML页面的接口。CGI程序可以是Python脚本、Perl脚本、Shell脚本、C或者C++程序等。服务器在你进行CGI编程前,确保您的Web服务器支持CGI及已经配置了CGI的处理程序。所有的HTTP服务器执行CGI程序都保存在一个预先配置的目录。这个目录被称为CGI

系统 2019-09-27 17:37:53 1891