- 军军小站|张军博客
拥有Python标签的文章
Python

Python爬虫利用cookie实现模拟登陆实例详解

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。举个例子,某些网站是需要登录后才能得到你想要的信息的,不登陆只能是游客模式,那么我们可以利用Urllib2库保存我们以前登录过的Cookie,之后载入cookie获取我们想要的页面,然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取,这仅仅只是一个简单的Py

系统 2019-09-27 17:56:06 1943

Python

02_python基础(面向对象编程)

面向对象编程:把一组数据结构和处理它们的方法组成对象(object),把相同行为的对象归纳为类(class),通过类的封装(encapsulation)隐藏内部细节,通过继承(inheritance)实现类的特化(specialization)和泛化(generalization),通过多态(polymorphism)实现基于对象类型的动态分派。面向对象思想三大要素:封装,继承和多态。1定义使用类classStudent(object):#__init__

系统 2019-09-27 17:55:18 1943

Python

Python 面向对象基础

一、面向对象概述如今主流的软件开发思想有两种:一个是面向过程,另一个是面向对象。面向过程出现得较早,典型代表为C语言,开发中小型项目的效率很高,但是很难适用于如今主流的大中型项目开发场景。面向对象则出现得更晚一些,典型代表为Java或C++等语言,更加适合用于大型开发场景。两种开发思想各有长短。对于面向过程的思想:需要实现一个功能的时候,看重的是开发的步骤和过程,每一个步骤都需要自己亲力亲为,需要自己编写代码(自己来做)对于面向对象的思想:当需要实现一个功

系统 2019-09-27 17:53:52 1943

Python

python爬虫实例二:地图上的火锅美味

申明:本文出自我自己的微信号python1024,属于个人原创。先看下代码目录结构:有三个.py文件,map_craw.py、stat.py、store.py分别的功能是爬取数据、数据分析、将爬取的数据存储入mysql数据库中,由于stat.py还没写完,这篇文章主要讲数据的爬取与存储。这里的地图就是baidumap,如果是没有爬虫基础的同学先到CSDN里面搜一下,安装个Chrome浏览器,顺便在浏览器的右上角更多中找到更多工具—>扩展程序选项将JSONV

系统 2019-09-27 17:53:30 1943

Python

记一次安装python3.7.3

1、默认python3、ipython3、pip的路径name@host:~$whichpython/usr/bin/pythonname@host:~$whichpython3/usr/bin/python3name@host:~$whichpip/usr/local/bin/pipname@host:~$whichpip3/usr/local/bin/pip3name@host:~$whichipython3/usr/local/bin/ipython

系统 2019-09-27 17:53:11 1943

Python

python4:九九乘法表,菱形,斐波那契数列,指定项

打印九九乘法表:外层控制行数,内层控制列数。foriinrange(1,10):j=1whilej<=i:print(i,'*',j,'=',(i*j),'',end='')j+=1print('\n')打印菱形思路:分成两层从中间,这个想法很low。i=9m=i//2t=mwhilet!=0:print(t*'','*'*(i-2*t),t*'')t-=1t=1whilet!=m:t+=1print(t*'','*'*(i-2*t),t*'')方法二:对

系统 2019-09-27 17:52:57 1943

Python

Python读取MRI并显示为灰度图像实例代码

本文实例主要关于Python实现读取MRI(核磁共振成像)为numpy数组,使用imshow显示为灰度。代码如下:importmatplotlib.pyplotaspltimportmatplotlib.cbookascbookimportmatplotlib.cmascmimportnumpyasnp#Dataare256x25616bitintegerswithcbook.get_sample_data('s1045.ima.gz')asdfile:i

系统 2019-09-27 17:52:46 1943

Python

Python爬取视频(其实是一篇福利)过程解析

窗外下着小雨,作为单身程序员的我逛着逛着发现一篇好东西,来自知乎你都用Python来做什么?的第一个高亮答案。到上面去看了看,地址都是明文的,得,赶紧开始吧。下载流式文件,requests库中请求的stream设为True就可以啦,文档在此。先找一个视频地址试验一下:#-*-coding:utf-8-*-importrequestsdefdownload_file(url,path):withrequests.get(url,stream=True)asr

系统 2019-09-27 17:52:41 1943

Python

Python字符串中查找子串小技巧

惭愧啊,今天写了个查找子串的Python程序被BS了…如果让你写一个程序检查字符串s2中是不是包含有s1。也许你会很直观的写下下面的代码:复制代码代码如下:#determinewhethers1isasubstringofs2defisSubstring1(s1,s2):tag=Falselen1=len(s1)len2=len(s2)foriinrange(0,len2):ifs2[i]==s1[0]:forjinrange(0,len1):ifs2[i

系统 2019-09-27 17:50:23 1943

Python

用Python爬取QQ音乐评论并制成词云图的实例

环境:Ubuntu16.4python版本:3.6.4库:wordcloud这次我们要讲的是爬取QQ音乐的评论并制成云词图,我们这里拿周杰伦的等你下课来举例。第一步:获取评论我们先打开QQ音乐,搜索周杰伦的《等你下课》,直接拉到底部,发现有5000多页的评论。这时候我们要研究的就是怎样获取每页的评论,这时候我们可以先按下F12,选择NetWork,我们可以先点击小红点清空数据,然后再点击一次,开始监控,然后点击下一页,看每次获取评论的时候访问获取的是哪几条

系统 2019-09-27 17:49:01 1943

Python

详解Python3中setuptools、Pip安装教程

1、安装setuptools命令如下:wget--no-check-certificatehttps://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26tar-zxvfsetuptools-19.6.tar.gzcdsetuptools-19.6python3setup.pybuildpython

系统 2019-09-27 17:48:33 1943

Python

python实现socket+threading处理多连接的方法

一.运行效果先说两句,之前我在网上找的相关文章标题上写的是处理多连接,尼玛,全是假的。网上那些,根本不能异步处理多连接,不能主动给客户端发消息。在服务端控制台输入1,查看在线人数。给指定客户端发送消息。二.开发思路以下说的是服务端开发思路,客户端比较简单就不说了。首先,需要明白的是socket的accept和recv这两个方法是阻塞线程的。这就意味着我们需要新开线程来处理这两个方法。具体的程序流程大概是这样的:1.新开一个线程用于接收新的连接(socket

系统 2019-09-27 17:46:27 1943

Python

Python进阶小结

目录一、异常TODO二、深浅拷贝2.1拷贝2.2浅拷贝2.3深拷贝三、数据类型内置方法3.1数字类型内置方法3.1.1整型3.1.2浮点型3.2字符串类型内置方法3.3列表类型内置方法3.4元祖类型内置方法3.5字典类型内置方法3.6集合类型内置方法3.7布尔类型四、数据类型分类4.1按值个数4.2按有序无序4.3按可变不可变一、异常TODO万能捕捉异常公式try:#逻辑代码1/0exceptExceptionase:print(e)divisionbyz

系统 2019-09-27 17:45:32 1943

Python

python中的编码知识整理汇总

问题在平时工作中,遇到了这样的错误:UnicodeDecodeError:'ascii'codeccan'tdecodebyte想必大家也都碰到过,很常见。于是决定对python的编码做一个整理和学习。基础知识在python2.x中,有两种数据类型,unicode和str,这两个都是basestring的子类>>>a='中'>>>type(a)>>>isinstance(a,basestring)True>>>a=u'中'>>>type(a)>>>isin

系统 2019-09-27 17:38:31 1943