Python

python3爬虫怎样构建请求header

写一个爬虫首先就是学会设置请求头header,这样才可以伪装成浏览器。下面小编我就来给大家简单分析一下python3怎样构建一个爬虫的请求头header。1、python3跟2有了细微差别,所以我们先要引入request,python2没有这个request哦。然后复制网址给url,然后用一个字典来保存header,这个header怎么来的?看第2步。2、打开任意浏览器某一页面(要联网),按f12,然后点network,之后再按f5,然后就会看到“name

系统 2019-09-27 17:50:06 2809

Python

windows下安装python

安装python1、官网百度Python官网,点击进入或者直接点击链接2、在官网中,点击【download】→选择【Windows】点击3、选择想要安装的版本针对对应的版本【Windowsx86-64executableinstaller】下载(Download)4、双击下载下来的安装包【python-3.7.0-amd64.exe】,然后勾选【AddPython3.7toPATH】(注释:若勾选,则安装时会自动添加环境变量;若未勾选,则需要安装成功之后,

系统 2019-09-27 17:52:25 2808

Python

python格式化输出保留2位小数的实现方法

我是小白就不用多说了,学习python做了个练习题,结果运行了一遍,发现输入金额后得到的有很多位小数,虽然不知道为什么,但是看得很不舒服,就想到应该把让小数点后只保留2位数找到了方法:将{0}改为{:.2f}#一家商场在降价促销。如果购买金额50-100元(包含50元和100元)之间,#会给10%的折扣,如果购买金额大于100元会给20%折扣。编写一程序,#询问购买价格,再显示出折扣(%10或20%)和最终价格sum_money=float(input('

系统 2019-09-27 17:50:48 2808

Python

PYTHON使用中 遇到的问题及解决

1,MYSQL安装与使用相关:https://blog.csdn.net/qq_30336433/article/details/80037989navicat注册安装和激活(验证可行)PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,Python2中则使用mysqldb。https://www.runoob.com/python3/python3-mysql.htmlPython3MySQL数据库连接-PyMySQL驱动http

系统 2019-09-27 17:49:21 2808

Python

Python-windows10安装和使用python3虚拟环境

环境信息操作系统:windows10python版本:3.6.3安装下载安装python3.6.3进入官网:https://www.python.org/downloads(windows)选择:Windowsx86-64web-basedinstallerWindowsx86-64web-basedinstaller#指的是安装的时候需要联网,体积小,下载快,推荐Windowsx86-64executableinstaller#指的是使用XXX.exe文

系统 2019-09-27 17:47:50 2808

Python

Python-海龟绘图体系(turtle)

目录turtle库基本介绍turtle绘图窗体布局turtle空间坐标体系turtle角度坐标体系RGB色彩体系turtle库基本介绍turtle库是turtle绘图体系的Python实现,1969年诞生,主要用于程序设计入门turtle绘图窗体布局turtle空间坐标体系绝对坐标相对坐标(海龟坐标)turtle.circle(r,angle)中r是圆心,angle是角度,r为正数(负数),圆心在海龟左侧(右侧)r处,angle为正数(负数),绘制方向和海

系统 2019-09-27 17:46:47 2808

Python

基于python实现的抓取腾讯视频所有电影的爬虫

我搜集了国内10几个电影网站的数据,里面近几十W条记录,用文本没法存,mongodb学习成本非常低,安装、下载、运行起来不会花你5分钟时间。#-*-coding:utf-8-*-#byawakenjoys.mysite:www.dianying.atimportreimporturllib2frombs4importBeautifulSoupimportstring,timeimportpymongoNUM=0#全局变量,电影数量m_type=u''#全局

系统 2019-09-27 17:37:39 2808

Python

【Python机器学习及实践】基础篇:无监督学习经典模型(特征降维)

Python机器学习及实践——基础篇:无监督学习经典模型(特征降维)特征降维不仅可以重构有效的低维度特征向量,同时也为数据展现提供了可能。在特征降维的方法种,主成分分析(PrincipalComponentAnalysis,PCA)是最为经典和实用的特征降维技术,特别是辅助图像识别方法有突出的表现。1.主成分分析线性相关矩阵秩计算样例importnumpyasnp#初始化一个2*2的线性相关矩阵M=np.array([[1,2],[2,4]])#计算2*2

系统 2019-09-27 17:45:46 2807

Python

python之字符串填充和对齐

函数名说明A.center(n【,B】)将字符串A居中,len(A)>n返回A,len(A)A.ljust(n【,B】)将字符串A左对齐,同上A.rjust(n【,B】)将字符串A右对齐,同上A.zfill()将字符串右对齐,剩余0补齐将字符串居中对齐,左右对齐,30为总字符长度,默认用空格填充a='IloveChian'print(a.center(30))print(a.ljust(30,'-'))print(a.rjust(30,'_'))字符串右对

系统 2019-09-27 17:49:56 2806

Python

基于python实现的百度音乐下载器python pyqt改进版(附代码)

前言之前写过一个用python实现的百度新歌榜、热歌榜下载器的文章,实现了百度新歌、热门歌曲的爬取与下载。但那个采用的是单线程,网络状况一般的情况下,扫描前100首歌的时间大概得到40来秒。而且用Pyqt做的界面,在下载的过程中进行窗口操作,会出现UI阻塞的现象。前两天有时间调整了一下,做了几方面的改进:1.修改了UI界面阻塞的问题,下载的过程中可以进行其它的UI操作;2.爬虫程序采用一个主线程,8个子线程的方式快速爬取,网络状况一致的情况下,将扫描100

系统 2019-09-27 17:50:49 2805

Python

python实现图像检索的三种(直方图/OpenCV/哈希法)

简介:本文介绍了图像检索的三种实现方式,均用python完成,其中前两种基于直方图比较,哈希法基于像素分布。检索方式是:提前导入图片库作为检索范围,给出待检索的图片,将其与图片库中的图片进行比较,得出所有相似度后进行排序,从而检索结果为相似度由高到低的图片。由于工程中还包含Qt界面类、触发函数等其他部分,在该文档中只给出关键函数的代码。开发系统:MacOS实现方式:Qt+Python方法一:自定义的直方图比较算法a)基本思路遍历图片像素点,提取R\G\B值

系统 2019-09-27 17:48:19 2805

Python

CentOS 升级Python3.5

系统环境CentOS7.3阿里云服务器1.ll/usr/bin/python*2.此时python的默认版本还是2.7.53.mvpythonpython.bak备份源文件后期可以恢复2.7.5版本4.下载自己需要的python版本https://www.python.org/ftp/python/以3.5为例子5.下载好了利用FTP工具上传到/root上传不再演示6.mkdir/usr/local/python3创建python3的文件存放位置依照个人习

系统 2019-09-27 17:57:41 2804

Python

基于python自动化框架的报告格式分析

测试APP框架一:python+appium+unittestappium是对selenuim的封装,其中使用的是get_screenshot_as_base64方法获取页面截图的base64编码,故而框架使用时,生成的报告可进行自动捕捉异常,并进行截图放在报告里,具体可参考:https://github.com/GoverSky/HTMLTestRunner_cn文档进行报告完善,引用的报告是HTMLTestRunner,报告样式较为传统大概为:框架二:

系统 2019-09-27 17:50:54 2804

Python

Python第三方库face_recognition在windows上的安装过程

实际上face_recognition这个项目尤其是dlib更适用于Linux系统。经过我的测试,在性能方面,编译同样规格的项目,这个工具在Windows10上大约是Ubuntu上的四分之一。但是在这两者之间我没有看到在其他方面有什么差别。我使用本教程将这些工具安装到Windows10上,更近的版本也可能正常运行。安装了C/C++编译器的MicrosoftVisualStudio2015Boost库,V1.63或者更近的版本Python3CMake,Win

系统 2019-09-27 17:38:23 2804

Python

Python脚本暴力破解栅栏密码

今天遇到一个要破解的栅栏密码,先给大家介绍通用的脚本。方法一(通用脚本):#!/usr/bin/envpython#-*-coding:gbk-*-#-*-coding:utf_-*-e=raw_input(‘请输入要解密的字符串\n‘)elen=len(e)field=[]foriinrange(,elen):if(elen%i==):field.append(i)forfinfield:b=elen/fresult={x:‘‘forxinrange(b

系统 2019-09-27 17:38:08 2804