搜索到与相关的文章
Python

【Python爬虫】爬了七天七夜,终于爬出了博客园粉丝数排行榜!

文章发出不到30分钟就被首页下架了,默哀……起因为了督促自己更加积极地写博客,我希望有一个排名系统能让我看到自己的进步。但是博客园对用户的排名体系相对是比较少的,主要是推荐博客排行和积分排行;但它们人数少难度大,短期内难以进入排名。因此我决定自力更生,爬取一份博客园粉丝数排行榜。重要声明为避免误(封)会(号),先做如下声明:1、本排行榜非官方发布,是我通过爬虫得到的。2、爬虫过程一直坚持网站友好原则:(1)只查询网站公开内容(当然,非公开的我也不会)(2)

系统 2019-09-27 17:53:26 2553

Python

Python黑帽子:Burp插件编写,之最简单的Burp模糊测试

Burp提供了一系列的api,可以用于开发自己的插件。api的文档可以直接在burp的扩展处查看插件入口:IBurpExtender+IBurpExtenderCallbacks辅助功能:IExtensionHelpers消息接口:IHttpRequestResponse,IRequestInfo,IResponseInfo等等组件接口:Intruder相关和Scanner相关UI接口:ITab,IContextMenuFactoryjava的swing图

系统 2019-09-27 17:53:23 2553

Python

python删除文件夹下相同文件和无法打开的图片

前天不小心把硬盘格式化了,丢了好多照片,后来用Recuva这款软件成功把文件恢复过来,可是恢复的文件中有好多重复的文件和无法打开的图片,所以写了两个python的小程序用来解决这个问题删除相同文件:#coding=utf-8importosimportos.pathimportImageimporthashlibdefget_md5(filename):m=hashlib.md5()mfile=open(filename,"rb")m.update(mfi

系统 2019-09-27 17:50:48 2553

Python

Python爬取b站任意up主所有视频弹幕

爬取b站弹幕并不困难。要得到up主所有视频弹幕,我们首先进入up主视频页面,即https://space.bilibili.com/id号/video这个页面。按F12打开开发者菜单,刷新一下,在network的xhr文件中有一个getSubmitVideo文件,这个文件里就有我们需要的视频av号了。如果直接抓取页面是拿不到的,因为视频是异步加载的。在这个文件里的data标签下,有一个count是视频总数,pages是第几页,vlist就是我们要找的视频信

系统 2019-09-27 17:50:26 2553

Python

Python读写Excel文件的实例

最近由于经常要用到Excel,需要根据Excel表格中的内容对一些apk进行处理,手动处理很麻烦,于是决定写脚本来处理。首先贴出网上找来的读写Excel的脚本。1.读取Excel(需要安装xlrd):#-*-coding:utf8-*-importxlrdfname="reflect.xls"bk=xlrd.open_workbook(fname)shxrange=range(bk.nsheets)try:sh=bk.sheet_by_name("Shee

系统 2019-09-27 17:48:35 2553

Python

利用 Numba 加速 Python 程序,提速几十倍

作者:chen_h微信号&QQ:862251340微信公众号:coderpai当你嫌弃Python速度慢时Python编程语言几乎可用于任何类型的快速原型设计和快速开发。它具有很强的功能,例如它的高级特性,具有几乎人性化可读性的语法。此外,它是跨平台的,具有多样性的标准库,它是多范式的,为程序员提供了很多自由,可以使用不同的编程范例,如面向对象,功能或者程序。但是,有时我们系统的某些部分具有高性能要求,因此Python提供的速度可能远远不够,那么,我们如何

系统 2019-09-27 17:46:56 2553

Python

python爬取百度图片

python爬取百度图片学习阶段直接上源码,若想知其然知其所以然,请慢慢研究!!#coding=utf-8importurllibimporturllib.requestfromurllib.parseimportquoteimportreimportosheaders={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.

系统 2019-09-27 17:46:47 2553

Python

python爬虫猫眼电影TOP100(爬虫入门基础,同步入库)

小编辗转了比较长的一段时间,现在终于提笔于python的运用,这次尝试也是一个开端。本篇文章所爬取的数据网上已经有了很多版本,并不是什么新鲜的数据,仅仅作为个人进阶的参考。python爬虫进阶第S190811期python爬虫将会进一步深入到JavaScript渲染网页(动态渲染)、验证码识别、代理设置、cookies池搭建等,有兴趣的同道中人可以持续关注哈。本次尝试爬取小量电影数据并同步存入数据库作为预热哈。下面代码分为三块:请求、解析网页的模块;网页数

系统 2019-09-27 17:46:05 2553

Python

python快排算法详解

快排是python经典算法之一。1、下面讲解的是什么是快排和快排的图示。2、快排是一种解决排序问题的运算方法。3、快排的原理:在数组中任意选择一个数字作为基准,用数组的数据和基准数据进行比较,比基准数字打的数字的基准数字的右边,比基准数字小的数字在基准数字的左边,第一次排序之后分为比基准数据大或比基准数据小两个部分,用刚开始的方法继续排序,直到每个排序分组中只有一个数据或没有数据为止。4、下面以[79123163792]数组为例子,进行快排运算。5、选基准

系统 2019-09-27 17:38:14 2553

SqlServer

SQL Server 2005 Express附加数据库为“只读”

在SQLServer2005Express上附加从另外一台电脑Copy过来的数据库后,数据库为“只读”。解决办法:打开开始→程序→MicrosoftSQLServer2005→配置工具→SQLServer配置管理器,打开SQLServerSQLEXPRESS的属性.在内置帐号处,把“网络服务”改成“本地系统”,重新启动SQLServer2005Express后,再附加数据库一切正常。总结:之所以附加上的数据库为“只读”,是因为启动SQLServer的默认的

系统 2019-08-29 23:40:51 2553