python爬虫1《1》什么是爬虫网络爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理:我们把互联网比喻为一张大网,网络爬虫我们想象为网上的蜘蛛,网页与网页之间的连接我们理解为节点,爬虫就相当于是访问网页,获取网页的信息,又通过节点可以爬取另一个网站,然后不停的通过一个个节点即访问一个个网页,这样网站的数据就可以被我们获取下来了。《3》爬虫的分类:网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:48:45 2177
第一篇基本概念01什么是数据结构02什么是算法03应用实例-最大子列和问题第二篇线性结构01线性表及其实现02堆栈03队列04应用实例-多项式加法运算05小白专场-多项式乘法与加法运算-c语言实现05小白专场-多项式乘法与加法运算-python语言实现第三篇树(上)01树与树的表示02二叉树及存储结构03二叉树的遍历04小白专场-树的同构-c语言实现04小白专场-树的同构-python语言实现第三篇树(中)01二叉搜索树02平衡二叉树03小白专场-是否同一
系统 2019-09-27 17:48:29 2177
看过这篇《2000字谏言,给那些想学Python的人,建议收藏后细看!》的读者应该都对一个命令有点印象吧?没错,就是linux中经常会用到的ls命令。文章中我就提到如何提升自己的python能力呢?直接找项目写,但是作为零基础/小白/入门的你来说做一个博客还要学web框架、html、css、js,又成为了阻碍你写实际项目的阻碍。所以我就推荐了这个命令:ls。写一个ls非常简单,你只需要会一点linux的基础知识,知道ls能做什么就好了。那今天就给大家码了一
系统 2019-09-27 17:48:24 2177
2019中国好声音火热开播,作为一名“假粉丝”,这一季每一期都刷过了,尤其刚播出的第六期开始正式的battle。视频视频看完了,那看下大家都是怎样评论的。1.网页分析部分本文爬取的是腾讯视频评论,第六期的评论地址是:http://coral.qq.com/4093121984每页有10条评论,点击“查看更多评论”,可将新的评论加载进来,通过多次加载,可以发现我们要找的评论就在以v2开头的js类型的响应中。请求为GET请求,地址是http://coral.q
系统 2019-09-27 17:48:03 2177
接触Python也有一段时间了,Python相关的框架和模块也接触了不少,希望把自己接触到的自己觉得比较好的设计和实现分享给大家,于是取了一个“CharmingPython”的小标,算是给自己开了一个头吧,希望大家多多批评指正。:)fromflaskimportrequestFlask是一个人气非常高的PythonWeb框架,笔者也拿它写过一些大大小小的项目,Flask有一个特性我非常的喜欢,就是无论在什么地方,如果你想要获取当前的request对象,只要
系统 2019-09-27 17:47:44 2177
========坚持30天刷leetcode=====题目链接:https://leetcode-cn.com/problems/4sum/分析:本题的解题思路与上一题类似,排序,然后先固定几个位置,再首尾各一个变量移动遍历。关键在于:特殊情况的判别,从而降低时间复杂度。classSolution:deffourSum(self,nums,target):k=len(nums)ifk<4:returnNone#特殊情况:数组小于4ifk==4andsum(
系统 2019-09-27 17:47:39 2177
本文讲述一个用Python写的小程序,用于有注入点的链接,以检测当前数据库用户是否为sa,详细代码如下:#CodebyzhaoxiaobuEmail:little.bu@hotmail.com#-*-coding:UTF-8-*-fromsysimportexitfromurllibimporturlopenfromstringimportjoin,stripfromreimportsearchdefis_sqlable():sql1="%20and%20
系统 2019-09-27 17:47:32 2177
字节串bytes字节串也叫字节序列,是不可变的序列,存储以字节为单位的数据字节串表示方法:b"ABCD"b"\x41\x42"...字节串的构造函数:bytes()创建一个空的字节串,同b””bytes(整数可迭代对象)用可迭代对象创建一个字节串bytes(整数n)生成n个值为0的字节串bytes(字符串,encoding='utf-8')转码字节串的运算:同其他序列的运算+、+=、*、*=<、<=、>、>=、!=、==in/notin切片和索引函数:le
系统 2019-09-27 17:47:04 2177
本文讲述了一个python查找webshell脚本的代码,除了查找webshell功能之外还具有白名单功能,以及发现恶意代码发送邮件报警等功能,感兴趣的朋友可以自己测试一下看看效果。具体的功能代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-importosimportsysimportreimportsmtplib#设定邮件fromaddr="smtp.qq.com"toaddrs=["voilet@qq.com"]
系统 2019-09-27 17:47:03 2177
Python进行Redis数据迁移由于开发时的误操作,导致redis数据损坏,所以需要进行redis的数据迁移,网上大佬的教程基本都是需要下载附加工具,亦或是需要一些复杂的操作,个人觉得麻烦还不如写个脚本来的经济实惠。#-*-coding:utf-8-*-fromredisimportStrictRedis"""redis是用于操作Redis的第三方库,StrictRedis是官方推荐的方法,而且Redis是它的子类,Redis能做到的StrictRedi
系统 2019-09-27 17:46:53 2177