[TOC]Python网络爬虫之规则01Python爬虫之Requests库入门02Python爬虫之盗亦有道03Python爬虫之Requests网络爬取实战Python网络爬虫之提取04Python爬虫之BeautifulSoup库05Python爬虫之信息标记与提取方法06Python爬虫之Re(正则表达式)库
系统 2019-09-27 17:46:30 1853
一、什么是Selenium?Selenium是一个基于浏览器的自动化测试工具,它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分:SeleniumIDE、SeleniumWebDriver和SeleniumGrid。SeleniumIDE:Firefox的一个扩展,它可以进行录制回放,并把录制的操作以多种语言(例如java、python等)的形式导出成测试用例。SeleniumWebDriver:提供Web自动化所需
系统 2019-09-27 17:45:45 1853
网易云音乐的评论里总会有大批的神评论,突发灵感想写个爬虫爬取评论,后来发现百度的方法都需要AES加密的密钥,太麻烦了,本人小白表示看不懂,在知乎上看到网易云有API接口可以直接爬取,不需要任何密钥。具体代码如下:#coding:utf-8importreimporttimefromurllibimportrequestclassPL:def__init__(self):#定义初始信息#定义http头信息self.headers={"User-Agent":
系统 2019-09-27 17:45:44 1853
python中有一个略微奇怪的表达式叫yieldexpression,本文就来探究一下这是个什么东西。一步一步来。iterable复制代码代码如下:mylist=[1,2,3]foriteminmylist:printstr(item)mylist是一个列表(list),我们可以逐条取出每一个item,这个过程叫做iteration。像list这样可以用”for…in…”依次遍历的对象被称为iterable,其他的iterable还有string、tupl
系统 2019-09-27 17:45:37 1853
1、安装scikit-learn1.1Scikit-learn依赖Python(>=2.6or>=3.3),NumPy(>=1.6.1),SciPy(>=0.9).分别查看上述三个依赖的版本,python-V结果:Python2.7.3python-c'importscipy;printscipy.version.version'scipy版本结果:0.9.0python-c"importnumpy;printnumpy.version.version"n
系统 2019-09-27 17:38:11 1853
python有一个用于解析feed的模块:feedparser,feedparser解析各种feed是非常方便的,唯一比较恼火的是遇到一些badurl,经常会导致堵塞,因此需要为feedparser设置一个超时时间。可是feedparser并没有提供这个功能,只好采用其他方法了,具体办法请参看feedparser项目的issue221。其实也很简单,按照上面文档的说明developershavehadtheabilitytosetaglobaltimeou
系统 2019-09-27 17:56:01 1852
什么是协程协程是python种一种实现多任务的方式,他是一种比线程更加小的单元,占用更小的执行单元(资源),为啥说他是一个执行单元,因为他自带CPU上下文,这样在合适gr的时机,可以把一个协程切换到另一个协程,只要在这个过程中保存和恢复cpu上下文那么程序还是可以运行的通俗的理解:一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量,然后切换到另一个函数中运行,并且切换的次数以及社么时候再切换回来是可控的协程和线程的差异在实现多任务时,线程会自己
系统 2019-09-27 17:55:38 1852
Virtualenv我们都知道Python开发项目很容易,项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目,但是由于我们每个项目情况都有些不一样。比如今天可能用的是Django1.8,明天可能用的是Django2.1。如果不进行环境隔离全局安装就会导致包的冲突,依赖不同,出现问题。这个时候每个应用都需要一套「独立」的Python运行环境。而Virtualenv就是拿来为应用创建这一套「隔离」的Python运行环境。首先用pip安装pipi
系统 2019-09-27 17:55:33 1852
在前面(【实战演练】数据库基本知识与原理系列https://blog.51cto.com/14423403/2418820)的文章,已经分享过数据库的原理,设计与开发的范式,以及根据我们django项目的需求,进行了数据库的设计。另外也介绍过数据库操作的基本SQL命令。以前不使用web框架来进行开发,那么就需要在一个php或者py文件(页面文件里面),从展示层(html、css、js)到逻辑层(php、python)到数据层(SQL)的东西都要写。直接用p
系统 2019-09-27 17:55:27 1852
本文实例讲述了python有证书的加密解密实现方法。分享给大家供大家参考。具体实现方法如下:最近在做python的加解密工作,同时加完密的串能在php上能解出来,网上也找了一些靠谱的资料,刚好也有时间我就总结了一下python在加密与解密这块的代码,今后可能还能用的上。相对于php而言python这块加解密组件较多的,分别是:python-crypto-这个组件是基本组件,使用的函式相对比较复杂。ezPyCrypto-相对简单,但他作出来的公私钥无法与其他
系统 2019-09-27 17:54:18 1852
Python数据科学入门DmitryZinoviev著熊子源译第二章数据科学的Python核心第4单元理解基本的字符串函数大小写转换函数:lower()将所有字符转换为小写upper()将所有字符转换为大写capitalize()将第一个字符转换为大写,同时将后面的字符都转化为小写(这些操作都不会影响其他非字母字符)字符串判定函数:islower()判断字符串中的所有字母是否都是小写isupper()判断字符串中的所有字母是否都是大写isspace()检查
系统 2019-09-27 17:53:59 1852
元组和集合是Python中的基本类型一,元组元组(tuple)由小括号、逗号和数据对象构成的集合,各个项通过逗号隔开,元组的特点是:元组项可以是任何数据类型,也可以嵌套元组是一个位置有序的对象的集合,通过偏移来访问元组项,只不过元组是不可变的,不能在原处修改;元组的各个项可以重复,例如,一个元组可以是:(1,1,2,2,3)1,创建元组创建空的元组,一个空元组就是一个内控的小括号:>>>t=()创建包含一个项的元组,t=(1,)是一个元组,t=(1)是一个
系统 2019-09-27 17:53:17 1852
本文实例为大家分享了python版DDOS攻击脚本,供大家参考,具体内容如下于是就找到了我之前收藏的一篇python的文章,是关于ddos攻击的一个脚本,正好今天有空,就实践下了。附上源码pyDdos.py:#!/usr/bin/envpythonimportsocketimporttimeimportthreading#PressureTest,ddostool#---------------------------MAX_CONN=20000PORT=
系统 2019-09-27 17:52:48 1852
原文链接:https://aiprocon.csdn.net/?utm_source=wx作者|豌豆花下猫来源|Python猫(ID:python_cat)Python中的sys模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。本文将会频繁地使用该模块的getsizeof()方法,因此,我先简要介绍一下:该方法用于获取一个对象的字节大小(bytes)它只计算直接占用的内存,而不计算对象内所引用对象的内存这里
系统 2019-09-27 17:52:44 1852
我在面试前,面试公司发来一道python题,我觉得还挺有意思的。题目如下。"""“”"我们知道2进制数字由2种字符(01)组成,10进制数字由10种字符(0123456789)组成,16进制由16种字符(0123456789ABCDEF)。不同进制的数字之间可以相互转换。我们定义一种“十二地支进制”数字,这种数字由中国古代地支的12种字符(子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥)组成。“十二地支进制”数字和10进制数字的关系可以看下面的代码。[["
系统 2019-09-27 17:52:33 1852