搜索到与相关的文章
Python

19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器

【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】css选择器1、2、3、::attr()获取元素属性,css选择器::text获取标签文本举例:extract_first('')获取过滤后的数据,返回字符串,有一个默认参数,也就是如果没有数据默认是什么,一般我们设置为空字符串extract()获取过滤后的数据,返回字符串列表#-*-coding:utf-8-*-import

系统 2019-09-27 17:47:14 2107

Python

python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法,一种是通过开发者工具找到动态内容的接口,然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库,以及浏览器对应驱动器(WebDriver)。安装selenium库pipinstallselenium项目地址:https://pypi.org/project/se

系统 2019-09-27 17:47:10 2107

Python

Python自定义类中内部函数:__repr__()和__string__

我们在定义Python类时,经常会看到比较好的代码中,都有__repr__和__string__,两个内部函数的定义。但是我一直很少关注它们的区别和具体应用场景。稍微做个小结。1.__foo()__在python中表示__foo__是一个私有private函数,在CookBookpp254中,解释为,该函数不会被子类的相同名称的函数重载。一般地说,类中以“下划线”开头定义的变量或者函数都是私有变量或者内部函数,区别是:1.1单下划线开始的变量或者函数表示非

系统 2019-09-27 17:46:49 2107

Python

腾讯视频 Python 爬虫项目实战

文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso

系统 2019-09-27 17:46:04 2107

Python

Python3.6+selenium2.53.6自动化测试

环境:编辑工具:浏览器:有问题可以联系qq:1776376537#coding:utf-8fromcommon.baseimportBasefromseleniumimportwebdriverfromselenium.webdriver.common.action_chainsimportActionChainsfromselenium.webdriver.support.selectimportSelect#打开火狐浏览器driver=webdrive

系统 2019-09-27 17:45:33 2107

Python

简单谈谈Python中函数的可变参数

前言在Python中定义函数,可以用必选参数、默认参数、可变参数和关键字参数,这4种参数都可以一起使用,或者只用其中某些,但是请注意,参数定义的顺序必须是:必选参数、默认参数、可变参数和关键字参数。可变参数(*)可变参数,顾名思义,它的参数是可变的,比如列表、字典等。如果我们需要函数处理可变数量参数的时候,就可以使用可变参数。我们在查看很多Python源码时,经常会看到某函数(*参数1,**参数2)这样的函数定义,这个*参数和**参数就是可变参数,一时会让

系统 2019-09-27 17:38:26 2107

Python

Python 登录网站详解及实例

Python登录网站详解及实例对于大部分论坛,我们想要抓取其中的帖子分析,首先需要登录,否则无法查看。这是因为HTTP协议是一个无状态(Stateless)的协议,服务器如何知道当前请求连接的用户是否已经登录了呢?有两种方式:在URI中显式地使用SessionID;利用Cookie,大概过程是登录一个网站后会在本地保留一个Cookie,当继续浏览这个网站的时候,浏览器会把Cookie连同地址请求一起发送过去。Python提供了相当丰富的模块,所以对于这种网

系统 2019-09-27 17:38:24 2107

Python

Python中基本的日期时间处理的学习教程

Python程序能用很多方式处理日期和时间。转换日期格式是一个常见的例行琐事。Python有一个time和calendar模组可以帮忙。什么是Tick?时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜(历元)经过了多长时间来表示。Python附带的受欢迎的time模块下有很多函数可以转换常见日期格式。如函数time.time()用ticks计时单位返回从12:00am,January1,1970(epoch)开始的记录的当前操作系统

系统 2019-09-27 17:38:10 2107

Python

Python3 执行系统命令并获取实时回显功能

下面先给大家介绍下Python3执行系统命令并获取实时回显最近在改造一些打包的逻辑,原来在Windows下是基于批处理制作的,由于批处理用起来不是很方便,一些实时的计算基本无法胜任,所以转向Python3。但在以前脚本的基础上很多是需要调用系统命令的比如VS编译一个项目,我们需要获取实时的回显知道编译的结果和进度。所以就有了以下方法:@staticmethoddef__external_cmd(cmd,code="utf8"):print(cmd)proc

系统 2019-09-27 17:38:04 2107

编程技术

得到数据库中所有的表以及表字段

邹建写的selectcasewhenc.colid=1theno.nameelse''end表名,--得到表名,重复的表名不显示c.colid顺序,c.name字段名,t.name字段类型,columnproperty(c.id,c.name,'PRECISION')字段长度,isnull(c.Scale,'')小数位,c.length占用字节,casewhenc.isnullable=1then'√'else''end可为空,casewhenc.coli

系统 2019-08-29 23:41:41 2107