Python

python requests库爬取豆瓣电视剧数据并保存到本地详解

首先要做的就是去豆瓣网找对应的接口,这里就不赘述了,谷歌浏览器抓包即可,然后要做的就是分析返回的json数据的结构:https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0这是接口地址,可以大概的分析一下各个参数的规则:type=tv,表示的是电视剧的分类tag=国产

系统 2019-09-27 17:47:01 2627

Python

用Python实现QQ游戏大家来找茬辅助工具

好久没写技术相关的文章,这次写篇有意思的,关于一个有意思的游戏――QQ找茬,关于一种有意思的语言――Python,关于一个有意思的库――Qt。这是一个用于QQ大家来找茬(美女找茬)的辅助外挂,开发的原因是看到老爸天天在玩这个游戏,分数是惨不忍睹的负4000多。他玩游戏有他的乐趣,并不很在意输赢,我做这个也只是自我娱乐,顺便讨他个好,毕竟我们搞编程的实在难有机会在父辈面前露露手。本来是想写个很简单的东西,但由于过程中老爸的多次嘲讽,逼得我不得不尽力完善,最后

系统 2019-09-27 17:56:56 2626

Python

Python Web Flask源码解读(四)——全局变量

关于我一个有思想的程序猿,终身学习实践者,目前在一个创业团队任teamlead,技术栈涉及Android、Python、Java和Go,这个也是我们团队的主要技术栈。Github:https://github.com/hylinux1024微信公众号:终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量,但实际上这些变量都跟当前请求的上下文环境有关,下面一起

系统 2019-09-27 17:52:39 2626

Python

Python基于机器学习方法实现的电影推荐系统实例详解

推荐算法在互联网行业的应用非常广泛,今日头条、美团点评等都有个性化推荐,推荐算法抽象来讲,是一种对于内容满意度的拟合函数,涉及到用户特征和内容特征,作为模型训练所需维度的两大来源,而点击率,页面停留时间,评论或下单等都可以作为一个量化的Y值,这样就可以进行特征工程,构建出一个数据集,然后选择一个合适的监督学习算法进行训练,得到模型后,为客户推荐偏好的内容,如头条的话,就是咨询和文章,美团的就是生活服务内容。可选择的模型很多,如协同过滤,逻辑斯蒂回归,基于D

系统 2019-09-27 17:56:52 2625

Python

python递归解析嵌套json

json数据示例{"node":"a","subNodes":[{"node":"a1","subNodes":[{"node":"a11","subNodes":[{"node":"a111","subNodes":[]},{"node":"a112","subNodes":[]}]},{"node":"a12","subNodes":[]}]},{"node":"a2","subNodes":[]}]}{"node":"b","subNodes":[{

系统 2019-09-27 17:54:36 2625

Python

python中numpy.zeros(np.zeros)的使用方法

翻译:用法:zeros(shape,dtype=float,order='C')返回:返回来一个给定形状和类型的用0填充的数组;参数:shape:形状dtype:数据类型,可选参数,默认numpy.float64dtype类型:t,位域,如t4代表4位b,布尔值,trueorfalsei,整数,如i8(64位)u,无符号整数,u8(64位)f,浮点数,f8(64位)c,浮点负数,o,对象,s,a,字符串,s24u,unicode,u24order:可选参数

系统 2019-09-27 17:53:29 2625

Python

python爬虫---从零开始(三)Requests库

1,什么是Requests库Requests是用python语言编写,基于urllib,采用Apache2Licensed开源协议的HTTP库。它比urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求,用一句话来说,Requests是python实现的简单易用的HTTP库。安装Request,直接输入pip3installrequests2,使用方法(底部有码云地址)相对上一期的urllib库要简单了很多了(个人觉得简单了不少的)各种请求

系统 2019-09-27 17:49:48 2625

Python

Python实现从url中提取域名的几种方法

从url中找到域名,首先想到的是用正则,然后寻找相应的类库。用正则解析有很多不完备的地方,url中有域名,域名后缀一直在不断增加等。通过google查到几种方法,一种是用Python中自带的模块和正则相结合来解析域名,另一种是使第三方用写好的解析模块直接解析出域名。要解析的url复制代码代码如下:urls=["http://meiwen.me/src/index.html","http://1000chi.com/game/index.html","htt

系统 2019-09-27 17:56:17 2624

Python

【Python】DataFrame的列标准化

这里分享DataFrame的列标准化以及对DataFrame分组之后列标准化。DataFrame的列标准化importpandasaspdimportnumpyasnpdf=pd.DataFrame(data={'A':[1,1,2,2,2],'B':[2,3,4,6,5],'C':[3,8,5,12,6]})dfdf.apply(lambdax:(x-np.min(x))/(np.max(x)-np.min(x)))3.DataFrame分组之后列标准化

系统 2019-09-27 17:56:06 2624

Python

安装完Anaconda python 3.7,想使用python3.6方法

原文链接:https://www.cnblogs.com/xiaodai0/p/9780101.html安装完Anacondapython3.7,想使用python3.6方法cmd使用命令:condacreate-npy36python=3.6anaconda安装好后,会有提示:Toactivatethisenvironment,use:#>activatepy36##Todeactivateanactiveenvironment,use:#>deacti

系统 2019-09-27 17:55:29 2624

Python

Python基本数据结构之字典类型dict用法分析

本文实例讲述了Python基本数据结构之字典类型dict用法。分享给大家供大家参考,具体如下:词典类型dict字典由键(key)和对应值(value)成对组成。字典也被称作关联数组或哈希表。dict赋值dict整体放在花括号{}中,每个键与值用冒号隔开(:),每对用逗号分割;d={'one':1,'two':2,'three':3}键必须独一无二,但值则不必;值可取任何数据类型,如字符串,数或元组;若创建时同一个键被赋值两次,后一个值会被记住;键必须不可变

系统 2019-09-27 17:55:22 2624

Python

Python爬取17k小说

改一下用户名和密码可以直接用(要开通VIP才能抓VIP的章节),代码如下:#-*-coding:utf-8-*-#@Time:2019/5/1917:53#@Author:LMimportrequestsfrombs4importBeautifulSoupimportjsonimportosclassSpider(object):def__init__(self):self.headers={'user-agent':'Mozilla/5.0(Window

系统 2019-09-27 17:53:27 2624

Python

简单介绍Python中的len()函数的使用

函数:len()1:作用:返回字符串、列表、字典、元组等长度2:语法:len(str)3:参数:str:要计算的字符串、列表、字典、元组等4:返回值:字符串、列表、字典、元组等元素的长度5:实例5.1、计算字符串的长度:>>>s="hellogoodboydoiido">>>len(s)215.2、计算列表的元素个数:>>>l=['h','e','l','l','o']>>>len(l)55.3、计算字典的总长度(即键值对总数):>>>d={'num':1

系统 2019-09-27 17:50:50 2624

Python

Python数据可视化最牛模块没有之一

前言之前群里有人问,说我之前Pyecharts代码不能用了,我自己尝试了一下,还是可以用的,后面才发现是因为现在pyecharts更新了,这个是pyecharts官网的原话(pyecharts分为v0.5.X和v1两个大版本,v0.5.X和v1间不兼容,v1是一个全新的版本)。所以说,如果你安装的是v1版本的pyecharts,那我之前的代码都是不能用了,其实pyecharts的官方文档写的很详细(https://pyecharts.org/),但还是有人

系统 2019-09-27 17:46:13 2624

Python

python爬虫实现中英翻译词典

本文实例为大家分享了python爬虫实现中英翻译词典的具体代码,供大家参考,具体内容如下通过根据某平台的翻译资源,提取出翻译信息,并展示出来,包括输入,翻译,输出三个过程,主要利用python语言实现(python3.6),抓取信息展示。importurllib.requestimporturllib.parseimportjsondefen_zh(content):url='http://fanyi.baidu.com/v2transapi'head={

系统 2019-09-27 17:56:29 2623