我搜集了国内10几个电影网站的数据,里面近几十W条记录,用文本没法存,mongodb学习成本非常低,安装、下载、运行起来不会花你5分钟时间。#-*-coding:utf-8-*-#byawakenjoys.mysite:www.dianying.atimportreimporturllib2frombs4importBeautifulSoupimportstring,timeimportpymongoNUM=0#全局变量,电影数量m_type=u''#全局
系统 2019-09-27 17:37:39 2515
1、问题在使用Python中pandas读取csv文件时,由于文件编码格式出现以下问题:Traceback(mostrecentcalllast):File"pandas\_libs\parsers.pyx",line1134,inpandas._libs.parsers.TextReader._convert_tokensFile"pandas\_libs\parsers.pyx",line1240,inpandas._libs.parsers.Text
系统 2019-09-27 17:53:52 2514
前面我们介绍了队列、堆栈、链表,你亲自动手实践了吗?今天我们来到了树的部分,树在数据结构中是非常重要的一部分,树的应用有很多很多,树的种类也有很多很多,今天我们就先来创建一个普通的树。其他各种各样的树将来我将会一一为大家介绍,记得关注我的文章哦~首先,树的形状就是类似这个样子的:它最顶上面的点叫做树的根节点,一棵树也只能有一个根节点,在节点下面可以有多个子节点,子节点的数量,我们这里不做要求,而没有子节点的节点叫做叶子节点。好,关于树的基本概念就介绍到这里
系统 2019-09-27 17:49:42 2514
内网的主机都是自动分配ip地址,有时候需要查看下有那些ip在使用,就写了个简单的脚本。linux和windows下都可以用,用多线程来ping1-255所有的地址,效率不高,2分钟左右。先凑合和用吧。#-*-coding:utf-8-*-#author:orangleliudate:2014-11-12#python2.7.xip_scaner.py'''''不同平台,实现对所在内网端的ip扫描有时候需要知道所在局域网的有效ip,但是又不想找特定的工具来扫
系统 2019-09-27 17:48:35 2514
本章主要内容用Python的理由Python的长处Python的短板学Python3的理由如果想了解Python与其他编程语言的差异,以及它当前的地位,请阅读本章。如果想立即开始学习Python,请略过开头部分,直接跳到第3章。本章内容是本书不可或缺的组成部分,但对于Python编程确实不是必备知识。1.1用Python的理由现在有数百种编程语言可供使用,从成熟的C和C++到Ruby、C#和Lua等新秀,再到Java这样的企业级重器。要选择一门编程语言来学
系统 2019-09-27 17:48:21 2514
Python之变量、常量以及注释一、什么是变量变量,是用于在内存中存放程序数据的容器,怎么理解呢?计算机的最核心的功能就是“计算”,计算需要数据源,数据源存在在内存里,比如我要把小明的姓名、身高、年龄信息存下来,后面程序会调用,该怎么存呢?直接设置——“变量名=值”即可。name="小明"age=22height=160#后面程序想调用的时候,直接调变量名即可print(name)#在控制台打印“小明”print(age)#在控制条打印“22”二、变量的使
系统 2019-09-27 17:46:52 2514
Smptp类定义:smtplib.SMTP(host[,port[,local_hostname[,,timeout]]]),作为SMTP的构造函数,功能是与smtp服务器建立连接,在连接成功后,就可以向服务器发送相关请求,比如登陆,校验,发送,退出等。host参数为远程smtp主机地址,比如stmp.163.com;port为连接端口,默认为25;local_hostname的作用是在本地的FQDN(完整的域名)发送HELO/EHLO指令,timeout
系统 2019-09-27 17:38:37 2514
之前一篇笔记:Python机器学习笔记:不得不了解的机器学习知识点(1)1,什么样的资料集不适合用深度学习?数据集太小,数据样本不足时,深度学习相对其它机器学习算法,没有明显优势。数据集没有局部相关特性,目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域,这些领域的一个共性是局部相关性。图像中像素组成物体,语音信号中音位组合成单词,文本数据中单词组合成句子,这些特征元素的组合一旦被打乱,表示的含义同时也被改变。对于没有这样的局部相关性的数据集
系统 2019-09-27 17:55:45 2513
作者:AhmedGad翻译:张睿毅校对:丁楠雅本文4700字,建议阅读15分钟。本教程主要使用numpy和sklearn来讨论如何使用遗传算法(geneticalgorithm,GA)来减少从python中的Fruits360数据集提取的特征向量。标签:深度学习,特征工程,遗传算法,神经网络,numpy,python,scikit-learn本教程主要使用numpy和sklearn来讨论如何使用遗传算法(geneticalgorithm,GA)来减少从py
系统 2019-09-27 17:55:36 2513
场景高德API提供给开发者们一些常用功能的接口,其中有一种叫地理/逆地理编码能实现地名查询经纬度和经纬度查地名。实现高德API平台:https://lbs.amap.com/注册并登陆找到Web服务然后点击获取key,按照指示获取自己的key。按照其逆地理编码的API,只需要发送一个GET请求并带着指定参数即可。这里我们先使用PostMan进行测试。最简单的就是只有两个参数,一个是刚才申请的key,一个是经纬度。接下来使用Python进行请求测试新建pyt
系统 2019-09-27 17:55:26 2513
身边的人竟然不玩“跳一跳了”,都迷上了一个叫“冲顶大会”的东西,考了很多各学科的冷知识,文学、数学、地理、生物、动漫、八卦…小编网上找到一些关于python试题,大家都来答题吧。1、下面表达式输出结果为:x=12deff1():x=3print(x)deff2():x+=1print(x)f1()f2()a)34b)313c)1213d)3报错2、下面两个表达式输出内容是什么?>>>a=1>>>b=1>>>aisb???>>>a=300>>>b=300>>
系统 2019-09-27 17:52:32 2513
ipython介绍IPython是一个python的交互式shell,比默认的pythonshell好用得多,支持变量自动补全,自动缩进,支持bashshell命令,内置了许多很有用的功能和函数。IPython是基于BSD开源的。IPython为交互式计算提供了一个丰富的架构,包含:强大的交互式shellJupyter内核交互式的数据可视化工具灵活、可嵌入的解释器易于使用,高性能的并行计算工具IPython的开发者吸收了标准解释器的基本概念,在此基础上进行
系统 2019-09-27 17:48:58 2513
MongoDB爬虫实践:爬取虎扑论坛网站地址为:https://bbs.hupu.com/bxj1.网站分析首先,定位网页上帖子名称、帖子链接、作者、作者链接、创建时间、回复数目、浏览数目、最后回复用户、最后回复时间等信息的位置,之后,我们使用BeautifulSoup在网页中定位这些。数据所在的位置数据位置某帖子所有数据‘li’帖子名称divclass="titlelinkbox">a帖子链接divclass="titlelinkbox">a['href
系统 2019-09-27 17:55:14 2512
如何爬取全国两千多个城市的经纬度?其实找对了数据源就一点也不难。哪些网站可能会有全国所有城市的经纬度呢?高德地图?百度地图?统计局?淘宝?……这次我们来试试通过饿了么爬取:importrequests,csv,Geohashurl='https://www.ele.me/restapi/shopping/v1/cities'headers={'referer':'https://www.ele.me/home/','user-agent':'user-ag
系统 2019-09-27 17:48:42 2512
工作中最常见的配置文件有四种:普通key=value的配置文件、Json格式的配置文件、HTML格式的配置文件以及YAML配置文件。这其中以第一种居多,后三种在成熟的开源产品中较为常见,本文只针对第一种配置文件。一般来说Linuxshell下提供了diff命令来比较普通文本类的配置文件,Python的difflib也提供了str和HTML的比较接口,但是实际项目中这些工具其实并不好用,主要是因为我们的配置文件并不是标准化统一化的。为了解决此类问题,最好针对
系统 2019-09-27 17:56:01 2511