【摘要】在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。1.本节目标本节中，我们
系统 2019-09-27 17:54:29 2160
使用beautifulsoup爬取小说，并整合到txt中。"""======================@Auther:CacheYu@Time:2019/9/16:16:09======================"""#-*-coding:utf-8-*-importurllib.requestimporturllib.errorimportbs4frombs4importBeautifulSoupdefreaddown(url):soup=B
系统 2019-09-27 17:54:27 2160
在处理数据和进行机器学习的时候，遇到了大量需要处理的时间序列。比如说：数据库读取的str和time的转化，还有time的差值计算。总结一下python的时间处理方面的内容。一、字符串和时间序列的转化time.strptime()：字符串=>时间序列time.strftime()：时间序列=>字符串importtimestart="2017-01-01"end="2017-8-12"startTime=time.strptime(start,"%Y-%m-%
系统 2019-09-27 17:54:04 2160
Python面向对象编程——类与对象一、类与对象的概念类即类别、种类，是面向对象设计最重要的概念，从一小节我们得知对象是特征与技能的结合体，而类则是一系列对象相似的特征与技能的结合体。那么问题来了，先有的一个个具体存在的对象（比如一个具体存在的人），还是先有的人类这个概念，这个问题需要分两种情况去看。在现实世界中：肯定是先有对象，再有类。世界上肯定是先出现各种各样的实际存在的物体，然后随着人类文明的发展，人类站在不同的角度总结出了不同的种类，比如人类、动物
系统 2019-09-27 17:53:58 2160
生成器(generator)概念生成器不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，直到遇到StopIteration异常结束。生成器语法生成器表达式：通列表解析语法，只不过把列表解析的[]换成()生成器表达式能做的事情列表解析基本都能处理，只不过在需要处理的序列比较大时，列表解析比较费内存。>>>gen=(x**2forxinrange(5))>>>genat0x0000000002FB7B40>>>>forgingen:
系统 2019-09-27 17:52:55 2160
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2160
3.5.2for循环hello大家好，不知道在上节中大家练习while循环练习得怎么样了，相信大家都已经熟悉while循环了吧，那么现在我在这里在向大家讲解一下for循环。大家肯定也很懵圈，怎么有个while循环，又有个for循环，for循环又是干嘛的？相信很多刚接触编程的朋友一定很懵圈，哈哈......因为我当时也很懵圈。好了，废话不多说，接下来就给大家将一下for循环和while循环的区别，以及for循环是什么东西。while循环的功能非常强大，它可以
系统 2019-09-27 17:52:18 2160
技术要点：把sklearn中模型的训练结果保存为文件，然后再从文件中加载训练结果直接使用，不需要反复进行训练。查看原文
系统 2019-09-27 17:52:15 2160
近日，2018年最具就业前景的7大编程语言排行榜出炉了。这次的编程语言排行榜是由CodingDojo(编码道场)发布。在此次的最有“钱”途的编程语言榜单上，Java排名第一，网红编程语言Python排名第二，JavaScript排名第三。Python简直可以评得上2017年网红编程的语言，在此次榜单上，它又火了一把。Python加入浙江省高考，而且还成为了山东省小学生教材。小学生都开始学的编程语言，你敢说它未来几年不火呢?这多半也是由于：未来是AI的时代，
系统 2019-09-27 17:51:01 2160
在网络通信中，每个连接都必须创建新线程（或进程）来处理，否则，单线程在处理连接的过程中，无法接受其他客户端的连接。所以我们尝试使用协程来实现服务器对多个客户端的响应。与单一TCP通信的构架一样，只是使用协程来实现多个任务同时进行。#服务端importsocketfromgeventimportmonkeyimportgeventmonkey.patch_all()defhandle_conn(seObj):whileTrue:re_Data=seObj.r
系统 2019-09-27 17:50:26 2160
