早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登录网站并处理网站的Cookie。Cookie的工作原理：Cookie由服务端生成，然后发送给浏览器，浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时，会发送该Cookie给服务器，这样服务器就知道该用户是否合
系统 2019-09-27 17:53:11 1893
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 1893
python常用内置函数dir(__builtins__)#获取内置函数dir(random)#查看random中有哪些内置函数help(random.shuffle)#查看random.shuffle的用法id(a)#获取内存地址chr()#数字转为asciiord()#ascii转为数字isinstance(1,int)#判断1是否为int类型eval("1+1")#可以把字符串里的字符转换为可执行代码，但只支持一行。可以返回执行后得到的值，用于计算一
系统 2019-09-27 17:52:02 1893
原文链接：https://mp.csdn.net/postedit/98402744学习Python您是否会面临以下问题？“网上充斥着大量的学习资源、书籍、视频教程和博客，但是大部分都是讲解基础知识，不够深入；也有的比较晦涩，难以理解”。CSDNPython学习社群将帮助您过滤网上的垃圾教程资源的技能，同时，您可以在社群内与其他有经验的程序员交流获取帮助。CSDNPython社群专属福利---7月公开课表如下：课程一《Python小白重难点解析》7月24日
系统 2019-09-27 17:51:47 1893
基础元素学习一门编程语言的时候，我最先考虑的事情就是如何操作值，值（value）在程序组可以是一个数字1,2,3,4，字符'hello,word'.我们使用变量来保存这些值。又把变量保存的值成为对象，计算机会给变量的对象和变量分配内存空间。python使用的内存分配方式成为引用语义或者对象语义，而像c语言使用的时值语义。接下来具体说明一下这两种语义的区别。值语义：所谓值语义是指目标对象由源对象拷贝生成，且生成后与源对象完全无关，彼此独立存在，改变互不影响。
系统 2019-09-27 17:51:31 1893
一、计算机结构五大部件：输入设备、输出设备、存储器、运算器、控制器二、cpu、硬盘、内存三者之间的关系cpu：是计算机运算核心和控制中心，让电脑的各个部件顺利工作，起到协调和控制作用硬盘：存储资料和软件等数据设备，有容量大，断电数据不丢失的特点，也被人们称之为“数据仓库”内存：a、负责硬盘等硬件上的数据与cpu之间的数据交换处理。b、缓存系统中的临时数据。c、断电后数据丢失三、变量的命名规则：1、要具有描述性2、变量名只能_、数字、字母组成，不能有空格或特
系统 2019-09-27 17:51:18 1893
JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，它基于ECMAScript的一个子集。JSON采用完全独立于语言的文本格式，这些特性使JSON成为理想的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成，在接口数据开发和传输中非常常用。Python3中我们利用内置模块json解码和编码JSON对象。json模块提供了四个功能：dumps、dump、loads、loaddumps把数据类型转换成字符串dump把数
系统 2019-09-27 17:50:16 1893
本文实例讲述了python3.6生成器yield用法。分享给大家供大家参考，具体如下：今天看源码的时候看到了一个比较有意思的函数：yield功能与return类似，都是返回定义的函数的一个结果，不同的是return返回后这次调用函数就结束了，除了返回值，其余临时变量都会被清除。而yield会停止在当前步，并保留其余变量的值，等下次调用该函数时，从yield的下一步继续往下运行。yield的好处是如果函数需要很大的内存，比方说需要计算并返回一个很大的数列，如
系统 2019-09-27 17:49:49 1893
python初学小记使用PyCharm向世界打招呼！print（“Helloworld！”）介绍自己的基本信息的方法name=input("name:")age=int(input("age:"))#integer强转义成数字print(type(age),type(str(age)))job=input("job:")salary=input("salary:")#一.info='''-------infoof%s--------Name:%sAge:%
系统 2019-09-27 17:49:39 1893
1动机greenlet包是Stackless的副产品，其将微线程称为“tasklet”。tasklet运行在伪并发中，使用channel进行同步数据交换。一个”greenlet”，是一个更加原始的微线程的概念，但是没有调度，或者叫做协程。这在你需要控制你的代码时很有用。你可以自己构造微线程的调度器；也可以使用”greenlet”实现高级的控制流。例如可以重新创建构造器；不同于Python的构造器，我们的构造器可以嵌套的调用函数，而被嵌套的函数也可以yiel
系统 2019-09-27 17:49:28 1893
