爬虫的概念:爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类:主要有四类:通用网络爬虫,聚焦网络爬虫,增量式网络爬虫,深层网络爬虫爬虫的流程:常见的几种爬虫问题:主要有五类:静态网页的爬取,Ajax数据的爬取,动态渲染页面爬取,验证码的识别,代理的使用常见的爬虫框架:pyspider框架,Scrapy框架分布式爬虫:在多台机器上运行爬虫程序爬虫的一些常用"库":解析库:lxml;BeautifulSoup;pyquery;tesserocr请求库:r
系统 2019-09-27 17:56:05 2134
1.说一说Redis是什么Redis是一种「Key-Value」的内存型、非关系型数据库,属于NoSQL的一种。Redis的读写速度特别快,特别适合读写频繁的场景。Redis支持主从复制,支持数据持久化。2.知道Redis有哪些常用数据类型吗StringListHashSetZset3.说一下Redis用来做什么利用String,可以很容易实现「计数器」功能。利用List,可以实现「粉丝列表」功能。利用Hash,可以实现「浏览记录」功能。利用Set的并集、
系统 2019-09-27 17:55:50 2134
随着和大数据、人工智能绑定在一起,Python可畏是越来越厉害了!前几天,PYPL(即编程语言流行指数,基于Google搜索频率而定)出炉了6月编程语言排行榜,Python拿下NO.1,成为最流行的编程语言。赢得毫无波澜!随着Python的发展,一向以技术著称的Google推出了超级强大的在线编辑器Colaboratory,不需要进行任何设置就可以使用,并且完全在云端运行,最重要的是免费!还在等什么!玩Python的最佳利器!下面就来聊聊Colaborat
系统 2019-09-27 17:55:34 2134
Python入门之内置模块--hashlib模块1、hashlib摘要算法,加密算法(1)主要用途:<1>加密:md5sha1sha256sha512md5,加密速度快,安全系数低sha512加密速度慢,安全系数高<2>校验:md5sha1sha256sha512值importhashlib(2)hashlib的特征以及使用要点:<1>bytes类型数据--->通过hashlib算法--->固定长度的字符串<2>当要加密的内容相同时,得到的密文一定是一样的
系统 2019-09-27 17:54:48 2134
Python游戏开发平台、脚本系统架构设计2.1开发平台2.1.1系统开发环境介绍当前程序是以python为编程语言,主要功能实现依赖于pygame模块,主要用到surface对象之间的位置变化,再利用事件监听让程序运行起来。运行中Surface对象的位置发生变化后,界面刷新,用户对鼠标与键盘进行操作时,监听操作完成相应事件。软件开发方式:①系统总体设计②系统详细设计③编码④测试系统运行环境:Windows7及更高版本;2.1.2数据库系统介绍MySQL是
系统 2019-09-27 17:54:30 2134
生活中,有时候我们需要对一些重要的文件进行加密,Python提供了诸如hashlib,base64等便于使用的加密库。但对于日常学习而言,我们可以借助异或操作,实现一个简单的文件加密程序,从而强化自身的编程能力。记得给公众号加个星标,不会错过精彩内容。基础知识在Python中异或操作符为:^,也可以记作XOR。按位异或的意思是:相同值异或为0,不同值异或为1。具体来讲,有四种可能:0^0=0,0^1=1,1^0=1,1^1=0。我们还可总结出规律(A为0或
系统 2019-09-27 17:54:26 2134
一般使用import和from...import...导入模块。以下述spam.py内的文件代码为例。'''遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!'''#spam.pyprint('fromthespam.py')money=1000defread1():print('spam模块:',money)defread2():print('spam
系统 2019-09-27 17:54:08 2134
itchat是一个开源的微信个人号接口,使用python调用微信从未如此简单。使用不到三十行的代码,你就可以完成一个能够处理所有信息的微信机器人。当然,该api的使用远不止一个机器人,更多的功能等着你来发现,比如这些。该接口与公众号接口itchatmp共享类似的操作方式,学习一次掌握两个工具。如今微信已经成为了个人社交的很大一部分,希望这个项目能够帮助你扩展你的个人的微信号、方便自己的生活。【文章背景】最近几天干啥都不来劲,昨晚偶然了解到Python里的i
系统 2019-09-27 17:54:04 2134
Python数据科学入门DmitryZinoviev著熊子源译第三章使用文本数据第13单元处理HTML文件Beautifulsoup通过Python字典接口实现对HTML标签属性的访问。如果标签对象t表示超链接,则超链接目标的字符串值为t[“herf”].string。HTML标签是不区分大小写的。Soup最有用的函数:soup.find()找到目标的一个实例soup.find_all()找到目标的所有实例HTML\XML之所以强大,是因为有多样化的功能,
系统 2019-09-27 17:53:41 2134
概述由于Python2的官方维护期即将结束,越来越多的Python项目从Python2切换到了Python3。可是,在实际的工作中,我发现好多人都是在用Python2的思维去写Python3的代码,Python3给我们提供了很多新的、很方便的特性,可以帮助我们快速的编写代码。f-strings(3.6+)在Python里面,我们经常使用format函数来格式化字符串,例如:user="JaneDoe"action="buy"log_message='Use
系统 2019-09-27 17:53:30 2134