爬虫的概念:爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类:主要有四类:通用网络爬虫,聚焦网络爬虫,增量式网络爬虫,深层网络爬虫爬虫的流程:常见的几种爬虫问题:主要有五类:静态网页的爬取,Ajax数据的爬取,动态渲染页面爬取,验证码的识别,代理的使用常见的爬虫框架:pyspider框架,Scrapy框架分布式爬虫:在多台机器上运行爬虫程序爬虫的一些常用"库":解析库:lxml;BeautifulSoup;pyquery;tesserocr请求库:r
系统 2019-09-27 17:56:05 2123
这是最近找机器学习实习的一个笔试题:看到这个题的时候第一想法就是用关联规则(Apriori算法)来实现。关联规则最重要的就是支持度Support和置信度Confidence。支持度的计算方法:#下面式中X∩Y表示X和Y同时发生的次数,N表示总事物数support(X->Y)=X∩Y/N置信度的计算方法:confidence(X->Y)=support(X->Y)/support(X)知道支持度和置信度的计算方法之后就可以实现上面算法了,首先本题给的数据集比
系统 2019-09-27 17:56:04 2123
1.说一说Redis是什么Redis是一种「Key-Value」的内存型、非关系型数据库,属于NoSQL的一种。Redis的读写速度特别快,特别适合读写频繁的场景。Redis支持主从复制,支持数据持久化。2.知道Redis有哪些常用数据类型吗StringListHashSetZset3.说一下Redis用来做什么利用String,可以很容易实现「计数器」功能。利用List,可以实现「粉丝列表」功能。利用Hash,可以实现「浏览记录」功能。利用Set的并集、
系统 2019-09-27 17:55:50 2123
随着和大数据、人工智能绑定在一起,Python可畏是越来越厉害了!前几天,PYPL(即编程语言流行指数,基于Google搜索频率而定)出炉了6月编程语言排行榜,Python拿下NO.1,成为最流行的编程语言。赢得毫无波澜!随着Python的发展,一向以技术著称的Google推出了超级强大的在线编辑器Colaboratory,不需要进行任何设置就可以使用,并且完全在云端运行,最重要的是免费!还在等什么!玩Python的最佳利器!下面就来聊聊Colaborat
系统 2019-09-27 17:55:34 2123
1、合并列表(extend)跟元组一样,用加号(+)将两个列表加起来即可实现合并:In[1]:x=list(range(1,13,2))In[2]:x+['b','a']Out[2]:[1,3,5,7,9,11,'b','a']对于已定义的列表,可以用extend方法一次性添加多个元素:In[7]:x2=[3,6,1]In[8]:x.extend(x2)In[9]:xOut[9]:[1,3,5,7,9,11,3,6,1,3,6,1,3,6,1]需要说明的是
系统 2019-09-27 17:55:28 2123
前言玩ctf经常遇到进制转换的问题,就正好做一个进制转换总结,分享出来供大家参考学习,下面来一起看看详细的介绍:字符串与十六进制转换例如百度ctf12月的第二场第一个misc666C61677B65633862326565302D336165392D346332312D613031322D3038616135666137626536377D比较简单的一种做法就是直接调用字符串的.decode('hex')解密即可,但如果不用这个函数你会怎么解呢?一种思路就
系统 2019-09-27 17:55:09 2123
mock简介mock原是python的第三方库python3以后mock模块已经整合到了unittest测试框架中,不用再单独安装Mock这个词在英语中有模拟的意思,因此我们可以猜测出这个库的主要功能是模拟一些东西准确的说,Mock是Python中一个用于支持单元测试的库,它的主要功能是使用mock对象替代掉指定的Python对象,以达到模拟对象的行为既然mock已经被整合到了unittest单元测试框架中,可想而知mock的目的就是为了让我们更好的进行测
系统 2019-09-27 17:54:56 2123
阅读更多#1-20的列表a=list(range(1,21))print(a)#1-10000的列表squares=[]forvalueinrange(1,10001):square=valuesquares.append(square)print(squares)#1-10000的列表,核实从1开始10000结束,求1-10000之和a=list(range(1,10001))print(a)print(min(a))print(max(a))print
系统 2019-09-27 17:54:50 2123
生活中,有时候我们需要对一些重要的文件进行加密,Python提供了诸如hashlib,base64等便于使用的加密库。但对于日常学习而言,我们可以借助异或操作,实现一个简单的文件加密程序,从而强化自身的编程能力。记得给公众号加个星标,不会错过精彩内容。基础知识在Python中异或操作符为:^,也可以记作XOR。按位异或的意思是:相同值异或为0,不同值异或为1。具体来讲,有四种可能:0^0=0,0^1=1,1^0=1,1^1=0。我们还可总结出规律(A为0或
系统 2019-09-27 17:54:26 2123
电脑作为大家日常办公的工具,最怕的一件事情之一就是被偷,当我们的电脑被盗的时候,不仅仅是电脑本身,更重要的是电脑存储的资料都会丢失。如何尽快的找回电脑需要我们想点办法,今天就教大家一个好的技巧,虽说不能百分之百的好用,但是也能够发挥一定的效果。小编本次是基于Linux下的展示,之所以基于Linux,是因为需要电脑在启动的时候,需要自动启动程序,做到出其不意,原因我会在最后给出。程序是这样的,程序执行会首先调用笔记本的摄像头,拍摄笔记本面前的照片,然后,会给
系统 2019-09-27 17:54:03 2123