我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2348
1.异常程序在运行的时候，如果python解释器遇到一个错误，会停止程序的执行，并且提示一些错误的信息，这就是异常我们在程序开发的时候，很难将所有的特殊情况都处理，通过异常捕获可以针对突发事件做集中处理，从而保证程序的健壮性和稳定性在程序开发中，如果对某些代码的执行不能确定(程序语法完全正确)可以增加try来捕获异常try这个关键字来捕获异常try:尝试执行的代码except:出现错误的处理try:不能确定正确执行的代码num=int(input('请输入
系统 2019-09-27 17:52:11 2348
方法一：>>>str1='''Leventselève,ilfauttenterdevivre.起风了，唯有努力生存。（纵有疾风起，人生不言弃。）'''>>>str1'Leventselève,ilfauttenterdevivre.\n起风了，唯有努力生存。\n（纵有疾风起，人生不言弃。）'编辑的时候，引号挺对的，但是不知道为什么发布的时候，第一行的引号总是多了一些，其实应该是下面这样的：不过感觉这种方法不够纯粹，因为字符串里含有\n。方法二：>>>st
系统 2019-09-27 17:50:53 2348
前几天和隔壁邻居玩斗地主被发现了，牌被没收了，斗地主是斗不了了，但我还想和邻居玩耍。如果你还想斗斗地主，戳：趁老王不在，和隔壁邻居斗斗地主，比比大小想破脑袋终于让我想到一个游戏，数独！什么叫数独？数独就是可以让我趁老王不在的时候和隔壁邻居一起玩耍的游戏！数独的规则1、数字1-9在每一行只能出现一次。2、数字1-9在每一列只能出现一次。3、数字1-9在每一个3x3宫内只能出现一次。3x3的宫内为A1-C3,A4-C6,A7-C9,D1-F3,D4-F6,D7
系统 2019-09-27 17:49:37 2348
在python的BeautifulSoup4扩展库的使用过程中出现了TypeError:listindicesmustbeintegersorslices,notstr这个错误，这里就分析一下为什么会报错以及如何解决。这个错误的意思是'类型错误:list的索引必须是'integers'或者'slices'不能是'str'我出现错误的代码：#引入库frombs4importBeautifulSoup#读取页面soup=BeautifulSoup(open('
系统 2019-09-27 17:49:33 2348
目录1.单表查询2.多表查询1.单表查询单表查询语法：selectdistinct字段1,字段2...from表名where条件groupbyfieldhaving筛选orderbyfieldlimit限制条数关键字执行的优先级:fromwheregroupbyselectdistincthavingorderbylimit1.1简单查询1.select语句：select*from表；select字段,字段..from表；selectdistinct字段,
系统 2019-09-27 17:49:27 2348
Python语言功能非常强大，除了类之外，还有模块和包的概念，这有点像perl，此处简单说说包和模块。一、Python中的模块模块――其实就是我们说的库(lib)的概念，不过它不仅只是可以包含一系列函数，也可以包含类，python里是没有像C语言之类，直接include某文件的，包正是这种类似的东西。Python引入模块的方法有两种：1、import模块名（实际是对应的就是文件名.py）2、模块名=__import__("模块文件名(不带扩展名)")也可以
系统 2019-09-27 17:48:22 2348
遍历Redis数据库中有以格式为PREFIX_*的按照key-value方式存储的key，并打印其值.遍历使用SCAN，因为KEYSPREFIX_*可能会造成Redis长时间阻塞。查询使用pipeline减少交互，提高效率。importredisimporthiredispool=redis.ConnectionPool(host='127.0.0.1',port=6379,db=0)r=redis.Redis(connection_pool=pool)p
系统 2019-09-27 17:47:28 2348
一概述1为什么要序列化因为TCP/IP协议只支持字节数组的传输，不能直接传对象。对象序列化的结果一定是字节数组！当两个进程在进行远程通信时，彼此可以发送各种类型的数据。无论是何种类型的数据，都会以二进制序列的形式在网络上传送。发送方需要把这个对象转换为字节序列，才能在网络上传送；接收方则需要把字节序列再恢复为对象。2序列化和反序列化序列化(serialization)：及有序的列，数据转换成二进制的有序的过程协议：规定序列化和反序列化的转换方式及就是把数据
系统 2019-09-27 17:47:02 2348
scipy.misc.logsumexp函数的输入参数有(a,axis=None,b=None,keepdims=False,return_sign=False)，具体配置可参见这里，返回的值是np.log(np.sum(np.exp(a)))。这里需要强调的是使用该函数的场景：一般来说，该函数主要用于非常小的数值的运算（比如蒙特卡洛取样样本）。在这种情况下，将数据保持log处理是必须的。所以这时你如果想将数组中的数据累加求和就需要这样计算log(sum(
系统 2019-09-27 17:38:13 2348
