前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1855
正文首先得说明的是,Python的类分为经典类和新式类经典类是python2.2之前的东西,但是在2.7还在兼容,但是在3之后的版本就只承认新式类了新式类在python2.2之后的版本中都可以使用经典类和新式类的区别在于:经典类是默认没有派生自某个基类的,而新式类是默认派生自object这个基类的:复制代码代码如下:#oldstyleclassA():pass#newstyleclassA(obejct):pass2.经典类在类多重继承的时候是采用从左到右
系统 2019-09-27 17:54:38 1855
题目给定一个非空二叉树，返回其最大路径和。本题中，路径被定义为一条从树中任意节点出发，达到任意节点的序列。该路径至少包含一个节点，且不一定经过根节点。示例1:输入:[1,2,3]1/\23输出:6示例2:输入:[-10,9,20,null,null,15,7]-10/\920/\157输出:42思路关键是要求出，某一个根节点到某个子节点的最长路径是多少。最后的结果一定是某一个根节点的值加上它左右子树的那个最长路径。代码如下，代码ref:https://le
系统 2019-09-27 17:54:00 1855
表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 1855
描述sin()返回的x弧度的正弦值。语法以下是sin()方法的语法:importmathmath.sin(x)注意：sin()是不能直接访问的，需要导入math模块，然后通过math静态对象调用该方法。参数x--一个数值。返回值返回的x弧度的正弦值，数值在-1到1之间。实例以下展示了使用sin()方法的实例：#!/usr/bin/pythonimportmathprint"sin(3):",math.sin(3)print"sin(-3):",math.s
系统 2019-09-27 17:53:29 1855
正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。在前面学习了比较多模式，有前向搜索的，也有后向搜索的，有肯定模式的，也有否定模式的。这次再来学习一个，就是后向搜索肯定模式，意思就
系统 2019-09-27 17:53:26 1855
问题如下ExceptioninTkintercallbackTraceback(mostrecentcalllast):File"C:\Python27\lib\lib-tk\Tkinter.py",line1542,in__call__returnself.func(*args)File"C:\Users\11782\AppData\Roaming\Python\Python27\site-packages\matplotlib\backends\bac
系统 2019-09-27 17:53:25 1855
这里主要讲了bs4解析方法和json方法，以8684网页为例子，爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.
系统 2019-09-27 17:53:12 1855
三大相关系数:pearson,spearman,kendall统计学中的三大相关性系数：pearson,spearman,kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1.personcorrelationcoefficient（皮尔森相关性系数）皮尔逊相关系数通常用r或ρ表示，度量两变量X和Y之间相互关系（线性相关）(1)公式皮尔森相关性
系统 2019-09-27 17:53:11 1855
又见一堆PYTHON高薪，前景好，年薪破百万，反正不会落到我们头上，看看就好（如果说python在这里下了广告，我是信得）CSDN这个狡猾小精灵，每年总要吹那么一种语言或技术，然后不到半年就忘光了，是的，半年后，只字不提记得去年是吹的人工智能，至于用什么语言，反正好像CSDN自己也没搞懂，我们这些博主也没搞懂，所以就随便粘贴国外大牛的文章宣传了半年其实有点见怪不怪其实最好的开源论坛不是CSDN某一种语言，基于最深入探讨的论坛也不是CSDN有点可悲的是，一般
系统 2019-09-27 17:53:00 1855
