Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2112
【import模块】和C中的#include不同，Python中的import语句并不是简单的把一个文件插入另外一个文件。导入其实是运行时的运算，程序第一次导入指定文件时，会执行以下步骤，1.找到模块文件2.编译成位码3.执行模块中的代码来创建所定义的模块并生成.pyc字节码文件，这三个步骤只在程序执行时，模块第一次导入时会进行。之后导入相同的模块时，会跳过这三个步骤，而只提取内存中已加载的模块对象，速度要快的多。NOTE:1.Python把已加载的模块放
系统 2019-09-27 17:45:52 2112
数据类型判断在python（版本3.0以上）使用变量，并进行值比较时。有时候会出现以下错误：TypeError:unorderabletypes:NoneType()
系统 2019-09-27 17:37:39 2112
一基本概念1并行和并发1并行，parallel同时做某些事，可以互不干扰的同一时刻做几件事如高速公路上的车道，同一时刻，可以有多个互不干扰的车运行在同一时刻，每条车道上可能同时有车辆在跑，是同时发生的概念2并发,concurrency也是同时做某事，但强调的是同一时段做了几件事。并行是可以解决并发问题的。2并发的解决1队列，缓冲区队列：排队就是队列，先进先出，解决了资源使用的问题。缓冲区：排程的队列，其实就是一个缓冲地带，就是缓冲区优先队列：对比较重要的事
系统 2019-09-27 17:57:11 2111
2019-09-1421:15:24今天是学习Python的第四天,也是写博客的第四天今天的内容是有关'列表'、'元组'、'range'的用法列表:增删改查、列表的嵌套元组:元组的嵌套range:range的具体用法好了,进行日常的记录.加油!======我======是======一======条======快======乐======的======分======割======线一.重要知识点1.list(增删改查)列表可以装大量的数据.不限制数据类型.
系统 2019-09-27 17:56:25 2111
Python转义字符在需要在字符中使用特殊字符时，python用反斜杠(\)转义字符。如下表：原始字符串有时我们并不想让转义字符生效，我们只想显示字符串原来的意思，这就要用r和R来定义原始字符串。如：printr'\t\r'实际输出为“\t\r”转义字符描述\(在行尾时)续行符\\反斜杠符号\'单引号\"双引号\a响铃\b退格(Backspace)\e转义\000空\n换行\v纵向制表符\t横向制表符\r回车\f换页\oyy八进制数yy代表的字符，例如：\
系统 2019-09-27 17:56:23 2111
有关python的版本和安装以及概念特点可以参考上篇博文，python语言基础此博文主要讨论问题如下：一、python的变量二、python常用的数据类型一、什么是python的变量？变量是计算机内存的一块区域，变量可以存储任何值，而且值可以改变。变量名由字母、数字和下划线组成。需要注意的是，不能使用python的关键字，英文大小写字母敏感，第1个字符必须是字母或下划线，不能是数字，示例代码如下：>>>x=1>>>_x=2>>>print(x)1>>>pr
系统 2019-09-27 17:56:12 2111
安装urllib库更适合写爬虫文件，scrapy更适合做爬虫项目。步骤：先更改pip源，国外的太慢了，参考：https://www.jb51.net/article/159167.htm升级pip：python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目：scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2111
一、ubuntu中使用pip3安装gevent时，提示：cannotimportname'main'问题；二、问题解决：解决pip3使用异常，在python3中可以使用__main__，修改如下：报错中已经提示pip文件路径：/usr/bin/pip3，cd进去，进行修改（需要管理员身份保存修改后文件，sudo执行）源文件出错内容：frompipimportmainif__name__=='__main__':sys.exit(main())修改为：fro
系统 2019-09-27 17:55:31 2111
当我们在写程序的时候，我们需要通过测试来验证程序是否出错或者存在问题，但是，编写大量的测试来确保程序的每个细节都没问题会显得很繁琐。在Python中，我们可以借助一些标准模块来帮助我们自动完成测试过程，比如：unittest:一个通用的测试框架；doctest:一个更简单的模块，是为检查文档而设计的，但也非常适合用来编写单元测试。下面，笔者将会简单介绍这两个模块在测试中的应用。doctestdoctest模块会搜索那些看起来像是python交互式会话中的代
系统 2019-09-27 17:55:06 2111
环境：编辑工具：浏览器：有问题可以联系qq：1776376537安装DDT一分析1导入DDT2类前引入ddt3分三次，作为三个字典把数据传过来二代码#导入包fromseleniumimportwebdriverimportunittestfrompages.login_pageimportLoginPage,lgoing_urlfromcommon.baseimportBaseimportddt'''先思考下手工操作顺序（主要流程）第1个用例：输入admi
系统 2019-09-27 17:54:12 2111
前言如果你从事大数据工作，用Python的Pandas库时会发现很多惊喜。Pandas在数据科学和分析领域扮演越来越重要的角色，尤其是对于从Excel和VBA转向Python的用户。所以，对于数据科学家，数据分析师，数据工程师，Pandas是什么呢？Pandas文档里的对它的介绍是：“快速、灵活、和易于理解的数据结构，以此让处理关系型数据和带有标签的数据时更简单直观。”快速、灵活、简单和直观，这些都是很好的特性。当你构建复杂的数据模型时，不需要再花大量的开
系统 2019-09-27 17:53:41 2111
测试1deco运行，但myfunc并没有运行复制代码代码如下:defdeco(func):print'beforefunc'returnfuncdefmyfunc():print'myfunc()called'myfunc=deco(myfunc)测试2需要的deco中调用myfunc，这样才可以执行复制代码代码如下:defdeco(func):print'beforefunc'func()print'afterfunc'returnfuncdefmyfu
系统 2019-09-27 17:51:53 2111
概述在Python3中，数学运算中的除法被分为两种，分别是“真除法”，即无论任何类型相除的结果都会保留小数点，和我们实际的数学运算结果一致，而“截断除法”，则是无论任何类型相除的结果都会省略结果的小数部分，剩下最小的能整除的整数部分。以下是两种除法的基本形式：#真除法X/Y#截断除法X//Y真除法X=8Y=2Z=3print(X/Y)print(X/Z)示例结果：4.02.6666666666666665真除法的结果表明不论操作数的类型其相除结果都返回一个
系统 2019-09-27 17:51:42 2111
互联网寒冬2017年冬天，是我人生中最难熬的一个冬天，其实2017年的冬天并不算太冷，比这冬日的寒风还要严寒的要属这所谓的”互联网寒冬”吧！各大厂裁员的消息充斥着互联网，互联网表面风光实则早己经千仓百孔。其实不仅仅是互联网，每个行业都一样。包括18、19这两年都还处在寒冬期。那为什么互联网界的人对着会这么敏感呢？尤其是程序员！因为IT的知识体系太过庞大，知识更新速度太快太快了。程序员永远在追着热点跑，今天学Java，明天学Python，后天学Golang，
系统 2019-09-27 17:50:24 2111
