创建爬虫目录：scrapystartprojectspiderName调试命令scrapyshell网站名调试命令可直接进行css和xpath的调试；成功执行命令之后可使用：response.xpath(xpath表达式)获取所需的内容。xpath说明：XPath是一门在XML文档中查找信息的语言表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//不考虑位置选择节点//div.选取当前节点./div…选取当
系统 2019-09-27 17:56:45 2097
安装GPU支持Keras集成了TensorFlow，但是使用TensorFlow的GPU计算要安装安装CUDA和配置NVIDIAcuDNN，参照以下博客安装(看到安装顺序的第2步就可以了)：win10搭建tensorflow-gpu环境注意：自行搜索自己显卡对应的CUDA，再搜索与CUDA对应的cudnn版本。它安装的是CUDA9.0，而我安装的是cuda_10.1.168_425.25_win10.exe，与其对应的cuDNN版本是cudnn-10.1-
系统 2019-09-27 17:56:41 2097
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。举个例子，某些网站是需要登录后才能得到你想要的信息的，不登陆只能是游客模式，那么我们可以利用Urllib2库保存我们以前登录过的Cookie，之后载入cookie获取我们想要的页面，然后再进行抓取。理解cookie主要是为我们快捷模拟登录抓取目标网页做出准备。我之前的帖子中使用过urlopen()这个函数来打开网页进行抓取，这仅仅只是一个简单的Py
系统 2019-09-27 17:56:06 2097
[TOC]代码示例支持平台:Centos6.3Python:2.7.14Github:https://github.com/baidu/CUP欢迎关注公众号进行技术互动和讨论:1.1踩坑案例今天的坑不仅包括裸用os.system还包括裸用相关的家族:os.popensubprocess家族subprocess.callsubprocess.Popensubprocess.runcommands家族(py2.6后已不推荐使用，depreciated.Py3删
系统 2019-09-27 17:55:48 2097
本文实例讲述了Python实现获取系统临时目录及临时文件的方法。分享给大家供大家参考，具体如下：在开发应用程序的过程中，会有一些临时的信息，或者不太重要的信息，会保存在一个特殊的目录下面，在windows里面，通常会在c:\docume~1\admini~1\locals~1\temp这个地方，而在centos中就是/tmp目录比如我们经常上网，网页的的一些临时信息都保存在这个临时目录里面。那么在我们自己写应用程序的时候，怎么得到这个临时目录，怎么创建临时
系统 2019-09-27 17:55:43 2097
Virtualenv我们都知道Python开发项目很容易，项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目，但是由于我们每个项目情况都有些不一样。比如今天可能用的是Django1.8，明天可能用的是Django2.1。如果不进行环境隔离全局安装就会导致包的冲突，依赖不同，出现问题。这个时候每个应用都需要一套「独立」的Python运行环境。而Virtualenv就是拿来为应用创建这一套「隔离」的Python运行环境。首先用pip安装pipi
系统 2019-09-27 17:55:33 2097
有一些通用的参数，比如axis=0为行，1为列index=指定行，columns=指定列ascending=False倒序，True顺序找不到代码时候试试会有惊喜行列通用通过标签选择数据df[[...]]df.loc['']df['']df.loc[indexList,columnList]通过位置选择数据df[num]df.iloc[indexList,columnList]通过标签/位置选择数据df.ix[indexList,columnList][i
系统 2019-09-27 17:55:06 2097
概述数据结构是组织数据的方式，以便能够更好的存储和获取数据。数据结构定义数据之间的关系和对这些数据的操作方式。数据结构屏蔽了数据存储和操作的细节，让程序员能更好的处理业务逻辑，同时拥有快速的数据存储和获取方式。在这篇文章中，你将了解到多种数据结构以及这些数据结构在Python中实现的方式。抽象数据类型和数据结构数据结构是抽象数据类型(ADT)的实现，通常，是通过编程语言提供的基本数据类型为基础，结合相应的代码来实现。通常来说，数据结构分为两类：原始数据结构
系统 2019-09-27 17:54:21 2097
人红是非多，最近Python就遇到了这样的问题。与国际技术社区上一片「形势大好」对比鲜明的是，国内技术圈却一直存在对Python，「力挺」和「吃瓜」两派阵营，针锋相对，那么，Python到底有没有用，真相究竟如何？是谁推波助澜了Python？Python究竟能做什么？程序员：该重新定义都说Python易学，究竟好学在哪里呢？因为其拥有大量第三方库，所以开发人员不必重复造轮子，就像搭积木一样，只要擅于利用这些库就可以完成绝大部分工作。它可以做网络爬虫。不夸张
系统 2019-09-27 17:54:06 2097
函数：startswith()作用：判断字符串是否以指定字符或子字符串开头一、函数说明语法：string.startswith(str,beg=0,end=len(string))或string[beg:end].startswith(str)参数说明：string：被检测的字符串str：指定的字符或者子字符串。（可以使用元组，会逐一匹配）beg：设置字符串检测的起始位置（可选）end：设置字符串检测的结束位置（可选）如果存在参数beg和end，则在指定范
系统 2019-09-27 17:53:46 2097
