淘宝的页面很复杂,如果使用分析ajax或者js的方式,很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:utf8importrefromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.ui
系统 2019-09-27 17:50:09 1873
一、操作系统中相关进程的知识Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的I
系统 2019-09-27 17:50:08 1873
返回被去除指定字符的字符串默认去除空白字符删除首尾字符:str.strip([char])删除首字符:str.lstrip([char])删除尾字符str.strip([char])判断是否匹配首末字符匹配成功返回True,否则返回False匹配首字符:str.startswith(char[,start[,end]])匹配末字符:str.endswith(char[,start[,end]])查找字符,找到返回字符位置,否则返回-1从字符串开头查找str
系统 2019-09-27 17:50:02 1873
最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了。首要条件,python版本必须是2.7以上。linux首先安装依赖包yum-yinstallblasblas-devellapack-devellapackyum-yinstallseabornscipyyum-yinstallfreetypefreetype-devellibpnglib
系统 2019-09-27 17:49:31 1873
废话不多说,直接上代码吧!importthreadingimportosclassFind(threading.Thread):#搜索数据的线程类def__init__(self,datalist,startIndex,endIndex,searchstr,savefile):#datalist要搜索的内容列表,startIndex列表搜索范围的开始下标,searchstr要搜索的内容threading.Thread.__init__(self)self.
系统 2019-09-27 17:49:21 1873
通用视图1.前言回想一下,在Django中view层起到的作用是相当于controller的角色,在view中实施的动作,一般是取得请求参数,再从model中得到数据,再通过数据创建模板,返回相应响应对象。但在一些比较通用的功能中,比如显示对象列表,显示某对象信息,如果反复写这么多流程的代码,也是一件浪费时间的事,在这里,Django同样给我们提供了类似的"shortcut"捷径--通用视图。2.使用通用视图使用通用视图的方法就是在urls.py这个路径配
系统 2019-09-27 17:48:15 1873
在python中的数据类型和控制流这篇文章中我们提到过列表,它是基本的数据类型之一。通俗来说,它就是用来存储一系列数据的。比如存储一个班级的学生。列表中的每个元素可以通过下标(索引)访问,索引从0开始。既然列表存储的是一系列值,这必然存在「增删改查」的情况,就像一个班级的学生,有进入学的,也有退学的。接下来我们来说说,首先我们先从列表的创建开始。创建列表list=[ele1,ele2,elem3,...,elen]比如,创建一个数字列表或英文字符列表num
系统 2019-09-27 17:48:06 1873
前言Go大概2009年面世以来,已经8年了,也算是8年抗战。在这8年中,已经有很多公司开始使用Go语言开发自己的服务,甚至完全转向Go开发,也诞生了很多基于Go的服务和应用,比如Dokcer、k8s等,很多的大公司也在用,比如google(作为开发Go语言的公司,当仁不让)、Facebook、腾讯、百度、阿里、京东、小米以及360,当然除了以上提到的,还有很多公司也都开始尝试Golang,这其中是什么原因呢?让我们来一起分析分析。原因1:性能Go极其地快。
系统 2019-09-27 17:48:04 1873
1.初识python(python2.7)1)python既是面向过程的又可以是面向对象的。面向过程:代码由可以重用的函数构建;面向过程:代码由数据和功能组合成的对象构建。2)python是一种解释型语言,与java等编译型语言不同,在执行python程序的过程中无需编译器进行编译和链接,既在执行python代码时减少了编译环节,解释器会将源代码转换成字节码再翻译给计算机执行。3)python是一种交互式语言:在python的提示符>>>后面直接执行代码。
系统 2019-09-27 17:48:00 1873
python提供了大量的库,可以非常方便的进行各种操作,现在把python中实现读写csv文件的方法使用程序的方式呈现出来。在编写python程序的时候需要csv模块或者pandas模块,其中csv模块使不需要重新下载安装的,pandas模块需要按照对应的python版本安装。在python2环境下安装pandas的方式是:sudopipinstallpandas在python3环境下安装pandas的方式是:sudopip3installpandas1、
系统 2019-09-27 17:47:48 1873