Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 2224
Python编程中经常遇到一些莫名其妙的错误，其实这不是语言本身的问题，而是我们忽略了语言本身的一些特性导致的，今天就来看下使用Python变量时导致的3个不可思议的错误，以后在编程中要多多注意。关于Python编程运行时新手易犯错误，这里暂不作介绍，详情参见：Python运行的17个时新手常见错误小结1、可变数据类型作为函数定义中的默认参数这似乎是对的？你写了一个小函数，比如，搜索当前页面上的链接，并可选将其附加到另一个提供的列表中。defsearch_
系统 2019-09-27 17:53:32 2224
[TOC]这里主要是算法的介绍以及一些判断算法好坏的标准和方式引入如果a+b+c=1000,且a^2+b^2=c^2,如何求出所有a,b,c可能的组合？第一次尝试:importtimeprint("开始")start_time=time.time()forainrange(1001):forbinrange(1001):forcinrange(1001):ifa+b+c==1000anda**2+b**2==c**2:print("a,b,c:%d,%d,
系统 2019-09-27 17:53:21 2224
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2224
除了重複使用Function，有時我們須檢查結果，依此判斷下個步驟該怎麼進行，如此就需要條件式conditionstatement。if...elif...ese(或if...elif...elif或if..else)while>>>defnumIsEven(k):...ifk%2==0:...print(k,'iseven')...else:...print(k,'isodd')...>>>numIsEven(8)8iseven>>>numIsEven(
系统 2019-09-27 17:52:28 2224
看python社区大妈组织的内容里边有一篇讲python内存优化的，用到了__slots__。然后查了一下，总结一下。感觉非常有用python类在进行实例化的时候，会有一个__dict__属性，里边有可用的实例属性名和值。声明__slots__后，实例就只会含有__slots__里有的属性名。#coding:utf-8classA(object):x=1def__init__(self):self.y=2a=A()printa.__dict__print(
系统 2019-09-27 17:52:11 2224
最近在自学python，又用python实现了一下BLAST。这次更新了打分函数如下，空位罚分改为-5，但不区分gapopen和gapextend。'''''@author:JiuYu'''defscore(a,b):#scoringfunctionscore=0lst=['AC','GT','CA','TG']ifa==b:score+=2elifa+binlst:score+=-5else:score+=-7returnscoredefBLAST(se
系统 2019-09-27 17:52:10 2224
安装前准备(准备编译环境)yuminstallzlib-develbzip2-developenssl-develncurses-develgcc-c++gcc-y获取Python3.6源码#获取源码wgethttps://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz#安装xzyuminstallxz-y#解压tar-xvfPython-3.6.3.tar.xz-C/usr/local/src/安装
系统 2019-09-27 17:51:11 2224
pymysqldemo代码样例，暂时先写查询的，增删改后续再添加；通用部分无论是增删改查，都需要先建立数据库连接，创建游标importpymysql#建立一个mysql的conn，返回Connetion对象conn=pymysql.connect(host='localhost',user='root',passwd='p@ssWD',port='3306',db='test')#新建一个游标，默认返还元组，可选DictCursor让查询结果返还dict#
系统 2019-09-27 17:50:47 2224
文章目录摘要环境注意-Python>=3.7会导致编译失败编译方法摘要本文记述如何在windows10上编译mod_wsgi(Python3.5+Apache-2.4.39)环境win10Apache-2.4.39-https://www.apachelounge.com/download/Python-3.5VisualStudio2019(含c++开发组件)mod_wsgi-https://github.com/GrahamDumpleton/mod_
系统 2019-09-27 17:50:32 2224
