涉及到详情页爬取目录结构:kaoshi_bqg.pyimportscrapyfromscrapy.spidersimportRulefromscrapy.linkextractorsimportLinkExtractorfrom..itemsimportBookBQGItemclassKaoshiBqgSpider(scrapy.Spider):name='kaoshi_bqg'allowed_domains=['biquge5200.cc']start_
系统 2019-09-27 17:46:11 1874
本地电脑具有Scrapy爬虫环境,但是想让爬虫一直工作,还是要把代码扔到服务器上,所以在linux服务器上安装Scrapy环境。linux服务器原python2.7经过一番操作,升级到python3.6参考https://www.cnblogs.com/kimyeee/p/7250560.html我只是到makeinstall为止然后安装Scrapy,遇到问题1:'error:gcc'failedwithexitstatus1'参考https://blog
系统 2019-09-27 17:46:10 1874
最近上课学生多名字记不住,名册忘记了带,要点名怎么办,好久没有写代码了,于是自己写了个点名软件,记录下吧,第一次接触TK也不是太熟悉,写的不太好,记录下源代码以后遇到要写桌面软件还是可以耍耍的。tk:文档https://wiki.python.org/moin/TkIntertk是python自带的一个GUI模块效果:背景图:icon图标:源码:fromwin32com.clientimportDispatchfromtkinterimport*impor
系统 2019-09-27 17:45:55 1874
环境:编辑工具:浏览器:有问题可以联系qq:1776376537(html可以加qq要)#coding:utf-8#导入包fromcommon.baseimportBasefromseleniumimportwebdriverfromselenium.webdriver.common.action_chainsimportActionChainsfromselenium.webdriver.support.selectimportSelect#打开浏览器d
系统 2019-09-27 17:45:29 1874
一:dict和set是python里面两种常用的数据结构,其底层是用哈希表实现的,类比java里面的HashSet和HashMap。dict和set的查询等操作的时间复杂度一般为O(1),远远好于一般数组的O(n)。之所以会这样,是因为dict和set维护这一张哈希表,通过哈希函数,可以快速定位到元素所在的位置。老版本的python的哈希表数据结构:--+-------------------------------+|哈希值(hash)键(key)值(v
系统 2019-09-27 17:45:28 1874
一直想着给框架添加邮件发送功能、所以整理下python下邮件发送功能首先python是支持邮件的发送、内置smtp库、支持发送纯文本、HTML及添加附件的邮件。之后是邮箱、像163、qq、新浪等邮箱默认关闭SMTP服务,需要我们手动打开,打开后通过发件人邮箱、授权密码通过发件人的SMTP服务发送代码如下:#!/usr/bin/envpython#-*-coding:utf_8-*-fromemail.mime.textimportMIMETextfrome
系统 2019-09-27 17:38:43 1874
在编写python函数时,无意中发现一个问题:python中的变量不能以数字打头,以下函数中定义了一个变量3_num_varchar,执行时报错。函数如下:defdatabase_feild_varchar_trans(in_feild):'''transferthefeildifvarcharthen3timeslangelsenotransfer'''feild_split=in_feild.split('')is_varchar=feild_spli
系统 2019-09-27 17:38:01 1874
1、要点(1)在C语言中没有字符串,只有字符,在python中的字符串hello,在C语言中是以字符数组在内存存放['h','e','l','l','o'],如果对字符串修改,则是在内存中新开辟了一段空间进行存放。字符串特性:一旦修改,需要重新创建。例:"hello"+"ni"+"hao"内存中:['h','e','l','l','o']+['n','i']+['h','a','o']万恶的“+”,“+”号越多,在内存中多次重复创建,浪费空间。C语言需要手
系统 2019-09-27 17:37:41 1874
最近A股大盘出现了一个小变化,那就是下午2点的时间窗有点前移,盘中短线抛盘开始在13点35分出现。从盘面看,今天的调整比较温和,除了智能概念外,其他股票涨停的品种不是很多,说明市场资金开始保守。从下图看,大盘的调整应该做主动性调整理解。第一:从技术面看,股指逐步接近下图的黄色阻力线,它可以理解为一个新的上升趋势的雏形;在不跌破下轨的时候,可以理解为箱体的震荡。第二:热点轮换速度不能太快。最近一个时期,主力做多的线路是新能源、泛消费、生物医药,伴随着迪斯尼等
系统 2019-08-29 23:45:07 1874
本文为原创,如需转载,请注明作者和出处,谢谢!上一篇:eclipse+JBoss5+EJB3开发指南(10):通过继承实体Bean,将单个表映射成多个表(单表策略,SINGLE_TABLE)在上一篇文章中,使用单表策略将一个表从逻辑上分成了多个表。但这样可能会造成空巢字段,也就是说,一个逻辑表只由部分字段组成,而物理的表的很多字段的值就会为null。为了解决这个问题,可以将t_accounts表物理地分成多个表。为了与t_accounts表进行对比,新建一
系统 2019-08-29 23:31:11 1874