搜索到与相关的文章
Python

python使用scrapy自动爬取多个网页

前面介绍的scrapy爬虫只能爬取单个网页。如果我们想爬取多个网页。比如网上的小说该如何如何操作呢。比如下面的这样的结构。是小说的第一篇。可以点击返回目录还是下一页对应的网页代码:我们再看进入后面章节的网页,可以看到增加了上一页对应的网页代码:通过对比上面的网页代码可以看到.上一页,目录,下一页的网页代码都在下的元素的href里面。不同的是第一章只有2个元素,从二章开始就有3个元素。因此我们可以通过下元素的个数来判决是否含有上一页和下一页的页面。代码如下最

系统 2019-09-27 17:53:35 2644

Python

leetcode-python-day8-第15题

========坚持30天刷leetcode=====题目链接:https://leetcode-cn.com/problems/3sum/分析:本题承接第1题而来,第1题题目给定数组和target,在数组内寻找两个数a、b,使得a+b=target。在本题中a+b+c=0,可以理解为:a+b=-c,即:依次把数组的每一个元素当成负的target,运用第一题的思路,稍作修改即可AC。注意点:本题要求返回的是值列表,而不是第一题的索引列表;值列表不可重复,需

系统 2019-09-27 17:49:33 2644

编程技术

牛腩自制TXT文本分割工具

以前在博客园中看到某位朋友也发过一个分割工具的,不过那时自己不需要,也就没有收藏,今天自己需要把一个大的TXT文本文件分割成多份了,可又找不着那篇文章了,只好自己做了个简单的,效果如图:以下为下载地址:单文件下载:http://taotao.wsyren.com/download/txt_singlefile.rar源码下载:http://taotao.wsyren.com/download/txt_source.rar牛腩自制TXT文本分割工具

系统 2019-08-29 23:28:07 2644

编程技术

(第Ⅲ部分 结构型模式篇) 第10章 组合模式(Com

——.NET设计模式系列之十一Terrylee,2006年3月概述组合模式有时候又叫做部分-整体模式,它使我们树型结构的问题中,模糊了简单元素和复杂元素的概念,客户程序可以向处理简单元素一样来处理复杂元素,从而使得客户程序与复杂元素的内部结构解耦。意图将对象组合成树形结构以表示“部分-整体”的层次结构。Composite模式使得用户对单个对象和组合对象的使用具有一致性。[GOF《设计模式》]结构图图1Composite模式结构图生活中的例子组合模式将对象组

系统 2019-08-29 23:00:52 2644

Android

Android开发指南-工具-画九宫格

画九宫格Draw9-patch这个九宫格绘画工具(draw9patch.bat)可以让你很容易的通过一个所见即所得(WYS|WYG)的编辑器来创建一个九宫格NinePatch图。关于九宫格图以及它是如何工作的,请阅读九宫格图像NinepatchImages主题的相关章节。下面是一个便捷指南。你需要PNG图像来创建一个九宫格。1.从一个终端(比如windows浏览器),启动这个draw9patch应用程序,该程序位于你的SDK/tools目录下。2.把你的P

系统 2019-08-29 22:49:58 2644

Linux

ARM-Linux驱动移植--Watch Dog Timer(看门狗)驱

硬件平台:FL2440(S3C2440)内核版本:2.6.28软件平台:Ubuntu11.04内核版本:2.6.39交叉编译器:arm-linux-gcc3.4.1原创作品,转载请标明出处1、加载看门狗驱动insmodwdt.kowdt.ko为驱动文件名,不加任何参数如果不喂狗,则计数器到0时执行中断函数(设置LED的状态,然后喂狗,重新设置WTCNT的值)可选的参数module_param(tmr_margin,int,0);module_param(t

系统 2019-08-29 22:34:57 2644

Java

java中volatile关键字的含义

在java线程并发处理中,有一个关键字volatile的使用目前存在很大的混淆,以为使用这个关键字,在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的,为了解决线程并发的问题,在语言内部引入了同步块和volatile关键字机制。synchronized同步块大家都比较熟悉,通过synchronized关键字来实现,所有加上synchronized和块语句,在多线程访问的时候,同一时刻只能有一个线程能够用synchronized修饰的方法或

系统 2019-08-29 22:29:36 2644

编程技术

在applet中访问本地资源

本文为原创,如需转载,请注明作者和出处,谢谢!applet运行在沙盒中,因此,在默认情况下无法访问本地的资源。但可以通过签名的方式打破这一限制。签名的过程很简单,读者可以按如下的步骤编写一个applet程序,该程序读取了本地C盘的a.txt文件的内容,并显示在applet上,然后压缩成jar文件,并签名后进行发布。下面使用的keytool和jarsigner都是JDK本身带的程序。第1步编写applet程序

Java

Java 虚拟机体系结构

众所周知,Java源代码被编译器编译成class文件。而并不是底层操作系统可以直接执行的二进制指令(比如WindowsOS的.exe文件)。因此,我们需要有一种平台可以解释class文件并运行它。而做到这一点的正是Java虚拟机(JVM)。实际上,JVM是一种解释执行class文件的规范技术。各个提供商都可以根据规范,在不同的底层平台上实现不同的JVM。下面是JVM实现的基本结构框图。其中类装载子系统、运行时数据区、执行引擎等是JVM的必须要解决的几大问题

系统 2019-08-29 22:18:58 2644

编程技术

详解SSJ(Spring3.x mvc + Spring3.x Core + JP

上一章详解SSJ(Spring3.xmvc+Spring3.xCore+JPA2.x)轻量级集成开发—第6章剖析Spring3.xAOP特性02下一章详解SSJ(Spring3.xmvc+Spring3.xCore+JPA2.x)轻量级集成开发—第8章Spring3.xmvc核心类库及基础构建目录一、MVC模型介绍;二、SpringMVC简介;三、剖析SpringMVC工作流程;四、使用Maven工程构建SpringMVC应用;前言笔者的前几章博文都陆续得

系统 2019-08-12 09:29:34 2644