搜索到与相关的文章
Python

python多线程+代理池爬取天天基金网、股票数据过程解析

简介提到爬虫,大部分人都会想到使用Scrapy工具,但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解,我们可以手动实现多线程的爬虫过程,同时,引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫,该网站具有反爬机制,同时数量足够大,多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先,开始分析天天基金网的一些数据。经过抓包分析,可知:./fundcode_search.js包含所有基金的数据,同时,该地址具有反爬机制,多次访问将会

系统 2019-09-27 17:57:51 2584

Python

python的数据类型之字符串(一)

字符串(str)双引号或者单引号中的数据,就是字符串.注意事项1、反斜杠可以用来转义,使用r可以让反斜杠不发生转义。2、字符串可以用+运算符连接在一起,用*运算符重复。3、Python中的字符串有两种索引方式,从左往右以0开始,从右往左以-1开始。4、Python中的字符串不能改变“+”可以直接连接多个字符串“*”可以重复多个相同的字符串字符串的截取(切片)下标字符串的下标是从0开始的,列如字符串,"xiaose",x的下标则0,i的下标则为1,接下来的就

系统 2019-09-27 17:57:17 2584

Python

python3使用Tornado的搭建HTTPS服务

前言最近需要使用https搭建一个api故简单记录一下搭建过程搭建http的服务简单快捷,这里就不做其他介绍有关https的原理请参考图解HTTPS环境搭建(非必须)这个环境其实不是必须的,我再搭建的时候,并没有安装这个环境,因为我的linux服务器自带的有了,可能是在安装其他软件的时候再带安装上去了,所以可以自我检测一下。一、安装OpenSSLOpenSSL介绍OpenSSL是一个强大的安全套接字层密码库,囊括主要的密码算法、常用的密钥和证书封装管理功能

系统 2019-09-27 17:57:00 2584

编程技术

Spring2.5注释语法

Spring的IoCpublicclassFoo{①privateStringname;privateintage;publicStringtoString(){return"TheFoo'sNameis:"+this.name+"TheFoo'sAgeis:"+this.age;}publicStringgetName(){}publicvoidsetName(Stringname){}publicintgetAge(){}publicvoidsetAg

系统 2019-08-29 23:30:18 2584

编程技术

Moblin v2开发环境设置——创建一个新应用程序

(翻译:徐诚http://blog.csdn.net/shizhebsys保留版权)这里是开始Moblin开发重要起点。本页描述如何创建一个简单的应用程序,并且介绍少数有用的工具帮助你快速启动开发动作。注意:这不是一个Linux软件开发指南,而是假设你已经懂得如何在Linux上开发软件,包括使用(你最喜欢的编辑器)、gcc、gdb和Makefile程序来编译和调试。Moblin兼容性和应用程序Moblin兼容性是一个通过矫正函数库和函数版本来改善应用程序兼

系统 2019-08-29 23:09:06 2584

Linux

Linux 自检和 SystemTap

2009年12月03日现代的操作系统内核提供自检功能,即动态地检查内核以理解其行为的能力。这些行为可以反映内核问题和性能瓶颈。拥有这些信息时候,您就可以调优或修改内核以避免出现故障。本文探索一个名为SystemTap的开放源码基础设施,它为Linux®内核提供这种动态的自检。SystemTap是监控和跟踪运行中的Linux内核的操作的动态方法。这句话的关键词是动态,因为SystemTap没有使用工具构建一个特殊的内核,而是允许您在运行时动态地安装该工具。它

系统 2019-08-29 23:05:15 2584

编程技术

Robert C. Martin列举的专业软件开发人员必须精

在世界顶级软件开发大师RobertC.Martin(Bob大叔)最新力作TheCleanCoder:ACodeofConductforProfessionalProgrammers(《程序员的职业素养》,章显洲、余晟译,人民邮电出版社,2012年)一书中,他结合自己40多年的软件开发经验(1969年至今),列出了他所认为的一个专业软件开发人员必须精通的事项(与原书中次序保持一致),原文是:Hereisaminimallistofthethingsthate

系统 2019-08-29 22:55:49 2584

编程技术

为什么你需要3块不同的腕表?

一块腕表可以应付所有场合吗?当然不能。就像没有一件衣服是既可以用来参加晚宴,又可以穿着挥汗运动的,腕表也是。可幸的是,大多数人并不需要满满一柜的表来每天更换着戴。即使你是最简朴的实用主义者,最少也需要3块表,毕竟很多时候你不能总掏出手机来看时间。有了如下3块表,就已经足够了。一、每天带的表。价格指数:¥5000~2万元“每天带”的那块表要具备耐操,耐看,适应商务场合戴的特点。这样的表价格不用太高,也不能太低,5000~2万元这个档次的就比较不错了。每天带的

系统 2019-08-29 22:46:33 2584

编程技术

云计算使用经验分享- 人云亦云 背后的故事

如果一个云计算推广者没有亲身体验过云计算,那跟“忽悠”有什么区别呢?幸好,我个人使用过很多云计算服务,并且有很多心得和经验,同时也希望能将这些东西拿出来和大家分享,那么今天会首先介绍一下“人云亦云”背后的故事。架构虽然“人云亦云”本质上非常简单,就是一个Wordpress站点,但是在设计上也有一定的奥秘。这个奥秘就是在部署之前先分析哪些东西是需要持久化和备份的。经过我的分析,主要有两类数据:其一是发布的文档,也就是博客。其二是博客中的图片。但因为这两者情况

系统 2019-08-29 22:43:13 2584

Android

【基于Windows系统】教你如何在Android中使用JN

鉴于有些同学想要学习NDK,但在网上很难找到一个讲解比较清楚、按照步骤操作可以比较顺利学会NDK的文章,所以写了此篇教程。一.准备需要AndroidNDK和windows下c、c++代码的编译器cygwinNDK下载地址:http://developer.android.comcygwin下载地址:http://www.cygwin.com/二.配置1.安装cygwin,并配置cygwin的环境变量。例如:我安装在D盘根目录,那么在环境变量的path中添加

系统 2019-08-29 22:29:14 2584