昨天有个需求,要获取服务器某个目录下的某些类型的文件,考虑到服务器即有Linux、又有Windows,所以写了一个Python小程序来完成这项工作。Linux服务器有CentOS、Fedora等,都预先安装了Python,版本从2.4到2.5不等,而Windows类型的服务器也多数安装了Python,因此只要在本机写好一个脚本,上传到对应机器,在运行时修改参数即可。Python操作文件和文件夹使用的是os库,下面的代码中主要用到了几个函数:os.listd
系统 2019-08-12 01:32:19 2681
简介提到爬虫,大部分人都会想到使用Scrapy工具,但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解,我们可以手动实现多线程的爬虫过程,同时,引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫,该网站具有反爬机制,同时数量足够大,多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先,开始分析天天基金网的一些数据。经过抓包分析,可知:./fundcode_search.js包含所有基金的数据,同时,该地址具有反爬机制,多次访问将会
系统 2019-09-27 17:57:51 2680
前言最近需要使用https搭建一个api故简单记录一下搭建过程搭建http的服务简单快捷,这里就不做其他介绍有关https的原理请参考图解HTTPS环境搭建(非必须)这个环境其实不是必须的,我再搭建的时候,并没有安装这个环境,因为我的linux服务器自带的有了,可能是在安装其他软件的时候再带安装上去了,所以可以自我检测一下。一、安装OpenSSLOpenSSL介绍OpenSSL是一个强大的安全套接字层密码库,囊括主要的密码算法、常用的密钥和证书封装管理功能
系统 2019-09-27 17:57:00 2680
urllib.request.Request('URL',headers=headers)User-Agent是爬虫和反爬虫斗争的第一步,发送请求必须带User—Agent使用流程:1、创建请求对象request=urlllib.request.Request('url'......)2、发送请求获取响应对象response=urllib.request.urlopen(request)3、获取响应内容html=response.read().decond
系统 2019-09-27 17:49:37 2680
centos7误删除python2.7后导致yum不可用:问题截图解决方法:1、在opt目录下创建site_package/python3递归目录,然后下载以下RPM包,并存入/opt/site_package/python3目录中http://vault.centos.org/7.5.1804/os/x86_64/Packages/lvm2-python-libs-2.02.177-4.el7.x86_64.rpmhttp://vault.centos.
系统 2019-09-27 17:46:51 2680
DOM是DocumentObjectModel的缩写,即文档对象模型。XML将数据组织为一颗树,所以DOM就是对这颗树的一个对象描叙。通俗的说,就是通过解析XML文档,为XML文档在逻辑上建立一个树模型,树的节点是一个个对象。我们通过存取这些对象就能够存取XML文档的内容。下面我们来看一个简单的例子,看看在DOM中,我们是如何来操作一个XML文档的。这是一个XML文档,也是我们要操作的对象:
系统 2019-08-29 23:34:23 2680
配置润乾报表的缓存任务背景不管报表引擎的算法如何优化,报表数据量大到一定程度,用户并发数多到一定程度,服务器的性能总会告急,因此,报表引擎的任务一方面是优化算法,另一方面也是更重要的,是要提供有效的缓存机制与并发控制机制。面临困难报表的缓存,乍一听似乎挺简单的,不就是把算好的报表存下来,然后再次访问时不用再次计算了,直接从缓存里读取吗?实际做起来需要考虑的细节很多,并不那么容易。首先,要考虑
系统 2019-08-29 23:15:56 2680
今天,2009-4-21,惊闻Sun被Oracle收购,有感.以前写过一片小文:也谈所谓的开源–Eclipse,本文的思路和那篇文章基本一致.有句话叫钱不是万能的,没有钱是万万不能的.这句话放在开源软件上,一点也不差.还有句话叫天下没有免费的午餐.开源,是那些不差钱的公司用来做免费广告和简装版软件的一种手段,是一些有野心的个人扬名立万然后加入XX公司的捷径,当然,也有一些同志是真心的为了造福人类来做开源.然而,除非您不差钱,开源软件总是做不久.而做一流产品
系统 2019-08-29 22:55:16 2680
下面几个网址是developer.android.com的android官网的代理网址,如果不想通过VPN或者其他的跳墙(无奈啊,不能写的两个字)方式,可以直接打开下面三个网址之一,http://developers.androidcn.com/offline.htmlhttp://www.coolapk.com/docs/reference/packages.htmlhttp://androidappdocs.appspot.com/sdk/index.
系统 2019-08-29 22:41:27 2680
鉴于有些同学想要学习NDK,但在网上很难找到一个讲解比较清楚、按照步骤操作可以比较顺利学会NDK的文章,所以写了此篇教程。一.准备需要AndroidNDK和windows下c、c++代码的编译器cygwinNDK下载地址:http://developer.android.comcygwin下载地址:http://www.cygwin.com/二.配置1.安装cygwin,并配置cygwin的环境变量。例如:我安装在D盘根目录,那么在环境变量的path中添加
系统 2019-08-29 22:29:14 2680