搜索到与相关的文章
Python

python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中

爬取TOP500的音乐信息,包括排名情况、歌曲名、歌曲时间。网页版酷狗不能手动翻页进行下一步的浏览,仔细观察第一页的URL:http://www.kugou.com/yy/rank/home/1-8888.html这里尝试将1改为2,再进行浏览,恰好是第二页的信息,再改为3,恰好是第三页的信息,多次尝试发现不同的数字即为不同的页面。因此只需更改home/后面的数字即可。由于每页显示的为22首歌曲,所以总共需要23个URL。importrequestsfro

系统 2019-09-27 17:49:04 2436

Python

Windows 任务调度程序定时执行Python脚本

Windows任务调度程序(TaskScheduler)可以定时执行程序,本文分享使用TaskScheduler定时执行Python脚本的两种方法。在控制面版->管理员工具中打开TaskScheduler:在TaskSchedulerLibrary中创建一个新的文件夹demo,右击,点击“CreateBasicTask”,打开创建任务向导:step1:输入任务的名称step2:设置触发任务的周期step3:进一步设置触发任务的周期step4:设置任务的动作

系统 2019-09-27 17:48:04 2436

Python

Python学习之旅:使用virtualenv创建Python环境及PyQT5

一、写在前面从学Python的第一天起,我就知道了使用pip命令来安装包,从学习爬虫到学习Web开发,安装的库越来越多,从requests到lxml,从Django到Flask,各种各样的库都处在一个Python环境之中。这种做法对于我这种懒人来说是再适合不过的了,但是这样也是会有问题的。第一个问题在于Pycharm的加载速度变得慢了,因为要导入太多包了,而其中很多包对于很多程序来说根本用不上。第二个问题在于很多模块之间是有版本要求的,都需要特定的版本才能

系统 2019-09-27 17:47:55 2436

Python

python爬虫猫眼电影TOP100(爬虫入门基础,同步入库)

小编辗转了比较长的一段时间,现在终于提笔于python的运用,这次尝试也是一个开端。本篇文章所爬取的数据网上已经有了很多版本,并不是什么新鲜的数据,仅仅作为个人进阶的参考。python爬虫进阶第S190811期python爬虫将会进一步深入到JavaScript渲染网页(动态渲染)、验证码识别、代理设置、cookies池搭建等,有兴趣的同道中人可以持续关注哈。本次尝试爬取小量电影数据并同步存入数据库作为预热哈。下面代码分为三块:请求、解析网页的模块;网页数

系统 2019-09-27 17:46:05 2436

Python

对python3中的RE(正则表达式)-详细总结

1.引入正则模块(RegularExpression)要使用python3中的RE则必须引入re模块importre#引入正则表达式2.主要使用的方法match(),从左到右进行匹配#pattern为要校验的规则#str为要进行校验的字符串result=re.match(pattern,str)#如果result不为None,则group方法则对result进行数据提取3.正则表达式1️⃣单字符匹配规则字符功能.匹配任意1个字符(除了\n)[]匹配[]中列

系统 2019-09-27 17:45:57 2436

Python

搞笑的程序猿:看看你是哪种Python程序员

不久前,在互联网上出现了一篇有趣的文章,讲的是对于同一个问题,不同层次的Python程序员编出的Python代码,显示出了不同的风格,代码都很简单,有趣。下面让我们一起来看看一个Python程序猿进阶的全过程吧。(偷笑)编程新手deffactorial(x):ifx==0:return1else:returnx*factorial(x-1)//不简单啊,迭代,新手哦。printfactorial(6)一年编程经验(学Pascal的)deffactorial

系统 2019-09-27 17:45:46 2436

Python

Python中用pycurl监控http响应时间脚本分享

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。pycurl是个用c语言实现的python库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:supportingFTP,FTPS,HTTP,HTTPS,GOPHER,TELNET,DICT,FILEandLDAP.libcurlsupportsHTTPScertificates,HTTPPOST,HTTPPUT

系统 2019-09-27 17:37:48 2436

Linux

Linux ubuntu lamp安装配置环境phpmyadmin

注明转载:http://farlee.info/archives/linux-ubuntu-lamp-apache-mysql-php-phpmyadmin-install-configuration.html作者FarLeePHP开发和服务器运行环境首选LAMP组合,即Linux+Apache+Mysql+Php/Perl/Python,能最优化服务器性能。如何在本地电脑Ubuntu中安装和配置LAMP环境搭建?Ubuntu9.10本身就是基于Linux

系统 2019-08-29 23:49:53 2436

编程技术

DTS开发记录(1)--系统总体结构

(原文发表于2006-06-28,修正于2006-07-03)在DTS开发记录(序)一文中,我们已经明白了当前这个DataTransferSystem的主要目标和存在的难点与挑战。在接下来的一系列的文章中,我将记录我们开发中是如何解决这些难点、如何应付这些挑战的,有的技巧或方案可能还并不成熟,所以如果你有任何想法,请留言告诉我。本文就先从系统结构讲起。通过我们的分析归纳,确定了该DTS系统中存在三个核心的概念,这三个核心概念建立在如下基本概念之上:(1)源

系统 2019-08-29 23:24:37 2436

编程技术

struts2 拦截器 interceptor

downpour写道拦截器是AOP中的概念,它本身是一段代码,可以通过定义“织入点”,来指定拦截器的代码在“织入点”的前后执行,从而起到拦截的作用。正如上面Struts2的Reference中讲述的,Struts2的Interceptor,其拦截的对象是Action代码,可以定义在Action代码之前或者之后执行拦截器的代码。接下来,我们将重点讨论一下Struts2中的拦截器的内部结构和执行顺序,并结合源码进行分析。目录[-]Interceptor结构In

系统 2019-08-29 23:15:17 2436