Python

python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中

爬取TOP500的音乐信息,包括排名情况、歌曲名、歌曲时间。网页版酷狗不能手动翻页进行下一步的浏览,仔细观察第一页的URL:http://www.kugou.com/yy/rank/home/1-8888.html这里尝试将1改为2,再进行浏览,恰好是第二页的信息,再改为3,恰好是第三页的信息,多次尝试发现不同的数字即为不同的页面。因此只需更改home/后面的数字即可。由于每页显示的为22首歌曲,所以总共需要23个URL。importrequestsfro

系统 2019-09-27 17:49:04 2415

Python

Python入门 Python变量和数据类型

一、整数:Python可以处理任意大小的整数,当然包括负整数二、浮点数浮点数也就是小数,之所以称为浮点数整数和浮点数在计算机内部存储的方式是不同的,整数运算永远是精确的(除法难道也是精确的?是的!),而浮点数运算则可能会有四舍五入的误差。三:字符串字符串是以''或""括起来的任意文本,比如'abc',"xyz"等等。四:布尔值一个布尔值只有True、False两种值布尔值可以用and、or和not运算。五:空值空值是Python里一个特殊的值,用None表

系统 2019-08-29 22:25:51 2415

Python

python3.6+django2.0+mysql搭建网站过程详解

之前用过python2.7版本,改用3.6版本发现很多语法发生了变化。在templates里新建一个html文件,命名为index.html作为要测试的界面,新建一个应用,Tools-》Runmanage.pyTask输入startapp+应用名称然后对urls进行配置,配置如下:fromdjango.conf.urlsimporturlfrom.importviewsurlpatterns=[url(r'^index/',views.index),]在视

系统 2019-09-27 17:57:39 2414

Python

Python中的相关分析correlation analysis的实现

相关分析(correlationanalysis)研究两个或两个以上随机变量之间相互依存关系的方向和密切程度的方法。线性相关关系主要采用皮尔逊(Pearson)相关系数r来度量连续变量之间线性相关强度;r>0,线性正相关;r<0,线性负相关;r=0,两个变量之间不存在线性关系,并不代表两个变量之间不存在任何关系。相关分析函数DataFrame.corr()Series.corr(other)函数说明:如果由数据框调用corr函数,那么将会计算每个列两两之间

系统 2019-09-27 17:56:53 2414

Python

Python入门篇之列表和元组

列表和元组的主要区别在于,列表可以修改,元组则不能。一般情况下,在几乎所有的情况下列表都可以代替元组例如:使用序列可以表示数据库中一个人的信息(姓名,年龄)复制代码代码如下:>>>edward=['EdwardGumby',42]序列还可以包含其他序列复制代码代码如下:>>>edward=['EdwardGumby',42]>>>john=['JohnSmith',50]>>>database=[edward,john]>>>database[['Edwa

系统 2019-09-27 17:55:13 2414

Python

用Python实现微信公众号传播指数WCI_v13.0版计算

之前在学习Python时编了一个实现计算WCI的程序:WCI计算后来发现传播指数WCI的计算定义已经发生了变化,现在用的是全新版本13.0如下:微信传播指数WCI(V13.0)WCI(V13.0)公式优化说明1、指标拓展:指标更加丰富,从“整体传播力”、“篇均传播力”、“头条传播力”、“峰值传播力”四个维度进行评价,评价维度更全面。2、算法优化:根据历史数据模型,优化指标权重,排名更加科学。3、更新时间:2017年7月1日之后的榜单使用该公式。WCI测算V

系统 2019-09-27 17:54:02 2414

Python

Python爬虫,使用BeautifulSoup解析页面结果

Python爬虫,使用BeautifulSoup可以轻松解析页面结果,下面是使用该方法爬取boss页面的职位信息:包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimporttimeclassBoss_

系统 2019-09-27 17:51:38 2414

Python

python2.7的flask框架之引用js&css等静态文件的实现方法

动态web应用也会需要静态文件,通常是CSS和JavaScript文件。理想状况下,我们已经配置好Web服务器来提供静态文件,但是在开发中,Flask也可以做到。只要在我们的包中或是模块的所在目录中创建一个名为static的文件夹,在应用中使用/static即可访问。我们要给静态文件生成URL,需要使用特殊的'static'端点名:url_for('static',filename='style.css')这个css文件应该存储在文件系统上的static/

系统 2019-09-27 17:50:50 2414

Python

Windows 任务调度程序定时执行Python脚本

Windows任务调度程序(TaskScheduler)可以定时执行程序,本文分享使用TaskScheduler定时执行Python脚本的两种方法。在控制面版->管理员工具中打开TaskScheduler:在TaskSchedulerLibrary中创建一个新的文件夹demo,右击,点击“CreateBasicTask”,打开创建任务向导:step1:输入任务的名称step2:设置触发任务的周期step3:进一步设置触发任务的周期step4:设置任务的动作

系统 2019-09-27 17:48:04 2414

Python

Python中用pycurl监控http响应时间脚本分享

最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurl。pycurl是个用c语言实现的python库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:supportingFTP,FTPS,HTTP,HTTPS,GOPHER,TELNET,DICT,FILEandLDAP.libcurlsupportsHTTPScertificates,HTTPPOST,HTTPPUT

系统 2019-09-27 17:37:48 2414

Python

python面向对象

面向对象类定义类在python中,将具有相同属性和方法的对象归为一个类,在使用类之前,首先得创建类类创建的语法:class类名:语句类的用法类只有在实例化才能使用,类的调用和函数的调用差不多,用类名()就可以实例化类类对象类实例化就生成了一个对象,它支持两种操作属性的引用实例化类方法定义类的方法和定义函数差不多,区别如下:方法的第一个参数必须是self,而且不能省略方法的调用必须先实例化该类,用实例名.方法名(参数)来调用构造方法构造函数就是类实例化初始化

系统 2019-09-27 17:57:31 2413

Python

【python练习】在kaggle上的首个公开notebook(由mask生成

前言:{知道要更新但没想好写什么,我就干脆在kaggle上写了一篇公开的notebook[1](我记得原来好像叫kernel),内容很简单,就是根据segmentation标签生成bbox。}正文:{主要内容在[1]。我做这个是因为我搞错了。我本想试试之前我博客[2]提到的HRNet,而恰好mmdetection里也实现了HRNet,且这里还有许多其他高精度的模型也需要bbox。可是我没注意到,mmdetection里的HRNet是针对目标检测任务的,或者

系统 2019-09-27 17:55:02 2413

Python

python selenium 设置元素在页面可见

我们经常在获取元素时,要定位的元素不在可见的页面中,导致定位失败,经常抛出NoSuchElementException()异常该问题的解决方法如下:#拖动菜单到可见元素target=driver.find_element_by_id("menu_id")driver.execute_script("arguments[0].scrollIntoView();",target)通过函数名:scrollIntoView()字面意思就知道是滚动到可见,然后,问题

系统 2019-09-27 17:52:20 2413

Python

OpenCv-Python人脸识别,车辆识别,自定义物体识别,自定义分类器

本文将使用opencv-python识别自定义物体,能够区分识别到的物体,如果用作人脸识别,则能够区分出不同的人脸id,也就是能够分得清张三,李四,王二麻子本文提供的所有资源仅供学习使用,不可商用文末有完整工程链接效果:识别出局座,大紧,大众和沃尔沃vs2017+python+opencv配置请参考https://blog.csdn.net/qq_43440703/article/details/88375609本文中文乱码问题参考博客https://bl

系统 2019-09-27 17:51:25 2413

Python

Python 用matplotlib画以时间日期为x轴的图像

1.效果展示主要效果就是,x轴显示时间单位。下图展示的就是想要到达的效果。其实主要是运用了datetime.date这个类型的变量作为x轴坐标的数据输入。2.源码将data.txt中的数据读入,用matplotlib中的pyplot画出,x轴为时间。数据文本data.txt,除了第一行表头外,每一列都用制表符Tab(\t)隔开。原创粉丝喜欢评论等级访问积分排名2018/06/01691342666453091323345129562018/06/05721

系统 2019-09-27 17:50:08 2413