什么是爬虫爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫:通用爬虫是搜索引擎(Baidu、Google、Yahoo等)“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。简单来讲就是尽可能的;把互联网上的所有的网页下载下来,放到本地服务器里形成备分,在对这些网页做相关处理(提取关键字、去掉广告),最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据?门户网站主
系统 2019-09-27 17:52:22 2238
numpy中的random模块有多个函数用于生成不同类型的随机数,常见的有uniform、rand、random、randint、random_interges下面介绍一下各自的用法1、np.random.uniform的用法np.random.uniform(low=0.0,high=1.0,size=None)作用:可以生成[low,high)中的随机数,可以是单个值,也可以是一维数组,也可以是多维数组参数介绍:low:float型,或者是数组类型的,
系统 2019-09-27 17:52:05 2238
本节收录了稍作剪辑的PEP8摘要(PythonEnhancementProposal,Python增强提案)。PEP8由GuidovanRossum和BarryWarsaw撰写,是Python的最接近编程风格手册的东西。这里省略了一些比较具体的部分,但主要内容都已包括。应该尽可能让代码遵守PEP8规范,代码会由此更具Python风格。访问Python官方网站的文档部分并搜索PEP,就可以获得PEP8全文及Python历史上发布的所有其他PEP。PEP既是P
系统 2019-09-27 17:51:18 2238
目录一、Admin的配置1.激活管理工具2.使用管理工具3.注册超级用户4.修改语言二、管理数据模型1.注册medel类到admin2.自定制类一、Admin的配置Admin是Django的一个强大的功能,它能从数据库中读取数据,并呈现在页面中,进行管理。默认情况下,它的功能已经非常强大,如果你不需要复杂的功能,它已经够用,但是有时候,一些特殊的功能还需要定制,比如搜索功能,下面这一系列文章就逐步深入介绍如何定制适合自己的admin应用。1.激活管理工具通
系统 2019-09-27 17:49:37 2238
在这篇文章中,我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集,该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站,我们可以注册,撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中,我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前,第一件事就是导入pandas和numPy。importpandasaspdim
系统 2019-09-27 17:49:14 2238
python编程中常用的12种基础知识总结:正则表达式替换,遍历目录方法,列表按列排序、去重,字典排序,字典、列表、字符串互转,时间对象操作,命令行参数解析(getopt),print格式化输出,进制转换,Python调用系统命令或者脚本,Python读写文件。1、正则表达式替换目标:将字符串line中的overview.gif替换成其他字符串复制代码代码如下:>>>line=''>>>mo=re.compile(r'(?<=SRC=)"([\w+\.]+
系统 2019-09-27 17:47:40 2238
浏览器的简单操作#导入webdriver模块#创建driver对象,指定Chrome浏览器driver=webdriver.Chrome()#窗口最大化driver.maximize_window()#访问百度driver.get("http://baidu.com")driver.get("http://sina.com")#后退driver.back()#前进driver.forward()#刷新driver.refresh()#关闭窗口driver.
系统 2019-09-27 17:47:25 2238
大家在安装程序或下载文件时,通常都能看到进度条,提示你当前任务的进度。其实,在python中实现这个功能很简单,下面是具体代码。在实际应用中,你完全可以根据自己的要求进行修改!比如,示例中是通过time.sleep()方法进行时间延迟,你完全可以根据实际的程序运行耗时进行控制;同样,在进度百分比处,你也可以显示实际的进度比,而不是例子中机械的自增百分比。importsysimporttimedefview_bar(num,total):rate=num/t
系统 2019-09-27 17:38:09 2238
最近,做个小项目经常会遇到Python的异常,让人非常头疼,故对异常进行整理,避免下次遇到异常不知所措,以下就是对Python异常进行的整理。1.Python异常类异常描述NameError尝试访问一个没有申明的变量ZeroDivisionError除数为0SyntaxError语法错误IndexError索引超出序列范围KeyError请求一个不存在的字典关键字IOError输入输出错误(比如你要读的文件不存在)AttributeError尝试访问未知的
系统 2019-09-27 17:37:56 2238
晚餐是在一家叫做“诸葛烤鱼”的连锁店里边吃的,由于同事不能吃太辣的东西,所以要的是葱香口味的,一条鲤鱼花了46块,有点贵哦。星期日也没有休息的很好,中午的时候提供了第1版的解决方案,但是对方发现了一些问题,需要我们进一步的修订,刚开始的时候确实有点不情愿,觉得有点多此一举,但是仔细分析之后发现的确是存在问题。用了过多的术语,对方很不理解。一些流程认为客户已经理解了,因此没有详细阐述,给客户造成了误导。部分流程没有详细设计,因此造成了一些细节的不完善。呵呵,
系统 2019-08-29 23:48:28 2238