Python的安装并不难,但是要正确安装它的库以及配置环境变量则有些麻烦。对于刚刚开始想要学习Python的小伙伴来说,用Anaconda这个工具往往是很好的选择,它帮助我们下载了很多python的库以及python本身。下面我就来说说如何安装好一个python环境。1、首先,第一步是在网上搜索Anaconda官网,然后进入Download下载好,这个很简单,不过记得安装时第一个框框的勾不要选,你选了之后也会有红色的警告,建议不选。2、配置Anaconda
系统 2019-09-27 17:57:07 1852
1.None和[]的区别以前以为None就是空,直到看到了下面这段代码list=[]iflistisNone:print"listisNULL"else:print"listis%s"%list发现输出是listis[],而不是listisNULL。这说明None和[]不等同。去翻了几篇博客后,才知道None表示的是这个对象还没创建,而[]表示的是这个对象创建了,但是还没有值。“一个盒子不装东西它还是一个盒子([]),你把盒子拆了它就是none了”2.关于
系统 2019-09-27 17:57:01 1852
Python偏函数是通过functools模块被用户调用。偏函数partial应用函数在执行时,要带上所有必要的参数进行调用。但是,有时参数可以在函数被调用之前提前获知。这种情况下,一个函数有一个或多个参数预先就能用上,以便函数能用更少的参数进行调用。偏函数是将所要承载的函数作为partial()函数的第一个参数,原函数的各个参数依次作为partial()函数后续的参数,除非使用关键字参数。对于整数100,取得对于不同数m的100%m的余数。fromfun
系统 2019-09-27 17:56:32 1852
来源|愿码(ChainDesk.CN)内容编辑愿码Slogan|连接每个程序员的故事网站|http://chaindesk.cn愿码愿景|打造全学科IT系统免费课程,助力小白用户、初级工程师0成本免费系统学习、低成本进阶,帮助BAT一线资深工程师成长并利用自身优势创造睡后收入。官方公众号|愿码|愿码服务号|区块链部落免费加入愿码全思维工程师社群|任一公众号回复“愿码”两个字获取入群二维码本文阅读时长:12min要创建自定义新闻Feed模型,我们需要可以训练
系统 2019-09-27 17:55:56 1852
Python3对函数参数的排序规则更加通用化了,即Python3keyword-only参数,该参数即为必须只按照关键字传递而不会有一个位置参数来填充的参数。该规则在处理人一多个参数是很有用的。keyword-onlykword_only(1,2,3,c=4)print('-'*20)kword_only(a=1,c=3)示例结果:1(2,3)4--------------------1()3在*args之后的参数都需要在调用中使用关键字的方式传递,否则会
系统 2019-09-27 17:54:49 1852
网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新
系统 2019-09-27 17:54:44 1852
运行splash:控制台输入:dockerrun-p8050:8050scrapinghub/splash如果报错:重启Docker后再输入。
系统 2019-09-27 17:53:24 1852
前言在Python中,enumrate和range都常用于for循环中,enumrate函数用于同时循环列表和元素,而range()函数可以生成数值范围变化的列表,而能够用于for循环即都是可迭代的。range概述range是用于产生连续或者带步长的数字元素组成的列表,下面是一些基本使用及场景示例。产生数字序列#产生0-9的序列foriinrange(0,10):print(i)print('-'*40)#产生0-20,步进(间隔)为3的数字元素组成的序列
系统 2019-09-27 17:53:03 1852
符号说明.默认匹配\n之外的任意字符^匹配字符开头$匹配字符结尾?匹配?前面的字符0次或1次*匹配*前面的字符0次或多次+匹配+前面的字符1次或多次{m}匹配前一个(组)字符m次{n,m}匹配前一个(组)字符[n,m]次|匹配|左或者右的字符符号说明\A只从字符串开始匹配,类似^\Z匹配字符串结尾,类似$\d匹配数字0-9\D匹配非数字\w匹配数字字母\W匹配非数字字母\S匹配空字符\t\n\rpython说明(?P<\name>…)python中可以返回
系统 2019-09-27 17:52:46 1852
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1852