学习python少不了写爬虫,不仅能以点带面地学习、练习使用python,爬虫本身也是有用且有趣的,大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下,写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下:复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 2114
1.匿名函数匿名函数(anonymousfunction)是指未与任何标识符绑定的函数,多用在functionalprogramminglanguages领域,典型应用场合:1)作为参数传给高阶函数(higher-orderfunction),如python中的built-in函数filter/map/reduce都是典型的高阶函数2)作为高阶函数的返回值(虽然此处的"值"实际上是个函数对象)与命名函数(namedfunction)相比,若函数只被调用1次
系统 2019-09-27 17:38:40 2114
Python的一个备份程序这是一个备份脚本。路径请自行更换。这是一个备份脚本,按照当前日期分目录,以时间作为文件名,并且可以在文件名加入备注信息.以zip方式作为压缩方式,有特殊需求可以更改.实例代码:#!/usr/bin/python#coding=utf-8#这是一个备份脚本,按照当前日期分目录,以时间作为文件名,并且可以在文件名加入备注信息.#以zip方式作为压缩方式,有特殊需求可以更改.importosimporttimesource=['/hom
系统 2019-09-27 17:38:29 2114
先来介绍一些pythonweb编程基础知识1.GET与POST区别1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP请求的内容,而GET是在HTTP头部传输的;2)POST与GET在HTTP中传送的方式不同,GET的参数是在HTTP的头部传送的,而Post的数据则是在HTTP请求的内
系统 2019-09-27 17:38:29 2114
以下函数列出某个目录下(包括子目录)所有文件,本随笔重点不在于递归函数的实现,这是一个很简单的递归,重点在于熟悉Python库os以及os.path一些函数的功能和用法。1.os.listdir(path):列出path下所有内容(包括文件和目录,不包括.和..)2.os.path.join(path1,path2,path3...):拼接目录,例如将'home','test'拼接成'home/test/'3.os.path.isdir(path):判断p
系统 2019-09-27 17:38:04 2114
示例一#coding=UTF-8importsysimportMySQLdbimporttimereload(sys)sys.setdefaultencoding('utf-8')defconnectDemo():returnMySQLdb.Connection("127.0.0.1","root","root","demo",3306,charset="utf8")if__name__=='__main__':begin=time.time()conn=
系统 2019-09-27 17:37:59 2114
在学数据可视化,缺少点数据进行实操,就想着从饿了么上面爬点外卖店信息。主要是获取数据,所以代码比较简陋,直接上代码:importrequestsimportjsonimportcsvdefcrawler_ele(page=0):defget_page(page):url='https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&
系统 2019-09-27 17:32:50 2114
Python中有join()和os.path.join()两个函数,具体作用如下:join():连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串os.path.join():将多个路径组合后返回一、函数说明1、join()函数语法:'sep'.join(seq)参数说明sep:分隔符。可以为空seq:要连接的元素序列、字符串、元组、字典上面的语法即:以sep作为分隔符,将seq所有的元素合并成一个新的字符串返回值:返
系统 2019-09-27 17:57:06 2113
一个简单的实现classNaiveFilter():'''FilterMessagesfromkeywordsverysimplefilterimplementation>>>f=NaiveFilter()>>>f.add("sexy")>>>f.filter("hellosexybaby")hello****baby'''def__init__(self):self.keywords=set([])defparse(self,path):forkeywo
系统 2019-09-27 17:56:10 2113
写文件f=open('url.txt','a')#若是'wb'就表示写二进制文件f.write(response.url+'\n')f.close()
系统 2019-09-27 17:55:55 2113
课程导学001课程定位和目标002课程导学第一部分Python快速入门第1天Python基本语法元素003Python基本语法元素004程序设计基本方法005Python开发环境配置006实例1-温度转换007Python程序语法元素分析008Python基本语法元素小结第2天Python基本图形绘制009Python基本图形绘制010深入理解Python语言011实例2-Python蟒蛇绘制012模块1-turtle库的使用013turtle程序语法元素
系统 2019-09-27 17:55:32 2113
file=open("write_test.txt",encoding="utf-8",mode="w")file.write("君臣佐使")file.close()withopen("write_test.txt",encoding="utf-8",mode="a")asdata:data.write("神农本草经")w模式是重写(原文件的内容删除),a模式是追加(原文件的内容保留)。
系统 2019-09-27 17:54:58 2113
到昨天课程已经完结。但是你是不是你还是觉得没有成就感。。。。答案肯定的。作为一名邮件管理员,也是一件有意思的事情。。。。。我触发学习Py的,主要也是用于群发邮件,解决市场管理部总是找我群发邮件。。。。。那时候我使用的是shell......但是还是要要入系统搞,能不能我给工具,你们自己发送。。。。。。。。。。所以还是很苦逼,我们搜索python发送邮件,你会发现2个模块smtplib,email1.smtplib是用来发送邮件用的;(跟服务器连接,你才能有
系统 2019-09-27 17:54:48 2113
正则表达式什么是正则表达式?正则表达式是对字符串(包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。正则表达式可以干什么?快速高效的查找与分析字符串进行有规律查找比对字符串,也叫:模式匹配具有查找、比对、匹配、替换、插入
系统 2019-09-27 17:54:35 2113
解决多版本同时存在的pip安装模块如果同时存在Python2和Python3版本,则需要通过python-mpipinstall的方式给指定的Python安装模块。安装模块超时,更换安装源当安装模块超时时可以通过修改超时时间的方式来进行解决,也可以通过修改安装源的方式解决。修改超时时间pip--default-timeout=100installnumpy通过设置临时安装源的方式pipinstallnumpy-ihttps://pypi.doubanio.
系统 2019-09-27 17:54:25 2113