最近博主手上有一个爬虫项目,开始深入研究python爬虫开发,这是我篇博客也相当于是我的学习笔记,我认为学习爬虫第一步,先学习python多线程与多进程,熟悉网络编程,接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种,一种方法是使用os模块中的fork方法,另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统,对Windows不支持,后者则是跨平台的实现方式,目前
系统 2019-09-27 17:53:30 1762
一、新建云端notebook打开https://colab.research.google.com网站,我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码,过去都是使用邮箱,繁琐费事。现在一键分享,这里我是给自己的邮箱里转发然后大邓打开自己的邮箱,wow,6666三、团队成员可以评论代码比如在一个团队中,有的人写错了代码,我们可以在远隔十万八千的另外一台电脑上做评论,提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 1762
在python中进行两个整数相除的时候,在默认情况下都是只能够得到整数的值,而在需要进行对除所得的结果进行精确地求值时,想在运算后即得到浮点值,那么如何进行处理呢?1、修改被除数的值为带小数点的形式即可得到浮点值,这种方法在被除数事先知道的情况下才可以采用有效,而这种情况意味着被除数的值是写死的、固定的,在绝大多数的情况下是不可行的;2、在进行除法运算前导入一个实除法的模块,即可在两个整数进行相除的时候得到浮点的结果;复制代码代码如下:from__futu
系统 2019-09-27 17:51:25 1762
三引号完全原样输出print(r"""xx\n\adaadf=?aa“”")重复输出print(3*“ab”)print(“ab”*3)abababababab3、列表定义x=“world”y=[1,2,3,4,5]索引(负数从右边开始,正数从左边开始)print(x[0])print(y[4])print(x[-2])print(y[-1])print(y[-5])print(x[-5])w5l51w切片x=“world”y=[1,2,3,4,5]pri
系统 2019-09-27 17:51:22 1762
a=input("a=")b=input("b=")c=int(a)+int(b)print(c)结果:/usr/bin/python3.6/home/rooter/PycharmProjects/python1/pp1a=4b=48Processfinishedwithexitcode0a=input("a=")b=input("b=")c=a+b#或者c=int(a+b)/c=str(a+b)print(c)结果/usr/bin/python3.6/h
系统 2019-09-27 17:51:10 1762
在python中有一个telnetlib,它的作用就是建立一个通到主机的telnet连线实体,然后向主机传送命令(就像用键盘输入一样)并从该连线接收数据。利用它,我们可以把示范1的所有内容从"人-机'交流变成'机-机'交流,这样也可以做到处理pop3邮箱的工作。不过既然我们已经试过了pop3,这一次可以试用真的telnet埠23做些好玩的东西。#telnetdo.py#!/usr/bin/envpythondeftelnetdo(HOST=None,USE
系统 2019-09-27 17:50:56 1762
推荐系统的相关知识我们已在前文中提到,在这篇文章中,我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集,该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站,我们可以注册,撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中,我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前,第一件事就是导入pandas和numPy
系统 2019-09-27 17:50:15 1762
记录三种添加cookie保持接口登录状态的方法,方便自己回顾。1.简单粗暴式。此方法比较小白,前提是已经通过fiddler抓包等方式拿到了cookie,然后直接塞进去。importrequeststrainsUrl='http://XXX.com/trains'headers={"Content-Type":"application/json;charset=UTF-8",}cookies={"XXXthor":"XXXXXX105a42"}prames=
系统 2019-09-27 17:49:54 1762
可视化是在整个数据挖掘的关键辅助工具,可以清晰的理解数据,从而调整我们的分析方法。1.Matplotlib基本概念Matplotlib是python的一个数据可视化工具库,专门用于开发2D图表(包括3D图表),操作简单。2.Matplotlib三层结构容器层容器层由Canvas、Figure、Axes三部分组成。Canvas位于最底层的系统层,充当画板,即放置Figure的工具。Figure是Canvas上方的第一层,也是需要用户来操作的应用层的第一层,在
系统 2019-09-27 17:49:11 1762
对我当前工程进行全部测试需要花费不少时间。既然有26GB空闲内存,为何不让其发挥余热呢?tmpfs可以通过把文件系统保存在大内存中来加速测试的执行效率。但优点也是缺点,tmpfs只把结果保存在内存中,所以你必须自己编写脚本来把结果回写到磁盘上进行保留。而且这些脚本必须良好书写和执行,否则就要失去部分或全部的工作成果了。一种常见的方法是直接在tmpfs文件夹中工作,然后把工作成果备份到磁盘上的一个文件夹中。当您的机器启动时你从那个备份文件夹恢复tmpfs文件
系统 2019-09-27 17:49:11 1762
#money=int(input('你有多少钱?'))#ifmoney>50:#print('打车回家')#b=input('到家了吗?')#ifb=='到家了':#print('我到家了阿')#else:#pass#please=input('你是男的还是女的?')#ifplease=='男的'orplease=='男':#print('你走吧')#elifplease=='美女':#age=int(input("今年多大拉?"))#ifint(age)
系统 2019-09-27 17:48:20 1762
由于工作需要本文主结合了excel表格,对表格中的ssh密码进行批量修改以下是详细代码(python3):'''遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!'''#!/usr/bin/envpython#-*-coding:utf-8-*-importparamikoimportsocketimportpandasaspddefdemo(Ip,us
系统 2019-09-27 17:48:19 1762
Python内置了一些非常有趣、有用的函数,如:filter、map、reduce,都是对一个集合进行处理,filter很容易理解用于过滤,map用于映射,reduce用于归并.是Python列表方法的三架马车。1.filter函数的功能相当于过滤器。调用一个布尔函数bool_func来迭代遍历每个seq中的元素;返回一个使bool_seq返回值为true的元素的序列。>>>N=range(10)>>>printfilter(lambdax:x>5,N)[
系统 2019-09-27 17:47:27 1762
本文实例讲述了python使用zip同时迭代多个序列。分享给大家供大家参考,具体如下:zip可以平行地遍历多个迭代器python3中zip相当于生成器,遍历过程中产生元祖,python2会把元祖生成好,一次性返回整份列表zip(x,y,z)会生成一个可返回元组(x,y,z)的迭代器>>>x=[1,2,3,4,5]>>>y=['a','b','c','d','e']>>>z=['a1','b2','c3','d4','e5']>>>foriinzip(x,y
系统 2019-09-27 17:47:13 1762
本文实例讲述了Python3实现连接SQLite数据库的方法,对于Python的学习有不错的参考借鉴价值。分享给大家供大家参考之用。具体方法如下:实例代码如下:importsqlite3db=r"D:\pyWork\test.db"#pyWork目录下test.db数据库文件drp_tb_sql="droptableifexistsstaff"crt_tb_sql="""createtableifnotexistsstaff(idintegerprimar
系统 2019-09-27 17:46:13 1762