Python

python网络爬虫原理

爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找

系统 2019-09-27 17:51:07 1709

Python

Python实现代码统计工具

本文实例为大家分享了Python实现代码统计工具的具体代码,供大家参考,具体内容如下思路:首先获取所有文件,然后统计每个文件中代码的行数,最后将行数相加.实现的功能:统计每个文件的行数;统计总行数;支持指定统计文件类型,排除不想统计的文件类型;排除空行;排除注释行importosimportsysimportos.path#foriinsys.argv:#print(i)#判断单个文件的代码行数defcount_file_lines(file_path):

系统 2019-09-27 17:50:58 1709

Python

python如何删除文件中重复的字段

本文实例为大家分享了python如何删除文件中重复字段的具体代码,供大家参考,具体内容如下原文件内容放在list中,新文件内容按行查找,如果没有出现在list中则写入第三个文件中。importcsvfiletxt1='E:/gg/log/log1.txt'filecsv1='E:/gg/log/log1.csv'filecsv2='E:/gg/log/log2.csv'filecsv3='E:/gg/log/log3.csv'classoperFileCs

系统 2019-09-27 17:50:51 1709

Python

浅谈Python程序与C++程序的联合使用

作为Python程序员,应该能够正视Python的优点与缺点。众所周之,Python的运行速度是很慢的,特别是大数据量的运算时,Python会慢得让人难以忍受。对于这种情况,“专业”的解决方案是用上numpy或者opencl。不过有时候为了一点小功能用上这种重型的解决方案很不划算,或者有时候想要实现的操作在numpy里面没有,需要我们自己用C语言来编写。总之,我们使用Python与C++的混合编程能够加快程序热点的运算速度。首先要提醒大家注意的是,在考虑联

系统 2019-09-27 17:50:46 1709

Python

基本图像操作和处理(python)

PIL提供了通用的图像处理功能,以及大量的基本图像操作,如图像缩放、裁剪、旋转、颜色转换等。Matplotlib提供了强大的绘图功能,其下的pylab/pyplot接口包含很多方便用户创建图像的函数。为了观察和进一步处理图像数据,首先需要加载图像文件,并且为了查看图像数据,我们需要将其绘制出来。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnp#加载图像img=Image.open("

系统 2019-09-27 17:50:40 1709

Python

python的浅拷贝与深拷贝

什么是浅拷贝?先看一个例子a=[1,2,3,4]b=aa.pop(0)print(a)print(b)输出:[2,3,4][2,3,4]正常对于这种可变对象的这种赋值,会导致a和b指向一个内存地址,而我们将a中的第0个元素剔除后,实质就是改变了对应的内存地址中的数值,所以会导致b也发生变化下面看一下浅拷贝:a=[1,2,3,4]b=a.copy()a.pop(0)print(a)print(b)输出[2,3,4][1,2,3,4]这种就是浅拷贝,拷贝的列表

系统 2019-09-27 17:50:34 1709

Python

详解python分布式进程

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信。由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程

系统 2019-09-27 17:50:30 1709

Python

如何用Python搭建一个简单的推荐系统?

推荐系统的相关知识我们已在前文中提到,在这篇文章中,我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集,该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站,我们可以注册,撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中,我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前,第一件事就是导入pandas和numPy

系统 2019-09-27 17:50:15 1709

Python

Python中的模块和包概念介绍

模块概述如果说模块是按照逻辑来组织Python代码的方法,那么文件便是物理层上组织模块的方法。因此,**一个文件被看作是一个独立模块,一个模块也可以被看作是一个文件。模块的文件名就是模块的名字加上扩展名.py。与其它可以导入类(class)的语言不同,在Python中你导入的是模块或模块属性**。模块名称空间一个名称空间就是一个名称到对象的关系映射.导入模块导入模块整体(import)方式一复制代码代码如下:importmodule1importmodul

系统 2019-09-27 17:50:10 1709

Python

python多进程,进程池,数据共享,进程通信,分布式进程

一、操作系统中相关进程的知识Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的I

系统 2019-09-27 17:50:08 1709

Python

Python实现微信中找回好友、群聊用户撤回的消息功能示例

本文实例讲述了Python实现微信中找回好友、群聊用户撤回的消息功能。分享给大家供大家参考,具体如下:还在好奇好友撤回了什么消息吗?群里撤回了什么消息?下面的代码实现了:即使群、好友撤回了文本消息、表情、图片等消息,自己也能知道撤回的什么。#coding=utf-8importitchatfromitchat.contentimportTEXTfromitchat.contentimport*importsysimporttimeimportreimpor

系统 2019-09-27 17:49:48 1709

Python

(Python)时序预测的七种方法

https://www.jianshu.com/p/3afbb01c9ed6摘要:大多数人都听说过关于Cryptocurrency,许多人也许会投资他们的加密货币。但是,投资这种不稳定的货币安全吗?怎样才能确保现投资这些硬币未来一定能带来稳定的收益呢?我们不能确定,但肯定能根据以前的价格产生一个近似值。时序模型是预测的一种方法。许多重要的应用时序预测的领域,例如:销售预测,呼叫中心的通话量,太阳的活动,海潮,股市行为等等。目录理解问题描述和数据集安装库方法

系统 2019-09-27 17:49:45 1709

Python

Python 文件操作

https://www.runoob.com/python3/python3-file-methods.htmlfile()函数用于创建一个file对象,它有一个别名叫open()1.文件打开open()函数open(file,mode=‘r’,buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)file:必需,文件路径(相对或者绝对路径)。写入模式下,若

系统 2019-09-27 17:49:45 1709

Python

day007-python函数之课后作业讲解

作业一:需求:写函数,计算传入字符串中的【数字】、【字母】、【空格】以及【其他】的个数1#!/usr/bin/envpython2#-*-coding:utf-8-*-34#先定义一个函数5deffunc(args):6#定义一个计算数字的变量7digit_num=08#定义一个计算字母的变量9al_num=010#定义一个计算空格的变量11spance_num=012#定义一个计算其他的变量13other_num=01415foriinargs:16if

系统 2019-09-27 17:49:36 1709

Python

浅谈python新式类和旧式类区别

python的新式类是2.2版本引进来的,我们可以将之前的类叫做经典类或者旧式类。为什么要在2.2中引进newstyleclass呢?官方给的解释是:为了统一类(class)和类型(type)。在2.2之前,比如2.1版本中,类和类型是不同的,如a是ClassA的一个实例,那么a.__class__返回‘class__main__.ClassA‘,type(a)返回总是。而引入新类后,比如ClassB是个新类,b是ClassB的实例,b.__class__

系统 2019-09-27 17:49:33 1709