版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端,然后读取服务器端的响应资源。在Python中,我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs(UniformResourceLocators)的组件。它以urlopen函数的形式提供了一个
系统 2019-09-27 17:46:01 2312
Socket是进程间通信的一种方式,它与其他进程间通信的一个主要不同是:它能实现不同主机间的进程间通信,我们网络上各种各样的服务大多都是基于Socket来完成通信的,例如我们每天浏览网页、QQ聊天、收发email等等。要解决网络上两台主机之间的进程通信问题,首先要唯一标识该进程,在TCP/IP网络协议中,就是通过(IP地址,协议,端口号)三元组来标识进程的,解决了进程标识问题,就有了通信的基础了。本文主要介绍使用Python进行TCPSocket网络编程,
系统 2019-09-27 17:38:43 2312
一、原因浅析今天在写一个Python与html5Websocket实例,么次终止运行重新运行脚本总是提示地址已经存在并且被使用!查询相关文档才知道在socket编程中,当通过客户端向服务器端发送消息,关闭了连接后,这时如果马上再去运行服务器端程序,会提示这个错误:复制代码代码如下:socket.error:[Errno98]Addressalreadyinuse这是因为在TCP/IP终止连接的四次握手中,当最后的ACK回复发出后,有个2MSL的时间等待,M
系统 2019-09-27 17:38:26 2312
添加水印的主要目的是为了版权保护,使自己的图像不被抄袭或者恶意转载。网上有很多制作水印的工具,本帖介绍怎么使用Python-Pillow库给图片添加水印。使用ImageMagick添加图片水印-Linux添加文本水印在图片右下角添加文字:fromPILimportImage,ImageDraw,ImageFont#指定要使用的字体和大小;/Library/Fonts/是macOS字体目录;Linux的字体目录是/usr/share/fonts/font=I
系统 2019-09-27 17:37:51 2312
前言在使用PC时与PC交互的主要途径是看屏幕显示、听声音,点击鼠标和敲键盘等等。在自动化办公的趋势下,繁琐的工作可以让程序自动完成。比如自动化测试、自动下单交易等。很多软件除了可以GUI方式操作外还可以用CLI接口操作,不过当一些软件未提供CLI接口时,我们应该怎么办呢?我们还可以用程序控制桌面上的窗口、模拟点击鼠标或按下键盘等动作来释放自己。pywin32是一个Python库,它为Python提供访问WindowsAPI的扩展,提供了齐全的windows
系统 2019-09-27 17:55:05 2311
需求:爬取搜狗首页的页面数据importrequests#1.指定urlurl='https://www.sogou.com/'#2.发起get请求:get方法会返回请求成功的响应对象response=requests.get(url=url)#3.获取响应中的数据:text属性作用是可以获取响应对象中字符串形式的页面数据page_data=response.text#4.持久化数据withopen("sougou.html","w",encoding="
系统 2019-09-27 17:53:10 2311
Python数据科学入门DmitryZinoviev著熊子源译第6章使用Series和framePandas模块的初中时为了给Python添加Series和frame两个抽象的数据结构,它们其实是Python的竞争对手、最早的数据科学语言——R语言的核心。Pandas的frame本质是一个“智能”电子表格:具有标签、列(变量)、行(观测记录),以及大量内置操作的表。(Series是一个只有一列的frame)表的数据部分(单元格)以numpy数组的方式实现。
系统 2019-09-27 17:51:53 2311
本文借鉴于张广河教授主编的《数据结构》,对其中的代码进行了完善。从某源点到其余各顶点的最短路径Dijkstra算法可用于求解图中某源点到其余各顶点的最短路径。假设G={V,{E}}是含有n个顶点的有向图,以该图中顶点v为源点,使用Dijkstra算法求顶点v到图中其余各顶点的最短路径的基本思想如下:使用集合S记录已求得最短路径的终点,初始时S={v}。选择一条长度最小的最短路径,该路径的终点w属于V-S,将w并入S,并将该最短路径的长度记为Dw。对于V-S
系统 2019-09-27 17:50:54 2311
题目描述:牛牛想对一个数做若干次变换,直到这个数只剩下一位数字。变换的规则是:将这个数变成所有位数上的数字的乘积。比如285经过一次变换后转化成2*8*5=80.问题是,要做多少次变换,使得这个数变成个位数。输入描述:输入一个整数。小于等于2,000,000,000。输出描述:输出一个整数,表示变换次数。输入例子:285输出例子:2我的代码:#coding=utf-8#求将输入的一个数进行多少次变换变成个位数的次数defzhuanhuan(input_a,
系统 2019-09-27 17:50:19 2311
先来看个例子:#-*-coding:utf8-*-s=u'中文截取's.decode('utf8')[0:3].encode('utf8')#结果u'中文截取延伸阅读:UTF-8中的汉字占用多少字节?占2个字节的:�占3个字节的:基本等同于GBK,含21000多个汉字占4个字节的:中日韩超大字符集里面的汉字,有5万多个一个UTF-8数字占1个字节一个UTF-8英文字母占1个字节在查找UTF-8编码资料时发现,很多的帖子说的UTF-8编码里,一个汉字占用3个
系统 2019-09-27 17:46:46 2311
相关的依赖库在我的github网站上首先贴出代码:importsolarfromgradientimport*fromshadowsimport*importnumpyasnpimportmatplotlib.pyplotasplt#plt用于显示图片importmatplotlib.imageasmpimg#mpimg用于读取图片#demimportsrtmif__name__=='__main__':'''#另一种从网上直接下载DEM数据geo_ele
系统 2019-09-27 17:46:11 2311
python编程之twisted详解前言:我不擅长写socket代码。一是用c写起来比较麻烦,二是自己平时也没有这方面的需求。等到自己真正想了解的时候,才发现自己在这方面确实有需要改进的地方。最近由于项目的原因需要写一些Python代码,才发现在python下面开发socket是一件多么爽的事情。对于大多数socket来说,用户其实只要关注三个事件就可以了。这分别是创建、删除、和收发数据。python中的twisted库正好可以帮助我们完成这么一个目标,实
系统 2019-09-27 17:56:47 2310
前言优化随机森林算法,正确率提高1%~5%(已经有90%+的正确率,再调高会导致过拟合)论文当然是参考的,毕竟出现早的算法都被人研究烂了,什么优化基本都做过。而人类最高明之处就是懂得利用前人总结的经验和制造的工具(说了这么多就是为偷懒找借口。hhhh)优化思路1.计算传统模型准确率2.计算设定树木颗数时最佳树深度,以最佳深度重新生成随机森林3.计算新生成森林中每棵树的AUC,选取AUC靠前的一定百分比的树4.通过计算各个树的数据相似度,排除相似度超过设定值
系统 2019-09-27 17:54:33 2310
1、连续信号的相加与相乘在MATLAB和Python中,连续信号的相加、相减和相乘都是用符号“+”“-”“*”实现的。Python代码如下:"""连续信号相加和相乘"""importnumpyasnpimportmatplotlib.pyplotaspltt=np.linspace(0,2,200)f1=np.exp(-3*t)f2=np.sin(4*np.pi*t)plt.subplot(221)plt.ylim(-1,2)plt.title(u'f1'
系统 2019-09-27 17:52:13 2310
环境:matplotlib3.1.0,numpy1.15.4目录使用matplotlib作图的两大方法一面对函数绘图(pyplot模块有大量函数,供用户调用)1.主要分为四个步骤:2.代码实例(单图和多图)3.图片展示二面对对象绘图(主要操作Figure和Axes对象)(推荐)1.主要分为四个步骤:2.代码实例(单图和多图)3.图片展示使用matplotlib作图的两大方法本教程可以作为科研作图模板,涵盖了作图中很多小细节,使用了matplotlib作图的
系统 2019-09-27 17:51:46 2310