urllib的基本用法urllib库的基本组成利用最简单的urlopen方法爬取网页html利用Request方法构建headers模拟浏览器操作error的异常操作urllib库除了以上基础的用法外,还有很多高级的功能,可以更加灵活的适用在爬虫应用中,比如:使用HTTP的POST请求方法向服务器提交数据实现用户登录使用代理IP解决防止反爬设置超时提高爬虫效率解析URL的方法本次将会对这些内容进行详细的分析和讲解。POST请求POST是HTTP协议的请求方
系统 2019-09-27 17:38:44 2219
一.垃圾回收机制Python中的垃圾回收是以引用计数为主,分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中,如果一个对象的引用数为0,Python虚拟机就会回收这个对象的内存。#encoding=utf-8__author__='kevinlu1010@qq.com'classClassA():def__init__(self):print'objectborn,id:%s'%str(hex(id(self)))def__del__(self
系统 2019-09-27 17:38:18 2219
详解Python中LEGB和闭包及装饰器LEGBL>E>G?BL:local函数内部作用域E:enclosing函数内部与内嵌函数之间G:global全局作用域B:build-in内置作用域python闭包1.Closure:内部函数中对enclosing作用域变量的引用2.函数实质与属性函数是一个对象函数执行完成后内部变量回收函数属性函数返回值passline=60deffunc(val):ifval>=passline:print('pass')els
系统 2019-09-27 17:38:08 2219
简介这两天更新完Xcode8之后发现Xcode对图标的要求又有了变化,之前用的一个小应用“IconKit”还没赶上节奏,已经不能满足Xcode8的要求了。于是就想起来用Python自己做个脚本来生成图标。其实这个脚本很早就写了,现在为了适应iOS10,就修改完善下,并且放到了GitHub。可以看看效果图:代码:#encoding=utf-8#by不灭的小灯灯#createdate2016/5/22#update2016/9/21#supportiOS10#
系统 2019-09-27 17:38:02 2219
前言Python提供给我们多种编码方式。在某种程度上,这相当具有包容性。来自于任何语言的人都可以编写Python。然而,学习写一门语言和以最优的方式写一门语言是两件不同的事情。在这一系列名为PythonShorts的文章中,我将阐述Python提供的一些简单但是非常有用的结构,一些小技巧以及一些我在数据科学工作中遇到的案例。在这篇文章中,我将讨论Python中的for循环,以及如何尽量避免使用它们。写for循环的3种方式:让我用一个简单的例子来解释下。假设
系统 2019-09-27 17:56:07 2218
NMap,也就是NetworkMapper,最早是Linux下的网络扫描和嗅探工具包。nmap是一个网络连接端扫描软件,用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端,并且推断计算机运行哪个操作系统(这是亦称fingerprinting)。它是网络管理员必用的软件之一,以及用以评估网络系统安全。正如大多数被用于网络安全的工具,nmap也是不少黑客及骇客(又称脚本小子)爱用的工具。系统管理员可以利用nmap来探测工作环境中未经批准使用的服务器
系统 2019-09-27 17:55:35 2218
对于每一个学习Python的同学,想必对@符号一定不陌生了,正如你所知,@符号是装饰器的语法糖,@符号后面的函数就是我们本文的主角:装饰器。装饰器放在一个函数开始定义的地方,它就像一顶帽子一样戴在这个函数的头上。和这个函数绑定在一起。在我们调用这个函数的时候,第一件事并不是执行这个函数,而是将这个函数做为参数传入它头顶上这顶帽子,这顶帽子我们称之为装饰器。曾经我在刚转行做程序员时的一次的面试中,被面试官问过这样的两个问题:1、你都用过装饰器实现过什么样的功
系统 2019-09-27 17:55:11 2218
Python以其优良的特性,适合于传统编程语言擅长的Web开发、移动开发、游戏开发、桌面应用等。不仅如此,它也适合于当前最流行的人工智能、大数据、科学计算、金融分析……这正是它迅速上位走红的原因。在过去的两年间,Python一路高歌猛进,成功窜上“最火编程语言”的宝座,据统计,最新排名已经超越Java,成为名副其实的第一语言(见下图)。尤其在大数据分析与人工智能领域,KDnuggets2018年顶级分析/数据科学/ML软件调查,也印证了其市场场占有率:根据
系统 2019-09-27 17:54:22 2218
最近在刷面试题,所以需要看大量的Python相关的面试题,从大量的题目中总结了很多的知识,同时也对一些题目进行拓展了,但是在看了网上的大部分面试题不是很满意,一个是有些部分还是Python2的代码,另一个就是回答的很简单,有些关键的题目,也没有点出为什么,最重要的是还有一些复制粘贴根本就跑不通,这种相信大家深有体会吧,这样就导致我们可能需要去找其他人发的类似的教程。难受啊,所以我决定针对市面上大多的Python题目做一个分析,同时也希望大家尽可能的做到举一
系统 2019-09-27 17:54:18 2218
经过各种找,下面这个安装地址中的版本是最全的下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame本机python版本然后在下载地址(https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame)找到cp37版本(这里的37就是3.7的意思)第一次:下载了【pygame-1.9.6-cp37-cp37m-win_amd64.whl】。结果安装的时候报错:【ERR
系统 2019-09-27 17:54:16 2218
InstallingOpenCVinUbuntuforPython3byWK·PublishedMarch2,2016·UpdatedMarch3,2017InstallingOpenCVinlinuxforPython3isnotthatstraightforward,sointhistutorial,we’llgothroughthestepsonhowdowedoit.We’llbeusinga64bitUbuntu16.04system,andPy
系统 2019-09-27 17:53:02 2218
在整个学生选课系统里面,最核心的就是选课页面了。我们设定目标为:1、已经选修的课程,不能重复选修;2、每个学生最多可选修不超过2门课程。3、可选课程数量过多的时候,页面自动分页,每页默认最多显示10条数据。为了实现目标,这里需要使用3个东西:1、后端业务逻辑查询数据库,得出可以选修的课程,返回给前端页面,前端页面需要使用dataTable这个JS组件,实现即时搜索,自动分页等功能。2、点击前端选修按钮之后,会弹出确认的框,这个要使用弹层。3、弹出里面点击确
系统 2019-09-27 17:52:47 2218
前言:用python实时实现监控一个文件夹功能,将监控到的Excel(笔者目前用于解析excel文件)解析写到mysql中,起功能和sparkStreaming中的textFileStream功能,个人感觉python代码更好看。毕竟java代码看起来比较繁琐,scala代码简洁,可是它也是借鉴python发展而来啊。python实现看门狗功能代码:#!/usr/bin/python#-*-coding:UTF-8-*-importtimefromwatc
系统 2019-09-27 17:52:09 2218
capitalize()首字母大写a='someword'b=a.capitalize()print(b)―>Somewordcasefold()&lower()所有字母变小写,casefold可将未知字符便小写a='someWORD'b=a.casefold()print(b)c=a.lower()print(c)―>someword―>somewordcenter(width,fillchar=None)设置宽度,并将内容居中,空白未知填充,一个字符a
系统 2019-09-27 17:50:41 2218
前言“列表(list)与元组(tuple)两种数据类型有哪些区别”这个问题在初级程序员面试中经常碰到,超出面试官预期的答案往往能加不少印象分,也会给后续面试顺利进行提供一定帮助,这道题主要考察候选人对Python基本数据结构的掌握程度,属于简单类型的送分题,那么该如何来回答才不至于丢分?相同点:都是序列类型回答它们的区别之前,先来说说两者有什么相同之处。list与tuple都是序列类型的容器对象,可以存放任何类型的数据、支持切片、迭代等操作>>>foos=
系统 2019-09-27 17:50:39 2218