前言刚开始开发Web的时候，没太在意隔离虚拟环境，用了系统的那一套，Python2.7版本是系统自带的，虽说明年就结束了，但是现在开发都会有一套3.x以上的环境，即使你开发不注意，你部署的时候总归是要隔离出来的。1.方便隔离，不同环境编写测试2.方便迁移，pipfreeze到出包文件依赖，随后提交管理和迁移都很方便virtualenv前提是你有两套PythonmikejingdeMacBook-Pro:~MKJ$whichpython/usr/bin/py
系统 2019-09-27 17:52:33 2109
爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:06 2109
前一段去云英面试，技术官很”不厚道“了问了一个非常简单的问题：如何将多维列表转化了一维的？当时虽然想到了使用迭代或者列表生成式可以做到，但是可以没能可行的代码，回来后一顿后悔。对于规范的且嵌套维度较低的多维列表，python中有很多方法可以实现：a=[[1,2],[3,4],[5,6]]print[jforiinliforjini]#orfromitertoolsimportchainprintlist(chain(*a))#orimportitertoo
系统 2019-09-27 17:50:56 2109
初识pythonpython爬虫爬虫步骤（个人学习后的理解）：获取URL地址解析URL源码提取源码中的需要信息使用re、beautifulsoup、urllib.request等常用库写入txt、excel等等。Python格式化字符：format_string%string_to_convert其中：format_string为格式标记字符串，形式为“%cdoe”；string_to_convert为要格式化的字符串，如果是两个以上，则需要用小括号括起来
系统 2019-09-27 17:49:59 2109
如下所示：importtime,requestesfromtomorrowimportthreads@threads(10)#使用装饰器，这个函数异步执行defdownload(url):returnrequests.get(url)defmain():start=time.time()urls=['https://pypi.org/project/tomorrow/0.2.0/','https://www.cnblogs.com/pyld/p/47167
系统 2019-09-27 17:48:19 2109
一、说明类似json将xml解析为python对象，可以使用第三方库untangle或xmltodict实现。将以下内容保存为xml2obj.xml，后我我们就使用该文件。1.第一行的是xml文件的声明，它定义了xml的版本(1.0)和所使用编码为UTF-8。2.接下来就是xml文件的内容了，这些内容按一个树状结构进行组织摆放，形式如下：section1contentsection2content其中，每一个.叫做一个节点，也叫一个元素，节点可以嵌套放置，
系统 2019-09-27 17:46:25 2109
Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2109
目录一、异常TODO二、深浅拷贝2.1拷贝2.2浅拷贝2.3深拷贝三、数据类型内置方法3.1数字类型内置方法3.1.1整型3.1.2浮点型3.2字符串类型内置方法3.3列表类型内置方法3.4元祖类型内置方法3.5字典类型内置方法3.6集合类型内置方法3.7布尔类型四、数据类型分类4.1按值个数4.2按有序无序4.3按可变不可变一、异常TODO万能捕捉异常公式try:#逻辑代码1/0exceptExceptionase:print(e)divisionbyz
系统 2019-09-27 17:45:32 2109
今天遇到一个问题，在同事随意的提示下，用了itertools.groupby这个函数。不过这个东西最终还是没用上。问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。直观方法最简单的思路就是：ids=[1,2,3,3,4,2,3,4,5,6,1]news_ids=[]foridinids:ifidnotinnews_ids:news_ids.append(id)printnews_ids这样也可行，但是看起来不够爽。用set另外一个解决方案
系统 2019-09-27 17:38:46 2109
说明：python的urllib2获取网页(urlopen)会自动重定向（301,302）。但是，有时候我们需要获取302,301页面的状态信息。就必须获取到转向前的调试信息。下面代码将可以做到避免302重定向到新的网页#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:states_code.pyimporturllib2classRedirctHandler(urllib2.HTTP
系统 2019-09-27 17:38:42 2109
