PYTHON-COOKBOOK文章目录PYTHON-COOKBOOK一：数据结构和算法1、Heapq取出最大或最小的几个元素优先级队列2、字典多值字典字典排序字典列表排序字典共同点和不同点3、collections保留最后几个元素频率统计命名元组字典(映射)联合查找4、其他解压赋值去重且保持顺序切片分组一：数据结构和算法三个基本的写法：列表生成式字典生成式迭代器生成式1、Heapq取出最大或最小的几个元素#最大或者最小的n个元素importrandomfr
系统 2019-09-27 17:46:19 1826
很多时候我们需要过滤掉标点符号等特殊字符，网上虽然有一堆的方法，但是都没有找到一个非常满意的，有些过滤不了中文的标点符号，有些过滤不了英文的标点符号，有些过滤不全。最后通过查看正则表达式文档，发现一个高效的办法，一行代码就能搞定：defreplace_all_blank(value):"""去除value中的所有非字母内容，包括标点符号、空格、换行、下划线等:paramvalue:需要处理的内容:return:返回处理后的内容"""#\W表示匹配非数字字母
系统 2019-09-27 17:46:03 1826
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1826
这两个均是python的内建函数，通过读取控制台的输入与用户实现交互。但他们的功能不尽相同。举两个小例子。>>>raw_input_A=raw_input("raw_input:")raw_input:abc>>>input_A=input("Input:")Input:abcTraceback(mostrecentcalllast):File"",line1,ininput_A=input("Input:")File"",line1,inNameErro
系统 2019-09-27 17:45:44 1826
学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 1826
环境：编辑工具：浏览器：有问题可以联系qq：1776376537#coding:utf-8fromcommon.baseimportBasefromseleniumimportwebdriverfromselenium.webdriver.common.action_chainsimportActionChainsfromselenium.webdriver.support.selectimportSelect#打开火狐浏览器driver=webdrive
系统 2019-09-27 17:45:33 1826
新来的一个工程师不懂HBase，java不熟，python还行，我建议他那可以考虑用HBase的thrift调用，完成目前的工作。首先，安装thrift下载thrift，这里，我用的是thrift-0.7.0-dev.tar.gz这个版本tarxzfthrift-0.7.0-dev.tar.gzcdthrift-0.7.0-devsudo./configure--with-cpp=no--with-ruby=nosudomakesudomakeinstal
系统 2019-09-27 17:45:33 1826
中国的居民身份证有18位。其中前17位是信息码，最后1位是校验码。每位信息码可以是0-9的数字，而校验码可以是0-9或X，其中X表示10。身份证校验码算法：设18位身份证号序列从左到右为:引用a[0],a[1],a[2],a[3],...,a[16],a[17]其中a[i]表示第i位数字，i=0,1,2,...,17，如果最后一位（校验位）是X，则a[17]=10每一位被赋予一个“权值”，其中，第i位的权值w[i]的计算方法是：引用w[i]=2**(17-
系统 2019-09-27 17:38:47 1826
什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类。一个Twisted程序由reactor发起的主循环和一些回调
系统 2019-09-27 17:38:27 1826
Django简介：Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的框架模式，即模型M，视图V和控制器C。不过在Django实际使用中，Django更关注的是模型（Model）、模板(Template)和视图（Views），称为MTV模式。Django的主要目的是简便、快速的开发数据库驱动的网站，它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件。django是对象关系映射
系统 2019-09-27 17:38:23 1826
