Python爬取豆瓣电影，最简单，最暴力，直接搞Api首先是api地址（地址去官网溜达一圈很容易就找到）：requests.get('https://movie.douban.com/j/search_subjects?type=movie&tag={}&sort=recommend&page_limit={}&page_start=0'.format(tag,page)使用requests发送get请求拿到json数据（一次可以抓很多条,所以没必要循环抓
系统 2019-09-27 17:53:31 2277
一、开发接口的作用1、mock接口：模拟一些接口。有一些有关联的接口，在别的接口没有开发好的时候，需要用这个接口，就可以写一个假接口，返回想要的结果来模拟这个接口。2、知道服务端的开发逻辑，有助于测试；3、比如不想让其他人看很多数据库中的数据，可以通过接口只返回一部分数据。二、开发一个接口1、flask是一个轻量级的开发框架__name__：代表当前这个python文件server=flask.Flask(__name__)：把当前这个python文件，当
系统 2019-09-27 17:52:45 2277
前言最近学习了Fiddler抓包工具的简单使用，通过抓包，我们可以抓取到HTTP请求，并对其进行分析。现在我准备尝试着结合Python来模拟GitHub登录。Fiddler抓包分析首先，我们想要模拟一个网站的登录，我们必须要简单了解其大致过程。在这里，我通过Fiddler来抓取GitHub登录的请求，从网页上登录的URL为：https://github.com/login，抓包结果如下：左边的是会话列表，右边的是请求和响应的数据。一般情况下，登录都是用PO
系统 2019-09-27 17:52:33 2277
写的dht协议搜索的程序，这几天优化了一下发现速度确实快了好多。但是出现了一个新的问题，内存直接飙升，我开了十个爬虫占用内存800m。开始我以为是节点太多了，找了几个小问题修改一下，发现没用。后来就到网上查找python内存分析的工具，查了一点资料发现python有个meliae库操作非常方便，就使用分析了一下，发现不是节点太多的原因00,是保存发送的t_id，用来标示返回的消息是那个发出的一个字典过大了。从分析的结果非常容易的定位了某个对象的数量和大小，
系统 2019-09-27 17:52:11 2277
在程序开发时候一套好的开发环境和工具栈，可以帮我们极大的提高开发的效率，避免把大量时间浪费在周边琐事上。本文以Python的为例，教大家如何快速打造优秀的Python的项目开发环境：内容涵盖了模块依赖管理，代码风格管理，调试测试管理和Git版本管理，使用githook做项目规范检查等。pipxPipx是一款跨平台的Python环境隔离管理工具，可以在支持在Linux，MacOS和Windows上运行.Pipx默认在是个人用户下建立虚拟Python环境，并以
系统 2019-09-27 17:51:53 2277
模块是用类编写的，只有一个StringIO类，所以它的可用方法都在类中。此类中的大部分函数都与对文件的操作方法类似。例：复制代码代码如下:#coding=gbkimportStringIO,cStringIO,syss=StringIO.StringIO("JGoodisahandsomeboy")s.write("JGoodisahandsomeboy\r\n")s.write('okkkk中国')s.seek(0)prints.read()#最后4个字
系统 2019-09-27 17:50:39 2277
关于pythonsetup.pybdistpythonsetup.pysdist两者的区别sdist指的是sourcedist即源码发布，带setup.pybdist指的是built(binary)dist即编译过(二进制)发布不带setup.py查看setup.py各种编译命令参数pythonsetup.py--help-commands查看具体某个命令参数pythonsetup.pybdist--help查看setup.py配置的参数pythonset
系统 2019-09-27 17:50:27 2277
在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy。importpandasaspdim
系统 2019-09-27 17:49:14 2277
实现步骤：1、通过水平投影对图形进行水平分割，获取每一行的图像；2、通过垂直投影对分割的每一行图像进行垂直分割，最终确定每一个字符的坐标位置，分割出每一个字符；先简单介绍一下投影法：分别在水平和垂直方向对预处理（二值化）的图像某一种像素进行统计，对于二值化图像非黑即白，我们通过对其中的白点或者黑点进行统计，根据统计结果就可以判断出每一行的上下边界以及每一列的左右边界，从而实现分割的目的。下面通过Python+opencv来实现该功能首先来实现水平投影：im
系统 2019-09-27 17:48:51 2277
定义使用内置的defaultdict我们可以很容易的定义一个树形数据结构deftree():returndefaultdict(tree)example:json风格users=tree()users['harold']['username']='bell'users['handler']['username']='master'我们可以使用print(json.dumps(users))以json的形式输出，于是我们看到{'harold':{'usern
系统 2019-09-27 17:47:35 2277
