分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：结果正常。分析json数据，提取图片链接最后分析发现
系统 2019-09-27 17:46:57 2089
花了些工夫将碎片网部署到了SAE，中途遇到各类问题。感觉SAE看上去很美，实际上却并不是太成熟（至少python版如此）。下面记录下我遇到的一些主要问题以及解决方法。django版本问题Django1.4都即将发布了，SAE平台自带的SAE版本依旧为1.2x。为使用django1.3版本，你需上传自己的django。具体做法可参考SAE手册中的runtime.html#virtualenv日志模块出错最先遇到的是日至模块的问题。错误显示AdminEmail
系统 2019-09-27 17:46:12 2089
创建一个软件包（package）似乎已经足够简单了，也就是在文件目录下搜集一些模块，再加上一个__init__.py文件，对吧？我们很容易看出来，随着时间的推移，通过对软件包的越来越多的修改，一个设计很差的软件包可能会出现循环依赖问题，或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包，你可能会忍不住把工具方法，工厂方法和异常处理都丢进__init__.py，千万别这样！一个结构良好的__init__.py文件，仅为一
系统 2019-09-27 17:45:42 2089
本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考，具体如下：在前面这篇//www.jb51.net/article/162418.htm我们已经简单了解了”python的多进程”，现在我们需要把抓取基金网站(28页)内容写成多进程的方式。因为进程也不是越多越好，我们计划分3个进程执行。意思就是：把总共要抓取的28页分成三部分。怎么分呢？#初始ranger=range(1,29)#步长step=10myList=[r[x:x+
系统 2019-09-27 17:45:24 2089
简单记一下python中List的sort方法（或者sorted内建函数）的用法。List的元素可以是各种东西，字符串，字典，自己定义的类等。sorted函数用法如下：sorted(data,cmp=None,key=None,reverse=False)其中，data是待排序数据，可以使List或者iterator,cmp和key都是函数，这两个函数作用与data的元素上产生一个结果，sorted方法根据这个结果来排序。cmp(e1,e2)是带两个参数的
系统 2019-09-27 17:38:23 2089
这几天在翻旧代码时发现以前写的注释部分有很多单词拼写错误，这些单词错得不算离谱，应该可以用工具自动纠错绝大部分。用Python写个拼写检查脚本很容易，如果能很好利用aspell/ispell这些现成的小工具就更简单了。要点1、输入一个拼写错误的单词，调用aspell-a后得到一些候选正确单词，然后用距离编辑进一步�鹧〕龈�精确的词。比如运行aspell-a，输入‘hella'后得到如下结果：hell,Helli,hello,heal,Heall,he'll
系统 2019-09-27 17:38:21 2089
easy_install卸载通过easy_install安装的模块可以直接通过easy_install-mPackageName卸载，然后删除\Python27\Lib\site-packages目录下的egg。setup.py卸载通过发行包附带的setup.py安装的模块，首选setup.py提供的uninstall选项。如果作者没有提供uninstall选项，则通过如下命令行手动卸载：首先获取安装过程中产生的文件：pythonsetup.pyinsta
系统 2019-09-27 17:38:18 2089
安装Tornado省事点可以直接用grequests库，下面用的是tornado的异步client。异步用到了tornado，根据官方文档的例子修改得到一个简单的异步爬虫类。可以参考下最新的文档学习下。pipinstalltornado异步爬虫#!/usr/bin/envpython#-*-coding:utf-8-*-importtimefromdatetimeimporttimedeltafromtornadoimporthttpclient,gen,
系统 2019-09-27 17:38:10 2089
解决思路首先想到的就是利用python的正则表达式来匹配非法字符，然后找出非法记录。然而理想总是丰满的，现实却是残酷的。在实现的过程中，才发现自己对于字符编码、以及python内部字符串表示的相关知识的缺乏。在这期间，踩过了不少坑，到最后虽然还有些模糊的地方，但总算有一个总体清晰的了解。在此记录下心得，避免以后在同一个地方跌倒。以下的测试环境是ArcGIS10.3自带的python2.7.8环境，不保证其他python环境也适用。python正则表达式py
系统 2019-09-27 17:37:48 2089
我们先从中间的透明小球开始。通过下面的绘制方法和过程介绍，相信你一定能掌握画立体形体的基本方法，那就是：依次画基本形状、渐变、高光、阴影。1．在Flash中新建一个mc，名字就叫作icon_ball吧。2．画一个正圆形，设置轮廓和填充的样式，效果如下：3．用渐变调整工具调整一下：4．新建一个图层，取名hilight，顺便把原来的帧改名ball。5.再画一个圆，移动到如图位置。6．在ColorMixer面板中修改一下结果如图：图中黑色表示透明，取消选择看看。
系统 2019-08-29 23:36:21 2089
