爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:06 2582
实现一个简单的发号器根据snowflake算法的原理实现一个简单的发号器，产生不重复、自增的id。1.snowflake算法的简单描述这里的snowflake算法是用二进制的，有64位。其中41位的时间戳表示：当前时间戳减去某个设定的起始时间，10位标识表示：不同的机器、数据库的标识ID等等，序列号为每秒或每毫秒内自增的id。我做的时候没有用位运算去实现，而是做了一个十进制的，16位的（当时项目要求是16位的）。但是实现发号器的基本策略是一样的，通过时间戳
系统 2019-09-27 17:50:10 2582
前言写过的这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，累积不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。1.最基本的抓站importurllib2content=urllib2.urlopen('http://XXXX').read()2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。importurllib2proxy_support=urllib2.ProxyHa
系统 2019-09-27 17:37:42 2582
一、IPython简介IPython是一个交互式的Python解释器，而且它更加高效。它和大多传统工作模式（编辑->编译->运行)不同的是，它采用的工作模式是：执行->探索，而大部分和数据分析相关的代码都含有探索式操作（比如试误法和迭代法），所以IPython能大大提高编码效率。IPython发展到现在，它不仅仅只是一个加强版的Pythonshell了，它集成了GUI控制台，这可以让你直接进行绘图操作；它还有一个基于Web的交互式笔记本和一个轻量级的快速并
系统 2019-09-27 17:37:40 2582
在NIO库中，所有数据都是用缓冲区处理的。在读取数据时，它是直接读到缓冲区中的。在写入数据时，它是写入到缓冲区中的。任何时候访问NIO中的数据，都是将它放到缓冲区中。缓冲区实质上是一个数组。通常它是一个字节数组，但是也可以使用其他种类的数组。但是一个缓冲区不仅仅是一个数组。缓冲区提供了对数据的结构化访问，而且还可以跟踪系统的读/写进程。buffer其实只是一个美化了的数组。状态变量跟踪数据的状态情况使buffer可以自己管理数据资源position:其实是
系统 2019-08-29 23:50:01 2582
一个星期六的下午，天气阴霾，很多的家燕，成群停留在马路上觅食戏耍，看着来往的大货车，突然，一辆呼啸而过的大货车开过，地上只看到一团黑影留着，不幸又发生了鸟儿的感情也是相当丰富的。尽管这只家燕已经在地上不会动了，但是，另一只仿佛是她的家人，马上飞到她的身旁，不忍相信这个实事……一辆汽车开过来了，飞快的车速，将风卷起，地上的鸟儿也随着翻了身。看到地上的鸟儿改变了姿势，情人仿佛受到鼓励一般，赶快的又飞下来到她的身旁……他在她的身旁守候，大声的呼喊着“为何还不起来
系统 2019-08-29 23:39:32 2582
1）MySQL客户端的工具使用SQLyogUltimate9.3.3简体中文正式版图形界面：update
系统 2019-08-29 23:37:48 2582
源地址：http://blog.sina.com.cn/s/blog_7120cef801017mk3.html最近公司要把SQL2000升级到SQL2008，在升级之后经常出现“该语句没有返回结果集”的报错提示，几经查找处理无果，后来因为一个小坚持，最后发现了问题所在。我相信我们的代码，相信我们的系统，哈哈。这期间我曾经怀疑过数据库的选项设置有问题，也怀疑过数据库驱动有问题，但是最初没有找到线索。我把正式站点的数据库设置与开发站点的一一对比，没
系统 2019-08-29 23:29:48 2582
标签标签可用来创建椭圆。椭圆与圆很相似。不同之处在于椭圆有不同的x和y半径，而圆的x和y半径是相同的。请把下面的代码拷贝到记事本，然后把文件保存为"ellipse1.svg"。把此文件放入您的web目录：
系统 2019-08-29 23:28:49 2582
WWW.CNLIST.COM王丹瑾时间：2007/10/0818:54:00中国证券网今天你“论股”了么？掌握持仓个股全方位资讯--就用"搜股易"查看吉林化纤（000420）的基本资料查看吉林化纤（000420）的新股发行资料10月8日讯吉林化纤（000420）发布业绩预告，得益于产品价格的持续攀升，公司今年前三季度业绩将同比大幅增长，预计公司2007年1-9月份累计净利润9000万元至1亿元。上年同期实现净利润为5万元。吉林化纤（000420）今日收高3
系统 2019-08-29 23:12:14 2582
