这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 2007
心血来潮写了个多线程抓妹子图，虽然代码还是有一些瑕疵，但是还是记录下来，分享给大家。Pic_downloader.py#-*-coding:utf-8-*-"""CreatedonFriAug0717:30:582015@author:Dreace"""importurllib2importsysimporttimeimportosimportrandomfrommultiprocessing.dummyimportPoolasThreadPooltype
系统 2019-09-27 17:38:32 2007
1、python多进程编程背景python中的多进程最大的好处就是充分利用多核cpu的资源，不像python中的多线程，受制于GIL的限制，从而只能进行cpu分配，在python的多进程中，适合于所有的场合，基本上能用多线程的，那么基本上就能用多进程。在进行多进程编程的时候，其实和多线程差不多，在多线程的包threading中，存在一个线程类Thread，在其中有三种方法来创建一个线程，启动线程，其实在多进程编程中，存在一个进程类Process，也可以使用
系统 2019-09-27 17:38:21 2007
把广阔的范围都拍进一张照片就叫做全景照片。这种手法从很早以前就有，胶片相机上也有回转镜头部分的特别器材。不过数码相机的话，不需使用特别器材，通过合成图像技术的运用，用手边的相机就能简单地拍出全景照片。在此来说明一下这种拍摄方法。这是用附属软件“PhotoStitch”将用全景辅助功能（辅助拼接模式）拍摄的一张张照片合成后的成品。这样宽广的风景也能变成一张照片。合成的照片令人印象深刻，请大家在拍摄风景的时候多尝试。拍摄时，如果相机具有全景辅助模式就可以使用它
系统 2019-08-29 22:28:36 2007
过程,Spout发送msgid1-10一级Bolt，msgid1的tuple做为基本组合tuple,其他8个和一组合,然后发送给二级Bolt，同时单个msgid对应的tuple都ack一次，msgid1对象tuple,acker将会跟踪8个二级bolt处理情况.二级Bolt，发送ackfail（模拟处理失败）结果：在spoutfail下出现msg1-9都失败的情况.拓扑代码packagestorm.starter;importbacktype.storm.
系统 2019-08-12 09:26:55 2007
邻近算法（k-NearestNeighbor)是机器学习中的一种分类（classification）算法，也是机器学习中最简单的算法之一了。虽然很简单，但在解决特定问题时却能发挥很好的效果。因此，学习kNN算法是机器学习入门的一个很好的途径。kNN算法的思想非常的朴素，它选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签（label）。我们假设每一个样本有m个特征值（property），则一个样本的可以用一个m维向量表示:X=（x1，x2，.
系统 2019-09-27 17:54:43 2006
高阶函数map/reducePython内建了map()和reduce()函数。我们先看map。map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list[1,2,3,4,5,6,7,8,9]上，就可以用map()实现如下：现在，我们用Python代码实现：deff(x):returnx*xr=m
系统 2019-09-27 17:53:59 2006
python字符串替换是python操作字符串的时候经常会碰到的问题，这里简单介绍下字符串替换方法。python字符串替换可以用2种方法实现:1是用字符串本身的方法。2用正则来替换字符串下面用个例子来实验下：a='helloword'把a字符串里的word替换为python1、用字符串本身的replace方法复制代码代码如下:a.replace('word','python')输出的结果是hellopython2、用正则表达式来完成替换:复制代码代码如下:
系统 2019-09-27 17:53:34 2006
什么是异常？一般情况下，在python无法正常处理程序时就会发生一个异常（异常是python对象，表示一个错误），也就是我们俗称的程序崩了。异常就是程序运行时候发生错误的信号（在程序出现错误的时候，则会产生一个异常，若程序没有处理他，则会抛出该异常，程序的运行也随之终止）。异常的处理步骤：1、可预知的异常：如果错误发生的条件是可预知的，需要用if进行处理，在错误发生之前进行预防。2、未知的异常：try:代码块except异常类型:异常处理的方法else:如
系统 2019-09-27 17:53:08 2006
又见一堆PYTHON高薪，前景好，年薪破百万，反正不会落到我们头上，看看就好（如果说python在这里下了广告，我是信得）CSDN这个狡猾小精灵，每年总要吹那么一种语言或技术，然后不到半年就忘光了，是的，半年后，只字不提记得去年是吹的人工智能，至于用什么语言，反正好像CSDN自己也没搞懂，我们这些博主也没搞懂，所以就随便粘贴国外大牛的文章宣传了半年其实有点见怪不怪其实最好的开源论坛不是CSDN某一种语言，基于最深入探讨的论坛也不是CSDN有点可悲的是，一般
系统 2019-09-27 17:53:00 2006
