这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 2011
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据，而不需要一步步人工去操纵浏览
系统 2019-09-27 17:37:39 2011
不是异步的例子，显然有个延迟。packagecom.ql.app;importjava.util.ArrayList;importjava.util.List;importandroid.app.Activity;importandroid.content.Context;importandroid.content.Intent;importandroid.content.pm.PackageManager;importandroid.content.pm
系统 2019-08-29 22:18:15 2011
系统自带的Toast有时候不能满足我们的需求，现在提供一个可以快速替代Toast的方案。项目地址：源码：/**Copyright2012EvgenyShishkin**LicensedundertheApacheLicense,Version2.0(the"License");*youmaynotusethisfileexceptincompliancewiththeLicense.*YoumayobtainacopyoftheLicenseat**htt
系统 2019-08-29 22:17:52 2011
第274页其中CustomComparator这个类应为packageCollection.Sort;importjava.util.Comparator;publicclassCustomComparatorimplementsComparator...{publicintcompare(Objecto1,Objecto2)...{Strings1=(String)o1;Strings2=(String)o2;if(s1.equals(s2))...{r
系统 2019-08-12 09:29:44 2011
相关函数列表//管道#includeintpipe(intfd[2]);//标准I/O库提供了两个函数，实现的操作是创建一个管道fork一个子进程关闭未//使用的管道端，执行一个shell运行命令，然后等待命令终止//type类似fopen函数，有"r","w"或者"rw"等#includeFILE*popen(constchar*cmdstring,constchar*type);intpclose(FILE*fp)
系统 2019-08-12 09:29:37 2011
图像可能在生成、传输或者采集过程中夹带了噪声，去噪声是图像处理中常用的手法。通常去噪声用滤波的方法，比如中值滤波、均值滤波。但是那样的算法不适合用在处理字符这样目标狭长的图像中，因为在滤波的过程中很有可能会去掉字符本身的像素。一个采用的是去除杂点的方法来进行去噪声处理的。具体算法如下：扫描整个图像，当发现一个黑色点的时候，就考察和该黑色点间接或者直接相连接的黑色点的个数有多少，如果大于一定的值，那就说明该点不是离散点，否则就是离散点，把它去掉。在考察相连的
系统 2019-09-27 17:56:42 2010
之前想爬取一些淘宝的数据，后来发现需要登录，找了很多的资料，有个使用request的sessions加上cookie来登录的，cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的，获取动态网页还得另寻他法，一般需要的数据可以在网页的源码中得到，但是你知道的，有些动态加载的就不是那么简单了，而且我发现这样获得的源码中，有些想要获取的数据的格式是经过改动的，比如我要某个商品的具体链接，发现并不能直接使用。总体而言，这是一次失
系统 2019-09-27 17:54:47 2010
之前了解到itchat乃至于wxpy时是利用tuling聊天机器人的接口。调用接口并保存双方的问答结果可以作为自己的问答词库的一个数据库累计。这些数据可以用于自己训练。而最近希望获取一些语音资源，用于卷积神经网络的训练。。--------------------------------------------------------------------------------首先wxpy是itchat的升级版，通过wxpybot.core即可原封不动的
系统 2019-09-27 17:53:42 2010
Python中经常遇到这样那样的字符编码问题，尤其在处理网页源码时（特别是爬虫中）：UnicodeDecodeError:‘XXX'codeccan'tdecodebytesinposition12-15:illegalmultibyte...每次看到上面这段文字的时候，感觉整个世界都昏暗了，然后就只能各种搜索找资料，过后就忘了。下次遇到时就让世界再昏暗一次。为了彻底解决这个拦路虎，今天咱们就好好的来唠嗑唠嗑。下面以汉字'哈'来解释作示例解释所有的问题，汉
系统 2019-09-27 17:53:00 2010
