这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1850
创建一个软件包（package）似乎已经足够简单了，也就是在文件目录下搜集一些模块，再加上一个__init__.py文件，对吧？我们很容易看出来，随着时间的推移，通过对软件包的越来越多的修改，一个设计很差的软件包可能会出现循环依赖问题，或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包，你可能会忍不住把工具方法，工厂方法和异常处理都丢进__init__.py，千万别这样！一个结构良好的__init__.py文件，仅为一
系统 2019-09-27 17:45:42 1850
Python2中编码相关的问题很是让人蛋疼，特别是中文字符。比如本文所述的中文网页GBK编码的诡异问题。现象例如：盲录�氓��，其实网页里面正常的应该是会员分析接着上面的例子，会员这部分乱码通过repr()函数求值得到如下结果\xc3\xa4\xc2\xbc\xc2\x9a\xc3\xa5\xc2\x91\xc2\x98使用type()函数求值得到的结果为unicodeeval(repr())出来值为盲录�氓��通过查表上述6个汉字对应c3a4c2bcc2
系统 2019-09-27 17:45:40 1850
通过下面的步骤让你由浅入深明白装饰器是什么。假定你拥有最基本的Python知识，本文阐述的东西可能对那些在工作中经常接触Python的人有很大的帮助。1、函数（Functions）在Python里，函数是用def关键字后跟一个函数名称和一个可选的参数表列来创建的，可以用关键字return指定返回值。下面让我们创建和调用一个最简单的函数：>>>deffoo():...return1>>>foo()1该函数的函数体（在Python里将就是多行语句）是强制性的并
系统 2019-09-27 17:38:30 1850
对于某一类网站，管理界面是基础设施中非常重要的一部分。这是以网页和有限的可信任管理者为基础的界面，它可以让你添加，编辑和删除网站内容。一些常见的例子：你可以用这个界面发布博客，后台的网站管理者用它来润色读者提交的内容，你的客户用你给他们建立的界面工具更新新闻并发布在网站上，这些都是使用管理界面的例子。但是管理界面有一问题：创建它太繁琐。当你开发对公众的功能时，网页开发是有趣的，但是创建管理界面通常是千篇一律的。你必须认证用户，显示并管理表格，验证输入的有效
系统 2019-09-27 17:37:46 1850
作者：RolandDelaPaz(趋势科技威胁响应工程师)最近，我为了解开某个恶意.PDF档案当中的JavaScript压缩程序代码而上Google搜寻，却意外发现了下列搜寻结果：其中一个JavaScript在线解压缩网站竟然已遭到入侵。这很可能又是Blackhat搜寻引擎毒化(SEO)技巧的杰作，最后我被重导至一个显示FAKEAV警告信息的网站。接下来我就看到令人熟悉的假防毒软件FAKEAV行为，也就是画面上出现一个说我计算机中毒的警告信息。都是资安研究
系统 2019-08-29 22:43:55 1850
目录贴：跟我学Shiro目录贴身份验证，即在应用中谁能证明他就是他本人。一般提供如他们的身份ID一些标识信息来表明他就是他本人，如提供身份证，用户名/密码来证明。在shiro中，用户需要提供principals（身份）和credentials（证明）给shiro，从而应用能验证用户身份：principals：身份，即主体的标识属性，可以是任何东西，如用户名、邮箱等，唯一即可。一个主体可以有多个principals，但只有一个Primaryprincipal
系统 2019-08-29 22:00:47 1850
ejb中的3种bean:什么是会话bean?编写第一个ejb3的会话bean：步骤：1.ejb企业级开发是面向接口编程的，我们完成第一个HelloWorld的例子，首先写接口，也就是远程接口（服务器端）packagecn.com.xinli.ejb3;publicinterfaceHelloWorld{publicStringsayHello(Stringname);}2.在写接口的实现类（服务器端）packagecn.com.xinli.ejb3.imp
系统 2019-08-29 21:59:26 1850
第二篇《程序员必知8大排序3大查找（二）》《程序员必知8大排序3大查找（三）》每天都在叫嚣自己会什么技术，什么框架，可否意识到你每天都在被这些新名词、新技术所迷惑，.NET、XML等等技术固然诱人，可是如果自己的基础不扎实，就像是在云里雾里行走一样，只能看到眼前，不能看到更远的地方。这些新鲜的技术掩盖了许多底层的原理，要想真正的学习技术还是走下云端，扎扎实实的把基础知识学好，有了这些基础，要掌握那些新技术也就很容易了。要编写出优秀的代码同样要扎实的基础，如
系统 2019-08-12 09:30:03 1850
哈佛老师经常给学生这样的告诫：如果你想在进入社会后，在任何时候任何场合下都能得心应手并且得到应有的评价，那么你在哈佛的学习期间，就没有晒太阳的时间。作为闻名于世的学府，哈佛大学培养了许多名人，他们中有33位诺贝尔奖获得者、7位美国总统以及各行各业的职业精英。究竟是什么使哈佛成为精英的摇篮？哈佛学子接受了什么样的精神和理念？这些问题吸引着成千上万的人去探知其中的答案。哈佛图书馆墙上的20条训言似乎已经给出了答案。短短数语，引发深思，给人启迪。哈佛图书馆的二十
系统 2019-08-12 09:29:59 1850
