Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2154
一、什么是Selenium？Selenium是一个基于浏览器的自动化测试工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：SeleniumIDE、SeleniumWebDriver和SeleniumGrid。SeleniumIDE：Firefox的一个扩展，它可以进行录制回放，并把录制的操作以多种语言（例如java、python等）的形式导出成测试用例。SeleniumWebDriver：提供Web自动化所需
系统 2019-09-27 17:45:45 2154
在平时的工程中，我们在构建工程时，常常需要用到配置文件，用来配置项目的一些信息，比如数据库，请求网址，文件夹，线程、进程数等信息，这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码，会单独存放在一个文件夹中，方便管理，常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparser模
系统 2019-09-27 17:45:29 2154
便携文档格式(PDF)是由Adobe开发的格式，主要用于呈现可打印的文档，其中包含有pixel-perfect格式，嵌入字体以及2D矢量图像。YoucanthinkofaPDFdocumentasthedigitalequivalentofaprinteddocument;indeed,PDFsareoftenusedindistributingdocumentsforthepurposeofprintingthem.可以方便的使用Python和Djang
系统 2019-09-27 17:38:47 2154
python中字典可以一键多值，也就是意味着一个键可以对应多个值。例：#encoding=utf-8print'中国'#字典的一键多值print'方案一list作为dict的值值允许重复'd1={}key=1value=2d1.setdefault(key,[]).append(value)value=2d1.setdefault(key,[]).append(value)printd1#获取值print'方案一获取值'printlist(d1[key])
系统 2019-09-27 17:38:14 2154
近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录1.在正常情况下..可以用importchardetthischarset=chardet.detect(strs)["encoding"]来获取该文件或页面的编码方式或直接抓取页面的charset=xxxx来获取2.遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.st
系统 2019-09-27 17:38:01 2154
在网上看到一篇关于隐马尔科夫模型的介绍，觉得简直不能再神奇，又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客，无奈大神没给可以运行的代码，只能纯手动网上找到了结巴分词的词库，根据此训练得出隐马尔科夫模型，用维特比算法实现了一个简单的拼音输入法。githuh地址：https://github.com/LiuRoy/Pinyin_Demo原理简介隐马尔科夫模型抄一段网上的定义：隐马尔可夫模型(HiddenMarkovModel)是一种统计模
系统 2019-09-27 17:37:43 2154
工作环境：IDE:Eclipse3.1.2jdk:jdk1.5.0_06Tomcat:apache-tomcat-5.5.15AXIS2:1.0(war版本和bin版本)环境准备：http://ws.apache.org/axis2/download/1_0/download.cgi去下载AXIS2的BinaryDistributionurl:http://apache.justdn.org/ws/axis2/1_0/axis2-std-1.0-bin.z
系统 2019-08-29 23:47:04 2154
本文为本人另一个账号jason_yes上的文章，那个账号不要了，乾坤大挪移过来。消息对话框msgbox函数。它不接受用户的任何输入，在用户单击OK按钮后，对话框自动关闭，然后返回程序中继续执行。>>msgbox('欢迎使用MATLAB')%建立一个没有标题的消息对话框>>msgbox('欢迎使用MATLAB','MATALB','warn')%%建立一个有标题的消息对话框错误对话框errordlg函数。>>errordlg%建立一个默认参数的错误对话框>>
系统 2019-08-29 23:43:20 2154
这是一本沉甸甸的历史，颇具史料性，很有收藏价值。翻阅该书，仿佛白云天狗时空转换，从褪色的老照片到崭新的数码图片中，从言简意赅的阐述中，能令人一点一滴地重温西安这座古城30年的变迁。我本口拙不善辞令。但从揭开扉页到掩卷长思，书中的400余幅新老照片忠实直观的记录着西安30年来的巨变，凡年轻人观后无不思旧惜今，凡上年纪者观后无不感到震撼触发共鸣，感慨万千唏嘘慨叹。宛若少年离别老去相逢，无不回首30年前那段艰难竭蹶的岁月。那年月，我们不能随便说话，凡说真话者，一
系统 2019-08-29 23:27:40 2154
