搜索到与相关的文章
Python

python爬虫爬取某站上海租房图片

对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python版本:python3.6,IDE:pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。第三方库首先安装我是用的pycharm所以另为的脚本安装我这就不介绍了。如上图打开默认设置选择ProjectInterprect

系统 2019-09-27 17:38:40 2053

Python

python 采集中文乱码问题的完美解决方法

近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录1.在正常情况下..可以用importchardetthischarset=chardet.detect(strs)["encoding"]来获取该文件或页面的编码方式或直接抓取页面的charset=xxxx来获取2.遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.st

系统 2019-09-27 17:38:01 2053

编程技术

2007东软科技节的软件设计大赛项目,设计中...

事情是这样的,上个周日一个学弟找到我说想跟我组队参加东软科技节的软件设计大赛。我跟他谈了,看了看他的idea,叫“全右脑英语学习软件”,按照我的理解,就是一个帮助背英语单词的软件。项目不算大,技术上要求也不高,要想拿奖的话只能靠出色的功能设计了。说实话,我心软,对于一个小学弟的请求我不好拒绝。反正也没什么,那就去吧。OK,这周就忙在功能研究和结构设计上了。总结一下想法:数据结构(主要是词库)采用XML文件描述和存放;仿照MVC架构,DAO模式,基本上模拟数

系统 2019-08-29 23:26:44 2053

编程技术

vb.net2005 基本概念

最早学习.net是在读大二的时候,那个时候学了一门《面向对象程序设计》的课程,那个老师很好,对于我们这一班非计算机的学生,讲得特别仔细,认真。当时用了还是2000,现在最新的版本已经是2008,不过现在比较流行的版本还是2005,以前装2000的时候,有时要装很多次才能装成功,非常的郁闷。VisualStudio.net(简称VS.net)是由微软公司开发的一套功能强大的编程工具,2002年11月13日正式推出,在这个新一代的开发平台上,微软提出了很多新的

系统 2019-08-29 23:11:06 2053

编程技术

Bug生命周期及其管理

Bug生命周期对Bug的处理开发组长/经理每天对Bug进行分配,标注处理意见,给定优先级(发版前必须三方:需求、开发、产品共同确定)。问题分配时,应尽可能将咨询类、理解错误类等问题处理掉,而不是留给开发人员。有可能是需求的问题,分配给需求人员。定期对Bug库分析,找出常出错的模块,进行代码审查开发人员分析Bug,写出问题原因,修改Bug;实行Bug优先原则,严重程度B-Major类或紧急程度3-High类以上(包含)bug5个或5个以上,停止新功能的开发。

系统 2019-08-29 23:05:34 2053

编程技术

用Lucene构建实时索引的文档更新问题

1、Lucene删除文档的几种方式IndexReader.deleteDocument(intdocID)是用IndexReader按文档号删除。IndexReader.deleteDocuments(Termterm)是用IndexReader删除包含此词(Term)的文档。IndexWriter.deleteDocuments(Termterm)是用IndexWriter删除包含此词(Term)的文档。IndexWriter.deleteDocumen

系统 2019-08-29 22:57:44 2053

编程技术

面向程序员的数据库访问性能优化法则

面向程序员的数据库访问性能优化法则特别说明:1、本文只是面对数据库应用开发的程序员,不适合专业DBA,DBA在数据库性能优化方面需要了解更多的知识;2、本文许多示例及概念是基于Oracle数据库描述,对于其它关系型数据库也可以参考,但许多观点不适合于KV数据库或内存数据库或者是基于SSD技术的数据库;3、本文未深入数据库优化中最核心的执行计划分析技术。读者对像:开发人员:如果你是做数据库开发,那本文的内容非常适合,因为本文是从程序员的角度来谈数据库性能优化

系统 2019-08-29 22:34:29 2053

编程技术

素数环问题

DFS,好像主要是对dfs的递归调用吧,自己也不太懂,总之,它很神奇,多看看代码吧#include#include#include#includeintn;intisp[100];intvis[100];intA[100];intis_prime(intx)//判断一个数是否为素数(该数比较小,不会引起超时){inti=1,k

系统 2019-08-29 22:28:11 2053

编程技术

通用线程:POSIX 线程详解,第 3 部分

条件变量详解在上一篇文章结束时,我描述了一个比较特殊的难题:如果线程正在等待某个特定条件发生,它应该如何处理这种情况?它可以重复对互斥对象锁定和解锁,每次都会检查共享数据结构,以查找某个值。但这是在浪费时间和资源,而且这种繁忙查询的效率非常低。解决这个问题的最佳方法是使用pthread_cond_wait()调用来等待特殊条件发生。了解pthread_cond_wait()的作用非常重要--它是POSIX线程信号发送系统的核心,也是最难以理解的部分。首先,

系统 2019-08-29 22:16:36 2053

编程技术

jmeter, 性能测试

采用Jmeter测试工具对web系统作的负载测试,得出的响应报表,数据比较难懂,现作一具体说明。以下是在一次具体负载测试中得出的具体数值,测试线程设置情况为:线程数:200,等待时间(ramp-up):0秒,循环次数为永远,另:线程组——这些元件用于指定运行的线程数和等候周期。每个线程模拟一个用户,而等候周期用于指定创建全部线程的时间。例如,线程数为5,等候时间为10秒,则创建每个线程之间的时间间隔为2秒。循环数定义了线程的运行时间。使用调度器,还可以设置

系统 2019-08-29 22:05:31 2053