搜索到与相关的文章
Python

python爬虫———多线程threading模块爬取抖音用户信息

爬虫背景:由于原来的数据库中有1.5亿左右的用户id,但是其中有1.2亿的用户资料是不完整的(没有粉丝数量,点赞数量等,算是无用数据),现在老板要求将这些没有资料的用户更新信息,咋办?刚开始的想法是使用主从模式+scrapy爬取,但是写着写着觉得麻烦(写python的都很懒,scrapy还是比较臃肿的),然后突然想到,python中的多线程,处理爬虫这种存在大量io的操作时,多线程是非常有用的,而且省服务器资源(其他的爬虫也在服务器,能省一点是一点,毕竟是

系统 2019-09-27 17:52:29 2462

Python

使用Python-OpenCV向图片添加噪声的实现(高斯噪声、椒盐噪声)

在matlab中,存在执行直接得函数来添加高斯噪声和椒盐噪声。Python-OpenCV中虽然不存在直接得函数,但是很容易使用相关的函数来实现。代码:importnumpyasnpimportrandomimportcv2defsp_noise(image,prob):'''添加椒盐噪声prob:噪声比例'''output=np.zeros(image.shape,np.uint8)thres=1-probforiinrange(image.shape[0

系统 2019-09-27 17:48:52 2462

Python

shell脚本中执行python脚本并接收其返回值的例子

1.在shell脚本执行python脚本时,需要通过python脚本的返回值来判断后面程序要执行的命令例:有两个py程序hello.py复制代码代码如下:defmain():print"Hello"if__name__=='__main__':main()world.pydefmain():print"Hello"if__name__=='__main__':main()shell脚本test.sh复制代码代码如下:pythonhello.pypython

系统 2019-09-27 17:45:53 2462

Python

决策树⑤——Python代码实现决策树

决策树①——信息熵&信息增益&基尼系数决策树②——决策树算法原理(ID3,C4.5,CART)决策树③——决策树参数介绍(分类和回归)决策树④——决策树Sklearn调参(GridSearchCV调参及过程做图)决策树应用实例①——泰坦尼克号分类决策树应用实例②——用户流失预测模型决策树应用实例③——银行借贷模型上一篇总结了Sklearn库用GridSearchCV调参的过程,今天用python依据现代女生的审美创建一颗简单的决策树,看下是否能代表大众的心

系统 2019-09-27 17:45:44 2462

编程技术

tolua++初探(四)

<使用了聚合的类的导出>聚合是最常见的构造新类的方式了,另一个是继承。tolua++支持单继承,后面会提到继承的例子。这里先看看怎么将利用了聚合的类导出到lua中。我的目的是想在Lua中使用C++类的实例,而不是在lua中生成C++类实例,所以我在利用tolua++向lua导出类时一般不导出构造函数,这样就无法在lua中生成类实例。但是为了演示的方便,这个例子中用到的两个简单类CNumber和CMessage仍然导出了构造函数。另外一个单件(singlet

系统 2019-08-29 23:30:57 2462

编程技术

数学之美番外篇:平凡而又神奇的贝叶斯方法

数学之美番外篇:平凡而又神奇的贝叶斯方法By刘未鹏(pongba)C++的罗浮宫(http://blog.csdn.net/pongba)TopLanguage(http://groups.google.com/group/pongba)概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想,一个方法

系统 2019-08-29 23:27:26 2462

编程技术

杂谈需求与质量

某些时候你的确可以欺骗所有的人,你甚至可以永远欺骗某些人,但是,你不可能永远欺骗所有的人.----亚伯拉罕林肯引用了美国大总统林肯的话,呵呵,在一定程度上可以解释一下软件质量到底是怎么样一种情况吧.质量是相对的---引自<<质量,软件,管理>>如何去评测软件的质量?这一直是软件业界的一个非常神秘(最少我觉得神秘)的话题.说说我自己的想法吧如果是项目的话,需要考虑的相对来说会少一些,一般情况来说,质量就是符合需求.但是为什么软件的质量是这么的难呢?一个问题,

系统 2019-08-29 23:23:54 2462

Oracle

oracle sql日期比较

oraclesql日期比较:在今天之前:select*fromup_datewhereupdateselect*fromup_datewhereup

系统 2019-08-29 22:31:34 2462