搜索到与相关的文章
Python

python爬虫———多线程threading模块爬取抖音用户信息

爬虫背景:由于原来的数据库中有1.5亿左右的用户id,但是其中有1.2亿的用户资料是不完整的(没有粉丝数量,点赞数量等,算是无用数据),现在老板要求将这些没有资料的用户更新信息,咋办?刚开始的想法是使用主从模式+scrapy爬取,但是写着写着觉得麻烦(写python的都很懒,scrapy还是比较臃肿的),然后突然想到,python中的多线程,处理爬虫这种存在大量io的操作时,多线程是非常有用的,而且省服务器资源(其他的爬虫也在服务器,能省一点是一点,毕竟是

系统 2019-09-27 17:52:29 2532

Python

python实现两个经纬度点之间的距离和方位角的方法

最近做有关GPS轨迹上有关的东西,花费心思较多,对两个常用的函数总结一下,求距离和求方位角,比较精确,欢迎交流!1.求两个经纬点的方位角,P0(latA,lonA),P1(latB,lonB)(很多博客写的不是很好,这里总结一下)defgetDegree(latA,lonA,latB,lonB):"""Args:pointp1(latA,lonA)pointp2(latB,lonB)Returns:bearingbetweenthetwoGPSpoints

系统 2019-09-27 17:47:46 2532

编程技术

一些想说的,还有近期学习情况

好几天没写了,忙着看文档和看书,很充实也很有收获。今天几个朋友都对我在博上说要离开武汉的事情很关心,也跟我聊了一些。真的很谢谢这些朋友,我为有这群知心的朋友而感觉很开心。因为他们能给我太多的意见和建议,我自己看不到的。晓威同学的“烦躁只是一时的,烦躁过后是无限的动力和激情。”真的一语惊醒梦中人,烦躁的心情真的只是一时的,最重要的还是要带来对未来的信心和动力。这也正是我想对自己说的,不管做什么都是为了未来更好,所以懂得如何转化心情才是最重要的。还有她的夸奖我

系统 2019-08-29 23:48:36 2532

编程技术

【设计模式系列】行为型模式之Null Object模式

概要系统中会包含很多行为,有些行为总是存在并需要被执行,而有些行为在某些场合或某种设置下就不希望被执行,通常很多人会通过一些条件对系统行为进行限制来达到目的,但是这样会给本来很简单纯粹的处理增加额外的逻辑,而通过NULLObject模式会提供一个具有代理式的空白行为的对象来解决问题。目的通过NULLObject模式提供一个具有代理式的空白行为的对象,从而隐藏一些判断逻辑。实例看这样一个例子,系统中有类Action,一些具体行为都从类Action继承来扩展,

系统 2019-08-29 23:46:48 2532

编程技术

GPL 与 LGPL 的区别

在写这篇文章之前,我声明我这个博客里的所有内容,想法与代码为LGPL。LGPLstandsforGNULesserGeneralPublicLicense.GPLstandsforGNUGeneralPublicLicense.从图片上看是完全一样的可是颜色不一样。可不要小看这个颜色的区别。概括来讲,LPGL版权允许个人或企业使用,修改,引用而不用考虑对自身产品的影响。而GPL版权虽然是免费的,可是如果个人或企业使用,修改,引用了有这样的版权的产品,那么引

系统 2019-08-29 23:37:12 2532

编程技术

抄袭的人是可耻的

前几天上网收信,看到网友发信给我说我的《跟我一起写Makefile》以及《用GDB调试程序》被抄袭了,已被出版。一看,还是清华大学出版社。唉,这是清华大学出版社出版的第二本抄袭我文章的书了,第一次是在两年前,我的《编程修养》被抄了,当然我还见了清华大学出版社的主编和书的第一作者(王立峰),我还记得当时我给他们提出的要求是:1)立即停止发行。2)作者和出版社给我书面道歉。3)在CSDN和清华大学出版社的网站主页的显著位置发出道歉声明。当时,那个作者让我别找清

系统 2019-08-29 23:14:48 2532

编程技术

用Photoshop制作有浮雕效果的文字

1.使用Ctr+N,新增一个PSD文件。2.增加一个图层,取名为文字层。3.在层里面增加文字,如:虾4.双击图层,弹出图层属性窗口。勾选投影,点击投影,在投影的属性里面填入:距离1象素,扩展10%,大小两个象素。然后点击确定,就可以看到文字有浮雕的效果了。5.显示结果用Photoshop制作有浮雕效果的文字

系统 2019-08-29 23:11:08 2532

编程技术

临终关怀?抑或一切照旧?PR咋又更新了?

PageRank(网页级别),2001年9月被授予美国专利,专利人是Google创始人之一拉里·佩奇(LarryPage)。因此,PageRank里的page事实上不是指网页,而是指佩奇,即这个等级方法是以佩奇来命名的。它是Google排名运算法则(排名公式)的一部分,是Google用于用来标识网页的等级/重要性的一种方法,是Google用来衡量一个网站的好坏的唯一标准。在揉合了诸如Title标识和Keywords标识等所有其它因素之后,Google通过P

系统 2019-08-29 23:04:19 2532