爬虫背景:由于原来的数据库中有1.5亿左右的用户id，但是其中有1.2亿的用户资料是不完整的(没有粉丝数量，点赞数量等，算是无用数据)，现在老板要求将这些没有资料的用户更新信息，咋办？刚开始的想法是使用主从模式+scrapy爬取，但是写着写着觉得麻烦(写python的都很懒，scrapy还是比较臃肿的)，然后突然想到，python中的多线程，处理爬虫这种存在大量io的操作时，多线程是非常有用的，而且省服务器资源(其他的爬虫也在服务器，能省一点是一点，毕竟是
系统 2019-09-27 17:52:29 2380
持久性就是指保持对象，甚至在多次执行同一程序之间也保持对象。通过本文，您会对Python对象的各种持久性机制（从关系数据库到Python的pickle以及其它机制）有一个总体认识。另外，还会让您更深一步地了解Python的对象序列化能力。什么是持久性？持久性的基本思想很简单。假定有一个Python程序，它可能是一个管理日常待办事项的程序，您希望在多次执行这个程序之间可以保存应用程序对象（待办事项）。换句话说，您希望将对象存储在磁盘上，便于以后检索。这就是持
系统 2019-09-27 17:52:07 2380
在读图片时，会用到这么的一段代码：image_vector_len=np.prod(image_size)#总元素大小，3*55*47img=Image.open(path)arr_img=np.asarray(img,dtype='float64')arr_img=arr_img.transpose(2,0,1).reshape((image_vector_len,))#47行，55列，每个点有3个元素rgb。再把这些元素一字排开transpose是什么
系统 2019-09-27 17:51:34 2380
classTeacher:dic={'查看学生信息':'show_student','查看讲师信息':'show_teacher'}defshow_student(self):print('show_student')defshow_teacher(self):print('show_teacher')@classmethoddeffunc(cls):print('hahaha')alex=Teacher()forkinTeacher.dic:print(
系统 2019-09-27 17:50:58 2380
在Python中定义函数，可以用必选参数（位置参数），默认参数，可变参数，关键字参数和命名关键字参数，这5种参数都可以组合使用。但参数定义的顺序必须是：必选参数（位置参数）默认参数可变参数命名关键字参数关键字参数例如：定义：deff1(x,y=0,*args,z,**kw):print(x,y,args,z,kw)调用：f1(1,2,3,4,5,z=6,p=7,q=8)输出：12(3,4,5)6,{'p':7,'q':8}定义：deff2(x,y=0,*,
系统 2019-09-27 17:50:10 2380
开发工具：pycharm简单实现session的登录注销功能Django配置好路由分发功能默认session在Django里面的超时时间是两周使用request.session.set_expiry(60)设置超时时间，以秒为单位在Django配置文件里配置session链接https://www.jb51.net/article/166988.htmurlpatterns=[path('admin/',admin.site.urls),path('app
系统 2019-09-27 17:50:10 2380
将程序转换为exe文件我们先来介绍如何使用工具Pyinstaller安装Pyinstaller我们用pip安装Pyinstaller。注意，如果使用Pyinstaller，则应使用python2.7或python3.3到python3.6（截至2018年7月）的环境。安装方法非常简单，我们执行以下命令$pipinstallpyinstaller接下来我们将python脚本转换为exe文件我们将“.py”文件转换为“.exe”文件首先，我们创建原始的“.py
系统 2019-09-27 17:50:03 2380
1lambdalambda原型为：lambda参数:操作(参数)lambda函数也叫匿名函数，即没有具体名称的函数，它允许快速定义单行函数，可以用在任何需要函数的地方。这区别于def定义的函数。lambda与def的区别：1）def创建的方法是有名称的，而lambda没有。2）lambda会返回一个函数对象，但这个对象不会赋给一个标识符，而def则会把函数对象赋值给一个变量（函数名）。3）lambda只是一个表达式，而def则是一个语句。4）lambda表
系统 2019-09-27 17:47:19 2380
最近学了高等数值分析，需要做一下数值分析相关的编程。感觉三次样条插值和Romberg外推加速公式写起来还是有点难度的。分享一下自己的结果。1.三次样条插值本来没有什么头绪，受一个博主的启发，学习了他的代码稍作修改。原博链接：https://blog.csdn.net/a19990412/article/details/80574057importmathimportnumpyasnpimportmatplotlib.pyplotaspltfromsympy
系统 2019-09-27 17:46:10 2380
这个周末是六一，笔者分享一下给孩子做的一个小程序，这样的例子需要有趣、简单有动画效果，所以我就用python的dash_bio给孩子展示了DNA的分子结构，效果不错：）dash_bio库的安装·首先是安装dash_bio库，他的例程是基于python2.7的，不过python3应该也行，稍微改一下代码即可。执行下列语句即可完成安装。这其中没遇到什么坑。pipinstalldash-bio==0.0.10pipinstalldash_html_compone
系统 2019-09-27 17:45:49 2380
