最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1804
函数的作用域python中的作用域分4种情况：L：local，局部作用域，即函数中定义的变量；E：enclosing，嵌套的父级函数的局部作用域，即包含此函数的上级函数的局部作用域，但不是全局的；G：globa，全局变量，就是模块级别定义的变量；B：built-in，系统固定模块里面的变量，比如int,bytearray等。搜索变量的优先级顺序依次是：作用域局部>外层作用域>当前模块中的全局>python内置作用域，也就是LEGB。local和enclos
系统 2019-09-27 17:53:09 1804
背景介绍从学sklearn时，除了算法的坎要过，还得学习matplotlib可视化，对我的实践应用而言，可视化更重要一些，然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn，最终定格在了Bokeh，因为它可以与Flask完美的结合，数据看板的开发难度降低了很多。前阵子看到这个库可以较为便捷的实现数据探索，今天得空打算学习一下。原本访问的是英文文档，结果发现已经有人在做汉化，虽然看起来也像是谷歌翻译的，本着拿来主义，
系统 2019-09-27 17:52:35 1804
Python中的列表基于PyListObject实现，列表支持元素的插入、删除、更新操作，因此PyListObject是一个变长对象（列表的长度随着元素的增加和删除而变长和变短），同时它还是一个可变对象（列表中的元素根据列表的操作而发生变化，内存大小动态的变化），PyListObject的定义：typedefstruct{#列表对象引用计数intob_refcnt;#列表类型对象struct_typeobject*ob_type;#列表元素的长度intob
系统 2019-09-27 17:52:11 1804
es实现聚合es通过agg实现聚合，详情可见es文档有时候查询es数据的时候可能需要实现多字段groupby的功能，例如：SELECTsum(item_count)fromAgroupbyfield1,field2,field3要实现多个维度的聚合，需要嵌套的agg查询语句:{"query":{},"aggs":{"field1":{"terms":{"field":"field1","size":2147483647#设置一个大的分桶数，防止一次统计不完
系统 2019-09-27 17:51:32 1804
a=input("a=")b=input("b=")c=int(a)+int(b)print(c)结果：/usr/bin/python3.6/home/rooter/PycharmProjects/python1/pp1a=4b=48Processfinishedwithexitcode0a=input("a=")b=input("b=")c=a+b#或者c=int(a+b)/c=str(a+b)print(c)结果/usr/bin/python3.6/h
系统 2019-09-27 17:51:10 1804
算数运算符：+#加：两个对象相加-#减：得到负数或是一个数减去另一个数*#乘：两个数相乘或是返回一个被重复若干次的字符串/#除：x/y，x除以y%#取模：返回除法的余数**#幂：x**y，返回x的y次幂//#取整除：返回商的整数部分（向下取整）比较运算符：==#判断两个对象是否相等!=#判断两个对象是否不相等<>#判断两个对象是否不相等，py2可用，py3不可用<#判断是否小于<=#判断是否小于等于>#判断是否大于>=#判断是否大于等于逻辑运算符：与and
系统 2019-09-27 17:51:05 1804
ubuntu18.04版本，python版本python2.7,python3.5,python3.6因为安装一些库会安装到python3.6上，而默认使用的是python2.7,使用python3，默认会使用python3.5,无法调用安装包。解决方法：一、使用pythonxx.py运行程序时，加上版本号。比如python3.6xx.py二、1.要以root身份操作yz@yz-pc:~$sudosu2.确认本机下的python默认版本。调出终端，输入py
系统 2019-09-27 17:51:04 1804
美国队长的锅emmmmmmmm.......没错就是他的锅#所需依赖：python3pycharm#print打印print('helloworld!')#注释符号#井号后面灰色的内容是注释，相当于笔记，会被机器忽略#变量和值#n是变量，100是值，等号的作用是赋值#n相当于高中数学的xyz，只不过xyz的值只能是数字，变量的功能要更强大n=100m='hello'print(n)print(m)#数据类型，这里只讲两个，剩下的需要同学自己去系统地学习了#
系统 2019-09-27 17:50:55 1804
python读取和保存图片5种方法对比python中对象之间的赋值是按引用传递的，如果需要拷贝对象，需要用到标准库中的copy模块方法一：利用PIL中的Image函数这个函数读取出来不是array格式，这时候需要用np.asarray(im)或者np.array（）函数。区别：np.array()是深拷贝，np.asarray()是浅拷贝copy.copy浅拷贝只拷贝父对象，不会拷贝对象的内部的子对象。copy.deepcopy深拷贝拷贝对象及其子对象例子
系统 2019-09-27 17:50:45 1804
