转载：hackpython简介Flask是Python中有名的轻量级同步web框架，在一些开发中，可能会遇到需要长时间处理的任务，此时就需要使用异步的方式来实现，让长时间任务在后台运行，先将本次请求的响应状态返回给前端，不让前端界面「卡顿」，当异步任务处理好后，如果需要返回状态，再将状态返回。怎么实现呢？使用线程的方式当要执行耗时任务时，直接开启一个新的线程来执行任务，这种方式最为简单快速。通过ThreadPoolExecutor来实现fromflaski
系统 2019-09-27 17:53:32 2237
我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2237
阅读更多本文分享自6丁一的猫的博客，主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。1、python与jdk版本位数一致2、pipinstalljpype1（python3.5）3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录4、修改hanlp.properties中root根目录，找到data代码调用如下：1|#coding:utf-82|'''3|Createdon20
系统 2019-09-27 17:52:21 2237
1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：importnumpyasnpimportpandasaspd2、导入CSV或者xlsx文件：df=pd.DataFrame(pd.read_csv('name.csv',header=1))df=pd.DataFrame(pd.read_excel('name.xlsx'))3、用pandas创建数据表：df=pd.DataFrame({"id":[1001,1002,1003,1
系统 2019-09-27 17:51:16 2237
1需求，heeaders参数需要拼接中文参数param解决如下url='https://....search?keyword='+param+'&templateId=&page=1&pageSize=10'headers={"Accept":"application/json,text/javascript,*/*;q=0.01","Accept-Encoding":"gzip,deflate,br","Accept-Language":"zh-CN,z
系统 2019-09-27 17:51:00 2237
情景：我用python爬取了很多.ts的文件，他们是一个个只有几秒的短视频，现在想把它们合并成一个电影：合并的命令copy/b*.tsnew_name.mp4/b是以二进制的形式合并：现在我要执行的命令为：copy/bD:\pythonFetch\movie\20190905\*.tsD:\pythonFetch\movie\20190905\new.mp4及将D:\pythonFetch\movie\20190905\文件夹下所有的.ts后缀的文件以二进
系统 2019-09-27 17:50:37 2237
目录1、常见并发类型2、同步版本3、多线程4、异步IO5、多进程6、总结1、常见并发类型I/O密集型：蓝色框表示程序执行工作的时间，红色框表示等待I/O操作完成的时间。此图没有按比例显示，因为internet上的请求可能比CPU指令要多花费几个数量级的时间，所以你的程序可能会花费大部分时间进行等待。CPU密集型：IO密集型程序将时间花在cpu计算上。常见并发类型以及区别：2、同步版本我们将使用requests访问100个网页，使用同步的方式，request
系统 2019-09-27 17:50:10 2237
由于客户提供的是excel文件，在使用时期望使用csv文件格式，且对某些字段内容需要做一些处理，如从某个字段中固定的几位抽取出来，独立作为一个字段等，下面记录下使用acaconda处理的过程；importpandasdf=pandas.read_excel("/***/***.xlsx")df.columns=[内部为你给你的excel每一列自定义的名称]（比如我给我的excel自定义列表为：["url","productName","***"，。。。,"
系统 2019-09-27 17:49:31 2237
0x01OpCodeopcode又称为操作码，是将python源代码进行编译之后的结果，python虚拟机无法直接执行human-readable的源代码，因此python编译器第一步先将源代码进行编译，以此得到opcode。例如在执行python程序时一般会先生成一个pyc文件，pyc文件就是编译后的结果，其中含有opcode序列。如何查看一个函数的OpCode?defa():if1==2:print("flag{****}")print"Opcodeo
系统 2019-09-27 17:48:42 2237
一、推荐安装Anaconda官方介绍：AnacondaisacompletelyfreePythondistribution(includingforcommercialuseandredistribution).Itincludesmorethan400ofthemostpopularPythonpackagesforscience,math,engineering,anddataanalysis.下载页面：https://www.continuum.i
系统 2019-09-27 17:48:09 2237
