- 军军小站|张军博客
搜索到与相关的文章
Python

python爬虫实战:利用scrapy,短短50行代码下载整站短视频

点击上方“何俊林”,马上关注,每天早上8:50准时推送真爱,请置顶或星标近日,有朋友向我求助一件小事儿,他在一个短视频app上看到一个好玩儿的段子,想下载下来,可死活找不到下载的方法。这忙我得帮,少不得就抓包分析了一下这个app,找到了视频的下载链接,帮他解决了这个小问题。因为这个事儿,勾起了我另一个念头,这不最近一直想把python爬虫方面的知识梳理梳理吗,干脆借机行事,正凑着短视频火热的势头,做一个短视频的爬虫好了,中间用到什么知识就理一理。我喜欢把事

系统 2019-09-27 17:57:10 2069

Python

Python之父发文吐槽现有解析器,考虑将它替换掉

花下猫语:GuidovanRossum是Python的创造者,虽然他现在放弃了“终身仁慈独裁者”的职位,但却成为了指导委员会的五位成员之一,其一举一动依然备受瞩目。近日,他开通了Medium账号,并发表了第一篇文章,透露出要替换Python的核心部件(解析器)的想法。这篇文章分析了当前的pgen解析器的诸多缺陷,并介绍了PEG解析器的优点,令人振奋。这项改造工作仍在进行中,Guido说他还会写更多相关的文章,我们就拭目以待吧。本文原创并首发于公众号【Pyt

系统 2019-09-27 17:55:51 2069

Python

Python3.6+selenium2.53.6自动化测试_64位...python3.6安装PyUserInput(文件上传环境准备)

1、我电脑是64位的,装python3.664位版本,安装PyUserInput时报错如下图2、解决方法离线安装pyHook下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml选择版本:cmd后进去pip安装3、继续安装PyUserInput4、验证包是否可以用pywin32历史版本下载地址https://sourceforge.net/projects/pywin32/files/pywin32/py

系统 2019-09-27 17:53:21 2069

Python

Linux下使用python调用top命令获得CPU利用率

本文定位:想通过python调用top命令获取cpu使用率但暂时没有思路的情况。如果单纯为了获得cpu的利用率,通过top命令重定向可以轻松实现,命令如下:复制代码代码如下:top-bi>cpuHistory.log或复制代码代码如下:top-bi|teecpuHistory.log这个就不解释了,不懂的朋友查询下top的帮助文档。这里要实现的是通过python调用top命令,并获得cpu的利用率信息。用过popen的朋友很快就能想到类似如下的代码(这个是

系统 2019-09-27 17:51:42 2069

Python

基于socket的python分布式运算中多服务器间的通信问题

本文从参考了网络上的许多内容,主要为分布式进程及其的评论内容。所谓分布式运算,既可以指在同一台机器上利用多进程(线程)进行运算,又可以指将计算任务进行分解,利用多台机器进行运算。本文中的分布式单指最后一种。python的标准库multiprocessing中存在一个managers的子模块,该模块支持将多进程分布到多台机器上。选择一个进程来调度任务,其他进程进行计算,从而实现分布式运算。而调度进程和计算进程之间的通信,是通过网络来进行的,用到了python

系统 2019-09-27 17:49:22 2069

Python

python并行处理任务时 该用多进程?还是该用多线程?

在python并行处理任务时要使用多线程还是多进程?说到这个话题,必须要提的GIL(GlobalInterpreterLock)全局解释锁,当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了,如果使用多线程是比也会受到影响。多线程和多进程程序比较,哪个性能更高?还是拿一个实例运行来看看吧~#写一个简单的例子,计算100W个随机数的和8次,同时将分散到8个线程进行运算。#thread.py#!/usr/bin/envpythonimportra

系统 2019-09-27 17:48:57 2069

Python

Python工程师面试汇总:25条Python知识点,命中高达95%

1.到底什么是Python?你可以在回答中与其他技术进行对比下面是一些关键点:Python是一种解释型语言。这就是说,与C语言和C的衍生语言不同,Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言,指的是你在声明变量时,不需要说明变量的类型。你可以直接编写类似x=111和x="I’mastring"这样的代码,程序不会报错。Python非常适合面向对象的编程(OOP),因为它支持通过组合(composit

系统 2019-09-27 17:48:53 2069

Python

python多进程使用总结

本文参考“郭靖愕然——python的多线程与多进程”对多进程/多线程的概念进行理解,结合实际运用情况对python多进程进行整理。一、进程与线程Process&Thread进程是操作系统进行资源分配的最小单元,资源包括CPU、内存、磁盘等IO设备等等,而线程是CPU调度的基本单位。举个简单的例子来帮助理解:我们电脑上同时运行的浏览器和视频播放器是两个不同的进程,进程可能包含多个子任务,这些子任务就是线程,比如视频播放器在播放视频时要同时显示图像、播放声音、

系统 2019-09-27 17:48:29 2069

Python

python实现定制交互式命令行的方法

Python的交互式命令行可通过启动文件来配置。当Python启动时,会查找环境变量PYTHONSTARTUP,并且执行该变量中所指定文件里的程序代码。该指定文件名称以及地址可以是随意的。按Tab键时会自动补全内容和命令历史。这对命令行的有效增强,而这些工具则是基于readline模块实现的(这需要readline程序库辅助实现)。此处为大家举一个简单的启动脚本文件例子,它为python命令行添加了按键自动补全内容和历史命令功能。[python@pytho

系统 2019-09-27 17:48:02 2069

Python

成功解决Python中出现的TypeError: object of type

原文链接:https://blog.csdn.net/qq_41185868/article/details/79039704本文链接:https://blog.csdn.net/qq_41185868/article/details/79039704成功解决Python中出现的TypeError:objectoftype‘zip’hasnolen()不罗嗦,直接解决问题!目录解决问题解决思路解决方法解决问题TypeError:objectoftype‘z

系统 2019-09-27 17:47:50 2069