拥有Python标签的文章
Python

使用python 爬虫抓站的一些技巧总结

学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自动收邮件的脚本,写过简单的验证码识别的脚本,本来想写googlemusic的抓取脚本的,结果有了强大的gmbox,也就不用写了。这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,再加上simplecd这个半爬虫半网站的项目,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。1.最

系统 2019-09-27 17:46:26 2512

Python

Python获取文件所在目录和文件名的方法

实例如下:importosif__name__=="__main__":file_path='D:/test/test.apk'parent_path=os.path.dirname(file_path)print('parent_path=%s'%parent_path)file_name=os.path.split(file_path)[-1]print('file_name=%s'%file_name)输出:以上就是小编为大家带来的Python获取文

系统 2019-09-27 17:56:06 2511

Python

python与php实现分割文件代码

前两天有个朋友说,想实现一个文本文件按照固定行数进行分割成多个文本文件,却不知如何实现。如果数据量小手动分割下就好了,如果数据量很大的话手动完成实在太耗费人力了,也不现实。那么就需要借助脚本去实现。既然有朋友想简单的完成这个任务,那么不如记录下来,给需要的朋友提供方便。下面我就分别使用python和php进行脚本的实现和操作,当然用其他语言都能实现,大家可根据对语言的熟悉程度进行自主选择,如果有朋友还没有达到编写代码的能力的话,那么最起码对语言环境的使用要

系统 2019-09-27 17:55:42 2511

Python

python单线程,多线程和协程速度对比

原文链接:https://www.cnblogs.com/hzpythoner/p/7777910.html(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)在某些应用场景下,想要提高python的并发能力,可以使用多线程,或者协程。比如

系统 2019-09-27 17:54:53 2511

Python

Python迭代器和生成器

·迭代器什么是迭代器:迭代器可以让我们访问集合的时候变得非常方便。之前我们通过for…in…来访问一个集合的时候,就是使用迭代器完成的。如果没有迭代器,那么我们只能通过while循环,每次循环的时候通过下标来访问了。可迭代对象:可以直接使用for循环遍历的对象,成为可迭代的对象,常见的可迭代对象有:list、tuple、dict、set、str以及生成器更加专业的判断一个对象是否是可迭代对象:这个对象有一个__iter__方法,并且这个方法会返回一个迭代器

系统 2019-09-27 17:54:21 2511

Python

新手入门Python编程的8个实用建议

前言我们在用Python进行机器学习建模项目的时候,每个人都会有自己的一套项目文件管理的习惯,我自己也有一套方法,是自己曾经踩过的坑踩过的雷总结出来的,现在在这里分享一下给大家,因为很多伙伴是接触Python编程入门不久,也希望大家少走弯路,多少有些地方可以给大家借鉴。目录先放出来项目文件事先做好归档永远不要手动修改源数据并且做好备份做好路径的正确配置代码必要的地方做好备注与说明加速你的Python循环代码可视化你的循环代码进度使用高效的异常捕获工具要多考

系统 2019-09-27 17:53:42 2511

Python

Python3爬虫模拟新浪微博登录(2019-8-3)最新

目录Python3爬虫模拟新浪微博登录过程分析遇到的坑关于第一步,账号和密码加密登录请求post数据包装关于登录后如跳转到主页面其他模块执行结果Python3爬虫模拟新浪微博登录初学Python3小白一枚,若有错误请不吝赐教过程分析整个过程从填写数据到跳转到主页一共经历了七个步骤:1.在登陆前,输入账号结束,失去输入框焦点,浏览器会发送两个请求,分别请求了登陆前加密密码所需的servertime、nonce、pubkey(图中对应3)2.第二个ajax请求

系统 2019-09-27 17:51:23 2511

Python

Python3.6验证码随机生成

这里主要使用到的库是captcha库,下载的命令如下:pipinstallcaptcha验证码随机生成代码,(python版本:3.6captcha版本:0.3)fromcaptcha.imageimportImageCaptchaimportnumpyasnpimportmatplotlib.pyplotaspltfromPILimportImageimportrandom#CSDNauthor:智轩#链接:https://blog.csdn.net/b

系统 2019-09-27 17:50:10 2511

Python

Python多进程并发操作中进程池Pool的应用

在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,10几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池Pool发挥作用的时候就到了。Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行

系统 2019-09-27 17:48:11 2511

Python

Python 生成one_hot标签和恢复

首先生成一个主对角全为1的其余全为0的矩阵,比如有n个分类就是n*n,效果如下:随后根据标签列表(或者numpy数组)选取合适的行,比如标签是[9,1,0,0],那么就会选择上图矩阵中对应的9、1、0、0行,得到one_hot标签,如果不熟悉numpy数组的列表切片的(就是说numpy_array[slice]中的slice是列表),可以看下这篇PythonNumpy数组使用列表索引恢复的话就是找列表中为1的下标即可。代码如下:#encoding=utf-

系统 2019-09-27 17:47:51 2511

Python

关于Python核心框架tornado的异步协程的2种方法详解

什么是异步?含义:双方不需要共同的时钟,也就是接收方不知道发送方什么时候发送,所以在发送的信息中就要有提示接收方开始接收的信息,如开始位,同时在结束时有停止位现象:没有共同的时钟,不考虑顺序来了就处理直观感受:就是不用等了,效率高同步含义:指两个或两个以上随时间变化的量在变化过程中保持一定的相对关系现象:有一个共同的时钟,按来的顺序一个一个处理直观感受:就是需要等候,效率低下那么今天我们看怎么用2种方法用代码实现tornado的异步?这些是导入的包:2种方

系统 2019-09-27 17:45:33 2511

Python

selenium+python自动化测试环境搭建步骤

相对于自动化测试工具QTP来说,selenium小巧、免费,而且兼容Google、FireFox、IE多种浏览器,越来越多的人开始使用selenium进行自动化测试。我是使用的python2.7,下面说一下selenium+Python的自动化测试环境搭建。安装Python环境,从python官网下载安装包双击安装包,进行安装可以选择python的安装目录,按步骤安装,直至完成。在早期的版本中,需要单独安装setuptools和pip,在新的python安

系统 2019-09-27 17:37:51 2511

Python

python爬虫--爬取代码实例(xpath)

Python爬取拉勾网实例#-*-.coding:utf-8-*-#__author__='xiaobai'#Email:517840374@qq.comimporttimeimportrefromselenium.webdriverimportChrome#导入浏览器的包fromselenium.webdriver.common.keysimportKeysn=1#创建浏览器web=Chrome()#打开浏览器,请求到拉钩web.get("https:/

系统 2019-09-27 17:53:26 2510

Python

Python3 统计Nginx日志里访问次数最多的前十个IP

今天群里有个伙计问,怎么用python统计Nginx日志访问次数前十的IP才能快一些,他表示自己使用的方式是将日志前面的IP全部放在列表中,然后通过列表的count方法来统计的,起初都还好,但是当日志量一大就很慢,问有没有啥好的方法可以解决!当然有,可以使用python的字典来加快速度,下面的日志文件是我用代码模拟生成的:#!/usr/bin/envpython#-*-coding:utf-8-*-#@Time:2019/5/2210:27#@Author

系统 2019-09-27 17:52:27 2510

Python

Python爬虫初体验(1):利用requests和bs4提取网站漫画

emm……真实的高三暑假是,整天无事可做然后找事,于是开始学习Python好的废话不多说,进入正题由题,作为一名初学者,想要玩转爬虫这类玩意还要花很大功夫。所以我就从简单的开始:提取XKCD漫画(网页简单,提取方便)使用requests和bs4模块提取网页内容+分析html,然后再存入硬盘内首先,requests和bs4都是Python的第三方库,使用pipinstallxxx(xxx是requests和bs4)安装它们requests库最主要的方法是re

系统 2019-09-27 17:49:30 2510