Python

python实现多线程采集的2个代码例子

代码一:#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8importthreadingimportQueueimportsysimporturllib2importreimportMySQLdb##数据库变量设置#DB_HOST='127.0.0.1'DB_USER="XXXX"DB_PASSWD="XXXXXXXX"DB_NAME="xxxx"##变量设置#THREAD_LIMIT=3jobs=Que

系统 2019-09-27 17:47:49 2201

Python

一行Python代码能实现什么丧心病狂的功能?

原文链接:https://www.bagevent.com/event/5396631作者|天元浪子来源|CSDN博客手头有109张头部CT的断层扫描图片,我打算用这些图片尝试头部的三维重建。基础工作之一,就是要把这些图片数据读出来,组织成一个三维的数据结构(实际上是四维的,因为每个像素有RGBA四个通道)。这个数据结构,自然是numpy的ndarray对象,读取图像文件我习惯使用PIL。因此,需要导入两个模块:1importnumpyasnp2fromP

系统 2019-09-27 17:47:36 2201

Python

python做中学(四)main函数的用法

什么场景下会有main函数?当该python脚本被作为模块(module)引入(import)时,其中的main()函数将不会被执行。main函数的作用?__name__=='__main__'是Python的main函数入口。并非说,加入这句才能使用pythonxxx.py来执行,而是说,这里可以判断,当前是否是直接被python直接调用执行。main为什么只有文件当作执行程序的时候才会被执行呢?这是由于两方面原因,一方面,main函数是所有执行程序的入

系统 2019-09-27 17:47:18 2201

Python

python 装饰器做缓存

使用装python饰器做缓存装饰器在之前的文章中有讲过,这里主要是说了装饰器的用法和应该怎么理解。这片文章给出一片补充:主要说在缓存方面的应用。在此之前呢,需要补充一些知识点:就是python查找变量的顺序是什么?答案就是LEGB原则:也就是`Local->Enclosed->Global->Built-in`也就是先在局部作用域内(例如函数内)进行查找,然后在[闭包]1内查找,接下来分别是全局作用域和内置的保留名称注意:闭包内的变量,不能改变,但是对于列

系统 2019-09-27 17:47:18 2201

Python

python3简单实现微信爬虫

使用ghost.py通过搜搜的微信搜索来爬取微信公共账号的信息#-*-coding:utf-8-*-importsysreload(sys)importdatetimeimporttimesys.setdefaultencoding("utf-8")fromghostimportGhostghost=Ghost(wait_timeout=20)url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5

系统 2019-09-27 17:47:10 2201

Python

Python学习笔记之爬虫 汇总篇(更新中)

[TOC]Python网络爬虫之规则01Python爬虫之Requests库入门02Python爬虫之盗亦有道03Python爬虫之Requests网络爬取实战Python网络爬虫之提取04Python爬虫之BeautifulSoup库05Python爬虫之信息标记与提取方法06Python爬虫之Re(正则表达式)库

系统 2019-09-27 17:46:30 2201

Python

利用Python构建股票交易策略 !

金融市场智能化,就业必然就越来越精英化。当操控着量化投资策略的人出现了,99个传统岗位都会被取代。如今,金融业的“码农化”已是大势所趋,Python更是已然成为投行、基金、咨询和互联网等泛金融和商科领域必备的一项技能,量化投资的风口热度直线飙升,并在各大投资银行和对冲基金公司中成为交易系统的主流。为了迎合市场需求,海外名校金融、经济、金工等专业越来越重视培养学生的量化分析技能,且更偏向招收量化分析能力强的申请者。正在看这篇文章的你,会是候选人之一么?Pyt

系统 2019-09-27 17:45:42 2201

Python

Python之配置文件处理

在平时的工程中,我们在构建工程时,常常需要用到配置文件,用来配置项目的一些信息,比如数据库,请求网址,文件夹,线程、进程数等信息,这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码,会单独存放在一个文件夹中,方便管理,常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparser模

系统 2019-09-27 17:45:29 2201

Python

python脚本实现数据导出excel格式的简单方法(推荐)

实习期间,服务器的一位师兄让我帮忙整理一下服务器的log数据,最终我用Python实现了数据的提取并将其用Excel格式导出。下面是我Python实现的源码,可以自动遍历某一文件目录下的所有文本文件,并将总的数据导出到Excel文件中,导出为Excel格式这样就比较方便统计了。//实现将目录下所有文件格式为.txt的文件进行遍历统计,如果是别的格式直接将下面的.txt改为你所需要的格式后缀就可以了,比较方便。//过程就是先将所有的文件中的内容提取出来写入到

系统 2019-09-27 17:45:28 2201

Python

Python 列表解析

一.语法列表解析式是将一个列表(实际上适用于任何可迭代对象(iterable))转换成另一个列表的工具。在转换过程中,可以指定元素必须符合一定的条件,才能添加至新的列表中,这样每个元素都可以按需要进行转换。好处:1.简洁2.高效其实列表解析式并不是必须的,因为它能完成的工作都能够通过for循环完成,但是列表解析式比手动的for循环语句运行得更快(往往速度快一倍),因为它们的迭代在解释器内部是以C语言的速度执行的,而不是以手动的Python代码执行的,特别是

系统 2019-09-27 17:45:28 2201

Python

Windows下为Python安装Matplotlib模块

这玩意反反复复弄了一晚上,这里详细叙述下如何安装,肯定会对大家有所帮助。首先默认大家都装了Python,这个从官网下基本不会有任何难度。(1)Setuptools的安装为啥先说这个,后面所有whl文件都要用这个安装。基本上没有几个教程先介绍这个的,这里说全一点,方便小白使用。我们装的是Setuptools0.6c11。别的版本不是不行,因为这个在Pypi上面直接有exe文件,反正就是方便。地址:https://pypi.python.org/pypi/se

系统 2019-09-27 17:38:37 2201

Python

浅析Python 中整型对象存储的位置

在Python整型对象所存储的位置是不同的,有一些是一直存储在某个存储里面,而其它的,则在使用时开辟出空间.说这句话的理由,可以看看如下代码:a=5b=5aisb#Truea=500b=500aisb#False由上面的代码可知,整型5是一直存在的,而整型500不是一直存在的.那么有哪些整数是一直存储的呢?a,b,c=0,0,0whileaisb:i+=1a,b=int(str(i)),int(str(i))else:print(i)#打印257由上所知,

系统 2019-09-27 17:38:22 2201

Python

Python中的条件判断语句基础学习教程

if语句用来检验一个条件,如果条件为真,我们运行一块语句(称为if-块),否则我们处理另外一块语句(称为else-块)。else从句是可选的。使用if语句:#!/usr/bin/python#Filename:if.pynumber=23guess=int(raw_input('Enteraninteger:'))ifguess==number:print'Congratulations,youguessedit.'#Newblockstartsherep

系统 2019-09-27 17:38:20 2201

Python

Python实现115网盘自动下载的方法

本文实例讲述了Python实现115网盘自动下载的方法。分享给大家供大家参考。具体实现方法如下:实例中的1.txt,是网页http://bbs.pediy.com/showthread.php?t=144788另存为1.txt通过每3秒钟复制一个下载链接到粘贴板,复制时会自动调用115客户端下载,每下载10个文件会手工输入一个字符,防止一下下载太多,卡死机器具体代码如下:importre,os,timeimportwebbrowserimporturlli

系统 2019-09-27 17:38:17 2201

Python

Python提取网页中超链接的方法

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接代码如下:importurllib2importreurl='http://www.sunbloger.com/'req=urllib2.Request(url)con=urllib2.urlopen(req)doc=con.read()con.close()links=re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]

系统 2019-09-27 17:38:07 2201