汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。1.Python网页爬虫工具集一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：1.1Scrapy鼎鼎大名的Scrapy，相信不少同学
系统 2019-09-27 17:53:22 1847
阅读更多1,下载pip安装包pip-19.1.1.tar.gz;2,解压缩后出现setup.py文件,然后在目录中通过Shift+右击，点击在此处打开命令窗口,通过pythonsetup.pyinstall,进行安装;3,安装后,通过cmd窗口中，输入piplist,查看命令是否起作用;4,使用pipinstall-Upip,对pip进行升级;5,使用pipinstallpsycopg2,安装postgresql数据驱动;注意:1,python不要装在c盘
系统 2019-09-27 17:53:05 1847
一.什么是图片懒加载？-案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/envpython#-*-coding:utf-8-*-importrequestsfromlxmlimportetreeif__name__=="__main__":url='http://sc.chinaz.com/tupian/gudianmeinvtupian.html'headers={'User-Agent':'Mozill
系统 2019-09-27 17:52:42 1847
运行多进程每个子进程的内存空间是互相隔离的进程之间数据不能共享的互斥锁但是进程之间都是运行在一个操作系统上，进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是可以的，而共享带来的是竞争，竞争带来的结果就是错乱#并发运行,效率高,但竞争同一打印终端,带来了打印错乱frommultiprocessingimportProcessimporttimedeftask(name):print("%s1"%name)time.slee
系统 2019-09-27 17:52:42 1847
Python的字符串的特点Python与C语言,Java语言都不一样，没有单个字符，只有一个有一个字符的字符串。字符串对象不可修改，属于不可变类型字符串和列表，元组都从属于序列这个对象类别。所以序列支持的操作，字符串也支持。用单引号和双引号表示都行，并列的字符串串常量会自动合并，不需要显式的用加号表示。单双引号里面的特殊字符必须用转义序列表示，比如”，',\都需要在前面加个、，但是在三引号里面不需要转义。Python的字符串的支持的基本操作支持序列的操作，
系统 2019-09-27 17:52:13 1847
算数运算符：+#加：两个对象相加-#减：得到负数或是一个数减去另一个数*#乘：两个数相乘或是返回一个被重复若干次的字符串/#除：x/y，x除以y%#取模：返回除法的余数**#幂：x**y，返回x的y次幂//#取整除：返回商的整数部分（向下取整）比较运算符：==#判断两个对象是否相等!=#判断两个对象是否不相等<>#判断两个对象是否不相等，py2可用，py3不可用<#判断是否小于<=#判断是否小于等于>#判断是否大于>=#判断是否大于等于逻辑运算符：与and
系统 2019-09-27 17:51:05 1847
数据集介绍使用数据集Wine，来自UCI。包括178条样本，13个特征。importpandasaspdimportnumpyasnpdf_wine=pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data',header=None)df_wine.columns=['Classlabel','Alcohol','Malicacid','Ash
系统 2019-09-27 17:50:52 1847
walker经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。相对时间>>>importtime#相对时间>>>startTime=time.time()>>>'%.2fs'%(time.time()-startTime)'24.51s'格式化当前时间#格式化当前时间>>>time.strftime('%Y-%m-%d%H:%M:%S',time.localtime())'2016-01-0510:34:06'时间戳与时间的转换
系统 2019-09-27 17:50:52 1847
平时做数据处理基本离不了日志记录功能。每次都配置一堆挺烦人，索性封装个模块，这里记录一下，与大家共享。说明本日志模块目前只有一个方法getLogger，其他配置项通过参数传递，包括日志文件名，等级，日志文件划分方式，日志清除配置，日志格式等。logger.pyimportloggingfromloggingimporthandlers#日志级别字典__level_dict={'critical':logging.CRITICAL,'fatal':loggi
系统 2019-09-27 17:50:32 1847
元类编程装饰器任何时候你定义装饰器的时候，都应该使用functools库中的@wraps装饰器来注解底层包装函数.因为一个普通装饰器作用在某个函数上时，这个函数的重要的元信息比如名字、文档字符串、注解和参数签名都会丢失。但是@wraps不会。importtimefromfunctoolsimportwrapsdeftimethis(func):'''Decoratorthatreportstheexecutiontime.'''@wraps(func)de
系统 2019-09-27 17:50:24 1847
阅读更多Python调用hanlp的方法此前有分享过，本篇文章分享自“逍遥自在017”的博客，个别处有修改，阅读时请注意！1.首先安装jpype首先各种坑，jdk和python版本位数必须一致，我用的是JPype1-py3版本号0.5.5.2、1.6jdk和Python3.5，win764位下亲测没问题。否则死翘翘，有可能虚拟机都无法启动：出错调试，原因已说；测试成功会有输出。下面启动虚拟机跑hanlp2.下载各种安装包使用自定义的HanLP——HanLP
系统 2019-09-27 17:50:23 1847
第四章，了不起的分支和循环4.1分支和循环Python主要依靠缩进来区分代码块4.2快速上手成绩按照分数来划分等级，90分以上为A，80~90为B，60~80为C，60以下为Dp4_1.pyscore=int(input("请输入一个分数："))if100>=score>=90:print("A")if90>score>=80:print("B")if80>score>=60:print("C")if60>score>=0:print("D")ifscor
系统 2019-09-27 17:50:06 1847
这是我在CSDN的第一篇博客，假期刚自学Python，尝试爬取了一下豆瓣top250.希望可以有大佬指点感谢importrequestsfrombs4importBeautifulSoupdefgethtml(url):try:kv={'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/59.0.3071.115Safari/
系统 2019-09-27 17:49:53 1847
配置文件配置文件[]中为section命名，幸运28平台搭建q<277.03.4.83.6>section的命名可以包含空格，每个section下面以键值对的方式保存配置内容，在读取配置时键值对全部解析为字符串，因此在配置时无需为字符串添加引号settings.conf文件定义[mysqlsettings]host=10.250.218.51port=3306username=adminpassword=admin123coding=utf8[oracle
系统 2019-09-27 17:48:43 1847
文章目录获取当前决定路径os.getcwd()获取路径下的所有文件名和路径名os.listdir()创建文件夹os.makedirs()删除文件夹os.remove()获取文件的绝对路径os.path.abspath("init.py")判断指定路径或者文件是否存在os.path.exists()将文件路径和文件组成一个完成的路径os.ptah.join()获取当前决定路径os.getcwd()paths=os.getcwd()print(paths)#D
系统 2019-09-27 17:48:26 1847
