首先,假设如下SQL表中有数据username=test1,passwd=test1,address=test1CREATETABLE`login`(`username`varchar(10)defaultNULL,`passwd`varchar(10)defaultNULL,`address`varchar(10)defaultNULL)ENGINE=InnoDBDEFAULTCHARSET=gb2312;配置文件:
系统 2019-08-12 09:30:09 1724
背景由于工作性质,经常面对不同的问题,某些场景下SQL+Excel、常用办公软件不能处理,这时到网上找一些案例,自己动手用python处理。后续,借此博客记录比较典型的处理过程。后续,陆续实际处理的问题,如1.合并PDF2.拆分PDF3.敏感字段MD5脱敏4.从非架构化的大文本文件中提取指定条件的记录需求工作和生活中有时会遇到将多个pdf文件,合并成一个大文件的情况。例如,扫描时,普通扫描仪或打印机一页生成一个PDF,而一份资料实际多页。Adobe的收费版
系统 2019-09-27 17:57:30 1723
首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类,将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:58 1723
图虫网-写在前面经历了一顿噼里啪啦的操作之后,终于我把博客写到了第10篇,后面,慢慢的会涉及到更多的爬虫模块,有人问scrapy啥时候开始用,这个我预计要在30篇以后了吧,后面的套路依旧慢节奏的,所以莫着急了,100篇呢,预计4~5个月写完,常见的反反爬后面也会写的,还有fucklogin类的内容。图虫网-爬取图虫网为什么要爬取这个网站,不知道哎~莫名奇妙的收到了,感觉图片质量不错,不是那些妖艳贱货可以比的,所以就开始爬了,搜了一下网上有人也在爬,但是基本
系统 2019-09-27 17:56:55 1723
图像可能在生成、传输或者采集过程中夹带了噪声,去噪声是图像处理中常用的手法。通常去噪声用滤波的方法,比如中值滤波、均值滤波。但是那样的算法不适合用在处理字符这样目标狭长的图像中,因为在滤波的过程中很有可能会去掉字符本身的像素。一个采用的是去除杂点的方法来进行去噪声处理的。具体算法如下:扫描整个图像,当发现一个黑色点的时候,就考察和该黑色点间接或者直接相连接的黑色点的个数有多少,如果大于一定的值,那就说明该点不是离散点,否则就是离散点,把它去掉。在考察相连的
系统 2019-09-27 17:56:42 1723
本文实例讲述了Python单链表的简单实现方法,分享给大家供大家参考。具体方法如下:通常来说,要定义一个单链表,首先定义链表元素:Element.它包含3个字段:list:标识自己属于哪一个listdatum:改元素的valuenext:下一个节点的位置具体实现代码如下:classLinkedList(object):classElement(object):def__init__(self,list,datum,next):self._list=list
系统 2019-09-27 17:56:39 1723
目录第十五章、python中的进程操作-开启多进程一、multprocess模块二、multprocess.process模块三、Process()对象方法介绍四、Process()对象属性介绍五、使用process模块创建进程六、进程之间的数据隔离问题七、守护进程八、terminate方法九、pid和name属性第十五章、python中的进程操作-开启多进程一、multprocess模块multiprocess不是一个模块而是python中一个操作、管理
系统 2019-09-27 17:56:35 1723
指路牌《FlaskWeb开发》《FlaskWeb开发基于Python的Web应用开发实战》《FlaskWeb开发》是否适合新手入门PythonWeb开发?正文《FlaskWeb开发基于Python的Web应用开发实战》,O'Reilly"动物书系列"的"狗书",应该是很多Flask初学者被推荐使用的入门书,但是这本书真的适合初学者吗?Python的Web框架非常多,例如Django、Flask、Tornado、Web.py,Tornado没有接触过,无法评
系统 2019-09-27 17:56:19 1723
恰巧发现有个叫“EarthLiveSharp”,可用将日本向日葵8号卫星的地球实时图片设为屏保。向日葵8号卫星的地球实时图片官网为:http://himawari8.nict.go.jp/,EarthLiveSharp的项目地址是:https://github.com/bitdust/EarthLiveSharp。为了减轻向日葵8号的服务器负担,同时也是提高地球实时图片的获取成功率,需要使用cloudinary来做CDN。注册配置都在软件里有说明。目前Ea
系统 2019-09-27 17:56:14 1723
Python文件处理注意事项总结文件处理在编程中是常见的操作,文件的打开,关闭,重命名,删除,追加,复制,随机读写非常容易理解和使用。需要注意的是文件的安全关闭,采用with语句轻松便捷:withopen(pathname,”r”)asmyfile:do_some_with(myfile)1.CSV的文件处理csv模块可以很好地处理csv文件,而Pandas模块则可以较好的处理大型的csv文件,还可以处理HTML等,并提供分块处理。2.XML的文件处理对于
系统 2019-09-27 17:56:11 1723