Python

总结python爬虫抓站的实用技巧

前言写过的这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。1.最基本的抓站importurllib2content=urllib2.urlopen('http://XXXX').read()2.使用代理服务器这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受到限制等等。importurllib2proxy_support=urllib2.ProxyHa

系统 2019-09-27 17:37:42 2419

Python

python基础知识学习——数据库操作(DDL)

数据库操作一、系统数据库二、创建数据库三、数据库相关操作一、系统数据库information_schema:虚拟库,不占用磁盘空间,存储的是数据库启动后的一些参数,如用户表信息、列信息、权限信息、字符信息等performance_schema:MySQL5.5开始新增一个数据库:主要用于收集数据库服务器性能参数,记录处理查询请求时发生的各种事件、锁等现象mysql:授权库,主要存储系统用户的权限信息test:MySQL数据库系统自动创建的测试数据库二、创建

系统 2019-09-27 17:57:18 2418

Python

python爬虫租房信息在地图上显示的方法

本人初学python是菜鸟级,写的不好勿喷。python爬虫用了比较简单的urllib.parse和requests,把爬来的数据显示在地图上。接下里我们话不多说直接上代码:1.安装python环境和编辑器(自行度娘)2.本人以58品牌公寓为例,爬取在杭州地区价格在2000-4000的公寓。#-*-coding:utf-8-*-frombs4importBeautifulSoupfromurllib.parseimporturljoinimportrequ

系统 2019-09-27 17:56:42 2418

Python

基于Python将数据写入到Excel

一、参考资料[1].pandas.DataFrame.to_excel[2].WorkingwithPythonPandasandXlsxWriter二、程序示例1.pandas.DataFrame.to_excel最简单的写入当写入的文件只占有一个sheet时,可以利用pandas.DataFrame.to_excel()直接写入。该函数的用法如下,关于参数的具体介绍,可以参考参考资料[1]的内容。DataFrame.to_excel(excel_wri

系统 2019-09-27 17:55:29 2418

Python

推荐经典算法实现之SVDBias(python+MovieLen)

#coding:utf-8'''@author:Jason.F@data:2019.07.15@function:Implementation:SVDBiasDatatset:Movielen-1mEvaluation:hitradio,ndcgSquaredlossfunctionwithexplicitrating.'''importpandasaspdimportnumpyasnpimportmathfromcollectionsimportdefa

系统 2019-09-27 17:54:27 2418

Python

Python中List.count()方法的使用教程

count()方法返回obj出现在列表的次数。语法以下是count()方法的语法:list.count(obj)参数obj--这是在该列表被计数的对象。返回值此方法返回obj出现在列表的次数。例子下面的例子显示了count()方法的使用。#!/usr/bin/pythonaList=[123,'xyz','zara','abc',123];print"Countfor123:",aList.count(123);print"Countforzara:",a

系统 2019-09-27 17:47:04 2418

Python

Python使用you-get批量下载bilibili网站视频

需要安装python,然后pipinstallyou-get。安装步骤在官方说明上很清楚,就不写了。使用you-get--playlist-oF:\bilibilihttps://www.bilibili.com/video/av6731067批量下载视频到F:\bilibili下载视频的同时会下载弹幕,但弹幕是xml格式,需要将其转换为ass格式,有一个工具可以帮你:Danmu2Ass,转换完成后就可以开启弹幕模式了。------------------

系统 2019-09-27 17:47:00 2418

Python

Python使用lambda表达式对字典排序操作示例

本文实例讲述了Python使用lambda表达式对字典排序操作。分享给大家供大家参考,具体如下:lambda表达式也常用于字典排序,既然写到字典排序,那就把按键排序和按值排序都写写好了。字典按键排序显然按键排序,需要用字典中每个元素的第一项排序dict={'a':1,'b':2,'c':3,'d':4,'e':3,'f':1,'g':7}sorted_dict_asc=sorted(dict.items(),key=lambdaitem:item[0])s

系统 2019-09-27 17:57:09 2417

Python

Python统计词蘋

#导入扩展库importre#正则表达式库importcollections#词频统计库importnumpyasnp#numpy数据处理库importjieba#结巴分词importwordcloud#词云展示库fromPILimportImage#图像处理库importmatplotlib.pyplotasplt#图像展示库#读取文件fn=open('c.csv')#打开文件string_data=fn.read()#读出整个文件fn.close()#

系统 2019-09-27 17:52:07 2417

Python

Python脚本实现代码行数统计代码分享

之前用bash实现过(//www.jb51.net/article/61943.htm),不过那个不能在windows下使用,所以就写了个python版,也方便我以后使用……这里就不多介绍了,不懂的google下。实现代码复制代码代码如下:#!/usr/bin/python'''File:count.pyAuthor:MikeE-Mail:Mike_Zhang@live.com'''importsys,osextens=[".c",".cpp",".hpp

系统 2019-09-27 17:51:47 2417

Python

python pysidehelloworld

阅读更多#importourmodulesimportsys,timefromPySide.QtGuiimportQApplication,QMainWindow#ourMainWindow!!classMainWindow(QMainWindow):"""puffing!!construstourMainWindow"""def__init__(self,arg):super(MainWindow,self).__init__()self.arg=arg

系统 2019-09-27 17:47:16 2417

Python

多版本python的pip 升级后, pip2 pip3 与python版本

mint19.2本来pip和pip2对应python2.7pip3对应python3.6用源码安装了python3.7之后.这样版本也没问题.但是,用pip3.7安装包的时候提示pip需要升级,但是一旦升级,就不对了pippip2pip3都指向了pip3.7这导致一系列问题.包pgadmin4启动后报csrf错误,甚至进而导致docker-compose模式下postgres服务下线!而且,无法用重装python-pip,python3-pip来解决sud

系统 2019-09-27 17:46:37 2417

Python

使用Python神器对付12306变态验证码

临近春节,脚本之家小编带领大家用Python抢火车票!首先我们需要splinter安装:pipinstallsplinter-ihttp://pypi.douban.com/simple�Ctrusted-hostpypi.douban.com然后还需要一个浏览器的驱动,当然用chrome啦下载地址:http://chromedriver.storage.googleapis.com/index.html?path=2.20/根据下载的自己的电脑系统选择下

系统 2019-09-27 17:38:42 2417

Python

LeetCode刷题笔记5:最长回文子串(Python实现)

题目描述:给定一个字符串s,找到s中最长的回文子串。你可以假设s的最大长度为1000。示例1:输入:"babad"输出:"bab"注意:"aba"也是一个有效答案。示例2:输入:"cbbd"输出:"bb"Solution(转自LeetCode官方题解):CODE:classSolution:deflongestPalindrome(self,s):''':params:str:return:str'''longest=0len_s=len(s)dp=[[0

系统 2019-09-27 17:57:52 2416

Python

Python-Class(类)生命周期和类属性方法(魔法方法)

内置属性和方法方法名类型-作用__init__方法类实例化时自动调用这个函数__del__方法对象被内存中销毁前,会被自动调用__str__方法类的实例打印时调用这个函数(返回)用户看到的__repr__方法和上面的str函数一样,只是这个时返回开发者看到的__getattr__方法当调用不存在的属性时访问这个方法__call__方法如果类实现了这个方法,相当于把这个类型的对象当作函数来使用,相当于重载了括号运算符具体参考Python3标准库生命周期一个对

系统 2019-09-27 17:56:35 2416