编程技术 - 军军小站|张军博客
Python

腾讯视频 Python 爬虫项目实战

文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso

系统 2019-09-27 17:46:04 1868

Python

python绘制双Y轴折线图以及单Y轴双变量柱状图的实例

近来实验室的师姐要发论文,由于论文交稿时间临近,有一些杂活儿需要处理,作为实验室资历最浅的一批,我这个实习生也就责无旁贷地帮忙当个下手。今天师姐派了一个小活,具体要求是:给一些训练模型的迭代次数,训练精度的数据,让我做成图表形式展示出来,一方面帮助检查模型训练时的不足,另一方面来看样本数目和预测精度之间的联系,数据具体格式如下:Iteration1500labeltraintestrightacc1214324241.01609216150.9375100

系统 2019-09-27 17:45:55 1868

Python

python爬虫---实现项目(四) 用BeautifulSoup分析新浪新闻

这次只演示了,如何在真实项目内用到BeautifulSoup库来解析网页,而新浪的新闻是ajax加载过来的数据,在这里我们只演示解析部分数据(具体反扒机制没做分析)。代码地址:https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多,使用到的技术也越来越多,后期我还会持续写下去,大概从几个角度去写,多线程爬取(提高效率),如何更好的做到爬取数据(破解反扒)。用redis管理多线程和代理

系统 2019-09-27 17:45:54 1868

Python

初步认识Python中的列表与位运算符

Python列表List(列表)是Python中使用最频繁的数据类型。列表可以完成大多数集合类的数据结构实现。它支持字符,数字,字符串甚至可以包含列表(所谓嵌套)。列表用[]标识。是python最通用的复合数据类型。看这段代码就明白。列表中的值得分割也可以用到变量[头下标:尾下标],就可以截取相应的列表,从左到右索引默认0开始的,从右到左索引默认-1开始,下标可以为空表示取到头或尾。加号(+)是列表连接运算符,星号(*)是重复操作。如下实例:#!/usr/

系统 2019-09-27 17:38:44 1868

Python

Python 中的with关键字使用详解

在Python2.5中,with关键字被加入。它将常用的try...except...finally...模式很方便的被复用。看一个最经典的例子:withopen('file.txt')asf:content=f.read()在这段代码中,无论with中的代码块在执行的过程中发生任何情况,文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常,那么在这个异常被抛出前,程序会先将被打开的文件关闭。再看另外一个例子。在发起一个数据库事务请求的时候,经常会用

系统 2019-09-27 17:38:19 1868

Python

深入解析Python中的上下文管理器

1.上下文管理器是什么?举个例子,你在写Python代码的时候经常将一系列操作放在一个语句块中:(1)当某条件为真�C执行这个语句块(2)当某条件为真�C循环执行这个语句块有时候我们需要在当程序在语句块中运行时保持某种状态,并且在离开语句块后结束这种状态。所以,事实上上下文管理器的任务是�C代码块执行前准备,代码块执行后收拾。上下文管理器是在Python2.5加入的功能,它能够让你的代码可读性更强并且错误更少。接下来,让我们来看看该如何使用。2.如何使用上

系统 2019-09-27 17:38:08 1868

Python

Python的Django框架下管理站点的基本方法

对于某一类网站,管理界面是基础设施中非常重要的一部分。这是以网页和有限的可信任管理者为基础的界面,它可以让你添加,编辑和删除网站内容。一些常见的例子:你可以用这个界面发布博客,后台的网站管理者用它来润色读者提交的内容,你的客户用你给他们建立的界面工具更新新闻并发布在网站上,这些都是使用管理界面的例子。但是管理界面有一问题:创建它太繁琐。当你开发对公众的功能时,网页开发是有趣的,但是创建管理界面通常是千篇一律的。你必须认证用户,显示并管理表格,验证输入的有效

系统 2019-09-27 17:37:46 1868

编程技术

挂接浏览器事件

前几天在《一个基于MFC的自动化(Automation)实例》上说最近会发一个关于如何挂接浏览器事件的教程,现在如期兑现承诺啦。说实话,解决这个问题花了我近一年的时间,虽然期间不是每天都在想这个问题,但无论如何这听起来绝对是一段不短的时间!也许因为我是生物系的吧,不能像计算机系的朋友那样有那么多现成的资源可以利用,一切都靠自学,碰到不懂的问题就在浩瀚的网络世界中寻找答案,有时候的确感到很孤独!人生最大的痛苦莫过于有了问题没有答案,有了答案又没有Money!

系统 2019-08-29 23:11:50 1868

编程技术

Flex开发流程设计器的经验之谈(3)

昨天说了WorkbenchPart、EditorPart、ViewPart,以及为什么需要做这样的抽象,今天就先跳出这么细粒度的讲解,今天先来看看整个FlowDesigner的整体结构。反正说写博客,想到哪里说道哪里。在讲正题之前,如果阅读过前两篇的,可以先看看:Flex开发流程设计器的经验只谈(1):连接>>>Flex开发流程设计器的经验只谈(2):连接>>>整个FlowDesigner的粗的架构如下:其中“FlexGEF”是真正的Kernel,其内部的

系统 2019-08-29 22:46:55 1868

编程技术

B3log Solo 0.1.0-preview2 发布了!

B3logSolo是一个基于GoogleAppEngineJava版的单用户博客程序。本次发布相对于0.1.0-preview1作出了一些调整。新特性加入了页面HTMLhead部分的定制加入了WYSIWYG编辑器(TinyMCE)用于摘要填写加入评论回复及邮件提醒加入了发布文章时发布到GoogleBuzz(实验特性)使用AddThis作为文章分享工具Bug修复前台文章日期时间显示不正确前台博主信息不显示文章内容出现列表()不显示列表标记不能导入

系统 2019-08-29 22:23:18 1868

编程技术

SwipeView 类似桌面的滑动界面

使用了android2.0以上的ExifInterface来生成缩略图。可用来设计游戏的选关界面。importuk.co.jasonfry.android.tools.ui.PageControl.OnPageControlClickListener;importandroid.content.Context;importandroid.graphics.Rect;importandroid.util.AttributeSet;importandroid.

系统 2019-08-29 22:07:43 1868

编程技术

bat 应用

bat是dos下的批处理文件.cmd是nt内核命令行环境的另一种批处理文件从更广义的角度来看,unix的shell脚本以及其它操作系统甚至应用程序中由外壳进行解释执行的文本,都具有与批处理文件十分相似的作用,而且同样是由专用解释器以行为单位解释执行,这种文本形式更通用的称谓是脚本语言。所以从某个程度分析,batch,unixshell,awk,basic,perl等脚本语言都是一样的,只不过应用的范围和解释的平台各有不同而已。甚至有些应用程序仍然沿用批处理

系统 2019-08-29 21:59:26 1868

编程技术

走进外包公司

今天是我在外包公司上班的第二天,由于项目还在筹划中,没有正式的开始,所以这几天比较清闲。说实在的,自己其实很不看好外包公司,但由于一些原因还是选择了外包公司,因此心里有点不踏实的感觉。听身边的人说,外包工作很累很累。我没有尝试过,所以说不出来有多累,现在唯一做的就是熟悉以前的技术,为后面受苦的日子做准备。在这个公司以后的路到底怎么样,我心里没底,也许会比我期望的差的还远,也许也没有想象的那么坏。现在唯一做的就是,尽一切努力做好自己,期待。。。。。。走进外包

系统 2019-08-29 21:58:34 1868