Python

Python爬虫 bilibili视频弹幕提取过程详解

两个重要点1.获取弹幕的url是以.xml结尾2.弹幕url的所需参数在视频url响应的javascript中先看代码importrequestsfromlxmlimportetreeimportre#使用手机UAheaders={"User-Agent":"Mozilla/5.0(iPhone;CPUiPhoneOS11_0likeMacOSX)AppleWebKit/604.1.38(KHTML,likeGecko)Version/11.0Mobile

系统 2019-09-27 17:53:17 3050

编程技术

【STM32 .Net MF开发板学习-13】用PWM驱动智能

这段时间一直忙着开发基于.NETMicroFramwork系统的远程医疗系统(参见:http://space.cnblogs.com/group/topic/41835/),所以隔了近一个礼拜的时间,才有精力继续研究PWM驱动智能小车的问题。以前对步进电机和直流电机的控制了解不深,以为仅对步进电机而言,才能进行PWM控制,及到购买相关的驱动板和步进电机后,才发现由于驱动板的原因,控制步进电机的方向、速度只能通过IO控制,相关内容请参见我以前写的博文《步进电

系统 2019-08-29 23:12:24 3050

编程技术

压缩原理初探

这里讨论的仅仅是简单的字符压缩算法,对于更高级的文件压缩便是无能为力了。总步骤分为六步:第一、统计全文中各种字符出现的次数;第二、根据每个字符出现不同的次数富裕权值并由此建立哈弗曼树;第三、根据哈夫曼树来对全文中每个字符进行哈弗曼编码;第四、将每个字符的哈弗曼编码连续写入,每8位截断,并计算出这8个0,1字节串所对应的字符并以字符串的形式存储编码后的字符;第五、将最后的不足8位的位数补足并记录补位的个数写入到文件中第六、将此哈弗曼树存储到文件末尾例:将aa

系统 2019-08-29 23:05:00 3050

编程技术

git 使用详解

考虑到CVS的一些局限性,最近和同事在公司推行Git。其实,如果推行SVN的化,可能推行的难度会降低很多。不过lark说既然推行一个新的版本管理工具,总要花费一定的时间进行培训、部署、转换。而推行Git和SVN的代价不如想象中差距那么大。因此,不如就多花些精力推行Git,可以带来更多的好处。这个想法说服了我。然后就开始筹备了。我发现网上很多git教程对一些基础命令(比如git-reset)的介绍还是不够清楚。另外,介绍git1.5的少,介绍git1.4的多

系统 2019-08-29 22:36:48 3050

编程技术

OpenJWeb用ext2.1做的带portlet风格的后台管理

下面是参考ext2.1和extblog制作的带portlet风格的后台管理界面样式,其中的portlet窗口是可以拖动/最小化和关闭,在实际应用开发中可自己开发一个portlet库定制到页面上(当然ext实现是一个portlet的样式,而不是真正的portlet),下图中可以拖动我的工作区的portlet窗口并放到新的位置:OpenJWeb用ext2.1做的带portlet风格的后台管理界面

系统 2019-08-12 01:32:49 3050

Python

python 报错 too many values to unpack

今天在做神经网络手写数据集识别,测试集训练集划分时出现了此报错:经查询(引用文章),发现是函数接收变量个数少于函数返回值个数导致的,为啥呢?因为不小心把逗号分隔符写成点号了--改过来就好了:参考文章:python出现ValueError:toomanyvaluestounpack的问题https://blog.csdn.net/shangxiaqiusuo1/article/details/85597627

系统 2019-09-27 17:54:20 3049

Android

【android基础学习之八】——页面布局

声明:学习的书籍《Android应用开发揭秘》,这里记录学习该书籍的日志,引用的相关代码与总结描述,没有商业的用途,完全是自我学习的一个记录,刚刚学习不可避免会出现很多问题,若是有错误还请大家多多批评。2011-10-31晚,完成最后一篇Android的基础学习,关于界面一些常用布局;一、界面布局之线性布局(LinearLayout)之前的例子的学习已经多次使用到了LinearLayout这个布局控件,线性布局分为:(1)、垂直线性布局;(2)、水平线性布

系统 2019-08-29 22:25:53 3049

编程技术

Matlab画平滑曲线的两种方法( 拟合或插值后再

自然状态下,用plot画的是折线,而不是平滑曲线。有两种方法可以画平滑曲线,第一种是拟合的方法,第二种是用spcrv,其实原理应该都一样就是插值。下面是源程序,大家可以根据需要自行选择,更改拟合的参数。clc,clear;a=1:1:6;%横坐标b=[8.09.010.015.035.040.0];%纵坐标plot(a,b,'b');%自然状态的画图效果holdon;%第一种,画平滑曲线的方法c=polyfit(a,b,2);%进行拟合,c为2次拟合后的系

系统 2019-08-12 09:30:09 3049

Android

【Android Developers Training】 100. 使用Int

注:本文翻译自Google官方的AndroidDevelopersTraining文档,译者技术一般,由于喜爱安卓而产生了翻译的念头,纯属个人兴趣爱好。原文链接:http://developer.android.com/training/contacts-provider/modify-data.html这节课将会向你展示如何使用一个Intent来插入一个新的或者修改一个现有的联系人数据。与直接访问ContactsProvider不同,一个Intent会启

系统 2019-08-12 01:54:45 3049

redis

Redis 集群实现

Nosql,作为程序员在当下不了解点儿,还真不行,出去聊起来别人就会说你土。那么就聊聊其中一个比较火的redis。redis单机版没得说,但是一直没有集群版,有也是山寨的。前段时间对redis的实现进行了一些学习,明天就要发布redis集群的稳定版,作为纪念以及学习,发一下redis集群实现的细节,英文好的就看原文吧。redis集群实现一个高性能、线性可扩展的1000节点的集群。Redis集群没有最重要或者说中心节点,这个版本最主要的一个目标是设计一个线性

系统 2019-08-12 01:52:21 3049

Python

第一个python爬虫,爬取猫眼电影Top100榜

学习python以来的第一爬虫,参考《Python3网络爬虫开发实践》爬取目标为:猫眼电影Top100榜完全是依葫芦画瓢,首先请求网页内容,然后在通过正则表达式提取自己感兴趣的数据,最后转成json格式存入文本文件。importjsonimporttimeimportrequestsimportredefget_one_page(url):headers={'User-agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_

系统 2019-09-27 17:50:24 3048

Hadoop

Hadoop全局排序

1.Hellowhadoop~~!Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。说它复杂,是因为一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成,你运行的每一个任务都要在这些计算机上做任务的分发,执行中间数据排序以及最后的汇总,期间还包含节点发现,任务的重试,故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成,没事儿罢个工什么的,实在是再寻常不过的事情。而

系统 2019-08-12 09:30:30 3048

redis

Redis的sds

Redis源码中的sds,是一个动态字符串库(Adynamicstringlibrary).结构如下:structsdshdr{intlen;intfree;charbuf[];};len是字符串长度,free是缓存区中的剩余大小,其中的内存分配当然用zmalloc。typedefchar*sds;sds类型的指针退sizeof(sdshdr)个字节就是sdshdr。这个库接口比较丰富,包括增长(sdsMakeRoom,sdsgrowzero,sdscat

系统 2019-08-12 01:53:31 3048

编程技术

关于字符集--总结,补遗以及问题

1.一些废话:因为前些天工作中遇到一些字符集相关的问题。想到以前也遇到过类似状况,不过一直没真正搞清楚原理。所以干脆花了一个通宵时间,ITPUB上相关文章基本看完。总算明白了个七七八八。看到类似问题被反复问。就萌发了写个总结帖子的念头,一来算自己学习的一个总结。二来也算造福大众吧。首先,之前ITPUB已经有数位先辈总结贴:http://www.eygle.com/index-special.htmeygle的网站字符集问题专题帖。一共7篇文章,貌似发表在I

系统 2019-08-29 23:10:01 3047