归档: 2016/6

2016
0

Learning

YARN

YARN简介YARN在hadoop 2中被引入，用于改善MapReduce，但是它也被用于支持别的计算框架。YARN提供API用于请求和使用集群资源，但这些不是直接被用户的代码使用的。 如何工作的YARN通过两种守护进程来提供它的核心服务，一个是resource manager，另一个是node managers。后者会启动和监控containers。一个container会执行一个特定程序的进程

0

Learning

HDFS

HDFS 学习HDFS文件系统具有高容错率，每个block的size为128MB，为的是减少寻址时间。整个hadoop集群中分为了Namenode和Datanode，其中Namenode保存着metadata，也就是整个HDFS文件系统的树和块信息。而Datanode则负责具体block的存取，并且周期性地向Namenode报告它所拥有的数据块。 datanode自身因为会把block复制几遍，所

0

NLP

最大熵模型

最大熵模型解决的两个问题 What exactly is meant by “uniform”, and how can we measure the uniformity of a model Having determined a suitable answer to these questions, how do we go about finding the most uniform mo

0

Machine Learning

Support Vector Machine

第七章 支持向量机7.1线性可分支持向量机与硬间隔最大化7.1.1线性可分支持向量机一般的，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个，线性可分支持向量机利用间隔最大化求最优分离超平面，这时，解时唯一的。 定义7.1（线性可分支持向量机） 超平面 $w^{*} \cdot x+b^{*}=0$ 决策函数 $