本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

Hive利用MapReduce编程技术, 实现了部分SQL语句, 提供了类SQL的编程接口.

#1. Hive简介

Hive是一个基于Hadoop文件系统HDFS上的数据仓库架构, 它为数据仓库管理提供: 数据ETL(抽取, 转换和加载)工具, 数据仓库管理和大型数据集的查询和分析功能. 定义了类SQL语言Hive QL. 其优势在于极大的可扩展性, 良好的容错性和低约束的数据输入格式

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 千篇一律的HBase简介

HBase是Hadoop的数据库, 而Hive数据库的管理工具, HBase具有分布式, 可扩展及面向列存储的特点(基于谷歌BigTable). HBase可以使用本地文件系统和HDFS文件存储系统, 存储的是松散的数据(key-value的映射关系).

HBase位于HDFS的上层, 向下提供存储, 向上提供运算

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 系统参数配置

通过Hadoop的API对各种组件的参数进行配置

• org.apache.hadoop.conf 系统参数的配置文件处理API
• org.apache.hadoop.fs 抽象文件系统API
• org.apache.hadoop.dfs HDFS模块的实现
• org.apache.hadoop.mapred MapReduce模块实现
• org.apache.hadoop.ipc 封装了网络异步I/O的基础模块
• org.apache.hadoop.io 定义了通用的I/O模块

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. MacTex安装

进入MacTex官方网站直接下载pkg安装包进行安装.

#2. 中英文混合输入

1
2
3
4
5
6
7
8

\documentclass[UTF8,nofonts]{ctexart}
\setCJKmainfont{SimSun} % or any font you have.
\setCJKsansfont{SimHei}
\setCJKmonofont{FangSong}
\begin{document}
文章内容。
Some Chinese fonts should be installed in your system (SimSun, SimHei, FangSong, KaiTi)\end{document}

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. MatLab简介和安装

• MatLab是综合高性能的数值计算软件, 集成了数值计算和可视化, 提供大量内置函数, 广泛用于科学计算等领域.
• Simulink是基于MatLab的框图设计环境, 用来对各种动态系统进行建模, 分析和方针.
• 学习目的: 为了完成当前作业和以为科研工作的需求

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 算法设计基础

算法是有限条指令序列, 确定了解决某个问题的一系列运算或操作

1. 问题建模
2. 选择什么算法
3. 这个算法能否使所有实例得到最优解
4. 如果不能, 找出反例

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. 再述MapReduce计算模型

• JobTracker用于管理和调度工作(一个集群只有一个JobTracker)
• TaskTracker用于执行工作
• 每个MapReduce任务被初始化为一个Job, 每个Job分为Map(接收键值对)和Reduce阶段

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. NumPy安装

• 使用pip包管理工具进行安装

1

$ sudo pip install numpy

• 使用pip包管理工具安装ipython(交互式shell工具)

1
2

$ sudo pip instlal ipython
$ ipython --pylab  #pylab模式下, 会自动导入SciPy, NumPy, Matplotlib模块

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

本来还想在校期间任性的不学习Java, C/C++/Python一直用到毕业呢, 结果天不遂人愿, 选修了MapReduce不得不学习Java了, 完全面向对象语言的学习还有一点小期待的.
这篇博文用来记录Java学习过程, 用来学习复习巩固之用.

#1. Java基本程序设计结构

Java应用程序中全部内容都必须放置在类中

• 类名以首字母大写的驼峰命名法
• 源代码的文件名必须与公共类的名字相同, 并且以.java作为后缀
• java中所有函数都属于某个类的方法(java中main方法必须有一个外壳类)

1
2

javac FirstSample.java  //java编译器将源代码编译成字节码
java FirstSample  //java虚拟机从指定类中的main方法开始执行

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

#1. Hadoop简介

由于几乎所有的书中都会提到Hadoop的发展史, 这里就不说Hadoop的历史时间线了.

Hadoop是由Apache软件基金会开发的开源分布式计算平台, 通过Hadoop分布式文件系统和MapReduce为核心为用户提供分布式基础框架

• HBFS是以一种分布式文件系统, 具有搞容错性的特点, 可以设计部署到低廉的硬件上, 适用于超大规模数据集的应用程序.
• MapReduce是一种编程模型, 用于大规模数据集的并行运算, Map(映射)将输入键值对映射成一组新的键值对,Reduce(规约)对相同key下所有value进行处理后输出最终键值对