RestTemplate简介

近几年来,以信息为中心的表述性状态转移(Representational State Transfer，REST)已经称为替代传统SOAP Web 服务的流行方案.
REST是将资源的状态以最适合客户端或服务端的形式从服务器端转移到客户端（或者反过来）

今天在yarn模式下启动spark-shell时遇到了两个问题，记录一下解决法方法

最近有一个需求要把spark的机器学习api封装成web api供外部调用，我刚开始的想法是用spring boot和spark结合，通过命令行提交spark任务。

今天实验室断电，服务器都挂了，重启后连不上服务器，重新手动连接网络才行，为了防止以后这种情况发生，设置网络开机自动连接

环境

centos 7
redis 4.0.9

HDFS简介

Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。

问题描述

spark搭建好之后，在启动spark-shell时报出了如下的警告，虽说不影响正常使用，但是看着不舒服，总想把它解决掉，在网上查找资料之后终于找到了解决办法

SpringBoot 热部署

实际开发中，修改某个页面数据或逻辑功能都需要重启应用。这无形中降低了开发效率，所以使用热部署是十分必要的。

环境

1
2
3
4

JDK:1.8  
Spark-2.2.0
Hadoop Release:2.7.5  
centos:7.3

准备工作及环境

两台主机

1
2

10.4.20.181 spark01
10.4.20.48  spark02

系统均为centos7