java运行时数据区域

java运行时数据区域图解示例

垃圾收集

java的垃圾回收主要对java堆和方法区进行垃圾回收

WebHdfs

Web HDFS是HortonWorks开发的，然后捐给了Apache,是HDFS的REST API。WebHDFS是一个内置HDFS的REST API。 它不需要任何进一步的安装，但提供的文件访问支持较简单，如果集群未做HA,那么是优先选择，其中默认50070是http服务的端口。

RestTemplate简介

近几年来,以信息为中心的表述性状态转移(Representational State Transfer，REST)已经称为替代传统SOAP Web 服务的流行方案.
REST是将资源的状态以最适合客户端或服务端的形式从服务器端转移到客户端（或者反过来）

今天在yarn模式下启动spark-shell时遇到了两个问题，记录一下解决法方法

最近有一个需求要把spark的机器学习api封装成web api供外部调用，我刚开始的想法是用spring boot和spark结合，通过命令行提交spark任务。

今天实验室断电，服务器都挂了，重启后连不上服务器，重新手动连接网络才行，为了防止以后这种情况发生，设置网络开机自动连接

环境

centos 7
redis 4.0.9

HDFS简介

Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统，基于 Hadoop 的应用程序使用 HDFS 。HDFS 是专为存储超大数据文件，运行在集群的商品硬件上。它是容错的，可伸缩的，并且非常易于扩展。

问题描述

spark搭建好之后，在启动spark-shell时报出了如下的警告，虽说不影响正常使用，但是看着不舒服，总想把它解决掉，在网上查找资料之后终于找到了解决办法