计算机性能指标展现-3
计算机性能指标展现-2
以上为上一篇链接。计算机指标1获取了Linux指标的一些信息,这篇文章是获取hdfs的数据,也是为了与大数据挂钩,实现思路也和第一篇差不多,举一反三么,学会这个思路,什么都可以获取,比如一些znone节点健康信息之类的,重要不是获取什么,而是怎么获取。
gitee源码:visual-display-linux
实现思路
Java利用ssh连接Linux
将命令得出的字符信息进行处理
提供一个可视化模板
进行前后端联动,异步将数据传输到页面上
重复的步骤我就不写了,可以看计算机指标1(点上方链接就可以)
实现方式通过Linux的命令去返回字符串
获取hdfs健康信息的命令是:dfs dfsadmin -report
这里需要注意的是,此命令耗时3秒左右,所以做工具类方法的时候需要在一个方法中处理,不然一个用3秒,多了就吃不消了。还有这个命令本身并不提供,这里说的是即使你/etc/profile下面配了也不行。如下图
原因简单的说一下吧,不想了解的跳过
jsch方式通过SSH2连接的。而SSH直接执行远程命令和脚本,会使用Bash的non-interact ...
计算机性能指标展现-4
计算机性能指标展现-3
看这篇文章建议看计算机指标3,见上方链接,项目只实现了单机版整合,想集群版整合有兴趣的自己配一下。
gitee源码:visual-display-linux
实现目的实现项目与redis的整合
实现效果在开启redis之后,数据的读写从数据库转到redis中。
实现思路
增加pom依赖
修改application.properties
编写PortUtil工具类
编写RedisConfig类
编写redis工具类
对业务层进行修改
1、增加pom依赖
2、修改application.properties
3、编写PortUtil工具类作用:在运行项目的时候需要判断redis服务启动没有。启动走redis,没启动走数据库。
4、编写RedisConfig类作用:当添加Redis依赖后,SpringBoot会自动帮我们在容器中生成一个RedisTemplate和一个StringRedisTemplate,但是,这个RedisTemplate的泛型是<Object,Object>,在代码中会不可避免的需要类型转换,这样不够安全,也过于麻烦,而且Redi ...
计算机性能指标展现-2
上次说到,利用spring boot+Echarts实现了大数据指标的可视化展现,详情可见上方链接,上次数据的读取只是在程序中进行读取,这次将它进行迭代,使用数据库进行数据的读写。dao层采取mybatis的方式进行。源码在我的gitee持续更新,需要的自取。
visual-display-linux
话不多说进入正题。
大纲
增加pom依赖
改application配置文件
增加mapper配置文件
创建entity(存放实体类),dao(进行数据操作),service(业务层)的包
1、增加pom依赖
2、改application配置文件
被注释的那一行代表输出sql语句
3、增加mapper配置文件在这里说一下为什么使用mapper而不适用注解的方式,比如说下面这段代码
注解方式只适合简单sql语句,而mapper.xml是通用的
1@Select("select * from user ")
结构图
4、创建entity(存放实体类),dao(进行数据操作),service(业务层)的包
结构图
entity的类
dao下的类
service下的 ...
计算机性能指标展现-6
之前想的不加功能了,之前已经实现了redis。因为前两天看了nginx的负载均衡,虽然也配过实例,但没有将我做过的项目进行整合,我想这也是一种成长过程,也是一个实操锻炼过程
话不多说整活!!!不只针对我的这个项目,你如果有spring boot项目也可以试试。方法都是一样的,最后效果是通过访问一个网址或者ip达到访问不同端口的目的。负载可以负载端口也可以负载IP,在于你怎么配置。先附一张实现效果图
首先就是打包将你的项目打成jar包
下面是关于idea如何打包的,会打包的自行跳过
eclipse就不贴了,都2020年了,还在用eclipse吗……这也没有鄙视的意思,觉得谁好用就用谁吧(doge保命)
pom文件中添加打包插件
增加所打的包的方式,jar就写jar,war就写war
利用maven自带插件打包(建议先clean)
1、pom文件中添加打包插件12345678<build><plugins><plugin><groupId>org.springframework.boot</groupId><artif ...
计算机性能指标展现-5
其实对于功能来说在3的时候已经都做完了,这个就是让他做了一个登录页面,加个导航栏,让他看的不那么枯燥,其实我也不知道登录的意义,我们导师要求的。就当复习一遍吧,先附加一个整体效果
觉得还不错的可以去gitee获取一下:visual-display-linux
这也没什么可讲的,加了一个vue,目的就是前端数据方便展现,jq也可以,但写起来不爽,也不美观,vue的优点就是绑定对象很好用,尤其是双向绑定,还兼容jq,也就是可以一起用。前端html,css那些的就是网上找模板,然后改改改,我不是专门搞前端的,但每次从网上搞一个模板总要改半天,也算是半个前端了吧。不想搞前端的直接用就行了,我都调好了。
看负载均衡的看这里↓↓↓
计算机性能指标展现-6
计算机性能指标展现
此项目是迭代产生的,本人精力水平有限一共更新了五篇,期间有任何疑问欢迎大家评论或者私我。这一篇文章讲了基本的实现,后面的文章增加了数据库、hdfs、redis、nginx、页面布局。写过的文章我也会持续更新,让文章更细,代码功能更加丰富,此项目满足了用spring boot框架最基本的增删改查功能,并将这些数据进行可视化展现,如果正好有此需求的人,那么这篇文章一定不容错过。
话不多说,先来最终效果!!!
程序流程图
集群部署架构图
项目技术栈
负载均衡实现效果
目的计算Linux虚拟机指标包括内存使用率,cpu使用率,实时网速。获取hdfs的健康信息,包括配置容量,现有容量,DFS余量,非DFS使用量。并进行可视化展示
涉及技【必用】spring boot + Echarts + thymeleaf+【选用】Redis+Vue+Bootstrap
怎么去看这个项目就是将平时数据库去到的数据去做可视化展现,至于加redis,登录页,导航页都是花里胡哨的,所以只想学核心基本的看1-3,想深入美观的看4-5。我这个每个模块都是可以拆分的,取你所需就可以了。只要其中有涉及到你想看的,那就值得 ...
ZK的学习笔记
前言:当初学习的时候看的这篇文章,借鉴别人去学习的
能否用通俗的讲法解释一下什么是Zookeeper?
本文大纲
什么是ZK
ZK能够干什么
zookeeper的数据结构
ZK的选举
什么是zookeeper?1:Zookeeper是Apache Hadoop的子组件之一
2:ZooKeeper主要服务于分布式系统。统一配置管理、统一命名服务、分布式锁、集群管理
zookeeper能够干什么ZooKeeper 是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。
zookeeper的数据结构可以看做是一颗树,每个节点叫做ZNode。每一个节点可以通过路径来标识,结构图如下:
ZNode分为两种类型
短暂/临时(Ephemeral):当客户端和服务端断开连接后,所创建的Znode(节点)会自动删除
持久(Persistent):当客户端和服务端断开连接后,所创建的Znode(节点)不会删除
zookeeper如何做到统一配置管理、统一命 ...
Hive学习笔记
大纲
基本知识
基本指令
元数据
数据类型
架构
数据组织
内部表与外部表
基本知识为什么不用Hadoop进行开发
存在语言门槛,开发需要会Java语言
需要了解底层原理
开发调试不方便
为什么使用Hive
hive终究还是mapreduce的框架,直接学习mapreduce所面临的问题 1.人员学习成本太高 2.项目周期要求短 3.MR实现复杂查询开发难度较大 Hive的优势 1.接口更友好,使用HQL。就是类SQL语言法,学过MySQL就能进行开发 2.学习成本低,避免写MapReduce 3.扩展性好,自由扩展集群规模,支持用户自定义函数
hive概述
是一个基于Hadoop的数据仓库工具。
底层将sql语句转换为mapreduce来进行
离线分析工具,延迟比较高,不适合实时查询,比如进行日志分析
OLTP和OLAP
怎么突然蹦出来个这,这两个是什么
OLTP(Online Transaction Processing)联机事务处理系统。涵盖了日常操作,如购物,库存,制造,工资,注册,记账。处理系统就代表mysql,oracle等关系型数据库。
OLAP(Onli ...