ℹ️ 项目简介

CloudEon是一款基于kubernetes的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理，如Hadoop、Doris、Spark、Flink、Hive、Kafka等，能够满足不同规模和业务需求下的大数据处理和分析需求。

🔗 文档快链

项目相关介绍，使用，最佳实践等相关内容，都会在官方文档呈现，如有疑问，请先阅读官方文档，以下列举以下常用快链。

• 官网地址
• 项目介绍
• 安装部署
• 支持组件
• Roadmap

🔍 功能特点

• 🚀 快速搭建大数据集群：通过CloudEon，用户可以在kubernetes上快速搭建部署hadoop集群、doris集群等大数据集群，省去了手动安装和配置的繁琐过程。

• 🐳 容器化运行所有大数据服务：CloudEon将所有大数据服务都以容器方式运行，使得这些服务的部署和管理更加灵活和便捷，同时也能更好地利用kubernetes的资源调度和管理能力。

• 📈 支持监控告警等功能：CloudEon提供了监控告警等功能，帮助用户实时监控集群运行状态，及时发现和解决问题。

• 🔧 支持配置修改等功能：CloudEon还提供了配置修改等功能，使得用户能够更加灵活地管理和配置自己的大数据集群。

• 🤖 自动化运维：CloudEon通过自动化运维，能够降低集群管理的难度和人力成本，同时也能提高集群的可用性和稳定性。

• 👀 可视化管理界面：CloudEon提供了可视化的管理界面，使得用户能够更加直观地管理和监控自己的大数据集群

• 🔌 灵活的扩展性：提供了插件机制，让用户可以自定义拓展和安装更多的大数据服务。这个插件机制是基于开放API和标准化接口实现的，可以支持用户快速开发和集成新的服务。

• 📊 多种大数据服务支持：除了hadoop和doris，CloudEon还支持其他多种大数据服务的部署和管理，如Spark、Flink、Hive、Kyuubi等。

页面功能概览：

👨‍💻 开源地址

分类
GitHub
Gitee

后端
https://github.com/dromara/CloudEon
https://gitee.com/dromara/CloudEon

前端
https://github.com/dromara/CloudEon/tree/master/cloudeon-ui
https://gitee.com/dromara/CloudEon/tree/master/cloudeon-ui

大数据组件
https://github.com/dromara/CloudEon/tree/master/cloudeon-stack
https://gitee.com/dromara/CloudEon/tree/master/cloudeon-stack

🏖开源初衷

容器化设计可以很好地屏蔽操作系统细节，提高隔离性，并在构建过程中提前安装依赖的外部环境和工具，从而使得后续的服务可以在不同的服务器环境中运行。

在研究Hadoop on Kubernetes时，我们采用了helm完成了服务依赖顺序、配置关联影响和容器编排等工作。我们还整合了Doris（多Fe多Be）、DolphinScheduler、Kyuubi和Spark等服务，并实现了使用一句helm install命令即可正确启动这些相互依赖的服务。

在使用过程中，我们发现这种方法大大减少了部署时间，提高了部署大数据集群的成功率。然而，运维管理的体验不尽人意，因为使用通用型Kubernetes的管理工具来管理大数据服务是不容易的，这需要开发者掌握Pod、Service、Configmap等知识。因此，我们开发了CloudEon，并将其开源。

CloudEon致力于将大数据服务迁移到云上，并帮助大数据生态组件更好地与云原生相融合。

目前，我们没有计划支持基于主机的大数据集群部署运维，如果有需求的小伙伴，可以使用Datasophon、Ambari等优秀的开源项目。

🥰 感谢

感谢如下优秀的项目，没有这些项目，不可能会有CloudEon：

• 后端技术栈

  • springboot-v2.7.4
  • lombok-v1.18.12
  • hutool-v5.8.9
  • hibernate-v5.6.11
  • freemarker-v2.3.31

• 前端技术栈

  • react
  • ant-design

• 另外感谢

  • datasophon
  • Ambari

🤗 另外

• 如果觉得项目不错，麻烦动动小手点个⭐️star⭐️!
• 如果你还有其他想法或者需求，欢迎在issue中交流！

📝 使用登记

如果你所在公司使用了该项目，烦请在这里留下脚印，感谢支持🥳 点我

💎 优秀软件推荐

• 🦊 Kyuubi：为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL服务
• 🦄 Doris：简单易用、高性能和统一的分析数据库
• 🐬 DolphinScheduler：分布式和可扩展的开源工作流调度平台

🤝 贡献者

Thanks goes to these wonderful people (emoji key):

Pandas886
💻

Mericol
💻

Kyofin
🚇

mechaelyoung
💻

This project follows the all-contributors specification. Contributions of any kind welcome!

​Read More