Flume安装配置1. 概述1.1 flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 架构图: 架构详解:

Maxwell1. Maxwell概述1.1 Maxwell定义​ Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取 MySQL 二进制日志 Binlog，并生成 JSON 格式的消

ClickHouse官网：https://clickhouse.com/ 官方文档：https://clickhouse.com/docs/en/intro tgz包下载：https://packages.clickhouse.com/tg

Hadoop伪分布式部署2. Hadoop 为分布式运行环境搭建环境说明: 容器 容器ip master 192.168.1.210 2.1 基础环境配置2.1.1 配置主机名hostnamectl set-hostname

Hbase1.初识HBase​ HBase 是一个面向列式存储的分布式数据库，其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HDFS 实现，集群的管理基于 ZooKeeper 实现。HBase 良好的

4. 消息队列-zookeeper+kafka1. kafka工作原理： Producer： 生产者，发送消息的一方。生产者负责创建消息，然后将其发送到 Kafka。Consumer： 消费者，接受消息的一方。消费者连接到 Kafka 上

1.ubuntu 基础配置环境：ubuntu 18.04 安装完Ubuntu之后，除了需要新建用户、设置密码之外，我们还要设置root密码，虽然Ubuntu默认有root超级管理员账户，但是具体的密码我们可以自行设置 1.1设置root密码

Hadoop1.Hadoop 概述1.1 Hadoop 是什么 （1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 （2）主要解决海量数据的存储和海量数据的分析计算问题 （3）广义上来说，Hadoop通常是指一个更广

MYSQL 备份实战1. 备份需求： 每日凌晨2时对数据做有一次全备，包含binlog,需要对备份文件远程存放。 备份备份历史文件本地保留7日，远程目录保留3个月。 2. 实现步骤：:one: 全库备份脚本:two: binlog 备份脚

Hive1. Hive入门1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL