博客
| elasticsearch分布式安装 | ||
| redis分布式安装 | Server | |
| minio介绍 | ||
| mongodb 分布式安装 | ||
| fedora k8s 安装 | ||
| spark null 值处理 | ||
| ceph分布式安装 | ||
| gitlab_ci runners | Server | |
| spark group by 操作 | ||
| hdfs | Server | |
| hive | Server | |
| hadoop |
redis分布式安装
python 操作redis import redis # 连接redis # 几个常用默认参数： # host='localhost', port=6379, db=0, decode_responses=False, password=None pool = …
minio介绍
minio 文件系统了解及对比选型 分布式文件系统（Distributed file system，DFS），或是网络文件系统（Network File System），是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件系统解决的最大的问题是资源共享的问题，因此分布式文 …
mongodb 分布式安装
参考搭建文档https://blog.csdn.net/msh6453/article/details/131161845 前言 官方文档：https://www.mongodb.com/docs/（可以参考） 一，安装说明 1.1环境说明 1、首先确定部署的环境，确定下服务器的端口，一般默认是22的端口； 2、操作系 …
ceph分布式安装
1.环境配置 #在所有节点配置YUM： #清空原来自带配置文件： cd /etc/yum.repos.d/ mkdir /tmp/bak mv * /tmp/bak/ #配置系统源码，epel源： curl -o /etc/yum.repos.d/CentOS-Base.repo …
gitlab_ci runners
Download the binary for your system sudo curl -L --output /usr/local/bin/gitlab-runner …
spark group by 操作
scala-spark-dataframe—groupby基本操作 [andrew@hadoop102 bin]$ ./spark-shell 2022-05-07 20:35:13,392 WARN util.NativeCodeLoader: Unable to load native-hadoop library …
hdfs
HDFS概述 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种 系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS概念 HDFS，它是一个文件系统，用于存储文件，通过 …
hive
Hive安装 2.1 Hive 安装地址 1)Hive 官网地址 http://hive.apache.org/ 2)文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址 …
hadoop
大数据概念 大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据技术生态体系 当然，目前这个生态是越来越大了，但是它 …
redis分布式安装
python 操作redis import redis # 连接redis # 几个常用默认参数： # host='localhost', port=6379, db=0, decode_responses=False, password=None pool = redis.ConnectionPool(host='ip-address', port=6379, decode_responses=True,db=1,password='password') # ---redis 字符串 r = …
python 操作redis import redis # 连接redis # 几个常用默认参数： # host='localhost', port=6379, db=0, decode_responses=False, password=None pool = redis.ConnectionPool(host='ip-address', port=6379, decode_responses=True,db=1,password='password') # ---redis 字符串 r = …
minio介绍
minio 文件系统了解及对比选型 分布式文件系统（Distributed file system，DFS），或是网络文件系统（Network File System），是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件系统解决的最大的问题是资源共享的问题，因此分布式文件系统最大的特点是多个客户端可以访问相同的服务端 #1. 专业名词 缩写 全称 注释 SDS Software Defined Storag 软件定义存储技术 RAID …
minio 文件系统了解及对比选型 分布式文件系统（Distributed file system，DFS），或是网络文件系统（Network File System），是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件系统解决的最大的问题是资源共享的问题，因此分布式文件系统最大的特点是多个客户端可以访问相同的服务端 #1. 专业名词 缩写 全称 注释 SDS Software Defined Storag 软件定义存储技术 RAID …
mongodb 分布式安装
参考搭建文档https://blog.csdn.net/msh6453/article/details/131161845 前言 官方文档：https://www.mongodb.com/docs/（可以参考） 一，安装说明 1.1环境说明 1、首先确定部署的环境，确定下服务器的端口，一般默认是22的端口； 2、操作系统Centos7.9； 3、 数据库mongodb-linux-x86_64-rhel70-4.4.22。 mongodb版本4.4.22 mongos，数据库集群请求的入口，所有 …
参考搭建文档https://blog.csdn.net/msh6453/article/details/131161845 前言 官方文档：https://www.mongodb.com/docs/（可以参考） 一，安装说明 1.1环境说明 1、首先确定部署的环境，确定下服务器的端口，一般默认是22的端口； 2、操作系统Centos7.9； 3、 数据库mongodb-linux-x86_64-rhel70-4.4.22。 mongodb版本4.4.22 mongos，数据库集群请求的入口，所有 …
ceph分布式安装
1.环境配置 #在所有节点配置YUM： #清空原来自带配置文件： cd /etc/yum.repos.d/ mkdir /tmp/bak mv * /tmp/bak/ #配置系统源码，epel源： curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo yum install wget -y wget -O /etc/yum.repos.d/epel.repo …
1.环境配置 #在所有节点配置YUM： #清空原来自带配置文件： cd /etc/yum.repos.d/ mkdir /tmp/bak mv * /tmp/bak/ #配置系统源码，epel源： curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo yum install wget -y wget -O /etc/yum.repos.d/epel.repo …
gitlab_ci runners
Download the binary for your system sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 Give it permissions to execute sudo chmod +x …
Download the binary for your system sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 Give it permissions to execute sudo chmod +x …
spark group by 操作
scala-spark-dataframe—groupby基本操作 [andrew@hadoop102 bin]$ ./spark-shell 2022-05-07 20:35:13,392 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log …
scala-spark-dataframe—groupby基本操作 [andrew@hadoop102 bin]$ ./spark-shell 2022-05-07 20:35:13,392 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log …
hdfs
HDFS概述 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种 系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有 各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分 …
HDFS概述 HDFS产生背景 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种 系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有 各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分 …
hive
Hive安装 2.1 Hive 安装地址 1)Hive 官网地址 http://hive.apache.org/ 2)文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址 http://archive.apache.org/dist/hive/ 4)github 地址 https://github.com/apache/hive 2.2Hive 安装部署 2.2.1 安装 Hive 1)把 …
Hive安装 2.1 Hive 安装地址 1)Hive 官网地址 http://hive.apache.org/ 2)文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址 http://archive.apache.org/dist/hive/ 4)github 地址 https://github.com/apache/hive 2.2Hive 安装部署 2.2.1 安装 Hive 1)把 …
hadoop
大数据概念 大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据技术生态体系 当然，目前这个生态是越来越大了，但是它的本质还是在二个方面 计算 和 存储 开源生态 Sqoop：sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关 …
大数据概念 大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据技术生态体系 当然，目前这个生态是越来越大了，但是它的本质还是在二个方面 计算 和 存储 开源生态 Sqoop：sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递，可以将一个关 …