doris单机安装部署

技术分享 3年前 (2023-08-28) 0 999+

doris单机安装部署

一、下载Doris

环境要求
Linux系统：Centos7.x或Ubantu16.04及以上版本
Java运行环境: JDK8

查看Java版本
java -version

在windows上使用IDM下载工具从doris官网上下载最新二进制版本加快下载速度，通过Xftp上传至Linux系统文件目录中
doris下载地址
 IBM下载链接
doris单机安装部署

解压、改名为apache-doris-2.0.0

tar -zxvf apache-doris-2.0.0-bin-x64.tar.gz -C /data/soft mv apache-doris-2.0.0-bin-x64 apache-doris-2.0.0

· 二、FE的配置、启动

配置FE

cd apache-doris-2.0.0/fe sudo vi conf/fe.conf  priority_networks=192.168.111.0/24 meta_dir=/path/your/doris-meta

注意
参数priority_networks我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。
这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。
这里meta_dir你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，
单独配置元数据目录，需要你提前创建好你指定的目录

启动FE

./bin/start_fe.sh --daemon ./bin/stop_fe.sh

通过web浏览器访问http://bigdata04:8030

注意：
这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。

三、使用Mysql客户端连接FE

mysql -uroot -P9030 -h bigdata04 mysql> # 进入Mysql命令行后，执行下面命令查看FE运行状态 mysql>show frontendsG;

这三项为True说明节点正常

注意：
这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看权限管理
-P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port
-h ：这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。

四、BE的配置、启动

配置BE

cd apache-doris-2.0.0/be vi conf/be.conf  priority_networks=192.168.111.0/24 #配置BE数据存储目录  storage_root_path=/path/your/data_dir # 由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置 `JAVA_HOME` 环境变量 JAVA_HOME=/opt/jdk1.8.0_341

注意：
参数priority_networks我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址
storage_root_path默认目录在 BE安装目录的 storage 目录下。
BE 配置的存储目录必须先创建好
安装 Java UDF 函数:
安装Java UDF 函数因为从1.2 版本开始支持Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。

启动BE

./bin/start_be.sh --daemon ./bin/stop_be.sh

注意：
这里我遇到了两个bug，导致BE无法启动
1.Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.

"Message": "[MEM_LIMIT_EXCEEDED]Allocator sys memory check failed: Cannot alloc:65536, consuming tracker:<Load#Id=cd4632d433195859-602fc7909f71b386>, exec node:<>, process memory used 103.36 MB exceed limit 1.42 GB or sys mem available 36.54 MB less than low water mark 181.91 MB.",
3.Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

bug解决方法

# 1.修改文件句柄数 # 查看当前大小 ulimit -a  # 临时修改 ulimit -n 65536  # 永久修改 vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536  # 2.修改max user processed进程数 # 临时修改 ulimit -u 65536  # 永久修改 vi /etc/security/limits.conf * soft nproc 65536 * hard nproc 65536  # 3.调整vm.max_map_count的大小 max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量 # 查看当前值 sysctl -a | grep vm.max_map_count  #临时修改 sysctl -w vm.max_map_count=2000000  # 永久修改 vi /etc/sysctl.conf vm.max_map_count=2000000 sysctl -p

五、添加BE节点到集群

mysql>ALTER SYSTEM ADD BACKEND "bigdata04:9030";

be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配
heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。

六、查看BE运行状态

mysql>SHOW BACKENDSG；

Alive为true表示节点正常

七、创建数据表并上传数据

# 1.创建一个数据库 mysql>create database demo;  # 2.创建数据表； mysql>use demo;  # 3.创建表 mysql>CREATE TABLE IF NOT EXISTS demo.example_tbl (     `user_id` LARGEINT NOT NULL COMMENT "用户id",     `date` DATE NOT NULL COMMENT "数据灌入日期时间",     `city` VARCHAR(20) COMMENT "用户所在城市",     `age` SMALLINT COMMENT "用户年龄",     `sex` TINYINT COMMENT "用户性别",     `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",     `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",     `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",     `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间" ) AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES (     "replication_allocation" = "tag.location.default: 1" );  # 4.生成示例数据 # sudo vi test.csv 后将以下数据粘贴进去保存退出 10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10 10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2 10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22 10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5 10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11 10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3 10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6  # 5.导入数据     ## -T test.csv : 这里使我们刚才保存的数据文件，如果路径不一样，请指定完整路径     ## -u root : 这里是用户名密码，我们使用默认用户root，密码是空     ## 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port curl --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load

八、查询数据

mysql> select * from example_tbl; +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ | user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time | +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ | 10000   | 2017-10-01 | 北京   |   20 |    0 | 2017-10-01 07:00:00 |   35 |             10 |              2 | | 10001   | 2017-10-01 | 北京   |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 | | 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 | | 10003   | 2017-10-02 | 广州   |   32 |    0 | 2017-10-02 11:20:00 |   30 |             11 |             11 | | 10004   | 2017-10-01 | 深圳   |   35 |    0 | 2017-10-01 10:00:15 |  100 |              3 |              3 | | 10004   | 2017-10-03 | 深圳   |   35 |    0 | 2017-10-03 10:20:22 |   11 |              6 |              6 | +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ 6 rows in set (0.07 sec)  mysql> select * from example_tbl where city='上海'; +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ | user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time | +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ | 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 | +---------+------------+--------+------+------+---------------------+------+----------------+----------------+ 1 row in set (0.05 sec)  mysql> select city, sum(cost) as total_cost from example_tbl group by city; +--------+------------+ | city   | total_cost | +--------+------------+ | 北京   |         37 | | 上海   |        200 | | 广州   |         30 | | 深圳   |        111 | +--------+------------+ 4 rows in set (0.05 sec)```

发表评论