能不能用自己的主机做网站,软件开发文档清单,安徽网站公司网站,展厅装饰公司ELKKafkaFilebeat企业内部日志分析系统(1)
Elasticsearch集群部署
1.部署环境
IP地址主机名配置系统版本192.168.222.129es12核4GRockyLinux192.168.222.130es22核3GRockyLinux192.168.222.131es32核3GRockyLinux
2.配置主机名解析和主机名
#关闭防火墙与selinux
#更改主机…ELKKafkaFilebeat企业内部日志分析系统(1)
Elasticsearch集群部署
1.部署环境
IP地址主机名配置系统版本192.168.222.129es12核4GRockyLinux192.168.222.130es22核3GRockyLinux192.168.222.131es32核3GRockyLinux
2.配置主机名解析和主机名
#关闭防火墙与selinux
#更改主机名(三台机器均操作)
[rootlocalhost ~]# hostnamectl set-hostname es1
#添加主机名解析
[rootes1 ~]# vim /etc/hosts
192.168.222.129 es1
192.168.222.130 es2
192.168.222.131 es33.相关地址 官方地址:https://www.elastic.co 官网搭建:https://www.elastic.co/guide/index.html 4.安装配置ES
1.创建运行ES的普通用户
[rootes1 ~]# useradd es
[rootes1 ~]# echo 123 |passwd --stadin es2.安装配置ES
#这里已经把包传到服务器
[rootes1 ~]# ls
anaconda-ks.cfg elasticsearch-7.13.2-linux-x86_64.tar.gz kibana-7.13.2-linux-x86_64.tar.gz node-v10.0.0-linux-x64.tar.gz
[rootes1 ~]# tar xf elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[rootes1 ~]# cd /usr/local
[rootes1 local]# mv elasticsearch-7.13.2-linux-x86_64.tar.gz/ es
#修改配置文件(删除里面注释添加以下内容)
[rootes1 local]# vim /es/config/elasticsearch.yml
cluster.name: bjbpe01-elk
cluster.initial_master_nodes[es1,es2,es3]
node.name: es1
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: [es2,es3]
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 150s
discovery.zen.fd.ping_retries: 10
client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: *3. 设置JVM堆大小
[rootes1 local]# sed -i s/## -Xms4g/-Xms4g/ /usr/local/es/config/jvm.options
[rootes1 local]# sed -i s/## -Xmx4g/-Xmx4g/ /usr/local/es/config/jvm.options4.创建ES数据及日志存储目录
#(三台机器均操作)
[rootes1 local]# mkdir -p /data/elasticsearch/data
[rootes1 local]# mkdir -p /data/elasticsearch/logs5.修改安装目录及权限
#(三台机器均操作)
[rootes1 local]# chown -R es.es /data/elasticsearch
[rootes1 local]# chown -R es.es /usr/local/es6.系统优化(三台机器均操作)
1.增加最大文件打开数
永久生效方法:
[rootes1 local]# echo * soft nofile 65536 /etc/security/limits.conf2.增加最大进程数
[rootes1 local]# echo * soft nproc 65536 /etc/security/limits.conf3.增加最大内存映射数
[rootes1 local]# echo vm.max_map_count262144 /etc/sysctl.conf
[rootes1 local]# sysctl -p 5.启动ES
[rootes1 local]# cd es
[rootes1 es]# su es
[eses1 es]$ bin/elasticsearch6.安装配置head监控插件
服务器
安装软件主机名IP地址系统版本配置Elasticsearch-head-masteres1192.168.222.129RockyLinux2核4G
1.安装node
[rootes1 ~]# 123.txt anaconda-ks.cfg elasticsearch-7.13.2-linux-x86_64.tar.gz kibana-7.13.2-linux-x86_64.tar.gz node-v10.0.0-linux-x64.tar.gz
[rootes1 ~]# tar xf node-v10.0.0-linux-x64.tar.gz -C /usr/local
[rootes1 ~]# vim /etc/preofile
NODE_HOME/usr/local/node-v10.0.0-linux-x64
PATH$NODE_HOME/bin:$PATH
export NODE_HOME PATH
[rootes1 ~]# source /etc/profile
[rootes1 ~]# node --version2.下载head插件
[rootes1 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[rootes1 ~]# yum -y install unzip
[rootes1 ~]# unzip -d /usr/local elasticsearch-head-master.zip3.安装grunt
[rootes1 ~]# cd /usr/local/elasticsearch-head-master
[rootes1 elasticsearch-head-master]# npm install -g grunt-cli
#检查版本号
[rootes1 elasticsearch-head-master]# grunt -version5.修改head源码
#修改成以下内容
[rootes1 ~]# vim /usr/local/elasticsearch-head-master/Gruntfile.js 99port: 9100,base: .,keepalive: true,hostname: *
[rootelk ~]# vim /usr/local/elasticsearch-head-master/_site/app.js 4388this._super();this.prefs services.Preferences.instance();this.base_uri this.config.base_uri || this.prefs.get(app-base_uri) || http://192.168.222.129:9200;6.下载head必要的文件
[rootelk ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[rootelk ~]# yum -y install bzip2
[rootelk ~]# mkdir /tmp/phantomjs
[rootelk ~]# mv phantomjs-2.1.1-linux-x86_64.tar.bz2 /tmp/phantomjs/
[rootelk ~]# chmod 777 /tmp/phantomjs -R7.运行head
[rootelk ~]# cd /usr/local/elasticsreach-head-master
[rootelk elasticsreach-head-master]# npm install
#上一行报错执行以下命令
[rootelk elasticsreach-head-master]# npm install phantomjs-prebuilt2.1.16 --ignore-scripts
[rootelk elasticsreach-head-master]# nohup grunt server
[rootelk elasticsreach-head-master]# ss -ntlp7.部署kibana
安装软件主机名IP地址系统版本配置kibanaes1192.168.222.129RockyLinux2核4G
1.安装kibana
[rootes1 ~]# tar zxf kibana-7.13.2-linux-x86_64.tar.gz -C /usr/local4.配置文件
[rootes1 ~]# cd /usr/local
[rootes1 local]# vim kibana-7.13.2-linux-x86_64/config/kibana.yml
server.port: 5601
server.host: 192.168.222.129
elasticsearch.hosts: [http://192.168.222.129:9200]
kibana.index: .kibana
i18n.locale: zh-CN
[rootes1 local]# cd kibana-7.13.2-linux-x86_64/
[rootes1 kibana-7.13.2-linux-x86_64]# ./bin/kibana --allow-root
