Установка Kafka в Unix/Linux

9-04-2017

Kafka (Apache Kafka) — Является популярным распределенным брокером сообщений, разработанным для эффективного управления большими объемами данных в режиме реального времени. Кластер Kafka не только хорошо масштабируется (настраивается отказоустойчивость), но также имеет гораздо более высокую пропускную способность по сравнению с другими подобными технологиями, — такими как ActiveMQ и RabbitMQ. Хотя он обычно используется в качестве системы обмена сообщениями pub/sub, многие организации также используют его для агрегирования логов, поскольку он обеспечивает постоянное хранение опубликованных сообщений.

Установка Kafka в Unix/Linux

В данной статье, я расскажу как можно установить kafka на различные Unix/Linux ОС.

Установка Kafka на Debian/Ubuntu

Создаем kafka пользователя

Поскольку Kafka может обрабатывать запросы через сеть, вам следует создать для нее выделенного пользователя.

Примечание. После настройки Apache Kafka рекомендуется создать другого пользователя без полномочий root для выполнения других задач на этом сервере.

В качестве пользователя root создайте пользователя с именем kafka с помощью команды:

# useradd kafka -m

Назначим пароль для созданного пользователя:

# passwd kafka

После этого, созданного юзера вносим в группу sudo( чтобы иметь привилегии, необходимые для установки зависимостей Кафки). Это можно сделать с помощью команды:

# adduser kafka sudo

Теперь ваш пользователь готов. Залогинимся в него:

# su - kafka

Устанавка Java

Если не знаете как выполнить установку Java, JRE — вот мануалы:

Установка JAVA 9 (JDK9) на Debian/Ubuntu/LinuxMint

Установка Java на Debian/Ubuntu/Mint

Узнать размер Java Heap Memory Size

Установка переменных JAVA_HOME / PATH в Linux

Устанавка ZooKeeper

Если не знаете как выполнить установку ZooKeeper — вот мануал:

Установка ZooKeeper в Unix/Linux

По умолчанию он будет прослушивать 2181 порт. Чтобы убедиться, что он работает, подключитесь к нему через Telnet:

# telnet localhost 2181

Вводим слово и нажимаем «enter»:

ruok

Если все работает, то должны получить:

imok

После чего, сеанс сам завершиться.

Устанавка Kafka

Теперь, когда установлены Java и ZooKeeper, настало время загрузить и распаковать Kafka.

$ cd /usr/local/src && wget "http://apache.cp.if.ua/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz"

PS: Вышла новая версия ПО и ее можно скачать (на момент обновления статьи):

$ cd /usr/local/src && wget "http://apache.cp.if.ua/kafka/1.0.0/kafka-1.0.0-src.tgz"

Выполняем распаковку:

#  tar xfvz kafka_*tgz -C /usr/local/

PS: Опция «—strip 1» дает возможность не создавать папку, а распаковать все содержимое в текущее место.

Переименуем папку для удобства использования:

# mv /usr/local/kafka_* /usr/local/kafka

Переходим к настройке.

Настройка Kafka

Открываем:

# vim /usr/local/kafka/config/server.properties

По умолчанию, Kafka не позволяет удалять темы. Чтобы иметь возможность удалять темы, добавьте следующую строку в конец файла или, найдите и расскоментируйте данную строку (у меня это 24-я строка):

delete.topic.enable = true

Сохраняем и закрываем файл.

Запускаем скрипт kafka-server-start.sh, используя nohup, чтобы запустить сервер Kafka (также называемый брокер Kafka) в качестве фонового процесса, который не зависит от сеанса оболочки:

# nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /var/log/kafka.log 2>&1 &

Подождите несколько секунд и сервер запустится. Чтобы быть уверенным что сервер успешно запущен, проверим kafka.log лог-файл:

...
[2017-04-09 01:35:37,019] INFO starting (kafka.server.KafkaServer)
[2017-04-09 01:35:37,024] INFO Connecting to zookeeper on localhost:2181 (kafka.server.KafkaServer)
[2017-04-09 01:35:37,048] INFO Starting ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2017-04-09 01:35:37,076] INFO Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:host.name=localhost.localdomain (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.version=1.8.0_121 (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.vendor=Oracle Corporation (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.home=/usr/java/jdk1.8.0_121/jre (org.apache.zookeeper.ZooKeeper)
.....
[2017-04-09 01:35:37,943] INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.Acceptor)
[2017-04-09 01:35:38,376] INFO Registered broker 0 at path /brokers/ids/0 with addresses: EndPoint(localhost.localdomain,9092,ListenerName(PLAINTEXT),PLAINTEXT) (kafka.utils.ZkUtils)
....

Теперь у вас есть сервер Kafka, который прослушивает 9092 порт.

Тестирование Kafka

Давайте теперь опубликуем и используем сообщение «Hello, man», чтобы убедиться, что сервер Kafka работает правильно.

Для публикации сообщений вы должны создать «продюсера» для Kafka. Вы можете легко создать это прямо из командной строки, используя скрипт kafka-console-producer.sh:

$ echo "Hello, man" | /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic > /dev/null

Поскольку темы не существует, Кафка создаст ее автоматически.

Чтобы потреблять сообщения, вы можете создать потребителя Kafka, используя kafka-console-consumer.sh скрипт.

Следующая команда использует сообщения из опубликованной темы. Обратите внимание на использование флага -from-beginning, который присутствует. Данный параметр покажет сообщение до запуска самого потребителя:

$ /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning

Т.к я запускал несколько раз kafka-console-producer.sh, то получил следующее:

Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
Hello, World
Hello, World
Hello, man

Как видим, что все работает отлично!

Установка KafkaT

KafkaT — это небольшой инструмент от Airbnb, который упрощает просмотр информации о вашем кластере Kafka, а также выполняет несколько административных задач из командной строки. Поскольку он написанный на Ruby, то для его использования вам понадобится Ruby. Вам также понадобится пакет build-essential. Установите все необходимое с помощью следующей команды:

# apt-get install ruby ruby-dev build-essential -y

И сейчас, выполняем установку KafkaT:

# gem install kafkat --source https://rubygems.org --no-ri --no-rdoc

Получил ошибку:

ERROR:  Error installing kafkat:
	highline requires Ruby version >= 1.9.3.

Исправляем:

Установка Ruby (несколько версий Ruby) в Unix/Linux

Используйте текстовый редактор для создания нового файла:

# vim ~/.kafkatcfg

Это файл конфигурации, который KafkaT использует для определения каталогов установки и папки, где находятся логи от Kafka. Соответственно, добавьте следующие строки:

{
"kafka_path": "/usr/local/kafka",
"log_path": "/tmp/kafka-logs",
"zk_path": "localhost:2181"
}

Теперь вы готовы использовать KafkaT. Для начала рассмотрим, как вы будете использовать его для просмотра деталей всех разделов Kafka:

$ kafkat partitions

Вы должны увидеть следующий результат:

Topic		Partition	Leader		Replicas						ISRs						
TutorialTopic	0		0		[0]							[0]

PS: Можно построить multi-broker кластер. Кроме того, вы должны внести следующие изменения в файл server.properties в каждом из них:

Значение свойства broker.id должно быть изменено таким образом, чтобы оно было уникальным во всем кластерах
Значение свойства zookeeper.connect должно быть изменено таким образом, чтобы все узлы указывали на тот же экземпляр ZooKeeper
Если вы хотите иметь несколько экземпляров ZooKeeper для вашего кластера, значение свойства zookeeper.connect на каждом узле должно быть идентичным, разделенным запятыми строкой, в которой перечислены IP-адреса и номера портов для всех экземпляров ZooKeeper.

Теперь, когда все установки сделаны, вы можете снять права администратора (суперпользователя) kafka. Для начала выйдите с оболочки или используйте другого пользователя чтобы сделать следующее действия. Удаляем пользователя kafka из группы sudo:

# deluser kafka sudo

Чтобы еще больше повысить безопасность вашего сервера Kafka, заблокируйте пароль пользователя kafka с помощью команды passwd. Это гарантирует, что никто не сможет напрямую войти через данного пользователя:

# passwd kafka -l

На данный момент только root или пользователь sudo могут войти в систему под именем kafka, введя следующую команду:

# su - kafka

В будущем, если вы хотите разблокировать его, используйте passwd с ключом «-u»:

# passwd kafka -u

Вот и все!

Установка Kafka на CentOS/Fedora/RHEL

Создаем пользователя

Поскольку Kafka может обрабатывать запросы через сеть, вам следует создать для нее выделенного пользователя.

В качестве пользователя root создайте пользователя с именем kafka с помощью команды:

# useradd kafka -m

Назначим пароль для созданного пользователя:

# passwd kafka

# usermod -aG wheel kafka

Теперь ваш пользователь готов. Залогинимся в него:

# su - kafka

Устанавка Java

Если не знаете как выполнить установку Java, JRE — вот мануалы:

Установка JAVA (JDK) на CentOS/RHEL/Fedora

Узнать размер Java Heap Memory Size

Установка переменных JAVA_HOME / PATH в Linux

Устанавка ZooKeeper

Если не знаете как выполнить установку ZooKeeper — вот мануал:

Установка ZooKeeper в Unix/Linux

По умолчанию он будет прослушивать 2181 порт. Чтобы убедиться, что он работает, подключитесь к нему через Telnet:

# telnet localhost 2181

Вводим слово и нажимаем «enter»:

ruok

Если все работает, то должны получить:

imok

После чего, сеанс сам завершиться.

Устанавка Kafka

Теперь, когда установлены Java и ZooKeeper, настало время загрузить и распаковать Kafka.

$ cd /usr/local/src && wget "http://apache.cp.if.ua/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz"

PS: Вышла новая версия ПО и ее можно скачать (на момент обновления статьи):

$ cd /usr/local/src && wget "http://apache.cp.if.ua/kafka/1.0.0/kafka-1.0.0-src.tgz"

Выполняем распаковку:

#  tar xfvz kafka_*tgz -C /usr/local/

PS: Опция «—strip 1» дает возможность не создавать папку, а распаковать все содержимое в текущее место.

Переименуем папку для удобства использования:

# mv /usr/local/kafka_* /usr/local/kafka

Переходим к настройке.

Настройка Kafka

Открываем:

# vim /usr/local/kafka/config/server.properties

delete.topic.enable = true

Сохраняем и закрываем файл.

# nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /var/log/kafka.log 2>&1 &

...
[2017-04-09 01:35:37,019] INFO starting (kafka.server.KafkaServer)
[2017-04-09 01:35:37,024] INFO Connecting to zookeeper on localhost:2181 (kafka.server.KafkaServer)
[2017-04-09 01:35:37,048] INFO Starting ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2017-04-09 01:35:37,076] INFO Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:host.name=localhost.localdomain (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.version=1.8.0_121 (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.vendor=Oracle Corporation (org.apache.zookeeper.ZooKeeper)
[2017-04-09 01:35:37,076] INFO Client environment:java.home=/usr/java/jdk1.8.0_121/jre (org.apache.zookeeper.ZooKeeper)
.....
[2017-04-09 01:35:37,943] INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.Acceptor)
[2017-04-09 01:35:38,376] INFO Registered broker 0 at path /brokers/ids/0 with addresses: EndPoint(localhost.localdomain,9092,ListenerName(PLAINTEXT),PLAINTEXT) (kafka.utils.ZkUtils)
....

Теперь у вас есть сервер Kafka, который прослушивает 9092 порт.

Тестирование Kafka

$ echo "Hello, man" | /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic > /dev/null

Поскольку темы не существует, Кафка создаст ее автоматически.

Чтобы потреблять сообщения, вы можете создать потребителя Kafka, используя kafka-console-consumer.sh скрипт.

$ /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning

Т.к я запускал несколько раз kafka-console-producer.sh, то получил следующее:

Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
Hello, World
Hello, World
Hello, man

Как видим, что все работает отлично!

Установка KafkaT

KafkaT — это небольшой инструмент от Airbnb, который упрощает просмотр информации о вашем кластере Kafka, а также выполняет несколько административных задач из командной строки. Поскольку он написанный на Ruby, то для его использования вам понадобится Ruby. Вам также понадобится необходимые пакеты. Установите все необходимое с помощью следующей команды:

# yum install ruby ruby-devel rubygems gcc gcc-c++ make openssl-devel ibxml2 libxml2-devel libxslt libxslt-devel kernel-devel   -y

И сейчас, выполняем установку KafkaT:

# gem install kafkat --source https://rubygems.org --no-ri --no-rdoc

Получил ошибку:

ERROR:  Error installing kafkat:
	highline requires Ruby version >= 1.9.3.

Исправляем:

Установка Ruby (несколько версий Ruby) в Unix/Linux

Используйте текстовый редактор для создания нового файла:

# vim ~/.kafkatcfg

{
"kafka_path": "/usr/local/kafka",
"log_path": "/var/log/kafka-logs",
"zk_path": "localhost:2181"
}

PS: Директория «/tmp/kafka-logs» должна быть созданной и иметь чтение-запись!

$ kafkat partitions

Вы должны увидеть следующий результат:

Topic		Partition	Leader		Replicas						ISRs						
TutorialTopic	0		0		[0]							[0]

# groupmems -g wheel -d kafka

# passwd kafka -l

На данный момент только root или пользователь sudo могут войти в систему под именем kafka, введя следующую команду:

# su - kafka

В будущем, если вы хотите разблокировать его, используйте passwd с ключом «-u»:

# passwd kafka -u

Вот и все!

Установка Kafka на Mac OS X

Устанавливаем Homebrew:

Установка Homebrew на Mac OS X

Для поиска используем команду:

$ brew search kafka

И, устанавливаем нужные пакеты. Я не использовал kafka на Mac OS X. По этому, не могу описать подробную инструкцию.

Статья «Установка Kafka в Unix/Linux» завершена. В следующих статьях, я планировал собрать кластер с Kafka. Но на все времени нет, напишу когда будет время 😉

Установка Kafka в Unix/Linux

Установка Kafka в Unix/Linux

Установка Kafka на Debian/Ubuntu

Установка Kafka на CentOS/Fedora/RHEL

Установка Kafka на Mac OS X

Похожие новости

Добавить комментарий

Комментариев 0