【查看Kafka存储日志时间】

文章目录

• • • 步骤
    • 关键配置参数
    • 示例
    • 总结
    • 使用`kafka-topics.sh`查看Topic基本信息
    • 使用`kafka-configs.sh`查看Topic的配置参数
    • 示例
    • 使用`--bootstrap-server`选项
    • • 查看Topic基本信息
      • 查看Topic的配置参数
    • 总结

要查看Kafka服务器的配置文件，你需要访问Kafka安装目录中的配置文件。通常，这些配置文件位于Kafka安装目录的 config子目录中。最常见的配置文件是 server.properties，它包含了Kafka broker的各种配置参数。

步骤

1. 找到Kafka安装目录：首先，你需要知道Kafka安装在你的系统中的哪个目录。假设Kafka安装在/opt/kafka目录下。

2. 进入配置文件目录：进入Kafka安装目录的config子目录。

cd /opt/kafka/config 

3. 查看server.properties文件：使用文本编辑器或命令行工具查看server.properties文件。

cat server.properties 

或者使用文本编辑器，如nano或vim：

nano server.properties 

关键配置参数

在server.properties文件中，你可以找到与消息保留时间和大小相关的默认配置参数。以下是一些关键参数：

• log.retention.hours：消息保留的时间（以小时为单位）。默认值通常是168小时（7天）。

  log.retention.hours=168 

• log.retention.bytes：每个分区的最大存储大小。默认值是-1，表示没有大小限制。

  log.retention.bytes=-1 

• log.retention.ms：消息保留的时间（以毫秒为单位）。如果设置了这个参数，它会覆盖log.retention.hours。

  log.retention.ms=604800000 

• log.segment.bytes：每个日志段的最大大小。默认值通常是1GB。

  log.segment.bytes=1073741824 

• log.segment.ms：每个日志段的最大时间长度（以毫秒为单位）。

  log.segment.ms=604800000 

• log.retention.check.interval.ms：Kafka检查并删除过期消息的时间间隔。默认值通常是5分钟（300000毫秒）。

  log.retention.check.interval.ms=300000 

示例

假设你查看server.properties文件，可能会看到类似以下的内容：

# The number of hours to keep a log file before deleting it (in hours), default is 168 hours (7 days) log.retention.hours=168  # The maximum size of a log segment file. When this size is reached a new log segment will be created. log.segment.bytes=1073741824  # The interval at which log segments are checked to see if they can be deleted (in milliseconds), default is 300000 (5 minutes) log.retention.check.interval.ms=300000  # The maximum size of the log before deleting it (in bytes), default is -1 (no limit) log.retention.bytes=-1 

总结

通过查看Kafka的server.properties配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。

如果你需要对特定的Topic进行配置，可以使用kafka-configs.sh命令显式设置这些参数，这样在描述信息中就会显示这些参数。

要查看Kafka Topic的配置参数，你可以使用kafka-topics.sh命令的--describe选项。这个命令会显示Topic的基本信息，包括分区、副本等，但不会直接显示所有的配置参数。要查看特定的配置参数，你需要使用kafka-configs.sh命令。

使用kafka-topics.sh查看Topic基本信息

kafka-topics.sh --describe --zookeeper localhost:2181 --topic my_topic 

这个命令会输出类似以下的信息：

Topic: my_topic  PartitionCount: 1  ReplicationFactor: 1  Configs:      Topic: my_topic  Partition: 0  Leader: 1  Replicas: 1  Isr: 1 

使用kafka-configs.sh查看Topic的配置参数

要查看特定Topic的配置参数，可以使用kafka-configs.sh命令的--describe选项。

kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my_topic --describe 

这个命令会输出类似以下的信息：

Configs for topic 'my_topic' are retention.ms=259200000,retention.bytes=1073741824 

示例

假设你有一个Topic名为my_topic，你可以使用以下命令来查看其配置参数：

kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my_topic --describe 

输出可能会是：

Configs for topic 'my_topic' are retention.ms=259200000,retention.bytes=1073741824 

使用--bootstrap-server选项

如果你使用的是较新的Kafka版本，推荐使用--bootstrap-server选项而不是--zookeeper。以下是等效的命令：

查看Topic基本信息

kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my_topic 

查看Topic的配置参数

kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my_topic --describe 

总结

• 使用kafka-topics.sh --describe可以查看Topic的基本信息，但不会显示所有的配置参数。
• 使用kafka-configs.sh --describe可以查看特定Topic的配置参数。
• 推荐使用--bootstrap-server选项来指定Kafka broker地址，而不是使用--zookeeper。

通过这些命令，你可以方便地查看Kafka Topic的配置参数，了解其保留策略和其他配置。