Apache Kafka im Überblick

kafka-console-producer.sh \
    --bootstrap-server localhost:9092 \
    --topic orders
Hello World
Order #12345
Customer request
# Mit Strg+D beenden

kafka-console-producer.sh \
    --bootstrap-server localhost:9092 \
    --topic user-events \
    --property parse.key=true \
    --property key.separator=:
user123:{"action": "login", "timestamp": "2024-01-15T10:30:00Z"}
user456:{"action": "purchase", "amount": 99.99}
user789:{"action": "logout", "session_duration": 1800}
# Mit Strg+D beenden

# Für Zuverlässigkeit
acks=all
enable.idempotence=true

# Für Durchsatz
batch.size=524288 # z.B. 512KiB, Standard: 16384 (16KiB), Höhere Werte erhöhen den Durchsatz
linger.ms=5 # Standard: 0, Wartet auf weitere Nachrichten, um ein Batch zu füllen
compression.type=lz4 # Standard: none, Komprimiert die Nachrichten, um den Durchsatz zu erhöhen

# Für Überwachung
client.id=my-producer-app

kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic orders
# Mit Strg+C beenden

kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic orders \
    --from-beginning
# Mit Strg+C beenden

kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic user-events \
    --property print.key=true \
    --from-beginning
# Mit Strg+C beenden

kafka-console-consumer.sh \
    --bootstrap-server localhost:9092 \
    --topic user-events \
    --group mygroup \
    --from-beginning
# Mit Strg+C beenden

kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --create \
    --topic new-topic \
    --partitions 6 \
    --replication-factor 1

# Für Zuverlässigkeit
replication-factor=3
min.insync.replicas=2

# Für Durchsatz
partitions = 12 # Standard: 1

# Für Bereinigung
cleanup.policy=delete
retention.hours=168 # Standard: Nachrichten nach 7 Tagen löschen

# Für komprimierte Topics
cleanup.policy=compact

# Für dauerhafte Aufbewahrung
cleanup.policy=delete
retention.hours=-1

kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --describe \
    --topic new-topic

kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --list

kafka-topics.sh \
    --bootstrap-server localhost:9092 \
    --delete \
    --topic new-topic

kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --list

kafka-consumer-groups.sh \
    --bootstrap-server localhost:9092 \
    --describe \
    --group mygroup

kafka-producer-perf-test.sh \
    --topic performance-test \
    --num-records 10000000 \
    --record-size 1024 \
    --throughput -1 \
    --producer-props bootstrap.servers=localhost:9092

kafka-producer-perf-test.sh \
    --topic throughput-test \
    --num-records 1000000000 \
    --record-size 1024 \
    --throughput -1 \
    --producer-props bootstrap.servers=localhost:9092 \
    batch.size=943718 \
    linger.ms=10 \
    compression.type=lz4

kafka-consumer-perf-test.sh \
    --bootstrap-server localhost:9092 \
    --topic performance-test \
    --messages 100000 \
    --group performance-test

kafka-streams-application-reset.sh \
    --bootstrap-servers localhost:9092 \
    --application-id my-streams-app \
    --input-topics input-topic \
    --to-datetime 2024-01-01T00:00:00Z

kafka-leader-election.sh \
    --bootstrap-server localhost:9092 \
    --election-type PREFERRED \
    --all-topic-partitions

# Nachrichten produzieren
kcat \
    -b localhost:9092 \
    -t mytopic \
    -P
Hello World
Another message
# Mit Strg+D beenden

# Nachrichten konsumieren
kcat \
    -b localhost:9092 \
    -t mytopic \
    -C