Les vacances sont bel et bien terminées. La rentrée scolaire est à son apogée, les feuilles commencent à tomber et les embouteillages reprennent de plus belle. Il est difficile de se remettre dans le bain après ces longues journées ensoleillées... Cependant, pendant que certains profitaient encore des plaisirs estivaux, le monde du streaming, lui, n'a pas connu de pause ! Et du côté d'Apache Kafka, l'actualité est chargée.
En début d'année, sortait Apache Kafka 3.7.0
Souvenez-vous, en février dernier sortait la version 3.7.0 avec son lot de nouveautés comme :
- KRaft en production : KRaft (Kafka Raft metadata mode) est désormais considéré comme prêt pour la production. Cela signifie que vous pouvez utiliser Kafka sans ZooKeeper, simplifiant le déploiement et la gestion.
- Java 11 est déprécié : Si vous êtes encore sur Java 11, il est temps de vous mettre à jour ! Apache Kafka 3.7.0 déprécie cette version et lui préfère la modernité de Java 17, désormais supportée nativement.
- Just a Bunch Of Disks en approche : Le stockage JBOD (KIP-858) fait une entrée remarquée en early access. Encore un peu de patience avant de pouvoir profiter pleinement de cette nouvelle option de stockage.
- Rebalancement turbo : Apache Kafka 3.7.0 expérimente un nouveau mode de rebalancement piloté par le Group Coordinator. Au programme : des performances accrues pour des échanges toujours plus fluides.
- Des images docker officiels : Apache Kafka 3.7.0 propose des images Docker officielles. Déployez vos clusters en un clin d'œil !
Apache Kafka 3.8.0 : JBOD, compression optimisée et plus encore !
Aujourd'hui, c'est au tour de Apache Kafka 3.8.0 de faire son entrée, apportant son lot d'améliorations pour une gestion des données en temps réel toujours plus performante. Voici un aperçu des évolutions majeures de cette version :
- JBOD est production ready : Grande nouvelle pour les clusters imposants : le stockage JBOD (Just a Bunch of Disks) passe en production ! Vous pouvez désormais tirer parti de multiples sources de stockage pour vos commit-logs. Cette flexibilité permet d'optimiser les coûts en stockant les données anciennes sur des systèmes moins performants, tout en conservant une haute performance pour les données récentes.
- Contrôle accru sur la compression : La KIP-390 offre un contrôle granulaire sur la compression. Vous pouvez désormais spécifier le niveau de compression pour l'algorithme avec l'option
compression.{lz4/gzip/...}.level. A noter que l'algorithme Snappy est désormais déprécié. - Rebalancement des consommateurs optimisé (Preview) : Initié dans la version précédente, le nouveau protocole de rebalance passe en preview. La KIP-848 déporte la complexité du rebalancement vers le Group Coordinator, optimisant la gestion du rebalance.
- Images Docker optimisées avec GraalVM : Les images Docker natives basées sur GraalVM font leur apparition. Le démarrage des applications Kafka est quasi instantané (quelques millisecondes) et l'empreinte mémoire est significativement réduite.
- Gestion des erreurs simplifiée : La
RecordDeserializationExceptionfournit désormais plus d'informations contextuelles. En plus de l'offset, l'exception inclut désormais le Record concerné (KIP-1036). La gestion des DLQ (Dead Letter Queues) et le débogage s'en trouvent grandement simplifiés. - Partage de State Store pour Kafka Streams : Une fonctionnalité attendue par de nombreux développeurs : la possibilité de partager un state store entre plusieurs applications Kafka Streams. Cela ouvre la voie à moins de duplication de données pour nos applications Kafka Streams.
L'avenir radieux du streaming avec Apache Kafka 4.0
Apache Kafka 3.8. marque une étape importante, mais l'évolution continue. Que nous réservent les prochaines versions ?
La version 3.9., initialement prévue pour l'été, devrait arriver cet automne. Bien que nous n'ayons pas encore de feuille de route précise, la communauté travaille activement sur plusieurs fronts. La version 4. d'Apache Kafka s'annonce comme un tournant majeur. Deux changements clés se profilent à l'horizon, préparés de longue date par la communauté :
- Adieu ZooKeeper, bonjour KRaft : Apache Kafka 4.0 devrait sonner le glas de la dépendance à ZooKeeper. KRaft, le système de consensus intégré à Kafka, deviendra le mode de fonctionnement par défaut, simplifiant le déploiement et la gestion des clusters.
- Fin du support de Java 11 : Pour rester à la pointe de la technologie et profiter des dernières avancées du langage, Apache Kafka 4.0 abandonnera le support de Java 11. Les développeurs devront migrer vers des versions plus récentes de Java pour profiter de la nouvelle version.
Apache Kafka 4.0 promet d'être une version charnière, simplifiant l'architecture tout en ouvrant la voie à de nouvelles fonctionnalités et à des performances accrues.
