Streamverwerking en gegevensintegratie met Kafka

Het tijdperk van digitale landbouw heeft grote hoeveelheden agro-gegevens naar voren gebracht die door de verschillende belanghebbenden kunnen worden gebruikt om het agro-ecosysteem efficiënter, productiever en gestroomlijnder te maken. Transacties die plaatsvinden in elke fase van de toeleveringsketen - of het nu gaat om het vastleggen van gegevens op boerderijniveau met behulp van agtech, het veiligstellen van de vereiste certificeringen voor de grondstof of het volgen van de beweging ervan in de toeleveringsketen - genereren elke minuut miljoenen datasets over de hele wereld. Bovendien dragen slimme landbouwapparaten zoals software voor boerderijbeheer, drones, sensoren en andere IoT-apparaten enorm bij aan de beschikbaarheid van realtime gegevens. Uiteindelijk is er nu behoefte aan een mechanisme dat al deze gegevens uit verschillende bronnen gebruikt en informatie levert op een manier die logisch, georganiseerd en direct is. Hier is waar Apache Kafka ^® komt in het spel.

Wat is Apache Kafka ^® ?

Kafka is bedacht door voormalige data-ingenieurs bij LinkedIn als een berichtenwachtrij op basis van een abstractie van commit-logs (of transactielogs) in gedistribueerde datasystemen. Bijna tien jaar geleden, toen het open-source werd gemaakt, was Kafka geëvolueerd naar een geoptimaliseerd berichtensysteem dat in realtime streaminggegevens gebruikt en verwerkt die zijn gegenereerd door meerdere gegevensbronnen.

Kafka is vooral bekend als een fouttolerant, publiceren-abonneren berichtensysteem dat snel, duurzaam en zeer schaalbaar is en in staat is om elke dag biljoenen gebeurtenissen te verwerken. Het is door ten minste 80% van alle Fortune 100-bedrijven in verschillende sectoren toegepast vanwege de snelheid en opmerkelijke prestaties. Denk aan The New York Times, Pinterest, Airbnb, Cisco, Netflix, Spotify, Twitter of een van de vele andere internetgebaseerde diensten die onvoorstelbare hoeveelheden realtime gegevens genereren. Ze gebruiken allemaal Kafka om de gegenereerde gegevens in realtime naar hun respectievelijke systemen te streamen.

De drie primaire functies zijn:

• Publiceer (schrijf) en abonneer je op (lees) streams van records of evenementen
• Effectief deze stromen van gebeurtenissen opslaan in dezelfde volgorde waarin ze zijn gegenereerd
• Verwerk de evenementstreams in realtime

Kafka wordt meestal gebruikt om pijplijnen te bouwen voor realtime streaminggegevens om gegevens op betrouwbare wijze van het ene systeem naar het andere te verwerken en te verplaatsen, of, als alternatief, van de consument naar de toepassing die deze gegevensstromen opneemt. Enkele van Kafka's use-cases zijn het volgen van website-activiteit, het opnieuw afspelen van berichten, realtime analyses, foutherstel, logaggregatie, streamverwerking, het opnemen van gegevens in Spark of Hadoop en het verzamelen en bewaken van statistieken.

Afbeeldingsbron:Axula

Hoe voedt Kafka CropIn?

Apache Kafka® fungeert als buffer tussen dataproducenten en dataconsumenten. Het zorgt ook voor meer veerkracht voor CropIn's cloud-native agtech-platform door te dienen als een betrouwbare microservices-communicatiebus met lage latentie.

In de geüpgradede SmartFarm Plus™ dient het als een berichtenmakelaar die berichten tussen meerdere systemen doorstuurt, een taak die vergelijkbaar is met die van een postbode. Als een voorlichter of een veldwachter bijvoorbeeld een nieuwe gebeurtenis opneemt in de mobiele app, zoals het toevoegen van een nieuwe boer of een perceel, een waarschuwing van het perceel of het verzamelen van de oogst, ontvangt Kafka deze gebeurtenis als een bericht en drukt op dit doorsturen naar andere systemen waarmee het is geïntegreerd.

Als een onderneming ervoor kiest om het CropIn-platform te integreren met een interne IT-infrastructuur, ERP of andere software van derden met behulp van API-gateways, zal Kafka fungeren als het kanaal dat communiceert tussen de twee applicaties, waardoor realtime integratie met de systemen mogelijk wordt. Verder kunnen pushmeldingen worden ingeschakeld voor gebeurtenissen of activiteiten die zijn opgenomen in de SmartFarm Plus™-app, afhankelijk van de voorkeur van de gebruiker - een functie die voorheen niet was opgenomen in SmartFarm ^® . Bovendien kan de rol van Kafka als berichtenmakelaar verder worden uitgebreid om landbouwmachines en -machines te integreren. Hierdoor kunnen gebruikers een gebeurtenis of taak plannen die de machine moet uitvoeren, op basis van vooraf geconfigureerde voorwaarden of parameters.

CropIn is een wereldwijd agtech-platform dat vooroploopt in innovatie in digitale landbouw. Als een ecosysteem dat voortdurend evolueert en de grenzen van agtech verlegt, biedt het zijn eindgebruikers grotere kansen om elke dag meer te bereiken. De verbeterde versie van SmartFarm stelt gebruikers in staat met wat we 'ThePlusFactor' noemen, waardoor ze op de hoogte blijven van alle actie op grondniveau.

Er zijn nu veel mogelijkheden met de nieuwe SmartFarmPlus van CropIn. Bel ons vandaag nog om meer te ontdekken.