Physische KI wird Branchen in der physischen Welt umgestalten, aber der Robotik fehlt noch die einheitliche Datenebene, die nötig ist, um mit der Geschwindigkeit zu iterieren, die moderne KI erfordert. Die Kernherausforderung besteht darin, dass Roboterlernen mit physischen Daten arbeitet: multimodale, multi-rate Datenströme, die an Zeit, Raum und Verkörperung gebunden sind. Die bestehende Infrastruktur wurde weitgehend für Webdaten entwickelt und hat mit diesen Eigenschaften zu kämpfen.
Bei @rerundotio bauen wir eine einheitliche Datenebene für physische Daten, um Teams dabei zu helfen, Intelligenz für die reale Welt zu trainieren und auszuliefern.
Reruns größtes Release aller Zeiten
Rerun war bisher vor allem für die Visualisierung multimodaler Zeitreihendaten bekannt. Im letzten eineinhalb Jahre haben wir leise die anderen Teile einer einheitlichen Datenebene aufgebaut, um den gesamten Weg von der Erfassung bis zum Training zu unterstützen. Mit dem Rerun SDK 0.32 Release kommen diese Fähigkeiten jetzt als Open Source!
Dies ist das größte Release seit der ursprünglichen Veröffentlichung von Rerun als Open Source vor drei Jahren und stellt eine enorme Erweiterung der Arten von Arbeiten dar, die Sie mit Rerun durchführen können.
Wir stabilisieren das Dateiformat und fügen eine neue Reihe von Low-Level-Lese- und Schreib-APIs für die Dateien hinzu. Wir fügen eine neue API zur Manipulation von Rerun-Datenblöcken hinzu, die für das Aufbereiten und Normalisieren echter Robotikdaten entwickelt wurde. Wir erweitern unsere MCAP- und ROS 2-Nachrichtenunterstützung, um die Benutzerfreundlichkeit direkt nach der Installation zu verbessern. Wir fügen eine neue Benutzeroberfläche zur Datenüberprüfung hinzu, um die Überprüfung von Trainingsdatensätzen erheblich zu beschleunigen. Der Open-Source-Katalogserver indiziert jetzt .rrd-Dateien auf der Festplatte, sodass Sie oder Ihr Agent generische Abfragen über Verzeichnisse von Robotikaufzeichnungen stellen können. Auf derselben Grundlage veröffentlichen wir auch einen PyTorch-Dataloader, mit dem Sie Robotermodelle direkt auf .rrd-Dateien trainieren können, ohne sie in ein trainingsspezifisches Format exportieren zu müssen.
Dem Robotik-Ökosystem hat es an einem einheitlichen Framework gefehlt, das flexibel genug ist, um den gesamten Lebenszyklus von Robotik-Lerndaten zu unterstützen. Mit 0.32 entsteht nun diese Grundlage.
Zusätzlich zu diesem großen Open-Source-Release kündigen wir auch Rerun Hub an, unseren kommerziellen Datenkatalog und Speicher-Engine. Rerun Hub befindet sich jetzt in der privaten Vorschau und erweitert das Rerun SDK um Datensätze, die auf Objektspeicher basieren. Es bietet einen gemeinsamen Katalog und eine Zugriffsebene für das Transformieren, Abfragen, Visualisieren und Streamen von Robotikdaten in viel größerem Maßstab, während dasselbe Datenmodell und dieselben APIs beibehalten werden.
Nutzen Sie Rerun Hub, wenn Sie Daten über das hinaus skalieren möchten, was auf Ihren lokalen Rechner passt – und dabei schnell vorankommen wollen! Wenn Sie ein Team sind, das ein Produkt rund um Roboterlernen entwickelt und über Ihre Datenebene nachdenkt, melden Sie sich.
Der Rest dieses Beitrags besteht aus zwei Teilen. Zunächst eine Einführung in die Datenarchitektur, die Physical AI unserer Meinung nach benötigt, um zu skalieren. Zweitens eine Tour durch die neuen Funktionen im Rerun SDK 0.32, die diese Architektur in die Praxis umsetzen.
Roboterlernen braucht eine Datenebene, die speziell für physische Daten entwickelt wurde
Wie in \The Data Layer Tax for Robot Learning\ beschrieben, entsteht ein Großteil der Reibung, die den Fortschritt der physischen KI verlangsamt, dadurch, dass physische Daten durch eine Infrastruktur gezwungen werden, die für traditionelle Software- und Analyse-Workloads entwickelt wurde. Was benötigt wird, ist eine Datenebene, die für Multi-Rate-, multimodale Daten entwickelt wurde und alles unterstützt, was Sie benötigen, um an Roboterintelligenz zu iterieren – von der Erfassung über das Training bis zum Einsatz.
Coding-Agenten bedeuten, dass Benutzer die volle Kontrolle über die Compute- und Anwendungsschicht benötigen
Um den gesamten Workflow von Erfassung, Normalisierung, Nachbearbeitung, Kuratierung und Training zu bedienen, benötigen Teams eine Vielzahl unterschiedlicher Tools und Compute-Jobs. Diese Tools und Jobs können z. B. die spezifischen Arbeitsweisen eines Teams oder die Techniken kodieren, die sie verwenden, um Datenqualität in großem Maßstab zu gewährleisten, was sie zu einem wichtigen Differenzierungsmerkmal macht, das Teams selbst in der Hand haben müssen.
Coding-Agenten machen es für Teams zunehmend machbar, diese Tools und Compute-Jobs genau so zu gestalten, wie sie es möchten, solange sie Code-Level-Kontrolle haben. Aus diesem Grund werden nur sehr wenige Teams akzeptieren, diese Kontrolle nicht zu haben. Deshalb ist das Rerun SDK vollständig Open Source und als Framework konzipiert, mit dem Sie bauen können, und nicht als abgeschottete SaaS-Plattform. Selbst der Viewer ist als Bibliothek konzipiert, sodass Sie nie feststecken. Rerun war schon immer Code-first, und wir haben noch mehr darauf gesetzt, es für Agenten noch einfacher zu machen. Dazu gehört auch die bevorstehende Arbeit an vollständig headless Rendering und Viewer-Navigation, damit Agenten physische Daten genauso sehen können wie Menschen.
Die meisten Teams bauen bereits benutzerdefinierte Einzelanwendungen und Verarbeitungsskripte, die auf ihre eigenen Workflows zugeschnitten sind. Ohne auf einer soliden Grundlage aufzubauen, entstehen vertikale Stücke, die schwer zu durchschauen sind und sich nicht gut kombinieren lassen, was die Produktivitätsgewinne begrenzt.
Die Datenebene muss die schwierigen Aspekte der Arbeit mit großen physischen Datenmengen bewältigen
Die Kernfähigkeiten, die benötigt werden, um den gesamten Datenweg von der Erfassung bis zum Modell zu bedienen, sind Visualisierung, analytische Abfragen, Transformation und Training. Alle diese Fähigkeiten müssen mit Multi-Rate-, multimodalen Daten umgehen, die Robotik-Semantiken wie 3D-Beziehungen oder Formen tragen können. Um Fehler und inkonsistente Daten zu vermeiden, sollten Sie die Feinheiten dieser Art von Daten konsistent behandeln, wo immer sie verwendet werden. Beispielsweise sollten Zeitausrichtung und 3D-Transformationen in der Vorverarbeitung, Abfrage, Visualisierung und Datenüberprüfung konsistent funktionieren.
Um sowohl die Daten-Experiment-Schleife als auch die Tools, die sie antreiben, einfach iterieren zu können, sollten Sie auf einer einzigen einheitlichen Datenebene aufbauen, die Übergaben trivial und die darauf aufbauenden Anwendungen einfach macht. Das bedeutet, dass die Datenebene flexibel genug sein muss, um die Anforderungen aller Kernanwendungen und Compute-Fähigkeiten zu erfüllen. Beispielsweise erfordern sowohl Visualisierung als auch Compute schnellen wahlfreien Zugriff auf multimodale Zeitreihen, während analytische Abfragen effiziente Spaltenscans erfordern, und sowohl groß angelegte Nachbearbeitungs-Compute (CPU) als auch Training (GPU) benötigen paralleles Daten-Streaming mit hoher Bandbreite.
Physische Daten verhalten sich grundlegend anders als Web- und Geschäftsdaten, was bedeutet, dass sie von anderen Speicher- und Abfrageabstraktionen profitieren.
Die grundlegende Speichereinheit für physische Daten ist ein Spalten-Chunk
Physische Daten haben zwei unterscheidende Merkmale:
Erstens sind sie Multi-Rate: Verschiedene Sensoren zeichnen Daten mit stark unterschiedlichen Frequenzen auf. Das GPS könnte mit 1-10 Hz arbeiten, die Kameras mit 10-30 Hz, Gelenkwinkel mit 100-200 Hz und die IMU mit 1 kHz. In der Nachbearbeitung könnten Sie semantische Einbettungen für jedes 10. Kamerabild oder Szenenbeschreibungen zu Beginn und am Ende jeder Episode berechnen.
Zweitens sind sie multimodal: Verschiedene Sensoren zeichnen Daten mit stark unterschiedlichen Größen auf. Die IMU und das GPS benötigen nur eine Handvoll Bytes, um ein paar Zahlen zu kodieren, während eine RGB-Kamera viele MB für jedes Einzelbild verwenden kann.
Wenn Sie eine Robotikaufzeichnung in einer Tabelle speichern würden, in der eine Zeile einen Zeitstempel und eine Spalte einen Datenstrom darstellt, würde der Multi-Rate-Aspekt diese Tabelle im Allgemeinen sehr dünn besiedelt machen; für jede gegebene Zeile sind die meisten Spalten wahrscheinlich leer. Der multimodale Aspekt der Daten führt zu einem großen Speicherungleichgewicht, da eine einzelne Zeile Zellen enthalten kann, die sich in der Größe um Größenordnungen unterscheiden. Die bestehende tabellarische Dateninfrastruktur kommt mit dieser Kombination sehr schlecht zurecht.
Multi-Rate- und multimodale Daten sollten in Chunks gespeichert werden, die jeweils Teilmengen der Zeilen und Spalten eines Datensatzes enthalten. Die Möglichkeit, beispielsweise eine Million IMU-Abtastwerte in einem Chunk und nur wenige Videopakete in einem anderen Chunk zu platzieren, ermöglicht es, sowohl die Dünnbesiedeltheit als auch das Speicherungleichgewicht zu lösen.
Innerhalb des Chunks optimiert die spaltenorientierte Speicherung für bessere Komprimierung und Spaltenscan-Abfragen, während die zeilenorientierte Speicherung für einfache Schreibvorgänge optimiert.
Bei Rerun glauben wir, dass Spalten-Chunks den besten Kompromiss für Robotik-Lerndatensysteme darstellen, und wir haben unsere Architektur um sie als grundlegende Speicherabstraktion standardisiert.
Reruns .rrd-Dateiformat basiert auf Spalten-Chunks
Reruns natives Dateiformat, .rrd, ist die On-Disk-Repräsentation der Spalten-Chunk-Abstraktion. Intern wird jeder Spalten-Chunk als Apache-Arrow-Record-Batch zusammen mit semantischen Metadaten kodiert, die beschreiben, wie die Daten interpretiert werden sollen. Apache Arrow ist der Industriestandard für Data Science, und die Verwendung von Arrow bedeutet, dass wir einen schnellen Zero-Copy-Pfad zu DataFusion, Pandas und Polars haben.
Die Metadaten in jedem Chunk enthalten semantische Informationen darüber, wie die Daten zu interpretieren sind („Dies ist ein IMU-Sensor, dies ist ein GPS, …“), sodass sie durch Verarbeitungspipelines getragen und dennoch automatisch interpretiert und visualisiert werden können.
Die kodierten Spalten-Chunks werden in Protobuf-Nachrichten verpackt und zu einer .rrd-Datei zusammengefügt. Ein Footer am Ende der Datei verweist auf einen Index, der schnellen wahlfreien Zugriff auf einzelne Chunks ermöglicht, ohne die gesamte Datei scannen zu müssen.
Vergleiche mit anderen Formaten
Apache Parquet ist ein spaltenorientiertes On-Disk-Format, das häufig zusammen mit Arrow verwendet wird. Es organisiert seine Daten in Zeilengruppen, aber im Gegensatz zu Chunks in .rrd können diese Gruppen sich nicht überlappen: Jede Zeilengruppe enthält alle Spalten über einen dichten Zeilenbereich. Dies macht es für Multi-Rate-, multimodale Robotikdaten ungeeignet. Sie können neue Zeilen anhängen, aber keine neuen Spalten (keine Schemaentwicklung).
MCAP ist ein Format zum Aufzeichnen von Robotik-Logs auf Ihrem Roboter. Es ist darauf ausgelegt, schnell und flexibel zu schreiben, mit starker ROS-Kompatibilität. Es ist jedoch im Wesentlichen ein Containerformat für undurchsichtige Nachrichten (kodiert mit JSON, Protobuf, CBOR usw.) und nicht für spaltenorientierte analytische Abfragen optimiert. Große Scans und Joins sind ebenfalls langsam, da Sie jede Nachricht dekodieren müssen.
Lance ist ein neues Format, das explizit für multimodale Daten und wahlfreien Zugriff entwickelt wurde (was für das Training extrem wichtig ist). Im Gegensatz zu Parquet unterstützt es Schemaentwicklung. Ein Lance-Datensatz ist jedoch immer noch ein vertikaler Stapel von zeilenausgerichteten Fragmenten, sodass Multi-Rate-Ströme mit Nullen aufgebläht werden.
NCore ist ein neues Format von Nvidia, das für die neuronale Rekonstruktion entwickelt wurde. Multi-Rate wird nativ durch komponentenspezifische Zeitstempel unterstützt, und räumliche Ausrichtung durch einen Pose-Graphen. Das Schema ist jedoch geschlossen (kanonische Sensorkomponenten, keine beliebigen benutzerdefinierten Daten), es basiert auf Zarr und nicht auf Arrow, und es ist nicht dafür ausgelegt, eine generische SQL/Dataframe-Abfrage-Engine zu bedienen.
Jede Funktion, die Ihr Team benötigt und die ein Dateiformat nicht bietet, bedeutet eine weitere Pipeline, die synchronisiert werden muss, und zusätzliche Tools, die Ihr Team erlernen muss, um erfolgreich zu sein. Reruns Format ist die einzige Option, die alle Anwendungsfälle bedienen kann, die erforderlich sind, um Robotikaufzeichnungen in Intelligenz umzuwandeln. Es ermöglicht Ihnen, Daten mit ursprünglichen Zeitstempeln zu behalten, während Sie dennoch aus derselben Datenquelle abfragen und anzeigen und zum Training streamen können. Es hat genug Struktur, um einheitliche Datensysteme darauf aufzubauen, ist aber flexibel genug, um für verschiedene Lese- und Schreibmuster zu optimieren.
Eine Index-, Schema- und Metadatenschicht auf Spalten-Chunks vereinfacht die Nutzung physischer Daten in großem Maßstab
Das Scannen aller Chunks in einem Datensatz, um ein einzelnes Signal zu analysieren, skaliert selbst für kleine Datensätze schlecht. Um sie effektiv nutzen zu können, benötigen Sie daher eine Metadaten- und Indexierungsschicht, die dabei hilft, die richtigen Chunks für jede Abfrage zu finden. Dies ähnelt stark dem klassischen Data-Lakehouse-Muster. In unserem Fall besteht ein einzelner Datensatz oder eine einzelne Aufzeichnung aus heterogenen Chunks, die nicht dasselbe Schema teilen. Klassische Datenverarbeitungswerkzeuge sind für den Umgang mit Tabellen mit einem einheitlichen Schema ausgelegt. Eine Lakehouse-artige Indexierungs- und Metadatenschicht für physische Daten muss daher auch diese einzelnen Schemata verfolgen, sodass sie bei Bedarf zusammengeführte Schemata eines beliebigen Streams materialisieren kann, damit klassische Datenwerkzeuge damit arbeiten können. Wenn Sie beispielsweise Ihre IMU auf eine aufrüsten, die Magnetfelddaten in ihren Nachrichten veröffentlicht, ist diese Ergänzung mit Ihrer älteren IMU kompatibel, die dieses Feld nicht enthielt – es ist nicht nötig, historische Daten aus Kompatibilitätsgründen neu zu schreiben.
Spalten-Chunks gepaart mit effizienter Indexierung ermöglichen es Ihnen, genau die Daten abzurufen, die Sie benötigen, ohne einen Preis für nicht zusammenhängende Ströme zu zahlen, die daneben gespeichert sind. Sie müssen nicht zwischen der Beschleunigung häufiger Operationen und der Fähigkeit, langwierige Fehler zu verfolgen, wählen, nur weil Sie häufige Daten in ein separates Warehouse exportiert haben.
Neben Leistungsvorteilen ermöglicht diese Schicht, Dateien zu abstrahieren und eine einheitliche API für alle Benutzer physischer Daten in den darüber liegenden Schichten bereitzustellen. Oft werden Robotikdaten in einer Datei und Kalibrierungsdaten in einer anderen gespeichert. Die Abstraktion dieser Implementierungsdetails ist ein wichtiger Teil der Reduzierung von Datenreibung und der Vereinfachung der Compute- und Anwendungsschicht.
Groß angelegte Verarbeitung und Training erfordern selektives Streaming direkt aus dem Objektspeicher
Robotik-Lerndatensätze können bereits sehr groß werden und werden noch viel größer, da Teams Skalierungsgesetzen folgen, um immer leistungsfähigere Modelle zu erreichen. Um diese Datenmenge zu verarbeiten, müssen Sie oft auf eine große Anzahl von CPUs für die Nachbearbeitung oder GPUs für das Training ausweichen. In diesen Fällen ist es wichtig, dass der Datendurchsatz mit den Anforderungen dieser Compute-Ressourcen skaliert werden kann.
Um sowohl die Leistung zu maximieren als auch die Kosten für den Datenabfluss zu minimieren, möchten Sie die Compute-Ressourcen nahe an den Daten ausführen. Gleichzeitig ist GPU-Compute oft schwer zu bekommen, sodass viele Teams im Laufe der Zeit an verschiedenen Standorten mieten. All diese Faktoren bedeuten, dass Sie in der Lage sein möchten, Speicher von den Diensten zu trennen, die Indexierung und Metadaten verwalten.
Bei Rerun beginnen Abfragen vom Rerun SDK, das dann Rerun Hub abfragt, das dafür verantwortlich ist, zu wissen, welche Chunks zur Beantwortung der Abfrage benötigt werden. Je nach Einstellung fordert das SDK entweder Chunks über einen zwischengespeicherten Proxy im Rerun Hub an oder Byte-Bereiche auf dem Objektspeicher. Dies ermöglicht eine vereinfachte Zugriffs-API, selektives Chunk-Streaming und die maximale Streaming-Bandbreite des zugrunde liegenden Objektspeichers.
Rerun SDK 0.32 ist ein einheitliches Daten-Toolkit für Roboterlernen
Rerun 0.32 ist das größte Release seit der ursprünglichen Veröffentlichung als Open Source im Februar 2023. Es erweitert die praktischen Anwendungsfälle des SDK vom Protokollieren, Visualisieren und einfacheren Abfragen auf den gesamten Datenweg von der Erfassung bis zum Training. Im Folgenden finden Sie eine Tour durch die neuen Funktionen, die diese Erweiterung hervorheben. Weitere Details finden Sie in den Release-Notes.
Ein stabiles Dateiformat mit Chunk-Level-Python-APIs
In Rerun 0.23 haben wir die versionsübergreifende Abwärtskompatibilität für Reruns .rrd-Dateiformat angekündigt. In der Praxis haben wir seitdem keine Kompatibilität zwischen Versionen gebrochen und fühlen uns jetzt sicher, eine allgemeine Abwärtskompatibilität für das Dateiformat zuzusagen. Wir werden das Format weiterentwickeln, um Fähigkeiten und Leistung zu verbessern, aber alte Daten werden immer geladen.
Vor 0.32 konnten Sie .rrd-Dateien nur mit einem Importer aus einem anderen Format oder den höheren \log\- oder \send_columns\-APIs schreiben, und die einzige Möglichkeit, Daten zu lesen, waren Dataframe- oder SQL-Abfragen. Mit diesem Release führen wir jetzt Chunk-Level-Lese- und Schreib-APIs ein, die Ihnen eine präzise Kontrolle über die genaue Form Ihrer Daten geben.
Zusammengenommen bedeuten diese beiden Änderungen, dass .rrd reif genug ist, um von einer breiten Palette von Teams als Grundlage für ihre Datenebenen verwendet zu werden.
Chunk-Verarbeitungs-APIs für robotik-native Datenaufbereitung
Robotikdaten sind oft unordentlich. Die Normalisierung von Daten aus mehreren Quellen in etwas, das Teams analysieren und trainieren können, wird schnell komplex. Dieser Teil der Datenpipeline besteht oft aus zusammengestückelten Python-Skripten, die langsam und voller subtiler Fehler sind.
Um diese Probleme zu lösen, führen wir eine neue Reihe von (experimentellen) Chunk-Verarbeitungs-APIs ein. Sie bieten eine einheitliche Laderschnittstelle für Formate wie .rrd, MCAP, Parquet und URDF, die Ströme von Apache-Arrow-Chunks erzeugen. Sie können dann einfach Verarbeitungspipelines auf diesen Strömen definieren.
Robotikdaten liegen oft in Form tief verschachtelter Strukturen vor, und Datenormalisierung und -aufbereitung bedeutet oft, deren Inhalt umzuformen, zu casten und zu transformieren. Um diesen Bedarf zu decken, veröffentlichen wir auch Lenses, eine deklarative Sprache zur Auswahl und Transformation dieser Art von Daten, inspiriert von jq.
Diese APIs wurden explizit für Coding-Agenten entwickelt und getestet, und wir stellen fest, dass sie mit den Rerun-Chunk-Verarbeitungs-APIs viel einfacher korrekten und effizienten Code produzieren als mit generischem Python. In Zukunft werden diese Chunk-Verarbeitungstransformationen zusätzlich zum aktuellen SDK-seitigen Executor auch im Viewer und in der Cloud über Rerun Hub ausgeführt werden können.
Erweiterte integrierte Unterstützung für MCAP, ROS 2-Typen und Robotikvisualisierungen
Wir halten es für entscheidend, dass es einfach ist, alle Robotikdaten in Rerun zu erfassen und nutzbar zu machen. Gleichzeitig gibt es viele Daten, die ohne Anpassung perfekt verarbeitet werden können, und wir verbessern diese Erfahrung bei jedem Release weiter. 0.32 bringt verbesserte Leistung und mehr integrierte Unterstützung für MCAP und gängige ROS 2-Typen sowie eine Erweiterung der verfügbaren Visualisierungen. Die aktualisierte Liste der Nachrichten mit integrierter Unterstützung finden Sie hier.
Belegungsgitter (Occupancy Grids) oder 2D-Karten in 3D sind wichtig für mobile Roboter und waren eine stark nachgefragte Funktion in Rerun. 0.32 fügt daher den neuen GridMap-Archetyp und -Visualisierer hinzu, gepaart mit integrierter Unterstützung für die entsprechenden ROS 2-Nachrichten.
Eine weitere häufige Anfrage war die Möglichkeit, Zustandsänderungen im Laufe der Zeit zu visualisieren. 0.32 bringt eine neue experimentelle State Timeline View. Wenn Sie auf diese Ansicht in Rerun gewartet haben, freuen wir uns über Ihr Feedback, was Sie sich von der Ansicht noch wünschen.
Katalogserver mit indizierten SQL- oder Dataframe-Abfragen über den Inhalt vieler Aufzeichnungen auf der Festplatte
Die Katalog-APIs im Rerun SDK ermöglichen es Ihnen, vollständig generische SQL- oder Dataframe-Abfragen auf Robotikdatensätzen zu schreiben. In Verbindung mit Rerun Hub hat dies seit einiger Zeit groß angelegte Datensätze unterstützt, während der Open-Source-Server nur Datensätze unterstützt hat, die vollständig in den Arbeitsspeicher passen. Mit 0.32 erweitern wir den Open-Source-Katalogserver, um Byte-Bereiche von Dateien auf der lokalen Festplatte zu indizieren, sodass Sie jetzt mit nur dem Open-Source-SDK problemlos jedes lokale Verzeichnis von Robotikaufzeichnungen in .rrd-Dateien analysieren können.
Eine neue Benutzeroberfläche für die schnelle Überprüfung von Datensätzen für Training und Evaluation
In 0.32 liefern wir die erste Version unseres (experimentellen) Dataset-Review-Tools aus. Es ermöglicht Ihnen, schnell viele Aufzeichnungen auf einmal zu überfliegen, um Anomalien zu jagen und ein Gefühl für Ihre Daten zu entwickeln. Es ermöglicht Ihnen auch, Aufzeichnungen zu markieren, was es als einfaches Annotationstool nützlich macht. Die Ansicht wird mit einer normalen Rerun-Blueprint konfiguriert.
Viele Robotik-Lernteams haben nach dieser Funktionalität gefragt, und wir freuen uns über Ihr Feedback, wie wir dies zum effizientesten Dataset-Review-Tool machen können.
Ein Dataloader für Roboterlernen, der einfaches Dataset-Mixing und wahlfreie Zugriffe in .rrd-Dateien unterstützt
Wir haben mit der Arbeit an einer unserer am häufigsten nachgefragten Funktionen begonnen: einem PyTorch-Dataloader für Rerun! Das neue Modul rerun.experimental.dataloader stellt Rerun-Aufzeichnungen als iterierbare oder Map-Stil-PyTorch-Datasets bereit und streamt kodierte Bilder, Skalare und komprimierte Videos (h264/h265/av1) im laufenden Betrieb. Wahlfreier Zugriff, Multi-Worker-Prefetching und DDP-Unterstützung funktionieren sofort. Es ist sowohl mit dem OSS-Katalogserver als auch mit unserem kommerziellen Produkt Rerun Hub kompatibel, wenn Sie direkt auf großen, durch Objektspeicher gestützten Datensätzen trainieren möchten.
Wir sind unglaublich aufgeregt, diesen Trainings-Dataloader für die Community zu veröffentlichen, damit sie damit experimentieren kann. Wir beabsichtigen, dies zum besten Streaming-Dataloader für Roboterlernen zu machen, den man sich vorstellen kann, und freuen uns über Ihr Feedback und Ihre Wünsche.
In der Lage zu sein, direkt von derselben Datenebene zu trainieren, die Sie für Visualisierung, Analyse und Transformation verwenden, ist entscheidend für Teams, um ihre Datenebenen wirklich zu vereinheitlichen – so können sie Systeme wirklich vereinfachen und Experimentierzyklen beschleunigen.
Rerun Hub befindet sich in der privaten Vorschau und ist für Skalierung ausgelegt
Im letzten eineinhalb Jahre haben wir leise die Datenebene aufgebaut, die benötigt wird, um Roboterlernen zusammen mit einer frühen Gruppe großartiger Startups und Labore zu wertvollen realen Anwendungen zu beschleunigen. Wir verwalten derzeit Petabytes an Roboter-Trainingsdaten und sind an einem Punkt angelangt, an dem wir bereit sind, weitere Teams in unser kommerzielles Produkt Rerun Hub aufzunehmen, das jetzt in die private Vorschau eintritt.
Rerun Hub ist ein Katalog und eine Speicher-Engine, die mit dem Open-Source-Rerun-SDK verbunden ist, um die Arbeit mit Roboter-Lerndaten von der Erfassung über das Training bis zum Einsatz zu erleichtern. Es fungiert als einheitliche Verwaltungs- und Zugriffsschicht, die alle Kerndatenfähigkeiten von der Erfassung, Visualisierung, analytischen Abfragen, Transformation und Training unterstützt. Daten können in jedem S3-kompatiblen Objektspeicher gespeichert werden, und Rerun Hub vermittelt effizient direktes selektives Streaming vom Objektspeicher zum Rerun SDK in Ihren Trainings- oder massiv parallelen Nachbearbeitungs-Jobs. Der zentralisierte Hub vereinfacht auch die Zusammenarbeit und automatisierte Überprüfung, indem er es einfach macht, gemeinsam nutzbare Datenlinks entweder über Code oder interaktiv im Viewer zu erstellen.
Wenn Sie intelligente Roboter bauen und daran interessiert sind, Ihre Datenebene zu verbessern, um schneller iterieren zu können, melden Sie sich. Für Teams, die bereits eine gewisse Größe mit komplexen bestehenden Systemen erreicht haben, ist Rerun leicht stückweise zu übernehmen, und wir können auch Forward Deployed Engineers bereitstellen, die Ihnen helfen, ein Upgrade durchzuführen, ohne Kernmitarbeiter von anderen Prioritäten abzuziehen.
