물리적 AI는 물리적 세계 전반의 산업을 재편할 것이지만, 로보틱스는 여전히 현대 AI가 요구하는 속도로 반복 학습을 진행하는 데 필요한 통합 데이터 레이어가 부족합니다. 핵심 과제는 로봇 학습이 물리적 데이터, 즉 시간, 공간, 구현체와 연결된 다중 모드, 다중 속도 스트림을 기반으로 작동한다는 점입니다. 기존 인프라는 대부분 웹 데이터를 중심으로 구축되어 이러한 특성을 처리하는 데 어려움을 겪고 있습니다.
@rerundotio 에서는 팀이 실제 세계를 위한 지능을 훈련하고 출시할 수 있도록 물리적 데이터를 위한 통합 데이터 레이어를 구축하고 있습니다.
Rerun 의 가장 큰 릴리스
Rerun 은 다중 모드 시계열 데이터를 시각화하는 것으로 가장 잘 알려져 있습니다. 지난 1년 반 동안, 우리는 데이터 수집부터 훈련까지의 전체 과정을 지원하는 통합 데이터 레이어의 다른 부분들을 조용히 구축해 왔습니다. 0.32 Rerun SDK 릴리스와 함께 이러한 기능이 오픈 소스로 제공됩니다!
이번 릴리스는 3년 전 Rerun 이 처음 오픈 소스로 공개된 이후 가장 큰 규모이며, Rerun 으로 수행할 수 있는 작업의 범위를 크게 확장합니다.
파일 형식을 안정화하고 파일을 위한 새로운 하위 수준 읽기 및 쓰기 API 세트를 추가하고 있습니다. 실제 로보틱스 데이터를 처리하고 정규화하도록 설계된 Rerun 데이터 청크를 조작하기 위한 새로운 API를 추가하고 있습니다. MCAP 및 ROS 2 메시지 지원을 확장하여 즉시 사용 가능한 경험을 개선하고 있습니다. 훈련 데이터 세트 검토를 훨씬 빠르게 만들기 위한 새로운 데이터 세트 검토 UI를 추가하고 있습니다. 오픈 소스 카탈로그 서버는 이제 디스크의 .rrd 파일을 인덱싱하여 사용자 또는 에이전트가 로보틱스 녹음 디렉토리에 대해 일반 쿼리를 작성할 수 있도록 합니다. 동일한 기반 위에 구축된 PyTorch 데이터 로더도 출시하여 훈련별 형식으로 내보낼 필요 없이 .rrd 파일에서 직접 로봇 모델을 훈련할 수 있습니다.
로보틱스 생태계에는 로봇 학습 데이터의 전체 수명 주기를 지원할 수 있을 만큼 유연한 통합 프레임워크가 부족했습니다. 0.32를 통해 그 기반이 마련되고 있습니다.
이 대규모 오픈 소스 릴리스 외에도 상용 데이터 카탈로그 및 스토리지 엔진인 Rerun Hub 도 발표합니다. Rerun Hub 는 현재 비공개 미리보기 단계에 있으며 Rerun SDK를 객체 스토리지로 백업된 데이터 세트로 확장합니다. 동일한 데이터 모델과 API를 유지하면서 훨씬 더 큰 규모로 로봇 데이터를 변환, 쿼리, 시각화 및 스트리밍하기 위한 공유 카탈로그 및 액세스 레이어를 제공합니다.
로컬 머신에 맞지 않는 규모로 데이터를 확장해야 하는 경우 Rerun Hub 를 사용하세요. 빠르게 움직이면서 말이죠! 로봇 학습을 중심으로 제품을 구축하고 데이터 레이어에 대해 고민하고 있는 팀이라면 연락해 주세요.
이 게시물의 나머지 부분은 두 부분으로 구성됩니다. 첫째, 물리적 AI가 확장을 위해 필요하다고 믿는 데이터 아키텍처에 대한 입문서입니다. 둘째, 해당 아키텍처를 실제로 구현하는 Rerun SDK 0.32의 새로운 기능에 대한 둘러보기입니다.
로봇 학습에는 물리적 데이터에 특화된 데이터 레이어가 필요합니다
로봇 학습을 위한 데이터 레이어 세금에서 설명했듯이, 물리적 AI의 발전을 늦추는 많은 마찰은 기존 소프트웨어 및 분석 워크로드용으로 설계된 인프라를 통해 물리적 데이터를 강제로 처리하려는 데서 비롯됩니다. 필요한 것은 다중 속도, 다중 모드 데이터를 위해 구축된 데이터 레이어로, 수집부터 훈련 및 배포까지 로봇 지능을 반복하는 데 필요한 모든 것을 지원하는 것입니다.
코딩 에이전트는 사용자가 컴퓨팅 및 애플리케이션 레이어를 완전히 제어해야 함을 의미합니다
수집, 정규화, 후처리, 큐레이션 및 훈련의 전체 워크플로우를 제공하기 위해 팀은 다양한 도구와 컴퓨팅 작업이 필요합니다. 이러한 도구와 작업은 예를 들어 팀이 운영하는 특정 방식이나 대규모 데이터 품질을 유지하기 위해 사용하는 기술을 인코딩할 수 있으며, 이는 팀이 소유해야 하는 주요 차별화 영역이 됩니다.
코딩 에이전트는 팀이 코드 수준의 제어권을 가지고 있는 한 원하는 방식으로 이러한 도구와 컴퓨팅 작업을 설계하는 것을 점점 더 가능하게 만들고 있습니다. 이 때문에 이러한 제어권을 갖지 않는 것을 수용하는 팀은 거의 없을 것입니다. 이것이 Rerun SDK가 완전히 오픈 소스이며 폐쇄형 SaaS 플랫폼이 아닌 함께 구축할 수 있는 프레임워크로 설계된 이유입니다. 뷰어조차도 라이브러리로 설계되어 막히는 일이 없도록 합니다. Rerun 은 항상 코드 우선이었으며 에이전트가 사용하기 더 쉽게 만들기 위해 노력을 배가하고 있습니다. 여기에는 인간처럼 물리적 데이터를 볼 수 있도록 에이전트를 돕기 위한 완전한 헤드리스 렌더링 및 뷰어 탐색에 대한 향후 작업도 포함됩니다.
대부분의 팀은 이미 자체 워크플로우에 맞춰진 맞춤형 일회성 애플리케이션과 처리 스크립트를 구축하고 있습니다. 견고한 기반 위에 구축하지 않으면 추론하기 어렵고 잘 구성되지 않는 수직적 조각이 생겨 생산성 향상에 한계가 있습니다.
데이터 레이어는 대규모 물리적 데이터 사용의 어려운 부분을 처리해야 합니다
수집부터 모델까지 전체 데이터 여정을 제공하는 데 필요한 핵심 기능은 시각화, 분석 쿼리, 변환 및 훈련입니다. 이러한 모든 기능은 3D 관계나 형태와 같은 로보틱스 의미론을 전달할 수 있는 다중 속도, 다중 모드 데이터를 처리해야 합니다. 버그와 일관성 없는 데이터를 피하려면 이러한 종류의 데이터의 미묘한 차이를 사용되는 모든 곳에서 일관되게 처리해야 합니다. 예를 들어, 시간 정렬 및 3D 변환은 전처리, 쿼리, 시각화 및 데이터 세트 검토 전반에 걸쳐 일관되게 작동해야 합니다.
데이터 실험 루프와 이를 구동하는 도구 모두를 쉽게 반복하려면 핸드오프를 간단하게 만들고 그 위의 애플리케이션을 단순하게 만드는 단일 통합 데이터 레이어 위에 구축해야 합니다. 즉, 데이터 레이어는 모든 핵심 애플리케이션 및 컴퓨팅 기능의 요구 사항을 처리할 수 있을 만큼 유연해야 합니다. 예를 들어, 시각화와 컴퓨팅 모두 다중 모드 시계열의 빠른 임의 액세스가 필요한 반면, 분석 쿼리는 효율적인 열 스캔이 필요하며, 대규모 후처리 컴퓨팅(CPU)과 훈련(GPU) 모두 고대역폭 병렬 데이터 스트리밍이 필요합니다.
물리적 데이터는 웹 및 비즈니스 데이터와 근본적으로 다르게 동작하므로 다른 스토리지 및 쿼리 추상화의 이점을 얻습니다.
물리적 데이터의 핵심 스토리지 단위는 열 청크입니다
물리적 데이터에는 두 가지 차별화되는 특성이 있습니다.
첫 번째는 다중 속도입니다. 서로 다른 센서는 매우 다른 주파수로 데이터를 기록합니다. GPS는 1-10Hz, 카메라는 10-30Hz, 관절 각도는 100-200Hz, IMU는 1kHz일 수 있습니다. 후처리에서는 10번째 카메라 프레임마다 의미론적 임베딩을 계산하거나 각 에피소드의 시작과 끝에서 장면 설명을 계산할 수 있습니다.
두 번째는 다중 모드입니다. 서로 다른 센서는 매우 다른 크기의 데이터를 기록합니다. IMU와 GPS는 몇 바이트만으로 몇 개의 숫자를 인코딩하는 반면, RGB 카메라는 각 이미지 프레임에 수 MB를 사용할 수 있습니다.
하나의 행이 타임스탬프를 나타내고 하나의 열이 데이터 스트림을 나타내는 테이블에 로보틱스 녹음을 저장하는 경우, 다중 속도 측면은 일반적으로 이 테이블을 매우 드물게 만듭니다. 주어진 행에 대해 대부분의 열이 비어 있을 가능성이 높기 때문입니다. 데이터의 다중 모드 측면은 단일 행에 크기가 수십 배 차이 나는 셀이 포함될 수 있으므로 큰 메모리 불균형을 초래합니다. 기존의 테이블 형식 데이터 인프라는 이 조합을 매우 제대로 처리하지 못합니다.
다중 속도 및 다중 모드 데이터는 데이터 세트의 행과 열의 하위 집합을 각각 보유하는 청크에 저장되어야 합니다. 예를 들어, 백만 개의 IMU 샘플을 하나의 청크에 배치하고 몇 개의 비디오 패킷만 다른 청크에 배치하는 기능을 통해 희소성과 메모리 불균형 문제를 모두 해결할 수 있습니다.
청크 내에서 열 지향 스토리지는 더 나은 압축과 열 스캔 쿼리에 최적화되는 반면, 행 지향 스토리지는 간단한 쓰기에 최적화됩니다.
Rerun 에서는 열 청크가 로봇 학습 데이터 시스템에 가장 적합한 절충안을 나타낸다고 믿으며, 이를 핵심 스토리지 추상화로 아키텍처를 표준화했습니다.
Rerun 의 .rrd 파일 형식은 열 청크를 기반으로 구축되었습니다
Rerun 의 기본 파일 형식인 .rrd는 열 청크 추상화의 디스크 상 표현입니다. 내부적으로 각 열 청크는 데이터를 해석하는 방법을 설명하는 의미론적 메타데이터와 함께 Apache Arrow 레코드 배치로 인코딩됩니다. Apache Arrow는 데이터 과학의 업계 표준이며, Arrow를 사용함으로써 DataFusion, Pandas 및 Polars로의 빠른 제로 카피 경로를 확보할 수 있습니다.
각 청크의 메타데이터에는 데이터를 해석하는 방법에 대한 의미론적 정보("이것은 IMU 센서, 이것은 GPS, ...")가 포함되어 있어 처리 파이프라인을 통해 전달되면서도 자동으로 해석되고 시각화될 수 있습니다.
인코딩된 열 청크는 protobuf 메시지로 래핑되고 연결되어 .rrd 파일을 형성합니다. 파일 끝에 있는 푸터는 인덱스를 가리켜 전체 파일을 스캔하지 않고도 개별 청크에 빠르게 임의 액세스할 수 있도록 합니다.
다른 형식과의 비교
Apache Parquet은 열 기반 디스크 형식으로, 일반적으로 Arrow와 함께 사용됩니다. 데이터를 행 그룹으로 구성하지만, .rrd의 청크와 달리 이러한 그룹은 겹칠 수 없습니다. 각 행 그룹은 조밀한 행 범위에 걸쳐 모든 열을 포함합니다. 이는 다중 속도, 다중 모드 로보틱스 데이터에 부적합합니다. 새 행을 추가할 수는 있지만 새 열을 추가할 수는 없습니다(스키마 진화 없음).
MCAP은 로봇에서 로보틱스 로그를 기록하기 위한 형식입니다. 빠르고 유연하게 작성할 수 있도록 설계되었으며 ROS 호환성이 뛰어납니다. 그러나 본질적으로 불투명 메시지(JSON, protobuf, CBOR 등으로 인코딩됨)의 컨테이너 형식이며 열 기반 분석 쿼리에 최적화되지 않았습니다. 각 메시지를 디코딩해야 하므로 대규모 스캔과 조인도 느립니다.
Lance는 다중 모드 데이터와 임의 액세스(훈련에 매우 중요)를 위해 명시적으로 구축된 새로운 형식입니다. Parquet과 달리 스키마 진화를 지원합니다. 그러나 Lance 데이터 세트는 여전히 행 정렬된 조각의 수직 스택이므로 다중 속도 스트림은 null로 부풀어 오릅니다.
NCore는 Nvidia의 새로운 형식으로, 신경 재구성을 위해 구축되었습니다. 다중 속도는 구성 요소별 타임스탬프를 통해 기본적으로 지원되며, 공간 정렬은 포즈 그래프를 통해 지원됩니다. 그러나 스키마가 폐쇄되어 있고(표준 센서 구성 요소, 임의의 사용자 정의 데이터 아님), Zarr 기반이며 Arrow 네이티브가 아니며, 일반 SQL/데이터프레임 쿼리 엔진을 제공하도록 구축되지 않았습니다.
팀에 필요한 모든 기능을 파일 형식이 제공하지 않으면 동기화를 유지해야 하는 또 다른 파이프라인과 팀의 성공을 위해 배워야 할 추가 도구가 생깁니다. Rerun 의 형식은 로봇 녹음을 지능으로 변환하는 데 필요한 모든 사용 사례를 제공할 수 있는 유일한 옵션입니다. 원래 타임스탬프로 데이터를 유지하면서도 동일한 데이터 소스에서 쿼리 및 보기가 가능하고 훈련으로 스트리밍할 수 있습니다. 그 위에 통합 데이터 시스템을 구축할 수 있을 만큼 충분한 구조를 가지고 있으면서도 다양한 읽기 및 쓰기 패턴에 최적화할 수 있을 만큼 유연합니다.
열 청크 위의 인덱싱, 스키마 및 메타데이터 레이어는 대규모 물리적 데이터 사용을 단순화합니다
단일 신호를 분석하기 위해 데이터 세트의 모든 청크를 스캔하는 것은 소규모 데이터 세트에서도 확장성이 떨어지므로, 효과적으로 사용하려면 모든 쿼리에 적합한 청크를 찾는 데 도움이 되는 메타데이터 및 인덱싱 레이어가 필요합니다. 이는 고전적인 데이터 레이크하우스 패턴과 매우 유사합니다. 우리의 경우 단일 데이터 세트 또는 녹음은 동일한 스키마를 공유하지 않는 이기종 청크로 구성됩니다. 기존 데이터 처리 도구는 균일한 스키마를 가진 테이블을 처리하도록 구축되었습니다. 따라서 물리적 데이터를 위한 레이크하우스 스타일의 인덱싱 및 메타데이터 레이어는 이러한 개별 스키마를 추적하여 모든 스트림의 병합된 스키마를 즉시 구체화하여 기존 데이터 도구가 작업할 수 있도록 해야 합니다. 예를 들어, IMU를 메시지에 자기장 데이터를 게시하는 IMU로 업그레이드하는 경우 이 추가는 이 필드가 없었던 이전 IMU와 호환되므로 호환성을 위해 과거 데이터를 다시 쓸 필요가 없습니다.
열 청크와 효율적인 인덱싱을 결합하면 관련 없는 스트림에 대한 패널티를 지불하지 않고 필요한 데이터를 정확히 가져올 수 있습니다. 일반적인 작업을 빠르게 만들기 위해 공통 데이터를 별도의 웨어하우스로 내보내는 것과 장기적인 버그를 추적할 수 있는 것 사이에서 선택할 필요가 없습니다.
성능 이점 외에도 이 레이어를 통해 파일을 추상화하고 위 레이어의 모든 물리적 데이터 사용자에게 통합 API를 제공할 수 있습니다. 종종 로봇 데이터는 하나의 파일에 저장되고 보정 데이터는 다른 파일에 저장되며, 이러한 구현 세부 사항을 추상화하는 것은 데이터 마찰을 줄이고 컴퓨팅 및 애플리케이션 레이어를 단순화하는 중요한 부분입니다.
대규모 처리 및 훈련에는 객체 스토리지에서 직접 선택적 스트리밍이 필요합니다
로봇 학습 데이터 세트는 이미 매우 커질 수 있으며, 팀이 스케일링 법칙을 따라 점점 더 강력한 모델을 달성함에 따라 훨씬 더 커질 것입니다. 이러한 규모의 데이터를 처리하려면 후처리를 위해 많은 수의 CPU 또는 훈련을 위해 GPU로 분산해야 하는 경우가 많습니다. 이러한 경우 데이터 처리량이 이 컴퓨팅의 요구 사항에 맞게 확장될 수 있는 것이 중요합니다.
성능을 최대화하고 이그레스 비용을 최소화하려면 데이터 가까이에서 컴퓨팅을 실행해야 합니다. 동시에 GPU 컴퓨팅은 구하기 어려울 수 있으므로 많은 팀이 시간이 지남에 따라 다른 위치에서 임대하게 됩니다. 이러한 모든 요소는 인덱싱 및 메타데이터를 처리하는 서비스와 스토리지를 분리할 수 있어야 함을 의미합니다.
Rerun 에서 쿼리는 Rerun SDK에서 시작되어 Rerun Hub 를 쿼리하며, Rerun Hub 는 쿼리를 해결하는 데 필요한 청크를 파악하는 역할을 합니다. 설정에 따라 SDK는 Rerun Hub 의 캐시된 프록시를 통해 청크를 요청하거나 객체 스토리지의 바이트 범위를 요청합니다. 이를 통해 단순화된 액세스 API, 선택적 청크 스트리밍 및 기본 객체 스토리지의 최대 스트리밍 대역폭이 가능합니다.
Rerun SDK 0.32는 로봇 학습을 위한 통합 데이터 툴킷입니다
Rerun 0.32는 2023년 2월에 처음 오픈 소스로 공개된 이후 가장 큰 릴리스입니다. SDK의 실제 사용 사례를 로깅, 시각화 및 간단한 쿼리에서 수집부터 훈련까지의 전체 데이터 여정으로 확장합니다. 다음은 이러한 확장을 강조하는 새로운 기능에 대한 둘러보기입니다. 자세한 내용은 릴리스 노트를 확인하세요.
청크 수준 Python API를 갖춘 안정적인 파일 형식
Rerun 0.23에서 Rerun 의 .rrd 파일 형식에 대한 버전 간 이전 버전 호환성을 발표했습니다. 실제로 그 이후로 어떤 버전 간에도 호환성을 깨뜨리지 않았으며 이제 파일 형식에 대한 일반적인 이전 버전 호환성을 자신 있게 약속할 수 있습니다. 기능과 성능을 향상시키기 위해 형식을 계속 발전시킬 것이지만, 이전 데이터는 항상 로드됩니다.
0.32 이전에는 다른 형식의 임포터 또는 상위 수준의 log 또는 send_columns API를 사용해서만 .rrd 파일을 작성할 수 있었고, 데이터를 읽는 유일한 방법은 데이터프레임 또는 SQL 쿼리를 통해서였습니다. 이번 릴리스에서는 데이터의 정확한 형태를 세밀하게 제어할 수 있는 청크 수준 읽기 및 쓰기 API를 도입합니다.
이 두 가지 변경 사항을 종합하면 .rrd는 다양한 팀이 데이터 레이어를 구축할 수 있을 만큼 성숙해졌습니다.
로보틱스 네이티브 데이터 랭글링을 위한 청크 처리 API
로보틱스 데이터는 종종 지저분합니다. 여러 소스의 데이터를 팀이 분석하고 훈련할 수 있는 것으로 정규화하는 것은 빠르게 복잡해집니다. 데이터 파이프라인의 이 부분은 종종 느리고 미묘한 버그로 가득 찬 임시방편 Python 스크립트로 구성됩니다.
이러한 문제를 해결하기 위해 (실험적인) 청크 처리 API 세트를 도입합니다. 이 API는 .rrd, MCAP, Parquet 및 URDF와 같은 형식에 대한 균일한 로더 인터페이스를 제공하여 Apache Arrow 청크 스트림을 생성합니다. 그런 다음 이러한 스트림 위에 처리 파이프라인을 쉽게 정의할 수 있습니다.
로보틱스 데이터는 종종 깊게 중첩된 구조체 형태로 제공되며, 데이터 정규화 및 랭글링은 종종 해당 콘텐츠의 재구성, 캐스팅 및 변환을 의미합니다. 이러한 요구를 충족시키기 위해 jq에서 영감을 받은 이러한 종류의 데이터를 선택하고 변환하기 위한 선언적 언어인 Lenses도 출시합니다.
이러한 API는 코딩 에이전트를 염두에 두고 명시적으로 설계 및 테스트되었으며, 일반 Python보다 Rerun 청크 처리 API를 사용하여 정확하고 효율적인 코드를 훨씬 더 쉽게 생성할 수 있음을 확인했습니다. 향후 이러한 청크 처리 변환은 현재 SDK 측 실행기 외에도 Rerun Hub 를 통해 뷰어와 클라우드에서 실행될 수 있습니다.
MCAP, ROS 2 유형 및 로보틱스 시각화에 대한 확장된 기본 지원
Rerun 에서 모든 로보틱스 데이터를 쉽게 수집하고 유용하게 만드는 것이 중요하다고 생각합니다. 동시에 사용자 정의 없이도 완벽하게 처리할 수 있는 데이터가 많으며, 모든 릴리스에서 해당 경험을 계속 개선하고 있습니다. 0.32는 MCAP 및 일반적인 ROS 2 유형에 대한 향상된 성능과 더 많은 즉시 사용 가능한 지원, 그리고 사용 가능한 시각화의 확장을 제공합니다. 기본 지원이 포함된 업데이트된 메시지 목록은 여기에서 확인하세요.
점유 격자 또는 3D의 2D 맵은 모바일 로봇에 중요하며 한동안 Rerun 에서 많이 요청된 기능이었습니다. 따라서 0.32는 새로운 GridMap 아키타입과 시각화 도구를 추가하고 해당 ROS 2 메시지에 대한 기본 지원을 제공합니다.
또 다른 일반적인 요청은 시간에 따른 상태 변화를 시각화하는 기능이었습니다. 0.32는 새로운 실험적인 State Timeline View를 제공합니다. Rerun 에서 이 보기를 기다려 왔다면 보기에서 더 보고 싶은 기능에 대한 피드백을 듣고 싶습니다.
디스크에 있는 여러 녹음의 내용에 대한 인덱싱된 SQL 또는 데이터프레임 쿼리를 지원하는 카탈로그 서버
Rerun SDK의 카탈로그 API를 사용하면 로보틱스 데이터 세트에 대해 완전히 일반적인 SQL 또는 데이터프레임 쿼리를 작성할 수 있습니다. Rerun Hub 에 연결된 경우 한동안 대규모 데이터 세트를 지원했지만, 오픈 소스 서버는 메모리에 완전히 맞는 데이터 세트만 지원했습니다. 0.32에서는 오픈 소스 카탈로그 서버를 확장하여 로컬 디스크의 파일 바이트 범위를 인덱싱하므로 이제 오픈 소스 SDK만으로 .rrd 파일에 있는 로봇 녹음의 모든 로컬 디렉토리를 쉽게 분석할 수 있습니다.
훈련 및 평가를 위한 데이터 세트의 신속한 검토를 위한 새로운 UI
0.32에서는 (실험적인) 데이터 세트 검토 도구의 첫 번째 버전을 출시합니다. 이를 통해 한 번에 많은 녹음을 빠르게 훑어보고 이상 징후를 찾고 데이터에 대한 직관을 키울 수 있습니다. 또한 녹음에 플래그를 지정할 수 있어 간단한 주석 도구로 유용합니다. 보기는 일반 Rerun 블루프린트를 사용하여 구성됩니다.
많은 로봇 학습 팀이 이 기능을 요청했으며, 이를 가장 효율적인 데이터 세트 검토 도구로 만드는 방법에 대한 모든 피드백을 듣고 싶습니다.
간단한 데이터 세트 혼합 및 .rrd 파일로의 임의 검색을 지원하는 로봇 학습용 데이터 로더
가장 많이 요청된 기능 중 하나인 Rerun 용 PyTorch 데이터 로더 작업을 시작했습니다! 새로운 rerun.experimental.dataloader 모듈은 Rerun 녹음을 반복 가능 또는 맵 스타일 PyTorch 데이터 세트로 노출하여 인코딩된 이미지, 스칼라 및 압축 비디오(h264/h265/av1)를 즉시 스트리밍합니다. 임의 액세스, 다중 작업자 프리페칭 및 DDP 지원이 즉시 작동합니다. 객체 스토리지로 백업된 대규모 데이터 세트에서 직접 훈련하려는 경우 OSS 카탈로그 서버와 상용 제품인 Rerun Hub 모두와 호환됩니다.
커뮤니티에서 실험을 시작할 수 있도록 이 훈련 데이터 로더를 출시하게 되어 매우 기쁩니다. 상상할 수 있는 최고의 로봇 학습용 스트리밍 데이터 로더로 만들 계획이며 모든 피드백과 요청을 환영합니다.
시각화, 분석 및 변환에 사용하는 것과 동일한 데이터 레이어에서 직접 훈련할 수 있는 것은 팀이 데이터 레이어를 진정으로 통합할 수 있게 하는 데 중요하며, 이를 통해 시스템을 실제로 단순화하고 실험 주기를 가속화할 수 있습니다.
Rerun Hub 는 비공개 미리보기 중이며 확장성을 위해 구축되었습니다
지난 1년 반 동안 우리는 초기 단계의 훌륭한 스타트업 및 연구소 그룹과 함께 로봇 학습을 가치 있는 실제 애플리케이션으로 가속화하는 데 필요한 데이터 레이어를 조용히 구축해 왔습니다. 현재 페타바이트 규모의 로봇 훈련 데이터를 처리하고 있으며, 상용 제품인 Rerun Hub 에 더 많은 팀을 온보딩할 준비가 된 시점에 이르렀습니다. Rerun Hub 는 현재 비공개 미리보기 단계에 진입했습니다.
Rerun Hub 는 오픈 소스 Rerun SDK에 연결되어 수집부터 훈련 및 배포까지 로봇 학습 데이터를 쉽게 작업할 수 있도록 하는 카탈로그 및 스토리지 엔진입니다. 수집, 시각화, 분석 쿼리, 변환 및 훈련의 모든 핵심 데이터 기능을 지원하는 통합 관리 및 액세스 레이어 역할을 합니다. 데이터는 모든 S3 호환 객체 스토리지에 저장할 수 있으며, Rerun Hub 는 객체 스토리지에서 훈련 또는 대규모 병렬 후처리 작업의 Rerun SDK로의 직접적인 선택적 스트리밍을 효율적으로 중재합니다. 중앙 집중식 허브는 코드를 통해 또는 뷰어에서 대화식으로 공유 가능한 데이터 링크를 쉽게 구성할 수 있도록 하여 협업 및 자동화된 검토를 단순화합니다.
지능형 로봇을 구축하고 더 빠르게 반복할 수 있도록 데이터 레이어를 업그레이드하는 데 관심이 있다면 연락해 주세요. 복잡한 기존 시스템으로 이미 어느 정도 규모에 도달한 팀의 경우 Rerun 은 부분적으로 채택하기 쉬우며, 핵심 인력을 다른 최우선 순위에서 이동시키지 않고 업그레이드를 도울 수 있는 전방 배치 엔지니어를 제공할 수도 있습니다.
