Fiziksel AI, fiziksel dünyadaki endüstrileri yeniden şekillendirecek, ancak robotik, modern AI'nın gerektirdiği hızda yineleme yapmak için gereken birleşik veri katmanından hâlâ yoksun. Temel zorluk, robot öğreniminin fiziksel veriler üzerinde çalışmasıdır: zaman, mekân ve bedenlenmeye bağlı çok modlu, çoklu hız akışları. Mevcut altyapı büyük ölçüde web verileri etrafında inşa edilmiş olup bu özelliklerle başa çıkmakta zorlanmaktadır.
@rerundotio'da, ekiplerin gerçek dünya için zeka eğitmesine ve sunmasına yardımcı olmak amacıyla fiziksel veriler için birleşik bir veri katmanı inşa ediyoruz.
Rerun'un Şimdiye Kadarki En Büyük Sürümü
Rerun, en çok çok modlu zaman serisi verilerini görselleştirmesiyle tanınır. Son bir buçuk yıldır, toplamadan eğitime kadar tüm süreci destekleyecek birleşik bir veri katmanının diğer parçalarını sessizce inşa ediyorduk. 0.32 Rerun SDK sürümü ile bu yetenekler açık kaynağa geliyor!
Bu, Rerun'un üç yıl önce ilk kez açık kaynak olarak yayınlanmasından bu yana en büyük sürümdür ve Rerun ile yapabileceğiniz iş türlerinde büyük bir genişlemeyi temsil etmektedir.
Dosya formatını stabilize ediyor ve dosyalar için yeni bir dizi düşük seviyeli okuma ve yazma API'si ekliyoruz. Gerçek robotik verilerini düzenlemek ve normalleştirmek için tasarlanmış Rerun veri yığınlarını manipüle etmek için yeni bir API ekliyoruz. MCAP ve ROS 2 mesaj desteğimizi genişleterek kullanıma hazır deneyimi iyileştiriyoruz. Eğitim veri kümelerini incelemeyi çok daha hızlı hale getirmek için yeni bir veri kümesi inceleme kullanıcı arayüzü ekliyoruz. Açık kaynak katalog sunucusu artık diskteki .rrd dosyalarının içine indeksleyerek sizin veya aracınızın robotik kayıt dizinleri üzerinde genel sorgular yazmasına olanak tanıyor. Aynı temel üzerine inşa edilmiş bir Pytorch veri yükleyicisi de yayınlıyoruz, böylece eğitime özel bir formata aktarmaya gerek kalmadan doğrudan .rrd dosyaları üzerinde robot modelleri eğitebilirsiniz.
Robotik ekosistemi, robot öğrenme verilerinin tüm yaşam döngüsünü destekleyecek kadar esnek birleşik bir çerçeveden yoksundu. 0.32 ile bu temel artık ortaya çıkıyor.
Bu büyük açık kaynak sürümüne ek olarak, ticari veri kataloğumuz ve depolama motorumuz olan Rerun Hub'ı da duyuruyoruz. Rerun Hub artık özel ön izlemededir ve Rerun SDK'sını nesne depolama tarafından desteklenen veri kümelerine genişletir. Aynı veri modelini ve API'leri korurken çok daha büyük ölçekte robot verilerini dönüştürmek, sorgulamak, görselleştirmek ve akışla aktarmak için paylaşılan bir katalog ve erişim katmanı sağlar.
Amacınız verileri yerel makinenize sığandan daha büyük ölçekte kullanmaksa - ve hızlı hareket ediyorsanız! - Rerun Hub'ı kullanın. Robot öğrenimi etrafında bir ürün inşa eden ve veri katmanınızı düşünen bir ekip iseniz, bize ulaşın.
Bu yazının geri kalanı iki bölümden oluşmaktadır. İlk olarak, Fiziksel AI'nın ölçeklenmek için ihtiyaç duyduğuna inandığımız veri mimarisi hakkında bir giriş. İkinci olarak, bu mimariyi uygulamaya koyan Rerun SDK 0.32'deki yeni yeteneklere bir bakış.
Robot öğreniminin, fiziksel veriler için özel olarak tasarlanmış bir veri katmanına ihtiyacı var
Robot Öğrenimi için Veri Katmanı Vergisi başlıklı yazıda özetlendiği gibi, Fiziksel AI ilerlemesini yavaşlatan sürtüşmenin çoğu, fiziksel verileri geleneksel yazılım ve analitik iş yükleri için tasarlanmış altyapıya zorlamaktan kaynaklanmaktadır. İhtiyaç duyulan şey, çoklu hız, çok modlu veriler için inşa edilmiş, toplamadan eğitime ve dağıtıma kadar robot zekası üzerinde yineleme yapmak için ihtiyacınız olan her şeyi destekleyen bir veri katmanıdır.
Kodlama aracıları, kullanıcıların bilgi işlem ve uygulama katmanı üzerinde tam kontrole sahip olması gerektiği anlamına gelir
Toplama, normalleştirme, son işleme, düzenleme ve eğitim iş akışının tamamına hizmet etmek için ekiplerin çeşitli araçlara ve bilgi işlem işlerine ihtiyacı vardır. Bu araçlar ve işler, örneğin bir ekibin çalışma şeklini veya veri kalitesini ölçekte artırmak için kullandığı teknikleri kodlayabilir ve bu da onları ekiplerin sahiplenmesi gereken önemli bir farklılaşma alanı haline getirir.
Kodlama aracıları, ekiplerin bu araçları ve bilgi işlem işlerini tam olarak istedikleri gibi tasarlamalarını giderek daha mümkün hale getiriyor, yeter ki kod düzeyinde kontrole sahip olsunlar. Bu nedenle, çok az ekip bu kontrole sahip olmamayı kabul edecektir. Bu yüzden Rerun SDK tamamen açık kaynaktır ve duvarlarla çevrili bir SaaS platformu değil, üzerine inşa edebileceğiniz bir çerçeve olarak tasarlanmıştır. Görüntüleyici bile bir kütüphane olarak tasarlanmıştır, böylece asla sıkışıp kalmazsınız. Rerun her zaman önce kod olmuştur ve aracılar için kullanımı daha da kolay hale getirmeye odaklanıyoruz. Bu, aracıların fiziksel verileri tıpkı insanlar gibi görmesine yardımcı olmak için tamamen başsız oluşturma ve görüntüleyici gezinme üzerine yaklaşan çalışmaları da içerir.
Çoğu ekip, kendi iş akışlarına göre uyarlanmış özel, tek seferlik uygulamalar ve işleme komut dosyaları oluşturuyor. Sağlam bir temel üzerine inşa etmeden, anlaşılması zor ve iyi bir şekilde bir araya gelmeyen dikey parçalarla karşılaşırsınız, bu da verimlilik kazanımlarını sınırlar.
Veri katmanı, büyük ölçekli fiziksel verileri kullanmanın zor kısımlarını halletmelidir
Toplamadan modele kadar tüm veri yolculuğuna hizmet etmek için gereken temel yetenekler görselleştirme, analitik sorgulama, dönüştürme ve eğitimdir. Tüm bu yeteneklerin, 3B ilişkiler veya şekil gibi robotik anlamlar taşıyabilecek çoklu hız, çok modlu verilerle başa çıkması gerekir. Hatalardan ve tutarsız verilerden kaçınmak için, bu tür verilerin inceliklerini kullanıldığı her yerde tutarlı bir şekilde ele almak istersiniz. Örneğin, zaman hizalaması ve 3B dönüşümler, ön işleme, sorgulama, görselleştirme ve veri kümesi incelemesi arasında tutarlı davranmalıdır.
Hem veri-deney döngüsü hem de onu güçlendiren araçlar üzerinde yineleme yapmayı kolaylaştırmak için, aktarımları önemsiz ve üzerindeki uygulamaları basit hale getiren tek bir birleşik veri katmanı üzerine inşa etmek istersiniz. Bu, veri katmanının tüm temel uygulama ve bilgi işlem yeteneklerinin gereksinimlerini karşılayacak kadar esnek olması gerektiği anlamına gelir. Örneğin, görselleştirme ve bilgi işlemin her ikisi de çok modlu zaman serilerine hızlı rastgele erişim gerektirirken, analitik sorgular verimli sütun taramaları gerektirir ve hem büyük ölçekli son işleme bilgi işlemi (CPU) hem de eğitim (GPU) yüksek bant genişliğinde paralel veri akışı gerektirir.
Fiziksel veriler, web ve iş verilerinden temelde farklı davranır; bu da farklı depolama ve sorgulama soyutlamalarından fayda sağladığı anlamına gelir.
Fiziksel veriler için temel depolama birimi bir sütun yığınıdır
Fiziksel verilerin iki ayırt edici özelliği vardır:
Birincisi, çoklu hızda olmasıdır: farklı sensörler verileri çok farklı frekanslarda kaydeder. GPS 1-10Hz'de, kameralar 10-30Hz'de, eklem açıları 100-200Hz'de ve IMU 1kHz'de olabilir. Son işlemede, her 10. kamera karesi için anlamsal yerleştirmeler veya her bölümün başında ve sonunda sahne açıklamaları hesaplayabilirsiniz.
İkincisi, çok modlu olmasıdır: farklı sensörler çok farklı boyutlarda veri kaydeder. IMU ve GPS'in birkaç sayıyı kodlamak için yalnızca bir avuç bayta ihtiyacı varken, bir RGB kamera her görüntü karesi için birçok MB kullanabilir.
Bir satırın bir zaman damgasını ve bir sütunun bir veri akışını temsil ettiği bir tabloda bir robotik kaydı saklarsanız, çoklu hız yönü bu tabloyu genellikle çok seyrek hale getirir; herhangi bir satır için çoğu sütun büyük olasılıkla boştur. Verilerin çok modlu yönü, tek bir satırın boyut olarak büyüklük sıralarına göre farklılık gösteren hücreler içerebilmesi nedeniyle büyük bir bellek dengesizliğine yol açar. Mevcut tablo veri altyapısı bu kombinasyonu çok kötü bir şekilde ele alır.
Çoklu hız ve çok modlu veriler, her biri bir veri kümesinin satır ve sütunlarının alt kümelerini tutan yığınlar halinde saklanmalıdır. Örneğin, bir milyon IMU örneğini bir yığına ve yalnızca birkaç video paketini başka bir yığına yerleştirme yeteneği, hem seyreklik hem de bellek dengesizliği sorunlarını çözmenize olanak tanır.
Yığın içinde, sütun yönelimli depolama daha iyi sıkıştırma ve sütun tarama sorguları için optimize edilirken, satır yönelimli depolama basit yazmalar için optimize edilir.
Rerun'da, sütun yığınlarının robot öğrenme veri sistemleri için en iyi dengeyi temsil ettiğine inanıyoruz ve mimarimizi temel depolama soyutlaması olarak bunlar etrafında standartlaştırdık.
Rerun'un .rrd dosya formatı sütun yığınları etrafında inşa edilmiştir
Rerun'un yerel dosya formatı olan .rrd, sütun yığını soyutlamasının disk üzerindeki temsilidir. Dahili olarak, her sütun yığını, verilerin nasıl yorumlanması gerektiğini açıklayan anlamsal meta verilerle birlikte bir Apache Arrow kayıt grubu olarak kodlanır. Apache Arrow, veri bilimi için endüstri standardıdır ve Arrow kullanmak, DataFusion, Pandas ve Polars'a hızlı bir sıfır kopya yolumuz olduğu anlamına gelir.
Her yığındaki meta veriler, verilerin nasıl yorumlanacağına dair anlamsal bilgiler içerir ("bu bir IMU sensörü, bu bir GPS, …"), böylece işleme hatları boyunca taşınabilir ve yine de otomatik olarak yorumlanıp görselleştirilebilir.
Kodlanmış sütun yığınları, protobuf mesajlarına sarılır ve bir .rrd dosyası oluşturmak için birleştirilir. Dosyanın sonundaki bir altbilgi, dosyanın tamamını taramadan tek tek yığınlara hızlı rastgele erişim sağlayan bir dizine işaret eder.
Diğer formatlarla karşılaştırmalar
Apache Parquet, genellikle Arrow ile birlikte kullanılan sütunlu bir disk üstü formattır. Verilerini satır grupları halinde düzenler, ancak .rrd'daki yığınların aksine, bu gruplar örtüşemez: her satır grubu, yoğun bir satır aralığı üzerindeki tüm sütunları içerir. Bu, onu çoklu hız, çok modlu robotik verileri için uygunsuz hale getirir. Yeni satırlar ekleyebilirsiniz, ancak yeni sütunlar ekleyemezsiniz (şema evrimi yok).
MCAP, robotunuzda robotik günlükleri kaydetmek için bir formattır. Hızlı ve esnek bir şekilde yazılmak üzere tasarlanmıştır ve güçlü ROS uyumluluğuna sahiptir. Bununla birlikte, temelde opak mesajların (JSON, protobuf, CBOR vb. ile kodlanmış) bir kapsayıcı formatıdır ve sütunlu analitik sorgular için optimize edilmemiştir. Büyük taramalar ve birleştirmeler de yavaştır, çünkü her mesajın kodunu çözmeniz gerekir.
Lance, açıkça çok modlu veriler ve rastgele erişim (eğitim için son derece önemlidir) için inşa edilmiş yeni bir formattır. Parquet'in aksine, şema evrimini destekler. Bununla birlikte, bir Lance veri kümesi hala satır hizalanmış parçalardan oluşan dikey bir yığındır, bu nedenle çoklu hız akışları boş değerlerle şişecektir.
NCore, Nvidia'dan sinirsel yeniden yapılandırma için inşa edilmiş yeni bir formattır. Çoklu hız, bileşen başına zaman damgaları ve bir poz grafiği aracılığıyla uzamsal hizalama yoluyla yerel olarak desteklenir. Bununla birlikte, şema kapalıdır (kurallı sensör bileşenleri, keyfi kullanıcı tanımlı veriler değil), Arrow yerine Zarr tabanlıdır ve genel bir SQL / veri çerçevesi sorgu motoruna hizmet etmek için inşa edilmemiştir.
Ekibinizin ihtiyaç duyduğu ve bir dosya formatının sağlamadığı her özellik, ekibinizin başarılı olması için senkronize tutulması gereken başka bir hat ve öğrenilmesi gereken ek araçlar anlamına gelir. Rerun'un formatı, robotik kayıtlarını zekaya dönüştürmek için gereken tüm kullanım durumlarına hizmet edebilen tek seçenektir. Verileri orijinal zaman damgalarında tutmanıza olanak tanırken, aynı veri kaynağından sorgulama ve görüntüleme yapmanıza ve eğitime akışla aktarmanıza olanak tanır. Üzerine birleşik veri sistemleri inşa etmek için yeterli yapıya sahiptir, ancak farklı okuma ve yazma kalıpları için optimize edilecek kadar esnektir.
Sütun yığınlarının üzerinde bir dizin, şema ve meta veri katmanı, fiziksel verileri ölçekte kullanmayı basitleştirir
Tek bir sinyali analiz etmek için bir veri kümesindeki tüm yığınları taramak, küçük veri kümeleri için bile zayıf ölçeklenir, bu nedenle bunları etkili bir şekilde kullanmak için, herhangi bir sorgu için doğru yığınları bulmaya yardımcı olacak bir meta veri ve dizin katmanına ihtiyacınız vardır. Bu, klasik veri göl evi modeline çok benzer. Bizim durumumuzda, tek bir veri kümesi veya kayıt, aynı şemayı paylaşmayan heterojen yığınlardan oluşur. Klasik veri işleme araçları, tek tip bir şemaya sahip tablolarla uğraşmak için inşa edilmiştir. Bu nedenle, fiziksel veriler için bir göl evi tarzı dizin ve meta veri katmanının, klasik veri araçlarının onunla çalışabilmesi için herhangi bir akışın birleştirilmiş şemalarını anında somutlaştırabilmesi amacıyla bu bireysel şemaları da takip etmesi gerekir. Örneğin, IMU'nuzu mesajlarında manyetik alan verileri yayınlayan bir IMU'ya yükseltirseniz, bu ekleme, bu alanı içermeyen eski IMU'nuzla uyumludur; uyumluluk için geçmiş verileri yeniden yazmanıza gerek yoktur.
Verimli dizinleme ile eşleştirilmiş sütun yığınları, yanında depolanan ilgisiz akışlar için bir ceza ödemeden tam olarak ihtiyacınız olan verileri getirmenize olanak tanır. Yaygın işlemleri hızlı hale getirmek ile uzun kuyruklu hataları kovalayabilmek arasında seçim yapmak zorunda değilsiniz çünkü yaygın verileri ayrı bir depoya aktardınız.
Performans faydalarına ek olarak, bu katman dosyaları soyutlamamıza ve yukarıdaki katmanlardaki tüm fiziksel veri kullanıcıları için birleşik bir API sunmamıza olanak tanır. Çoğu zaman robot verileri bir dosyada ve kalibrasyon başka bir dosyada saklanır; bu uygulama ayrıntılarını soyutlamak, veri sürtüşmesini azaltmanın ve bilgi işlem ve uygulama katmanını basitleştirmenin önemli bir parçasıdır.
Büyük ölçekli işleme ve eğitim, nesne depolamadan doğrudan seçici akış gerektirir
Robot öğrenme veri kümeleri zaten çok büyüyebilir ve ekipler giderek daha yetenekli modeller elde etmek için ölçekleme yasalarını izledikçe çok daha büyüyecektir. Bu ölçekteki verileri işlemek için, genellikle son işleme için çok sayıda CPU'ya veya eğitim için GPU'lara ayrılmanız gerekir. Bu durumlarda, veri aktarım hızının bu bilgi işlemin ihtiyaçlarıyla ölçeklenebilmesi önemlidir.
Hem performansı en üst düzeye çıkarmak hem de çıkış maliyetlerini en aza indirmek için, bilgi işlemi verilere yakın çalıştırmak istersiniz. Aynı zamanda, GPU bilgi işlem bulmak zor olabilir, bu nedenle birçok ekip zaman içinde farklı konumlarda kiralama yapar. Tüm bu faktörler, depolamayı dizin ve meta verileri işleyen hizmetlerden ayırabilmek istediğiniz anlamına gelir.
Rerun'da sorgular, Rerun SDK'sından başlar ve daha sonra sorguyu çözmek için hangi yığınların gerekli olduğunu bilmekten sorumlu olan Rerun Hub'ı sorgular. Ayarına bağlı olarak, SDK ya Rerun Hub'daki önbelleğe alınmış bir proxy aracılığıyla yığınları ister ya da nesne depolamadaki bayt aralıklarını ister. Bu, basitleştirilmiş bir erişim API'sine, seçici yığın akışına ve temel alınan nesne depolamadan maksimum akış bant genişliğine olanak tanır.
Rerun SDK 0.32, robot öğrenimi için birleşik bir veri araç takımıdır
Rerun 0.32, Şubat 2023'te ilk kez açık kaynak olarak yayınlanmasından bu yana en büyük sürümdür. SDK'nın pratik kullanım durumlarını günlükleme, görselleştirme ve daha basit sorgulamadan toplamadan eğitime kadar tüm veri yolculuğuna genişletir. Aşağıda, bu genişlemeyi vurgulayan yeni özelliklere bir bakış yer almaktadır. Daha fazla ayrıntı için sürüm notlarına göz atın.
Yığın düzeyinde Python API'leri ile kararlı bir dosya formatı
Rerun 0.23'te Rerun'un .rrd dosya formatı için sürümden sürüme geriye dönük uyumluluk duyurduk. Pratikte o zamandan beri hiçbir sürüm arasında uyumluluğu bozmadık ve şimdi dosya formatında genel geriye dönük uyumluluk vaat etme konusunda kendimize güveniyoruz. Yetenekleri ve performansı artırmak için formatı geliştirmeye devam edeceğiz, ancak eski veriler her zaman yüklenecektir.
0.32'den önce, .rrd dosyalarını yalnızca başka bir formattan bir içe aktarıcı veya daha üst düzey log veya send_columns API'lerini kullanarak yazabiliyordunuz ve verileri okumanın tek yolu veri çerçevesi veya SQL sorgularıydı. Bu sürümle birlikte, artık verilerinizin tam şekli üzerinde hassas kontrol sağlayan yığın düzeyinde okuma ve yazma API'leri sunuyoruz.
Birlikte ele alındığında, bu iki değişiklik, .rrd'nin geniş bir ekip yelpazesinin veri katmanlarını oluşturması için yeterince olgun olduğu anlamına gelir.
Robotik yerel veri düzenleme için yığın işleme API'leri
Robotik verileri genellikle dağınıktır. Birden çok kaynaktan gelen verileri ekiplerin analiz edebileceği ve eğitebileceği bir şeye normalleştirmek hızla karmaşıklaşır. Veri hattının bu kısmı genellikle yavaş ve ince hatalarla dolu, bir araya getirilmiş Python komut dosyalarından oluşur.
Bu sorunları çözmek için yeni bir (deneysel) yığın işleme API'leri seti sunuyoruz. Apache Arrow yığın akışları üreten .rrd, MCAP, Parquet ve URDF gibi formatlar için tek tip bir yükleyici arayüzü sağlarlar. Daha sonra bu akışların üzerinde kolayca işleme hatları tanımlayabilirsiniz.
Robotik verileri genellikle derinlemesine iç içe geçmiş yapılar şeklinde gelir ve veri normalleştirme ve düzenleme genellikle içeriklerini yeniden şekillendirmek, dönüştürmek ve dönüştürmek anlamına gelir. Bu ihtiyacı karşılamak için, jq'den ilham alan, bu tür verileri seçmek ve dönüştürmek için bildirimsel bir dil olan Lenses'i de yayınlıyoruz.
Bu API'ler, kodlama aracıları göz önünde bulundurularak açıkça tasarlanmış ve test edilmiştir ve genel Python'dan ziyade Rerun yığın işleme API'leri ile doğru ve verimli kod üretme konusunda çok daha kolay zaman geçirdiklerini görüyoruz. Gelecekte, bu yığın işleme dönüşümleri, mevcut SDK tarafı yürütücüsüne ek olarak görüntüleyicide ve Rerun Hub aracılığıyla bulutta çalışabilecektir.
MCAP, ROS 2 türleri ve robotik görselleştirmeler için genişletilmiş yerleşik destek
Tüm robotik verilerini Rerun'da kullanışlı hale getirmenin ve almanın kolay olmasının kritik olduğunu düşünüyoruz. Aynı zamanda, özelleştirme gerektirmeden mükemmel bir şekilde işlenebilecek çok sayıda veri vardır ve her sürümde bu deneyimi iyileştirmeye devam ediyoruz. 0.32, MCAP ve yaygın ROS 2 türleri için iyileştirilmiş performans ve daha fazla kullanıma hazır desteğin yanı sıra mevcut görselleştirmelerin bir genişlemesini getiriyor. Yerleşik desteğe sahip güncellenmiş mesaj listesine buradan bakın.
İşgal ızgaraları veya 3B içinde 2B haritalar, mobil robotlar için önemlidir ve bir süredir Rerun'da yoğun olarak talep edilen bir özellik olmuştur. Bu nedenle 0.32, ilgili ROS 2 mesajları için yerleşik destekle eşleştirilmiş yeni GridMap arketipini ve görselleştiricisini ekler.
Bir diğer yaygın talep, zaman içindeki durum değişikliklerini görselleştirme yeteneği olmuştur. 0.32, yeni bir deneysel Durum Zaman Çizelgesi Görünümü getiriyor. Rerun'da bu görünümü bekliyorsanız, görünümden başka neler görmek istediğinize dair geri bildirimlerinizi memnuniyetle karşılarız.
Disk üzerindeki birçok kaydın içeriği üzerinde dizine alınmış SQL veya veri çerçevesi sorgularına sahip katalog sunucusu
Rerun SDK'sındaki Katalog API'leri, robotik veri kümeleri üzerinde tamamen genel SQL veya Veri Çerçevesi sorguları yazmanıza olanak tanır. Rerun Hub'a bağlandığında, bu bir süredir büyük ölçekli veri kümelerini desteklerken, açık kaynak sunucusu yalnızca belleğe tamamen sığan veri kümelerini desteklemiştir. 0.32 ile, açık kaynak katalog sunucusunu yerel diskteki dosyaların bayt aralıklarına indeksleyecek şekilde genişletiyoruz, böylece artık yalnızca açık kaynak SDK ile .rrd dosyalarındaki herhangi bir yerel robotik kayıt dizinini kolayca analiz edebilirsiniz.
Eğitim ve değerlendirme için veri kümelerinin hızlı incelenmesi için yeni bir kullanıcı arayüzü
0.32'de (deneysel) veri kümesi inceleme aracımızın ilk sürümünü sunuyoruz. Aynı anda birçok kayda hızlıca göz atmanıza, anomali avına çıkmanıza ve verileriniz için sezgi oluşturmanıza olanak tanır. Ayrıca kayıtları işaretlemenize olanak tanır ve bu da onu basit bir açıklama aracı olarak kullanışlı hale getirir. Görünüm, normal bir Rerun blueprint'i kullanılarak yapılandırılır.
Birçok robot öğrenme ekibi bu işlevselliği istedi ve bunu mümkün olan en verimli veri kümesi inceleme aracına nasıl dönüştüreceğimize dair tüm geri bildirimlerinizi memnuniyetle karşılarız.
Basit veri kümesi karıştırmayı ve .rrd dosyalarına rastgele aramaları destekleyen robot öğrenimi için bir veri yükleyicisi
En çok talep edilen özelliklerimizden biri üzerinde çalışmaya başladık: Rerun için bir PyTorch veri yükleyicisi! Yeni rerun.experimental.dataloader modülü, Rerun kayıtlarını yinelenebilir veya harita tarzı PyTorch veri kümeleri olarak kullanıma sunar ve kodlanmış görüntüleri, skalerleri ve sıkıştırılmış videoyu (h264/h265/av1) anında akışla aktarır. Rastgele erişim, çok işçili ön getirme ve DDP desteği kutudan çıkar çıkmaz çalışır. Hem OSS katalog sunucusu hem de nesne depolama tarafından desteklenen büyük veri kümeleri üzerinde doğrudan eğitim almak istediğinizde ticari ürünümüz Rerun Hub ile uyumludur.
Bu eğitim veri yükleyicisini topluluğun denemeye başlaması için yayınlamaktan inanılmaz derecede heyecan duyuyoruz. Bunu hayal edilebilecek en iyi robot öğrenimi akış veri yükleyicisi yapmayı hedefliyoruz ve tüm geri bildirimlerinizi ve isteklerinizi memnuniyetle karşılıyoruz.
Görselleştirme, analiz ve dönüştürme için kullandığınız veri katmanından doğrudan eğitim alabilmek, ekiplerin veri katmanlarını gerçekten birleştirebilmeleri için çok önemlidir; bu da sistemleri gerçekten basitleştirmelerinin ve deney döngülerini hızlandırmalarının yoludur.
Rerun Hub özel ön izlemededir ve ölçek için inşa edilmiştir
Son bir buçuk yıldır, erken aşamadaki harika startup'lar ve laboratuvarlarla birlikte robot öğrenimini değerli gerçek dünya uygulamalarına taşımayı hızlandırmak için gereken veri katmanını sessizce inşa ediyorduk. Şu anda petabaytlarca robot eğitim verisini yönetiyoruz ve ticari ürünümüz Rerun Hub'a daha fazla ekibi dahil etmeye hazır olduğumuz bir noktadayız; Rerun Hub şimdi özel ön izlemeye giriyor.
Rerun Hub, açık kaynak Rerun SDK'sına bağlanan ve toplamadan eğitime ve dağıtıma kadar robot öğrenme verileriyle çalışmayı kolaylaştıran bir katalog ve depolama motorudur. Alım, görselleştirme, analitik sorgular, dönüştürme ve eğitim gibi tüm temel veri yeteneklerini güçlendiren tek tip bir yönetim ve erişim katmanı görevi görür. Veriler herhangi bir S3 uyumlu nesne depolamada saklanabilir ve Rerun Hub, eğitim veya büyük ölçüde paralel son işleme işlerinizde nesne depolamadan Rerun SDK'sına verimli bir şekilde doğrudan seçici akışa aracılık eder. Merkezi hub ayrıca, kod aracılığıyla veya görüntüleyicide etkileşimli olarak paylaşılabilir veri bağlantıları oluşturmayı kolaylaştırarak işbirliğini ve otomatik incelemeyi basitleştirir.
Akıllı robotlar inşa ediyor ve daha hızlı yineleme yapabilmek için veri katmanınızı yükseltmekle ilgileniyorsanız, bize ulaşın. Halihazırda karmaşık mevcut sistemlerle bir miktar ölçeğe ulaşmış ekipler için Rerun'u parça parça benimsemek kolaydır ve ayrıca, temel kişileri diğer önceliklerden ayırmadan yükseltme yapmanıza yardımcı olmak için ileri düzeyde konuşlandırılmış mühendisler sunabiliriz.
