Trí tuệ vật lý sẽ định hình lại các ngành công nghiệp trên khắp thế giới thực, nhưng ngành robot vẫn thiếu lớp dữ liệu thống nhất cần thiết để lặp lại với tốc độ mà AI hiện đại yêu cầu. Thách thức cốt lõi là quá trình học của robot hoạt động trên dữ liệu vật lý: các luồng đa phương thức, đa tốc độ gắn liền với thời gian, không gian và thể chất. Cơ sở hạ tầng hiện có phần lớn được xây dựng xoay quanh dữ liệu web và gặp khó khăn với những đặc tính này.
Tại @rerundotio, chúng tôi đang xây dựng một lớp dữ liệu thống nhất cho dữ liệu vật lý để giúp các nhóm huấn luyện và triển khai trí thông minh cho thế giới thực.
Bản phát hành lớn nhất của Rerun từ trước đến nay
Rerun từng được biết đến nhiều nhất với khả năng trực quan hóa dữ liệu chuỗi thời gian đa phương thức. Trong suốt một năm rưỡi qua, chúng tôi đã âm thầm xây dựng những mảnh ghép còn lại của một lớp dữ liệu thống nhất để hỗ trợ toàn bộ hành trình từ thu thập đến huấn luyện. Với bản phát hành Rerun SDK 0.32, những khả năng đó đang được công bố dưới dạng mã nguồn mở!
Đây là bản phát hành lớn nhất kể từ khi Rerun được mở nguồn ba năm trước và đánh dấu sự mở rộng đáng kể về các loại công việc bạn có thể thực hiện với Rerun.
Chúng tôi đang ổn định định dạng tệp và thêm một bộ API đọc-ghi cấp thấp mới cho các tệp. Chúng tôi đang thêm một API mới để thao tác các khối dữ liệu Rerun được thiết kế để xử lý và chuẩn hóa dữ liệu robot thực tế. Chúng tôi đang mở rộng hỗ trợ thông điệp MCAP và ROS 2 để cải thiện trải nghiệm sẵn có. Chúng tôi đang thêm một giao diện người dùng xem xét bộ dữ liệu mới để giúp việc xem xét các bộ dữ liệu huấn luyện nhanh hơn nhiều. Máy chủ danh mục mã nguồn mở hiện lập chỉ mục vào các tệp .rrd trên đĩa để bạn hoặc tác nhân của bạn có thể viết các truy vấn chung trên các thư mục ghi âm robot. Dựa trên cùng nền tảng đó, chúng tôi cũng đang phát hành một trình tải dữ liệu Pytorch để bạn có thể huấn luyện các mô hình robot trực tiếp trên các tệp .rrd mà không cần xuất sang định dạng huấn luyện cụ thể.
Hệ sinh thái robot đã thiếu một khuôn khổ thống nhất đủ linh hoạt để hỗ trợ toàn bộ vòng đời của dữ liệu học robot. Với phiên bản 0.32, nền tảng đó hiện đang hình thành.
Ngoài bản phát hành mã nguồn mở khổng lồ này, chúng tôi cũng công bố Rerun Hub, danh mục dữ liệu và công cụ lưu trữ thương mại của chúng tôi. Rerun Hub hiện đang trong giai đoạn xem trước riêng tư và mở rộng Rerun SDK cho các bộ dữ liệu được hỗ trợ bởi bộ nhớ đối tượng. Nó cung cấp một danh mục và lớp truy cập chung để chuyển đổi, truy vấn, trực quan hóa và truyền phát dữ liệu robot ở quy mô lớn hơn nhiều trong khi vẫn duy trì cùng một mô hình dữ liệu và API.
Sử dụng Rerun Hub nếu tham vọng của bạn là mở rộng quy mô dữ liệu vượt quá những gì phù hợp với máy cục bộ của bạn - trong khi vẫn di chuyển nhanh chóng! Nếu bạn là một nhóm đang xây dựng sản phẩm xoay quanh việc học của robot và đang suy nghĩ về lớp dữ liệu của mình, hãy liên hệ.
Phần còn lại của bài viết này có hai phần. Đầu tiên, một bài giới thiệu về kiến trúc dữ liệu mà chúng tôi tin rằng Trí tuệ Vật lý cần để mở rộng quy mô. Thứ hai, một chuyến tham quan các khả năng mới trong Rerun SDK 0.32 giúp đưa kiến trúc đó vào thực tế.
Học robot cần một lớp dữ liệu được xây dựng riêng cho dữ liệu vật lý
Như đã nêu trong \Thuế Lớp Dữ liệu cho Học Robot\, phần lớn sự ma sát làm chậm tiến trình của Trí tuệ Vật lý đến từ việc cố gắng ép dữ liệu vật lý qua cơ sở hạ tầng được thiết kế cho các khối lượng công việc phần mềm và phân tích truyền thống. Điều cần thiết là một lớp dữ liệu được xây dựng cho dữ liệu đa tốc độ, đa phương thức, hỗ trợ mọi thứ bạn cần để lặp lại trí thông minh robot, từ thu thập đến huấn luyện và triển khai.
Các tác nhân mã hóa có nghĩa là người dùng cần toàn quyền kiểm soát lớp tính toán và ứng dụng
Để phục vụ toàn bộ quy trình làm việc thu thập, chuẩn hóa, hậu xử lý, quản lý và huấn luyện, các nhóm cần nhiều công cụ và công việc tính toán khác nhau. Những công cụ và công việc đó có thể mã hóa các cách thức hoạt động cụ thể của một nhóm hoặc các kỹ thuật họ sử dụng để thúc đẩy chất lượng dữ liệu ở quy mô lớn, khiến chúng trở thành một lĩnh vực khác biệt chính mà các nhóm cần sở hữu.
Các tác nhân mã hóa đang làm cho việc thiết kế các công cụ và công việc tính toán này theo đúng cách họ muốn trở nên khả thi hơn bao giờ hết, miễn là họ có quyền kiểm soát ở cấp độ mã. Vì lý do này, rất ít nhóm sẽ chấp nhận không có quyền kiểm soát đó. Đó là lý do tại sao Rerun SDK hoàn toàn là mã nguồn mở và được thiết kế như một khuôn khổ mà bạn có thể xây dựng cùng, thay vì một nền tảng SaaS có tường bao quanh. Ngay cả trình xem cũng được thiết kế như một thư viện để bạn không bao giờ bị mắc kẹt. Rerun luôn ưu tiên mã và chúng tôi đang tập trung hơn nữa vào việc làm cho nó dễ sử dụng hơn cho các tác nhân. Điều đó thậm chí bao gồm công việc sắp tới về kết xuất hoàn toàn không đầu và điều hướng trình xem để giúp các tác nhân nhìn thấy dữ liệu vật lý giống như con người.
Hầu hết các nhóm đã xây dựng các ứng dụng tùy chỉnh và tập lệnh xử lý riêng lẻ phù hợp với quy trình làm việc của họ. Nếu không xây dựng trên một nền tảng vững chắc, bạn sẽ kết thúc với các mảnh dọc khó hiểu và không kết hợp tốt, điều này đặt ra giới hạn cho lợi ích năng suất.
Lớp dữ liệu phải xử lý các phần khó của việc sử dụng dữ liệu vật lý quy mô lớn
Các khả năng cốt lõi cần thiết để phục vụ toàn bộ hành trình dữ liệu từ thu thập đến mô hình là trực quan hóa, truy vấn phân tích, chuyển đổi và huấn luyện. Tất cả các khả năng này cần xử lý dữ liệu đa tốc độ, đa phương thức có thể mang ngữ nghĩa robot như mối quan hệ 3D hoặc hình dạng. Để tránh lỗi và dữ liệu không nhất quán, bạn muốn xử lý các sắc thái của loại dữ liệu này một cách nhất quán bất cứ nơi nào nó được sử dụng. Ví dụ: căn chỉnh thời gian và biến đổi 3D nên hoạt động nhất quán trong quá trình tiền xử lý, truy vấn, trực quan hóa và xem xét bộ dữ liệu.
Để dễ dàng lặp lại cả vòng lặp thử nghiệm dữ liệu và các công cụ hỗ trợ nó, bạn muốn xây dựng trên một lớp dữ liệu thống nhất duy nhất giúp việc chuyển giao trở nên đơn giản và các ứng dụng phía trên trở nên dễ dàng. Điều đó có nghĩa là lớp dữ liệu cần đủ linh hoạt để xử lý các yêu cầu từ tất cả các khả năng ứng dụng và tính toán cốt lõi. Ví dụ: trực quan hóa và tính toán đều yêu cầu truy cập ngẫu nhiên nhanh vào chuỗi thời gian đa phương thức, trong khi các truy vấn phân tích yêu cầu quét cột hiệu quả, và cả tính toán hậu xử lý quy mô lớn (CPU) và huấn luyện (GPU) đều yêu cầu truyền phát dữ liệu song song băng thông cao.
Dữ liệu vật lý về cơ bản hoạt động khác với dữ liệu web và kinh doanh, điều đó có nghĩa là nó được hưởng lợi từ các trừu tượng lưu trữ và truy vấn khác nhau.
Đơn vị lưu trữ cốt lõi cho dữ liệu vật lý là một khối cột
Dữ liệu vật lý có hai đặc điểm khác biệt:
Đặc điểm đầu tiên là nó đa tốc độ: các cảm biến khác nhau sẽ ghi dữ liệu ở các tần số rất khác nhau. GPS có thể ở 1-10Hz, camera ở 10-30Hz, góc khớp ở 100-200Hz và IMU ở 1kHz. Trong quá trình hậu xử lý, bạn có thể tính toán các nhúng ngữ nghĩa cho mỗi khung hình camera thứ 10 hoặc mô tả cảnh ở đầu và cuối mỗi tập.
Đặc điểm thứ hai là nó đa phương thức: các cảm biến khác nhau ghi dữ liệu có kích thước rất khác nhau. IMU và GPS chỉ cần một vài byte để mã hóa một vài con số, trong khi camera RGB có thể sử dụng nhiều MB cho mỗi khung hình.
Nếu bạn lưu trữ một bản ghi robot trong một bảng mà một hàng đại diện cho một dấu thời gian và một cột đại diện cho một luồng dữ liệu, khía cạnh đa tốc độ thường sẽ làm cho bảng này rất thưa thớt; đối với bất kỳ hàng nào, hầu hết các cột có khả năng trống. Khía cạnh đa phương thức của dữ liệu dẫn đến sự mất cân bằng bộ nhớ lớn vì một hàng duy nhất có thể chứa các ô có kích thước chênh lệch nhau nhiều bậc độ lớn. Cơ sở hạ tầng dữ liệu dạng bảng hiện có xử lý sự kết hợp này rất kém.
Dữ liệu đa tốc độ và đa phương thức nên được lưu trữ trong các khối, mỗi khối chứa các tập con của các hàng và cột của một bộ dữ liệu. Khả năng, ví dụ, đặt một triệu mẫu IMU trong một khối và chỉ một vài gói video trong một khối khác cho phép bạn giải quyết cả vấn đề thưa thớt và mất cân bằng bộ nhớ.
Trong khối, lưu trữ hướng cột tối ưu hóa cho việc nén tốt hơn và truy vấn quét cột, trong khi lưu trữ hướng hàng tối ưu hóa cho các ghi đơn giản.
Tại Rerun, chúng tôi tin rằng các khối cột đại diện cho sự đánh đổi tốt nhất cho các hệ thống dữ liệu học robot và chúng tôi đã chuẩn hóa kiến trúc của mình xoay quanh chúng như là trừu tượng lưu trữ cốt lõi.
Định dạng tệp .rrd của Rerun được xây dựng xoay quanh các khối cột
Định dạng tệp gốc của Rerun, .rrd, là biểu diễn trên đĩa của trừu tượng khối cột. Bên trong, mỗi khối cột được mã hóa như một lô ghi Apache Arrow cùng với siêu dữ liệu ngữ nghĩa mô tả cách dữ liệu nên được diễn giải. Apache Arrow là tiêu chuẩn ngành cho khoa học dữ liệu và việc sử dụng Arrow có nghĩa là chúng tôi có một đường dẫn sao chép không nhanh vào DataFusion, Pandas và Polars.
Siêu dữ liệu trong mỗi khối chứa thông tin ngữ nghĩa về cách diễn giải dữ liệu ("đây là cảm biến IMU, đây là GPS, …") để nó có thể được mang qua các đường ống xử lý và vẫn được tự động diễn giải và trực quan hóa.
Các khối cột được mã hóa được bọc trong các thông điệp protobuf và nối lại để tạo thành một tệp .rrd. Một chân trang ở cuối tệp trỏ đến một chỉ mục, cho phép truy cập ngẫu nhiên nhanh vào các khối riêng lẻ mà không cần quét toàn bộ tệp.
So sánh với các định dạng khác
Apache Parquet là một định dạng trên đĩa dạng cột, thường được sử dụng cùng với Arrow. Nó tổ chức dữ liệu của mình trong các nhóm hàng, nhưng không giống như các khối trong .rrd, các nhóm này không thể chồng chéo: mỗi nhóm hàng chứa tất cả các cột trên một phạm vi hàng dày đặc. Điều này làm cho nó không phù hợp với dữ liệu robot đa tốc độ, đa phương thức. Bạn có thể thêm các hàng mới, nhưng bạn không thể thêm các cột mới (không có tiến hóa lược đồ).
MCAP là một định dạng để ghi nhật ký robot trên robot của bạn. Nó được thiết kế để ghi nhanh và linh hoạt, với khả năng tương thích ROS mạnh mẽ. Tuy nhiên, về cơ bản nó là một định dạng vùng chứa của các thông điệp không rõ ràng (được mã hóa bằng JSON, protobuf, CBOR, v.v.) và không được tối ưu hóa cho các truy vấn phân tích dạng cột. Các quét và kết nối lớn cũng chậm, vì bạn cần giải mã từng thông điệp.
Lance là một định dạng mới, được xây dựng rõ ràng cho dữ liệu đa phương thức và truy cập ngẫu nhiên (điều cực kỳ quan trọng cho huấn luyện). Không giống như Parquet, nó hỗ trợ tiến hóa lược đồ. Tuy nhiên, một bộ dữ liệu Lance vẫn là một chồng dọc của các mảnh căn chỉnh hàng, vì vậy các luồng đa tốc độ sẽ phình to với các giá trị null.
NCore là một định dạng mới từ Nvidia, được xây dựng cho tái tạo thần kinh. Đa tốc độ được hỗ trợ gốc thông qua dấu thời gian theo thành phần và căn chỉnh không gian thông qua đồ thị tư thế. Tuy nhiên, lược đồ là đóng (các thành phần cảm biến chuẩn, không phải dữ liệu do người dùng định nghĩa tùy ý), nó dựa trên Zarr thay vì Arrow gốc và nó không được xây dựng để phục vụ một công cụ truy vấn SQL / dataframe chung.
Mọi tính năng mà nhóm của bạn cần mà một định dạng tệp không cung cấp có nghĩa là một đường ống khác cần được đồng bộ hóa và các công cụ bổ sung để nhóm của bạn thành công. Định dạng của Rerun là lựa chọn duy nhất có thể phục vụ tất cả các trường hợp sử dụng cần thiết để biến các bản ghi robot thành trí thông minh. Nó cho phép bạn giữ dữ liệu ở dấu thời gian gốc, trong khi vẫn có thể truy vấn và xem từ cùng một nguồn dữ liệu và truyền phát đến huấn luyện. Nó có đủ cấu trúc để xây dựng các hệ thống dữ liệu thống nhất trên đó nhưng đủ linh hoạt để tối ưu hóa cho các mẫu đọc và ghi khác nhau.
Một lớp lập chỉ mục, lược đồ và siêu dữ liệu trên các khối cột đơn giản hóa việc sử dụng dữ liệu vật lý ở quy mô lớn
Quét tất cả các khối trong một bộ dữ liệu để phân tích một tín hiệu duy nhất mở rộng quy mô kém ngay cả đối với các bộ dữ liệu nhỏ, vì vậy để sử dụng chúng hiệu quả, bạn cần một lớp siêu dữ liệu và lập chỉ mục có thể giúp tìm các khối phù hợp cho bất kỳ truy vấn nào. Điều này trông rất giống mẫu hồ dữ liệu cổ điển. Trong trường hợp của chúng tôi, một bộ dữ liệu hoặc bản ghi duy nhất được tạo thành từ các khối không đồng nhất không chia sẻ cùng một lược đồ. Các công cụ xử lý dữ liệu cổ điển được xây dựng để xử lý các bảng có lược đồ thống nhất. Do đó, một lớp lập chỉ mục và siêu dữ liệu kiểu hồ dữ liệu cho dữ liệu vật lý cũng cần theo dõi các lược đồ riêng lẻ này để nó có thể hiện thực hóa các lược đồ hợp nhất của bất kỳ luồng nào một cách nhanh chóng để các công cụ dữ liệu cổ điển có thể làm việc với nó. Ví dụ: nếu bạn nâng cấp IMU của mình lên một cái xuất bản dữ liệu từ trường trong các thông điệp của nó, việc bổ sung này tương thích với IMU cũ hơn của bạn không chứa trường này, không cần phải viết lại dữ liệu lịch sử để tương thích.
Các khối cột kết hợp với lập chỉ mục hiệu quả cho phép bạn lấy chính xác dữ liệu bạn cần mà không phải trả giá cho các luồng không liên quan được lưu trữ cùng với nó. Bạn không phải chọn giữa việc làm cho các thao tác phổ biến nhanh và có thể theo đuổi các lỗi dài hạn vì bạn đã xuất dữ liệu phổ biến sang một kho riêng.
Ngoài lợi ích về hiệu suất, lớp này cho phép chúng tôi trừu tượng hóa các tệp và trình bày một API thống nhất cho tất cả người dùng dữ liệu vật lý ở các lớp phía trên. Thông thường, dữ liệu robot được lưu trữ trong một tệp và hiệu chuẩn trong một tệp khác, việc trừu tượng hóa các chi tiết triển khai này là một phần quan trọng của việc giảm ma sát dữ liệu và đơn giản hóa lớp tính toán và ứng dụng.
Xử lý và huấn luyện quy mô lớn yêu cầu truyền phát có chọn lọc trực tiếp từ bộ nhớ đối tượng
Các bộ dữ liệu học robot đã có thể rất lớn và sẽ còn lớn hơn nữa khi các nhóm tuân theo các quy luật mở rộng để đạt được các mô hình ngày càng có khả năng hơn. Để xử lý quy mô dữ liệu này, bạn thường cần phân tán ra một số lượng lớn CPU để hậu xử lý hoặc GPU để huấn luyện. Trong những trường hợp này, điều quan trọng là thông lượng dữ liệu có thể mở rộng theo nhu cầu của tính toán này.
Cả để tối đa hóa hiệu suất và giảm thiểu chi phí thoát, bạn muốn chạy tính toán gần với dữ liệu. Đồng thời, GPU tính toán có thể khó tìm, vì vậy nhiều nhóm kết thúc việc thuê ở các vị trí khác nhau theo thời gian. Tất cả các yếu tố này có nghĩa là bạn muốn có thể tách biệt lưu trữ khỏi các dịch vụ xử lý lập chỉ mục và siêu dữ liệu.
Trong Rerun, các truy vấn bắt đầu từ Rerun SDK, sau đó truy vấn Rerun Hub, chịu trách nhiệm biết khối nào cần thiết để giải quyết truy vấn. Tùy thuộc vào cài đặt, SDK yêu cầu các khối thông qua một proxy được lưu trong bộ nhớ đệm trong Rerun Hub hoặc cho các phạm vi byte trên bộ nhớ đối tượng. Điều này cho phép một API truy cập đơn giản hóa, truyền phát khối có chọn lọc và băng thông truyền phát tối đa từ bộ nhớ đối tượng cơ bản.
Rerun SDK 0.32 là một bộ công cụ dữ liệu thống nhất cho học robot
Rerun 0.32 là bản phát hành lớn nhất kể từ khi nó được mở nguồn vào tháng 2 năm 2023. Nó mở rộng các trường hợp sử dụng thực tế của SDK từ ghi nhật ký, trực quan hóa và truy vấn đơn giản hơn đến toàn bộ hành trình dữ liệu từ thu thập đến huấn luyện. Sau đây là chuyến tham quan các tính năng mới làm nổi bật sự mở rộng này. Xem ghi chú phát hành để biết thêm chi tiết.
Một định dạng tệp ổn định với các API Python cấp khối
Trong Rerun 0.23, chúng tôi đã công bố khả năng tương thích ngược từ phiên bản này sang phiên bản khác cho định dạng tệp .rrd của Rerun. Trong thực tế, chúng tôi đã không phá vỡ khả năng tương thích giữa bất kỳ phiên bản nào kể từ đó và hiện cảm thấy tự tin để hứa hẹn khả năng tương thích ngược chung cho định dạng tệp. Chúng tôi sẽ tiếp tục phát triển định dạng để thúc đẩy các khả năng và hiệu suất, nhưng dữ liệu cũ sẽ luôn tải được.
Trước phiên bản 0.32, bạn chỉ có thể ghi các tệp .rrd bằng cách sử dụng một trình nhập từ định dạng khác hoặc các API \log\ hoặc \send_columns\ cấp cao hơn và cách duy nhất để đọc dữ liệu là thông qua các truy vấn dataframe hoặc SQL. Với bản phát hành này, chúng tôi hiện đang giới thiệu các API đọc và ghi cấp khối, cho bạn quyền kiểm soát chính xác đối với hình dạng chính xác của dữ liệu của bạn.
Kết hợp lại, hai thay đổi này có nghĩa là .rrd đã đủ trưởng thành cho một loạt các nhóm để xây dựng các lớp dữ liệu của họ trên đó.
Các API xử lý khối cho việc xử lý dữ liệu robot gốc
Dữ liệu robot thường lộn xộn. Việc chuẩn hóa dữ liệu từ nhiều nguồn thành thứ mà các nhóm có thể phân tích và huấn luyện trở nên phức tạp nhanh chóng. Phần này của đường ống dữ liệu thường bao gồm các tập lệnh Python được ghép nối với nhau, chậm và chứa đầy lỗi tinh vi.
Để giải quyết những vấn đề này, chúng tôi đang giới thiệu một bộ (thử nghiệm) \API xử lý khối\. Chúng cung cấp một giao diện tải thống nhất cho các định dạng như .rrd, MCAP, Parquet và URDF tạo ra các luồng của các khối Apache Arrow. Sau đó, bạn có thể dễ dàng xác định các đường ống xử lý trên các luồng đó.
Dữ liệu robot thường ở dạng các cấu trúc lồng nhau sâu và việc chuẩn hóa và xử lý dữ liệu thường có nghĩa là định hình lại, ép kiểu và chuyển đổi nội dung của chúng. Để đáp ứng nhu cầu đó, chúng tôi cũng đang phát hành Lenses, một ngôn ngữ khai báo để chọn và chuyển đổi loại dữ liệu này, lấy cảm hứng từ jq.
Các API này đã được thiết kế rõ ràng và thử nghiệm với các tác nhân mã hóa và chúng tôi thấy rằng chúng có thời gian dễ dàng hơn nhiều để tạo ra mã chính xác và hiệu quả với các API xử lý khối của Rerun so với Python chung chung. Trong tương lai, các phép biến đổi xử lý khối này sẽ có thể chạy trong trình xem và trên đám mây thông qua Rerun Hub ngoài trình thực thi phía SDK hiện tại.
Hỗ trợ tích hợp mở rộng cho MCAP, các loại ROS 2 và trực quan hóa robot
Chúng tôi cho rằng điều quan trọng là dễ dàng đưa vào và làm cho tất cả dữ liệu robot trở nên hữu ích trong Rerun. Đồng thời, có rất nhiều dữ liệu có thể được xử lý hoàn hảo mà không cần tùy chỉnh và chúng tôi tiếp tục cải thiện trải nghiệm đó trong mỗi bản phát hành. Phiên bản 0.32 mang lại hiệu suất được cải thiện và hỗ trợ sẵn có nhiều hơn cho MCAP và các loại ROS 2 phổ biến cũng như mở rộng các trực quan hóa có sẵn. Xem danh sách cập nhật các thông điệp có hỗ trợ tích hợp tại đây.
Lưới chiếm dụng, hoặc bản đồ 2D trong 3D, rất quan trọng đối với robot di động và đã là một tính năng được yêu cầu nhiều trong Rerun một thời gian. Do đó, phiên bản 0.32 thêm nguyên mẫu và trình trực quan hóa GridMap mới, kết hợp với hỗ trợ tích hợp cho các thông điệp ROS 2 tương ứng.
Một yêu cầu phổ biến khác là khả năng trực quan hóa các thay đổi trạng thái theo thời gian. Phiên bản 0.32 mang đến một Chế độ xem Dòng thời gian Trạng thái thử nghiệm mới. Nếu bạn đã chờ đợi chế độ xem này trong Rerun, chúng tôi rất mong nhận được phản hồi của bạn về những gì bạn muốn thấy thêm từ chế độ xem này.
Máy chủ danh mục với các truy vấn SQL hoặc dataframe được lập chỉ mục trên nội dung của nhiều bản ghi trên đĩa
Các API Danh mục trong Rerun SDK cho phép bạn viết các truy vấn SQL hoặc Dataframe hoàn toàn chung trên các bộ dữ liệu robot. Khi được kết nối với Rerun Hub, điều này đã hỗ trợ các bộ dữ liệu quy mô lớn trong một thời gian, trong khi máy chủ mã nguồn mở chỉ hỗ trợ các bộ dữ liệu hoàn toàn phù hợp với bộ nhớ. Với phiên bản 0.32, chúng tôi đang mở rộng máy chủ danh mục mã nguồn mở để lập chỉ mục vào các phạm vi byte của các tệp trên đĩa cục bộ, vì vậy bạn hiện có thể dễ dàng phân tích bất kỳ thư mục cục bộ nào của các bản ghi robot trong các tệp .rrd chỉ với SDK mã nguồn mở.
Một giao diện người dùng mới để xem xét nhanh các bộ dữ liệu cho huấn luyện và đánh giá
Trong phiên bản 0.32, chúng tôi đang phát hành phiên bản đầu tiên của công cụ xem xét bộ dữ liệu (thử nghiệm) của mình. Nó cho phép bạn nhanh chóng xem xét nhiều bản ghi cùng một lúc, để săn lùng các bất thường và xây dựng trực giác cho dữ liệu của bạn. Nó cũng cho phép bạn gắn cờ các bản ghi, làm cho nó hữu ích như một công cụ chú thích đơn giản. Chế độ xem được cấu hình bằng cách sử dụng một blueprint Rerun bình thường.
Nhiều nhóm học robot đã yêu cầu chức năng này và chúng tôi rất mong nhận được tất cả phản hồi của bạn về cách biến điều này thành công cụ xem xét bộ dữ liệu hiệu quả nhất có thể.
Một trình tải dữ liệu cho học robot hỗ trợ trộn bộ dữ liệu đơn giản và tìm kiếm ngẫu nhiên vào các tệp .rrd
Chúng tôi đã bắt đầu công việc về một trong những tính năng được yêu cầu nhiều nhất: một trình tải dữ liệu PyTorch cho Rerun! Mô-đun rerun.experimental.dataloader mới hiển thị các bản ghi Rerun dưới dạng các bộ dữ liệu PyTorch có thể lặp hoặc kiểu bản đồ, truyền phát các hình ảnh đã mã hóa, vô hướng và video nén (h264/h265/av1) một cách nhanh chóng. Truy cập ngẫu nhiên, tìm nạp trước đa công nhân và hỗ trợ DDP hoạt động sẵn có. Nó tương thích với cả máy chủ danh mục OSS và sản phẩm thương mại Rerun Hub của chúng tôi khi bạn muốn huấn luyện trực tiếp trên các bộ dữ liệu lớn được hỗ trợ bởi bộ nhớ đối tượng.
Chúng tôi vô cùng hào hứng khi phát hành trình tải dữ liệu huấn luyện này cho cộng đồng để bắt đầu thử nghiệm. Chúng tôi có ý định biến điều này thành trình tải dữ liệu truyền phát tốt nhất có thể cho học robot và rất mong nhận được tất cả phản hồi và yêu cầu của bạn.
Khả năng huấn luyện trực tiếp từ cùng một lớp dữ liệu bạn sử dụng để trực quan hóa, phân tích và chuyển đổi là rất quan trọng để các nhóm có thể thực sự thống nhất các lớp dữ liệu của họ, đó là cách họ có thể thực sự đơn giản hóa hệ thống và tăng tốc các chu kỳ thử nghiệm.
Rerun Hub đang trong giai đoạn xem trước riêng tư và được xây dựng cho quy mô lớn
Trong suốt một năm rưỡi qua, chúng tôi đã âm thầm xây dựng lớp dữ liệu cần thiết để tăng tốc việc đưa học robot vào các ứng dụng thực tế có giá trị cùng với một nhóm các công ty khởi nghiệp và phòng thí nghiệm tuyệt vời ban đầu. Chúng tôi hiện đang xử lý petabyte dữ liệu huấn luyện robot và đang ở thời điểm sẵn sàng tiếp nhận thêm nhiều nhóm vào sản phẩm thương mại Rerun Hub của chúng tôi, hiện đang bước vào giai đoạn xem trước riêng tư.
Rerun Hub là một danh mục và công cụ lưu trữ kết nối với Rerun SDK mã nguồn mở để giúp dễ dàng làm việc với dữ liệu học robot từ thu thập đến huấn luyện và triển khai. Nó hoạt động như một lớp quản lý và truy cập thống nhất cung cấp năng lượng cho tất cả các khả năng dữ liệu cốt lõi từ đưa vào, trực quan hóa, truy vấn phân tích, chuyển đổi và huấn luyện. Dữ liệu có thể được lưu trữ trong bất kỳ bộ nhớ đối tượng tương thích S3 nào và Rerun Hub điều phối hiệu quả việc truyền phát có chọn lọc trực tiếp từ bộ nhớ đối tượng đến Rerun SDK trong các công việc huấn luyện hoặc hậu xử lý song song hàng loạt của bạn. Trung tâm tập trung cũng đơn giản hóa việc cộng tác và xem xét tự động bằng cách giúp dễ dàng xây dựng các liên kết dữ liệu có thể chia sẻ thông qua mã hoặc tương tác trong trình xem.
Nếu bạn đang xây dựng robot thông minh và quan tâm đến việc nâng cấp lớp dữ liệu của mình để có thể lặp lại nhanh hơn, hãy liên hệ. Đối với các nhóm đã đạt đến một quy mô nhất định với các hệ thống hiện có phức tạp, Rerun dễ dàng áp dụng từng phần và chúng tôi cũng có thể cung cấp các kỹ sư triển khai tiền phương để giúp bạn nâng cấp mà không cần di chuyển những người cốt cán khỏi các ưu tiên hàng đầu khác.
