Terungkap! Cara Baru Latih Robot Pakai Video Sudut Pandang Manusia
Memories.ai tengah membangun pipeline video orang pertama terstandardisasi dan menggandeng NVIDIA Cosmos untuk latih robotika fisik.
Foto: The Robot Report (Dokumentasi editorial)
Poin penting
- Memories.ai sedang membangun pipeline data video orang pertama terstandardisasi untuk robotika.
- Platform memakai model Memories-H0 dan EgoAction serta NVIDIA Cosmos untuk mengolah rekaman fisik.
- Perusahaan membidik peran sebagai mitra infrastruktur data jangka panjang untuk robot humanoid.
Mengembangkan robot agar memahami cara berinteraksi di dunia nyata membutuhkan pasokan data visual yang sangat besar. Banyak pengembang robotika selama ini menghadapi tantangan mengumpulkan data gerak fisik yang konsisten.
Startup asal San Francisco, Memories.ai, mengambil langkah baru untuk menjawab tantangan tersebut. Perusahaan ini sedang membangun infrastruktur data guna mengubah rekaman video sehari-hari menjadi materi pelatihan robot.
Seperti dilaporkan The Robot Report, Memories.ai mengembangkan pipeline video egosentris yang terstandardisasi. Video egosentris merupakan rekaman dari sudut pandang orang pertama (first-person), menyerupai apa yang dilihat oleh seseorang saat beraktivitas.
Infrastruktur ini dirancang untuk physical AI atau kecerdasan buatan bagi perangkat fisik di dunia nyata. Sistem ini juga ditujukan bagi robot humanoid, model dunia (world models), serta model vision-language-action (VLA) yang menghubungkan instruksi bahasa dengan aksi fisik.
Kamera Modular dan Pemanfaatan NVIDIA Cosmos
Alih-alih mengumpulkan video sembarangan dari beragam perangkat acak, Memories.ai memilih memproses datanya sendiri secara terkontrol. Mereka membekali mitra pengumpul data dengan perangkat keras kamera modular serta proses perekaman yang seragam.
Langkah tersebut dilakukan untuk menjaga konsistensi rekaman sebelum masuk ke pusat penyimpanan data visual (video data lake). Rekaman tersebut kemudian dianotasi secara otomatis menggunakan model AI internal perusahaan.
Memories.ai mengandalkan model Memories-H0 untuk melacak pose tangan manusia, serta model EgoAction untuk mengenali segmen tindakan. Riset di balik teknologi ini telah dipublikasikan di repositori GitHub dan ajang konferensi seperti ICLR, NeurIPS, serta EMNLP.
Selain model buatan sendiri, perusahaan mengumumkan pemanfaatan NVIDIA Cosmos untuk menginterpretasikan video yang masuk ke data lake. Rekaman yang telah terkurasi kemudian dipakai untuk pelatihan lanjutan (post-training) model Cosmos.
Proses berulang ini menghasilkan model AI yang disesuaikan langsung dengan tugas industri para pelanggan robotika.
Visi kami saat ini adalah mempercepat kecerdasan fisik dan berdiri di garda terdepan industri robotika dunia.
Pernyataan tersebut disampaikan Shawn Shen, Co-founder dan CEO Memories.ai, kepada The Robot Report. Shen menegaskan perusahaannya ingin menjadi mitra infrastruktur jangka panjang, bukan sekadar pemasok data biasa.
Mengingat banyak pengembang memiliki keterbatasan sumber daya, Memories.ai berencana menawarkan opsi kerja sama eksklusif maupun non-eksklusif, mencakup pasokan data, model AI, hingga infrastruktur video.
Apa Artinya bagi Pelaku Usaha
Bagi pelaku industri manufaktur, pergudangan, dan logistik di Indonesia, inovasi infrastruktur data ini menandai arah baru adopsi otomasi. Kehadiran data video sudut pandang orang pertama menunjukkan bahwa pelatihan robot humanoid bergerak menuju metode observasi demonstrasi manusia.
Model vision-language-action yang terus berkembang berpotensi mempermudah integrasi robot di masa depan tanpa perlu pemrograman manual yang kaku. Hal ini dapat membantu pelaku usaha merancang otomasi untuk pekerjaan fisik yang memerlukan ketangkasan tangan.
Sebagai langkah antisipasi, manajemen operasional dapat mulai mengevaluasi dan merapikan alur kerja fisik di lantai kerja yang paling repetitif. Dokumentasi prosedur operasional standar (SOP) secara visual dan terstruktur akan mempermudah adopsi solusi otomasi cerdas saat teknologi ini matang secara komersial.
✓ Lolos pemeriksaan redaksi AI. (Klik untuk lihat hasil pemeriksaan fakta)
Artikel ini ditulis AI, 12 klaimnya dicocokkan dengan sumber, dan diuji keterbacaannya sebelum terbit. Menemukan kekeliruan? Laporkan ke redaksi.
- The Robot Report: Memories.ai builds standardized egocentric video pipeline
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Memories.ai tengah membangun pipeline video orang pertama terstandardisasi untuk melatih robotika fisik. | Didukung | “Memories.ai is building a data pipeline for robotics companies that combines standardized video collection with AI-powered annotation to turn everyday egocentric footage into training data for robots.” Disebutkan di awal artikel The Robot Report. |
| Platform memakai model Memories-H0 untuk pose tangan dan EgoAction untuk segmen tindakan. | Didukung | “Memories.ai models label every clip: Memories-H0 for hand pose, EgoAction for action segments.” Disebutkan pada keterangan gambar pembuka artikel The Robot Report. |
| Memories.ai berbasis di San Francisco dan mengembangkan AI untuk memahami dunia fisik. | Didukung | “The San Francisco-based company is developing software and AI to help robots understand the physical world.” Disebutkan di paragraf kedua The Robot Report. |
| Tujuan jangka panjang Memories.ai adalah menjadi mitra infrastruktur data, bukan sekadar vendor data. | Didukung | “The longer-term aim is to be a data-infrastructure partner for robotics and physical AI, not just a data vendor.” Disebutkan di paragraf kedua The Robot Report. |
| Infrastruktur platform dirancang untuk physical AI, robotika, world models, vision-language-action (VLA) models, dan robot humanoid. | Didukung | “built for physical AI, robotics, world models, vision-language-action ( VLA ) models, and humanoids .” Disebutkan di bawah subjudul Memories.ai builds platform on video data. |
| Memories.ai menyediakan perangkat keras kamera modular dan proses seragam kepada mitra pengumpul data. | Didukung | “providing them with standardized capture hardware—described as a modular camera setup—and uniform process to collect footage in a consistent way.” Disebutkan pada penjelasan metode pengumpulan data di The Robot Report. |
| Riset Memories.ai telah dipublikasikan di repositori GitHub serta konferensi ICLR, NeurIPS, dan EMNLP. | Didukung | “It has also published at the ICLR , NeurIPS , and EMNLP events.” Disebutkan pada bagian publikasi riset di The Robot Report. |
| Memories.ai menggunakan NVIDIA Cosmos untuk interpretasi video dan kurasi data guna pelatihan lanjutan (post-training). | Didukung | “The company said last month that it has used NVIDIA Cosmos to interpret video entering its data lake. It then curates that data to post-train Cosmos for customers’ robotics and industrial applications.” Disebutkan di bawah subjudul NVIDIA Cosmos helps realize physical AI vision. |
| Shawn Shen adalah Co-founder dan CEO Memories.ai. | Didukung | “Shawn Shen, co-founder and CEO of Memories.ai, recently told The Robot Report” Disebutkan dalam kutipan narasumber The Robot Report. |
| Shawn Shen menyatakan visinya mempercepat kecerdasan fisik dan berada di garda depan robotika. | Didukung | “Our vision right now is to accelerate physical intelligence, and our vision is to stand really at the frontier to being able to be part of the robotics game” Disebutkan dalam pernyataan langsung Shen di The Robot Report. |
| Memories.ai berencana menawarkan kerja sama eksklusif maupun non-eksklusif bagi pelanggan robotika. | Didukung | “offer exclusive or non-exclusive arrangements, and potentially expand its role into models and video infrastructure.” Disebutkan di paragraf terakhir The Robot Report. |
| Penggunaan video sudut pandang manusia (egosentris) untuk melatih robot. | Didukung | “turn everyday egocentric footage into training data for robots.” Mendukung klaim pada judul dan isi naskah mengenai pemanfaatan rekaman sudut pandang pertama (manusia) untuk pelatihan robot. |
Video AI terbaru
What Codex Unlocks for Holiday Extras
