はじめにTuringの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、PyTorch Lightningを利用してマルチノード(=2インスタンス以上の環境)で学習を行う際のTipsと、PyTorch Lightningと Lightningの併用により生じる問題の解決策について紹介を行います。普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 2ノード以上で発生する問題PyTorch...

はじめにTuringの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、NVIDIA NGC PyTorchのcontainerを利用する際に直面するversion lock問題に関する知見や注意点について紹介します。普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 NGC PyTorchとはNGC PyTorchとは、NVIDIAが提供しているコンテナの総称であり、LLMの学習やN...

はじめにチューリングの髙橋です。機械学習やAIにおけるセキュリティやプライバシーの研究開発を専門としています。チューリングでは、「完全自動運転」の実現を見据えて、LLMに視覚理解や行動計画を統合したマルチモーダルAIの研究開発に取り組んでいます。このようなモダリティの統合に加えて、ひとの価値観と整合（アライン）したふるまいも、安全な自動運転AIに欠かせない要素です。このテックブログでは、どのようにして人間社会の規範や倫理観にアラインさせていくのか、近年の機械学習モデルに対する脅威や攻撃、セーフティアラインメントの研究動向を踏まえ、「言葉を介してひとの価値観とアラインする」とい...

はじめにTuringの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、PyTorchをsource buildした後に利用する際にCUDA Toolkitをmodule loadしておく必要があることの背景について解説を行います。また、pip installによりbuild済みのbinaryをインストールしたときのPyTorchとsource buildした場合の違いについても解説を行います。普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研...

はじめにTuringの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、LLM(Large Language Models)やVLM(Vision Language Models)などの学習で利用するデータセットを複数のデータセンター間で並列転送する際に利用しているLFTPの使用方法について紹介します。AWS S3, GCSなどのCloud Service企業のストレージサービスを利用される場合は、aws s3コマンドやgcloudコマンドなどにより並列転送を容易に実現可能ですが、そうでない場合に...

はじめにチューリング基盤AIチームの @stu3dio_graph です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため，LLMを視覚モーダルに拡張したVision-Language モデル（VLM）「Heron」の開発に取り組んでいます。チューリングは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト GENIAC第2期 に採択されました。GENIACでは，完全自動運転を見すえた「身体性」を持つマルチモーダル基盤モデルの開発に取り組みました。日本語環境で高性能なマルチモーダル基盤モデルを作るためには，品質のいい日本語画...

完全自動運転の実現を目指すTuringでは、Webスケールのデータセットで学習した大規模視覚言語モデル（VLM）の持つ「常識」を利用することで、幅広い状況に対応できる自動運転モデルの開発を実現できると考えています。この目標のもと、基盤AIチームでは2023年から視覚言語モデル「Heron」の開発に取り組んできました。https://www.watch.impress.co.jp/docs/news/1529946.htmlVLMを自動運転に活用していく上で重要な要件の一つが「軽量」であることです。Turingでは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けた...

はじめにチューリングの横井です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため、Vision Language モデル（VLM）「Heron」の開発に取り組んでいます。このたび、経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと開発したVLM「Heron-NVILA」15B, 2B, 1B, 33Bを公開しました。https://huggingface.co/turing-motors/Heron-NVILA-Lite-15Bこの記事では開発したHeron-NVILAのアーキテクチャ、学...

はじめにこんにちは。Turing MLOpsチームの塚本です。自動運転AIの性能を高めるには、モデルの改良だけでなくデータの量と質が何より重要です。Turingでは「データセントリックAI」の考え方のもと、1日あたり20TBを超える膨大なセンサーデータを活用し、大容量、高品質かつ多様性のある学習データセットの構築に取り組んでいます。https://zenn.dev/turing_motors/articles/045fedc15072b9学習データセットのファイル数は、画像データだけでも数億を超えています。この規模になると、inode の枯渇やアップロード・削除といった運用上...

はじめに本記事ではABCI ハッカソンで実施した日本語 VLM（Vision-Language Model）作成の取り組みについて紹介します。ABCI 3.0を活用したVLMの学習に関する内容であり、以下の読者を想定しています。ABCI ハッカソンの概要を知りたい方ABCI 3.0でVLMの学習がどの程度高速化できたか知りたい方 ABCI 生成AIハッカソンABCI 生成AIハッカソンは2025年2月4日から2月13日にかけて開催された生成AIモデルの開発や最適化を目的としたイベントです。主催は産業技術総合研究所（産総研）で参加者は 「ABCI 3.0」（H200...

Turingの基盤AIチームの三輪です。Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。https://turingmotors.github.io/one-d-piece-tokenizer/https://arxiv.org/abs/2501.10064 これは何？「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transforme...

こんにちは！チューリングでソフトウェアエンジニアをしている太田です。自動運転システムの開発を手がけるチューリングでは、大規模な GPU クラスタでトレーニングされたモデルが日々リリースされ、実車環境でのテストが行われています。自動運転と聞くと、ハードウェア寄りの技術を連想するかもしれませんが、チューリングの自動運転開発においてWeb系の技術もさまざまな場面で活用されています。近年、UI開発においてWebブラウザが利用される場面が広がっています。チューリングの自動運転システムにおいても例外でなく、Webフロントエンドの技術を用いてUI開発が進められています。この記事では、チューリング...

はじめにこんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 RerunとはRerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。記録、可視化...

はじめにこんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉（@sangotaro）です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました！今回お届けする...

はじめにこんにちは！チューリング株式会社のドライビングソフトウェアチームに所属している堀ノ内です！今回は弊社で導入を検討している自動運転開発用シミュレータについてお話させて頂きます。以前のブログにて自動運転開発におけるシミュレータの必要性についても言及しておりますので合わせてご覧ください。これまでチューリングではCARLAというシミュレータを使っていたのですが、レンダリング処理が重く高性能なGPUを搭載したデスクトップPCでないと動かせないという問題がありました。そこで今回は比較的軽量なMetaDriveと呼ばれるシミュレータについて調査してみました。MetaDriveはCAR...

Python Advent Calendar 2024の7日目です。この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです！また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/getting-started/から...

はじめにチューリング生成AIチームの荒居です。この記事は生成AIアドベントカレンダー2024の4日目の記事です。この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。そこで...

1. はじめにこんにちは。チューリングのDriving Software チームで車両制御の開発をしている相澤です。チューリングではTokyo30に向けて、E2E自動運転チームが車両の経路を直接出力するAIモデル(TD-1)を開発しています。一方で、実際にその経路に沿って車を動かす制御部分は、私たちDriving Software チームが開発しており、本記事では、その制御の概要と直面している課題についてご紹介します。 2. MPV制御に立ちはだかる壁とは？自動運転技術は近年、目覚ましい進歩を遂げています。TeslaのAutopilotやWaymoのシステムは、低重心EVをプ...

はじめにTuring の生成 AI チームでインターンをしている塩野 (@onely7_deep) です。生成 AI チームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。本記事では、Turing からリリースされた盛り沢山な GENIAC の成果物 の中の１つである The Cauldron JA と Wikipedia Vision JA データセットを紹介します！ The Cauldron JA データセットhttps://huggingface.co/datasets/turing-motors/Cauldron-JA The...

1. はじめにこんにちは、End-to-End自動運転開発チーム(以降E2Eチーム)で自動運転システムを開発している嶋谷です。本記事はE2Eチームの取り組みを知ってもらう連載企画の最終回として、センサキャリブレーション技術とその精度を高めるための様々な工夫についてご紹介します。 2. キャリブレーションの必要性自動運転の文脈において、キャリブレーションとはセンサ間の位置関係 (外部パラメータ) を求めたり、センサ自身のパラメータ（内部パラメータ）を推定し、センサの値を補正することを意味します。私達のデータ収集車両においてもカメラ、GNSS、IMU、LiDARといった多くのセン...