710Mパラメータ vs 4パラメータChronos-T5-Large。Amazonの時系列Foundation Model。710Mパラメータ、GPU必須。FLAIR。パラメータ約4個。GPUなし。numpy と scipy だけ。Pythonファイル1つ、約500行。この2つを同じベンチマークで比較するとどうなるか。Chronos Benchmark II (25データセット、ゼロショット評価) の結果です。RankModelParamsAgg. Rel. MASEGPU1FLAIR~40.696No2Chronos-Bolt-B...

はじめに第3弾でLSTMを使って東京の気温を予測したあと、自然と「次は何を試そうか」となりました。調べてみるとTransformerベースのモデルが時系列予測でも注目されていて、中でも PatchTST が「シンプルに使えてLSTMより良い」という話だったので試してみることにしました。ところが実装すすめるものの、いまいち数字があがらない。それについて、Claudeが一言。「PatchTSTは長い文脈が得意なモデルです。seq_len=30 は短すぎるかもしれません。元論文では 336〜720 ステップを使っています。60 程度に伸ばしてみませんか？」「そうなの？」と...

はじめに先日、こんなクライアントワークを受注しました。「オリジナルのGPTを作って、ファインチューニングして遊びたい」正直、未知の領域でした。LLMの仕組みはなんとなく知っていたけど、ゼロから実装したことはない。でも「Claude Codeで何とかなるだろう」と思って受けました。結果、実働5時間で動くLLMができました。しかも、意外とちゃんと日本語を喋る。この記事では、その過程を技術的な話と非技術的な話を混ぜながら書きます。エンジニアじゃない人も、LLMがどういうものか少しわかるように書くつもりです。 作ったものアーキテクチャ：Transformer（GP...

はじめに昨日から社会人のihiratchです。先日終了したDeep Past Challenge - Translate Akkadian to English、通称アッカド語コンペに参加していました。結果は628/1349チーム（Private 35.58）と悔しい結果に終わってしまいました。落ち込んでいても仕方がないので、本記事ではコンペの振り返りと1位解法 + α の紹介をします。アッカド語コンペに出ていた人も、そうでない人にも、本記事がなにかの参考になれば幸いです。 アッカド語コンペとは？アッカド語コンペは、4000年前の古代アッシリア商人が粘土板に刻んだアッカド語...

はじめに数理最適化や機械学習の理論の勉強をする際に避けては通れない，スカラーのベクトルによる微分ベクトルのベクトルによる微分についてまとめます．この内容は，学部 1 年生の線形代数と微分積分がある程度わかっていれば習得できます．本記事の特徴は，Jacobi 行列と勾配を区別している点にあります．こうすることで，多変数関数の微分をまとまりよく扱うことができます． スカラーのベクトルによる微分まずはじめに，ベクトル（多変数）に対してスカラー値（一変数）を対応づける関数の微分を考えましょう．f:\mathbb{R}^n\rightarrow\mathbb{R}としま...

はじめにルミナイR&Dチームの宮脇彰梧です。普段は大学院でマルチモーダルAIの研究をしながら、生成AIやAIエージェントの技術をあれこれ触っています。いきなりですが、みなさん。RAGの開発、つらくないですか？「LangChainで組んではみたものの、なんか精度が出ない…」「Self-RAGとかFLAREとか、新しい手法が出すぎて追いつけない！」「論文のコードを動かそうとしたら、環境構築だけで一日終わった…」あるあるですよね。私もよく頭を抱えています。そんなRAGのカオスに、一筋の光を差し込んでくれるかもしれない論文が登場しました。それが 「FlashRAG」 ...

by [Hideki Tamae] | #HuggingFace #CrewAI #Antigravity #AI #ケア資本主義 AIツール、何を基準に選んでいますか？多くの人は「スピード」「効率」「売上への貢献」で選ぶ。それは正しい。私もそうだった。Crew AIやAntigravityを使い始めたのも、仕事を速く、賢くこなすためだった。でも、ある時ふと思った。このツールの先に、何がある？ 第一章：1956年、ダートマスの夢1956年、夏。アメリカ、ニューハンプシャー州ハノーバー。ダートマス大学の数学棟最上階に、若き俊英たちが集まった。ジョン・マッカーシー、マービ...

はじめに機械学習のモデルを作っていると、こんな経験はないでしょうか？あのとき一番精度が高かったモデル、どのパラメータで動かしたんだっけ？同僚と実験結果を共有したいけど、どうやって渡せばいいの？本番に出したモデルをロールバックしたい…でもどのバージョンだっけ？機械学習のプロジェクトは、コードを書くだけでは終わりません。データの準備から実験管理、モデルのデプロイ・監視まで、幅広い工程を継続的に回し続ける必要があります。とても大変そうですよね？こうした複雑な工程をまとめてサポートしてくれる 機械学習ライフサイクル管理ツール というものがあります。 そもそも機械学習の...

はじめに（本記事ついて）本記事は、2023年6月～9月にNishikaさんで開催されたコンペ「日本酒銘柄画像検索」にて、コンペ終了後2023年9月当時にトピック投稿していた7位解法の内容です。公開が今更ではあります、Nishikaさんが2026年3月31日をもってコンペティションサービスを終了されることに伴い、こちらに備忘録として投稿することにしました！とても良い経験のできたコンペでしたので、コンペ運営・ホスト・参加者の皆様に改めて感謝します。こちらの記事では、主に自チームのアプローチのみの内容となっています。コンペ概要や他上位解法などについては、Speaker Deckの...

はじめに「一人でやったらエライことになっていた」正直、これが今回の感想のすべてです。PyTorch、LSTM、スライディングウィンドウ、DataLoader、GPU切り替え——それぞれ一つひとつなら調べながら進められるかもしれない。でも「PyTorchで、久しぶりのLSTM、それを多ステップ予測に使って、Colab GPU で動かす」というのは大変！な状態でした。今回は Claude Code をナビゲーターにして 、気象庁オープンデータ（東京の日別気温）から翌7日間の気温を予測するLSTMモデルを完走した話をします。この記事は以下のシリーズの3本目です。第1弾: C...

Pythonでノイズ除去の効果を検証する ― 音声分類の精度はどう変わるか はじめに前回はスペクトル減算とWienerフィルタによるノイズ除去を実装しました。ところで、こんな疑問を持ちませんでしたか？「ノイズ除去すれば、音声分類の精度は上がるはずだよね？」実は、これは正しいとは限りません。本記事では、実際に実験してその答えを確かめます。結果として出てきた数値は、最初の予想を裏切るものでした。 実験の設計以下の3パターンで音声分類の精度を比較します。Clean：ノイズなしの音声でテストNoisy：ノイズを加えた音声でテストDenoised：ノイズ...

はじめに株式会社 松尾研究所インターンの松本です。本記事では、LLMの学習手法であるDPOにおけるバッチサイズについて扱います。DPO（Direct Preference Optimization）とは、好ましい回答（chosen）と好ましくない回答（rejected）のデータを用いて、モデルが人間にとってより望ましい応答を生成できるように学習するアライメント手法です。バッチサイズとは、1回の学習ステップで同時に処理されるデータサンプル数を指します。一般的に、バッチサイズを大きくすると勾配が安定し、学習が安定しやすくなります。一方で、バッチサイズを小さくすると勾配に分散が大...

!この記事は「Claude Code × Google Colabで始めるAI開発——GPUをタダで使いながらAIと二人三脚」の続編です。前記事で作った環境をそのまま使っています。 はじめに前回はVSCode + Claude Code + Google Colabの環境構築とGPU活用を試した。今回はその環境を使って、実際に機械学習をやってみた。そこで気づいた使い方がある。**「コードを書いてもらう」のではなく、「実行結果をClaudeに見てもらう」**というフローだ。コピペ不要で、シームレスに回る。これは思ったより画期的だった。 環境VSCode + Cla...

3月のAI業界、ちょっと落ち着いてくれへんか。1週間で12モデルがリリースされ、最強モデルの情報がブログ原稿ごと漏洩し、動画生成は「経済的に無理」と白旗が上がり、MetaはLlamaを捨ててGoogleに助けを求め始めた。おっちゃん、追いかけるだけで息切れしとるで。今日は3月最後の月曜や。Claude Code・Codex/ChatGPT・AI業界全般の「今週ほんまに押さえとくべきこと」を、全部まとめて1本でお届けする。 🔓 Anthropic Mythos/Capybara — セキュリティ最強モデル、最弱のミスで世に出る3月26日、Fortuneがスクープした。Anth...

LeWorldModel入門: 15Mパラメータで実現するJEPAベースWorld Model この記事でわかることWorld Modelと**JEPA（Joint Embedding Predictive Architecture）**の基本概念と、従来手法との違いLeWorldModel（LeWM）のアーキテクチャ設計とSIGReg正則化の仕組み15Mパラメータ・単一GPUで学習できるLeWMの実装構成と学習フローPush-TやReacherなどのベンチマークにおける定量的な性能比較LeWMの制限事項と、World Model研究の今後の展望 対象読者...

M2 MaxのMacでZoom録画（33分）をfaster-whisperで文字起こしした手順と、pyannoteによる話者分離のはまりどころを記録する。 環境Apple M2 Max（MacBook Pro）faster-whisper 1.xpyannote.audio 3.x（話者分離） Metal（MPS）非対応の話M2 Maxは強力なGPUを持っているが、faster-whisperはMetalをサポートしていない。CUDA専用の実装なので、Macでは必然的にCPU実行になる。from faster_whisper import WhisperModel...

前回の記事では、ひとつの特徴量（体重）からひとつのラベル（身長）を予測しました。https://zenn.dev/ringo_acid/articles/5519bb81afa734このように、1つの要因から結果を予測する、一次関数を用いた統計手法を「単回帰分析」といいます。y = f(x) = ax + b一方で2つ以上の要因から結果を予測する、一次関数を用いた統計手法を「重回帰分析」といいます。以下の式は、特徴量が2つ、ラベルが1つの重回帰分析モデルです。z = f(x,y) = ax + by + cこの記事では線形回帰モデルについて軽く解説します。その過程で、...

API vs Local LLM、まだ感覚で選んでないか？「とりあえずChatGPT使っておけばいい」という思考停止、2026年にそれをやるのはさすがにもったいない。逆に「プライバシーが気になるからLocal LLMで全部やる」という過剰反応も同様だ。どちらもアーキテクチャの意思決定を放棄している。この記事では、実際に RTX 4060搭載Windows機 + M4 Mac mini という二刀流環境でLocal LLMを本番運用しながら、同時にGemini/Claude APIを使い倒している立場から、どの判断基準で選ぶべきかを構造的に整理する。なんとなくで選ぶのをやめるため...

土曜日の昼前、コーヒー片手にGTC 2026のRecapイベントの告知を眺めていた。NVIDIAの年次カンファレンスは毎年この時期で、今年も先週開催されていたらしい。見逃していた。正直なところ、最近はこういう大型カンファレンスを追いかける熱量が落ちている。以前は「最新情報を逃すまい」と必死でセッション動画を漁っていた時期もあったけど、今はもう少し冷静だ。どうせ本当に重要な情報は1週間もすれば日本語でまとめられる。 GTC 2026で何が語られたのか検索してみると、スリーシェイクが3月30日にRecapイベントを開くという。無料で、要点を絞った解説らしい。こういうのはありがたい。...

1. はじめに本記事は、「機械学習素人が Transformer を理解するまでの記録」という連載の第七回です。ChatGPT は日常的に使っているものの、Transformer の中身は実はよく分かっていないという立場から、基礎に立ち返って理解していく過程を整理しています。 1.1. シリーズの内容導入回：【Transformerとは？ - 導入回】機械学習素人が Transformer を理解するまでの記録Transformerとは（概要）ニューラルネットワークとは何か重み・バイアス・活性化関数脳との関係（比喩として）ニューラルネットワ...