はじめに時系列予測モデルにおいて、ルックバックウィンドウ（過去データの参照範囲）をどの程度取るべきかは、実務上の重要な選択です。従来は「長いウィンドウを使えば使うほど良い」という考え方が一般的でしたが、この仮定は必ずしも正しくないと言われます。GPTなどの大規模言語モデルでは「データが多いほど、モデルが大きいほど性能が上がる」というスケーリング則が成り立ちます。しかし、時系列予測では異なる挙動を示します。過去データの参照範囲を長くしすぎると、逆に予測精度が下がるケースが存在します。本記事では、arXivに公開された論文「Scaling Law for Time Series F...

特異学習理論(SLT)のディープラーニングへ適用した研究を推進する一人であるメルボルン大学のDaniel Murfet先生のインタビューが今後のディープラーニング、AIの理解と発展、特にアラインメント問題に関して非常に示唆に富む内容であったので概略、感想を日本語で書きます。口語であり非常に長く、やや難解な内容も含むので読む際は各種自動翻訳等を併用することをおすすめします。https://www.lesswrong.com/posts/q6Tky4RzEmTwfGndB/axrp-episode-31-singular-learning-theory-with-daniel-murf...

パーセプトロンとは、入力された複数の情報に重みを掛け合わせ、合計がある閾値を超えた場合に「発火」するという仕組みであり、人工知能における最も基本的なモデルである。1950年代にフランク・ローゼンブラットによって提案されたこの構造は、単純ながらも“学習”という概念を数学的に表現した点で画期的だった。このパーセプトロンは、人工知能の内部構造としてだけでなく、社会や政治、さらには歴史的変化のメカニズムを理解する上でも示唆的である。なぜなら、社会や政治もまた「入力（情報）」を受け取り、「何をどれだけ重視するか（重み）」を決定し、「最終的な出力（政策や判断）」を導くという構造を持っているからだ...

こんにちは。今回は私が受験した ディープラーニングG検定（ジェネラリスト検定） について、概要から勉強方法、受験した感想までまとめて共有します。 G検定とはG検定（ジェネラリスト検定） は、日本ディープラーニング協会（JDLA）が主催する検定で、ディープラーニングの基本知識を有し、適切な活用方針を決定して、事業活用する能力を有しているかを問う試験です。つまり、ディープラーニングを広く理解し、ビジネスへの応用方針を考えられる人を対象にしています。🔗 [日本ディープラーニング協会（JDLA）公式サイト] 受験料区分金額（税込）一般13,200...

はじめにはじめまして、株式会社dotConfでAIエンジニアをしている古菅です！ChatGPT、Stable Diffusion、Midjourneyなど、強力な生成AIツールが次々と登場しています。「これらの技術を自分でも開発・カスタマイズしたい」 と考えたとき、どのPythonライブラリを学べば良いのでしょうか？本記事では、生成AIプログラミングに必要なPythonライブラリを、基礎から応用まで体系的にまとめました。 この記事で分かること生成AI開発に必要なPythonライブラリの全体像各ライブラリの使い分けと実践的な使用例初心者から実務レベルまでの段階的学習...

はじめに深層学習フレームワークにおいては、自動微分によってロスの勾配を求め、勾配降下法によってモデルのパラメータを最適化することで学習が進みます。例えばPyTorchの場合、torch.Tensorを使うことで計算グラフが記録されていき、この情報から誤差逆伝播法によって勾配が計算されます[1]。ところで、自動微分はよりコード生成的なアプローチ、即ち、関数の定義を受け取り、その導関数の定義を自動生成するという方法で実装することもできます。このアプローチが機能するかどうかは言語のメタプログラミングのやり易さに依存すると言って良いでしょう。もしCやFortranでこのアプローチを...

はじめに今回は私が輪講に用いた資料を使って論文の解説をしていきます！資料は以下のURLから見れますので、フルバージョンで見たい方はこちらからどうぞ。👉 SpeakerDeckのスライドはこちら原論文：Snakes and Ladders: Two Steps Up for VideoMambahttps://arxiv.org/abs/2406.19006 0. 超ざっくりまとめ 目的Video Understanding分野では、精度面でSSM系モデルがTransformer系モデルに劣っている→ SSM系モデルの代表 VideoMamba を改良し、T...

!「最終的なアプローチ」を見れば一瞬でわかります。コンペ内容をすでに把握している方は読み飛ばしてOKです。 はじめにkaggle RSNA2025 では、脳内動脈瘤（intracranial aneurysm）を検出・局所化することを目的とした AI コンペティションが開催されている。配布されているデータには、以下が含まれている：画像（CT や MRI 等、4000件くらい）どの部位に動脈瘤があるかのラベル（１３クラス＋有無、予測対象）多クラスのセグメンテーションラベル（13クラス、補助データ、200件ほど）動脈瘤の座標情報（13クラスxy座標、補助データ）こ...

Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning Language-Agnostic Speech Representations[1]https://arxiv.org/abs/2503.06273 TL;DR"AV-HuBERT"と"Llama"の知識を組み合わせることで、明示的にコーパスから学習しなくても視覚音声認識ができる新しい視覚音声データセット"MARC"は、元データにラベル無しデータを用いることで対応言語数と総再生時間を大幅に増加同じ「ゼロショット推論」で...

はじめにほぼ自分用のメモですが、気になる教材がありましたらぜひご覧ください。 ディープラーニングを支える技術 「正解」を導くメカニズム誤差逆伝播法（P130〜139）畳み込み層におけるチャンネルの扱い（P147~148）CNNにおいて、空間方向が小さくなり、チャンネル数が大きくなっていくイメージ（P224〜228）SENetの構造（P235〜237）ViTとCNNは画像の異なる特徴を捉える（P238） ディープラーニングを支える技術〈2〉 ——ニューラルネットワーク最大の謎勾配降下法における3つの問題点とそれが解消された理由（P12〜25） Vi...

参考論文1：GeoAI enabled urban computing: status and challenges, Dec 2024 GeoAIとはGeoAI（Geospatial Artificial Intelligence、地理空間人工知能）は、地理情報科学（GIS）と人工知能（AI）を統合した学際的な分野 目的AIとGISの分野を統合することでダウンストリームアプリケーションをよりサポートできるインテリジェントな技術的枠組みを確立すること GeoAIの歴史理論的黎明期 (1950s-1970s)◦ トブラーの地理学第一法則（「すべてのものは他のすべてのも...

イントロダクション前回はE資格のシラバスを見て、認定プログラムや黒本をどう活用していくかを考えていきました！今回は、早速黒本の中身を進めていこうと思います！…が、第一章の線形代数はシラバスの範囲から削除されてしまっているので、さらっとまとめるにとどめたいと思います。あらためて、E資格（JDLA Deep Learning for ENGINEER）はディープラーニング実装エンジニア向けの資格試験であり、出題範囲には数学の基礎知識が含まれます。ここでは、合格体験記や講師の解説をもとに、E資格の数学対策について最新情報を整理します。 1. E資格で重点的に求められる数学分野...

はじめにaccelerateを用いてマルチノードで学習を行うとりあえず実行できればという感じでほぼメモ書き状態githubに使用したコードを添付https://github.com/HToda0103/accelerate_multinode accelerateとはaccelerateは分散学習を可能にするライブラリhttps://huggingface.co/docs/accelerate/index 実行環境マルチノード環境NISでユーザが各ノードで共有されており，NFSでディレクトリも共有されている環境docker環境https...

はじめにTensorFlow（Keras）でニューラルネットワークを構築する方法は、大きく3つに分かれます。Sequential APIFunctional APISubclassing APIどの方法も最終的には同じ「モデル」を作りますが、柔軟性・可読性・拡張性の面で大きく異なります。この記事では、それぞれの特徴と書き方を整理し、さらに PyTorch での対応方法も比較して理解を深めます。 1. Sequential API：最もシンプルな構造Sequential は「層を順番に積み上げる」ための最も基本的な方法です。入力から出力までが一本道のシンプ...

イントロダクション前回はE資格勉強するぞ！と宣言をする記事を書きましました。今回はE資格に受かるための現実的な学習計画を作っていきます。「黒本」をどのように進めるか、そして認定プログラムをどう活用するかを、最新のシラバスと突き合わせながら具体的に学習計画を立てていきます。E資格は範囲が広く、すべてを同じ深さで学ぶのは効率的ではありません。そこでシラバスとAIを駆使して、効率的に合格に近づく戦略を考えます。 方針：最初に“浅く広く／深掘り”の線引きをする（AI活用）シラバス全体をAIで整理・マッピングし、まずは“浅く広く”全体をカバーするその中で、出題ウェイトが高...

イントロダクション社会人2年目、データサイエンティストとして働きつつ、来年2月に行われるE資格試験（JDLA Deep Learning for ENGINEER）を受けることにしました。このシリーズでは、ゼロから学習をスタートし、教材・進捗・つまづき・合格までの道のりをリアルに共有する予定です。そろそろ勉強しないとなと焦り始めた自分の学びを発信しながら、復習・フィードバック・モチベーション維持を目的に勉強記録を残していこうというのが本音だったりします。第一回となる今回は、「今の立ち位置」「なぜ発信するのか」「これからどう勉強していくか」をまとめ、読者の皆さまと一緒にスタート...

はじめに自然言語処理で大きな役割を果たすのが Attention です。とくに翻訳タスク（日本語 → 英語）では、Attention によって「どの入力をどれくらい参照するか」を学習できるため、語順や助詞の違いを越えて正しい対応づけができます。ここでは初心者がつまずきやすい点を丁寧にフォローしつつ、翻訳タスクにおける Attention の仕組みを説明します。 1. 単語はどう扱われるのか？入力文（例：「私はニンニクが好きです」）は次の流れでモデルに入ります。トークン化文を単語やサブワードに分割する（例：[私, は, ニンニク, が, 好き, です]）埋め...

はじめに 機械学習モデルのブラックボックスという課題機械学習、とりわけ深層学習は多岐にわたる分野で高い性能を達成している一方で、これらの高度なモデルはブラックボックス[1]という根本的な課題を抱えています。この不透明性は、ミッションクリティカルな領域では容認することが難しく、モデルの予測根拠を解釈し、検証できる能力が求められています。そのための取り組みとして、AIの振る舞いを解釈し、信頼できるようにするための技術 "eXplainable AI"（略してXAI）に関する研究がさまざまな観点で行われています。かねてから現在[2]にかけて、XAIは、LIME[3]やSHAP[4]...

はじめにこの度、E資格に合格しました。すこし前に「E資格に挑戦しました：勉強方法と体験のまとめ」と題して記事を公開しましたが、合格したので、改めて自信を持って「合格までの道」と題して記事を残します。 E資格とは「E資格」とは日本ディープラーニング協会（JDLA）が認定するAIエンジニア向け資格試験です。正式名称は 「JDLA Deep Learning for ENGINEER 」（E資格） と呼ばれます。主にディープラーニングを実装・応用するエンジニアや研究者に向けたものです。JDLAの認定資格といえば、AIのジェネラリスト向けのG検定などもありますが、E資格は...

要旨近年のディープラーニングフレームワークは，大きく Define-and-Run（静的計算グラフ）方式と Define-by-Run（動的計算グラフ）方式の二つに大別される．前者は大規模展開や最適化に強みを持つ一方で，後者は柔軟性・可読性・研究開発における俊敏性に優れる．本稿では，Define-by-Run方式の理論的基盤，設計原則，研究への影響について概説し，Define-and-Run方式との比較を行う． はじめにディープラーニングの研究においては，計算グラフという抽象化が長らく重要な役割を担ってきた．従来の Define-and-Run フレームワーク（TensorF...