計算グラフ (Computational Graph) とは平たく言えば 「単純な関数をつなげたもの」 。Mul : 乗算 ( \times )Add : 加算 ( + )PowN : 冪乗 ( ^N )ここでいう関数とは、上の Mul や Add や PowN のような最小単位の演算。各ノードは 複数の入力値 をとり得る。各ノードの 出力は単一 。 逆伝播上のように順方向に計算グラフを解くことを 順伝播 (forward propagation) と呼ぶ。これに対して、逆方向に解くことを 逆伝播 (backward propagation) と呼ぶ...

はじめにマルチモーダル大規模言語モデル（Multimodal Large Language Model、以下MLLM）とは、テキストに加えて画像、音声、動画、センサーデータなど、複数の情報形式（モダリティ）を統合的に処理・理解・生成できるAIモデルのことです。 MLLMはどのようなタスクに対応可能？MLLMは、単なる「文章の理解」にとどまらず、「画像を読み取り」、「音声を聞き取り」、「映像の動作やシーンを把握する」といった、複数のモーダリティを横断的に理解する能力を備えています。このようなクロスモーダルな理解能力により、MLLMは以下のような高度かつ複雑なタスクの実行を可...

はじめにエンジニア2年目のものです。最近、名前を耳にする自立型AIエージェントmanusについて、気になったので記事として、記録に残したいと思います。 AIは「指示待ち」から「自律行動」へ冒頭の問いかけ: 「もしAIが、与えられた一つの目的を達成するために、自ら考えて行動し、試行錯誤を繰り返すとしたら、私たちの働き方はどう変わるでしょうか？とても気になりますね、manusについて見ていきましょう。 Manusとは何か？Manusとは、単なる質問応答ツールではなく、ユーザーの目的を達成するために自律的に計画を立て、実行するAIエージェントです。!自立型AIエージェ...

数値微分とは 微分の近似値を得る こと。これに対して普通に微分することを 解析的に解く と言い、解析的に解いた微分は「真の微分」という。 なぜ近似値が欲しいか真の微分値を得ることが難しいから。主な利用シーンは以下。コンピュータで簡易なアルゴリズムで微分したいソフトウェアアルゴリズムで代数的な（式変形しつつ極限の式を解く）アプローチを実装するのはハード例えばニューラルネットワークの学習（勾配法）においては、実行時には計算グラフの逆伝播により微分値を計算し、その実装テストとして数値微分を利用するらしい。 数値微分の方法まず、微分（＝導関数を求める）の定義は以下。...

突如現れた謎のAI「Horizon Alpha」に業界騒然2025年7月30日、OpenRouterに正体不明のAIモデル「Horizon Alpha」が突如登場し、AI界隈に衝撃が走っています。開発元は完全に秘匿、しかしEQ-Bench3でGPT-4oクラスの高スコアを記録し、256k tokenの長文処理が無料という破格の条件で注目を集めています。 📊 まず数字で見る「Horizon Alpha」のインパクト項目内容公開日2025-07-30開発元非公開（"cloaked model"表記）料金完全無料（テスト期間中）コンテキ...

はじめにこんにちは！データサイエンティストのふるるんです。生成AIをサービスに組み込む際、個々のユーザーに合わせてモデルを最適化（パーソナライズ）した後、本当にそのユーザーにフィットしているのかを定量的に検証する工程って、意外と見落とされがちなんですよね。本記事では、最新研究で提案されている 8種類のローカル評価指標 を整理し、N1読者（生成AI活用に興味があるエンジニア〜PM）向けに 具体的な計測フローと直感的な評価例 を紹介します。Kaggleでの分析経験も活かして、実践的な内容にまとめてみました！ 1. 8つの評価指標一覧#指標カテゴリ代表メトリクス (...

自己紹介はじめまして！京都産業大学 情報理工学部に通う大学1年生です。将来、トップIT企業で、AIセキュリティの専門家として活躍することを目標に学習しています。 この夏の目標この夏休みは、自分のキャリアにとって最も重要な期間だと思っています。目標は、PythonとFlask(その他)を使い、**「プロンプトインジェクション攻撃を可視化するWebアプリケーション」**を自らの手で開発し、公開することです。このZennでは、その開発過程での学びや、ぶつかった壁、そして日々の気づきなどを記録していきたいと思います。どうぞ、よろしくお願いします！

TL;DRNeural Vocoderはメルスペクトログラム等の音響特徴量から波形を復元するモジュール従来の時間領域型 (HiFi‑GANなど) はエイリアシングを避けられず高F0などの条件で大きく劣化Wavehaxは時間周波数領域でConv2Dにより処理しiSTFTで合成することで、この問題を根本的に回避Harmonic Priorにより周期情報を明示的に与えるため1Mパラメータ未満でも高品質JVSコーパスによる評価で、学習範囲外の高F0を含む音声でも従来手法と比べて大幅な改善を確認本記事ではNeural Vocoderとは何かから、従来手法の問題点・Waveh...

🧠 【プログラミング初心者向け】Python Streamlit x 機械学習で作る性格診断AI機械学習の代表的なタスクであるテキスト分類に挑戦してみませんか？今回は、Python で scikit-learn を使って、キーワードから性格を診断するAIアプリを作成します。TF-IDFとランダムフォレストを使った本格的な機械学習アプリを、初心者でも理解できるように詳しく解説していきます。読み進めていくと、コード量が多く感じるかもしれませんが、可読性工場目的で改行を多用しているためですので！機械学習、テキスト処理、分類問題まで含む本格的なAIアプリを、ステップバイステップで学ん...

はじめに機械学習プロジェクトにおける評価指標選択は、ビジネス成果に直結する重要な意思決定です。特に多クラス分類やマルチラベル分類において、クラス間の不均衡が激しい場合、従来のmAPやF1スコアでは「希少クラスで真陽性がゼロ」という問題により、評価が不安定になりがちです。本記事では、この課題を解決する**Padded cmAP（Padded class-wise mean Average Precision）**について、実際のビジネス領域での活用例と具体的な実装方法を詳しく解説します。 Padded cmAPとはPadded cmAPは、各クラスに対して少数のダミー真陽性（...

SepLLM: 句読点で大規模言語モデルを高速化する革新的アプローチ大規模言語モデル（LLM）の計算効率化は、現在のAI研究における最重要課題の一つです。今回紹介するSepLLMは、従来の常識を覆す斬新なアプローチで、この問題に挑戦しています。 🎯 核心となる発見：句読点が持つ隠れた力 意外な観察結果研究チームがLlama-3-8Bの注意機構を可視化したところ、驚くべき事実が判明しました。従来の予想： 名詞や動詞などの意味のある単語に高い注意スコアが集中する実際の結果： カンマ（,）やピリオド（.）などの「意味のない」区切り文字に注意が集中 なぜ区切り文字が重要な...

機械学習チートシート対象読者：機械学習に関する講義を履修済みの大学生や社会人の方数式の導出過程に重きを置いていますが、細かい説明や背景は省いているので、これを最初の学習用としないでください参考までにPythonでのデータ解析用コードを記しています 概要 教師あり学習入力データと出力データから関数のパラメータを予測 教師なし学習入力データだけから関数のパラメータを予測 強化学習与えられた状態において報酬を最大化する行動を推定 データ前処理 標準化平均が0、標準偏差が1となるように変換単位や尺度の影響を取り除くz =...

Conv1dは、一次元データ（例：時系列データ、音声信号）に対して畳み込み演算を行うためのPyTorchの関数です。公式ドキュメントはこちらです。以前、音声合成プロジェクトで初めてこの関数に触れた時、PyTorch初心者として、そのパラメータと動作に困惑しました。1次元畳み込みなので、入出力は単純な1次元配列だと思っていました。でも実際には、入出力は3次元のテンソルです。その後、仕事の都合で一時期深層学習に触れない期間がありました。再びConv1d関数に遭遇した時、また同じ困惑に陥りました。そこで、同じような状況に遭遇する可能性のある読者（将来の自分も含む）の助けになるよう、自分の理...

🔢 【プログラミング初心者向け】Python Streamlit x TensorFlowで作る手書き数字認識AI機械学習の代表的なタスクである画像認識に挑戦してみませんか？今回は、Python で TensorFlow を使って、手書き数字を認識するAIアプリを作成します。MNISTデータセットを使った本格的なディープラーニングアプリを、初心者でも理解できるように詳しく解説していきます。ディープラーニング、画像処理、CNN（畳み込みニューラルネットワーク）まで含む本格的なAIアプリを、ステップバイステップで学んでいきましょう。 🌟 この記事を読めば...ディープラーニン...

ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に高性能なOSSも出てきています。LLMのservingは、コンピュータサイエンスの知見を総動員させて最適化されている奥深い世界ですが、一方で中身を理解するには多くの前提知識が必要です。そこでこの記事ではTransformerモデルを中心に、LLMのserv...

初めまして！株式会社 HIBARI の中野と申します。これからの取り組みとしてテックブログを書き始めることにしました。よろしくお願いします！ RAG とは？RAG(Retrieval-Augmented Generation)は日本語では「検索拡張生成」などと言われています。大規模言語モデル(LLM)の持つ文章生成能力と、外部の知識を検索する能力を組み合わせた技術です。 なぜ RAG が必要なのかLLM 単体では特定のドメインに特化した情報を回答することができません。例えば社内会議の情報や会社独自の知識などを答えることができません。LLM 自体が学んでいないことを回答しようと...

✅ 1. モデル性能評価指標の必要性と MSE / R² スコア 📌 性能評価指標の必要性学習されたモデルがどれだけ正確に予測できるかを客観的に判断するための基準。 📌 MSE（平均二乗誤差）予測値と実測値の差の二乗の平均。誤差が大きいほどペナルティが大きく、値が小さいほど精度が高い。常に 0以上、回帰問題で主に使用される。 📌 R² スコア（決定係数）平均値による予測と比較して、モデルの優位性を数値化。1: 完全な予測, 0: 平均と同等, 負: 平均より劣るMSE より直感的に理解しやすい指標。 ✅ 2. 正規化（Normalizati...

Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models (CVPR2025)CVPR2025は全部見たかなと思っていたのですが, 抜けがあったのを見つけたので今回はその論文について扱います. 書籍情報図表は以下の論文からの引用です.Kartik Thakral, Tamar Glaser, Tal Hassner, Mayank Vatsa, and Richa Singh. Fine-grained erasure in text-to-image diffusion-based f...

不動産の価格は、立地、築年数、面積など様々な要因によって決まります。これらの要因と実際の取引価格のデータがあれば、機械学習を使って将来の取引価格を予測するモデルを構築できる可能性があります。よく紹介されるモデルとしてscikit-learnを使ったボストンの住宅価格の回帰予測モデルの例が紹介されていますが、身近な例として日本のある地域の不動産の価格の予測モデルの作成を検討してみました。この記事では、国土交通省が提供する「不動産取引価格情報」を利用し、Pythonと人気の機械学習ライブラリScikit-learnを使って、不動産価格予測モデルを作成・評価するプロセスを紹介します。皆さんの...

📝 概要この記事では、PyTorchの最新分散学習機能であるFSDP2（Fully Sharded Data Parallel 2）を使って、限られたGPUメモリで大規模言語モデル（LLM）をファインチューニングする方法を詳しく解説します。7BパラメータのLlamaモデルを4台のGPUで効率的に学習させる実装例を通して、ZeRO-3アルゴリズムの理論と実践の両方をカバーします 🤖 🔍 なぜFSDP2が必要なのか？ GPUメモリの課題 💾大規模言語モデルの学習では、GPUメモリが以下の要素で消費されます：モデルパラメータ（例：7Bモデル = bf16で約14GB）...