こんにちは、MLエンジニアのふるです。今回は、エンジニアリングに進出した機械学習エンジニアが組織で動く中で苦労した話と、良かった話をまとめていこうと思います。私は機械学習エンジニアとして生成AI導入などのミッションを持ちつつ、個人開発でもエンジニアリングをやっていた経歴があります。そのため、バックエンドや今ではスタンダードとなったIaC周りの知見をある程度持っています。もちろん Kaggle Master としての機械学習スキルもありますが、「ものづくりが好き」という点と、スタートアップ環境では分断型よりも幅広く担える方が活躍しやすいという理由から、エンジニアチームのやっていることが...

潜在的ディリクレ配分（LDA：Latent Dirichlet Allocation） 概要意味：文章の中に「どんな話題（トピック）」が含まれているかを自動で見つける手法英語名：Latent Dirichlet Allocation（略称：LDA）目的：大量の文章を「トピックごと」に分類・要約する 基本の考え方一つの文書には、複数のトピックが混ざっていると考える各トピックは「特定の単語の出やすさ」で表される各文書は「トピックの割合」で構成される文書全体を「単語 → トピック → 文書」の確率モデルで説明する 仕組みの流れ各トピックごとに「単...

1. はじめにおなじみ MNIST を使って、数字推論アプリを作成しました。デモサイトhttps://nyamadamadamada.github.io/predict-number-app/GitHubhttps://github.com/Nyamadamadamada/predict-number-app概要：郵便番号を手書きで入力し、認識した数字から該当地域を表示するアプリモデル作成：Python,PyTorch,ONNXデータセット：MNISTUI：onnxruntime-web,React,TypeScript,Vite,Chakra UI...

この記事についてRodriguez, et al.の2023年の論文「Weighted Multi-Level Feature Factorization for App ads CTR and installation prediction」の紹介です。タイトルが長すぎてZenn記事のタイトルに収まりませんでした。 はじめにオンライン広告の世界ではユーザーのクリック予測は最初の重要な関心事であり、その先のインストールや購入などの行動予測にもつながる重要なステップです。この目的のために、異なる次数（order）の特徴量と、重み付き線形結合を用いて予測を生成するモデル「We...

前回のポスト：「## GNNを学ぶ Vol.1：グラフニューラルネットワーク入門」で、交通予測に使うPeMSD7データセットをダウンロードし、その時系列データを可視化しました。今回はその続きとして、データ全体の傾向をより深く探るための可視化手法を学びました。 時系列グラフでデータの変化を見る前回の復習として、データセットと前回の可視化をおさらいします。このデータセットは、5分間隔で交通速度を記録したものです。 * データセットについて：引用文"""このデータセットは、PeMSD7データセットの中規模版です。このデータセットの元データは、カリフォルニア州運輸局の**Pe...

LLMの常識が変わる？最新AIモデルから学ぶ、3つの衝撃的な事実大規模言語モデル（LLM）の進化は凄まじく、毎月のように新しいモデルが登場しています。私たちはつい、ベンチマークのスコアといった性能指標に目を奪われがちです。しかし、その数字の裏側にある「設計思想」や「アーキテクチャ」にこそ、未来のAIトレンドを読み解く鍵が隠されています。本記事では、最近公開された3つの先進的なLLM（Tongyi DeepResearch, LongCat-Flash-Chat, NVIDIA Nemotron Nano）の調査レポートを読み解き、私自身が「これは常識が変わるぞ」と衝撃を受けた「3...

はじめに「猫の写真」とテキストで説明するだけで、モデルが猫の画像を認識できる―そんな夢のような技術がCLIPです。今回、OpenAIのCLIP（Contrastive Language-Image Pre-training）を実装し、画像とテキストのマルチモーダル学習について学んだので、その記録をまとめます。 この記事で分かることCLIPの基本的な仕組みと特徴Pythonでのゼロショット画像分類の実装画像検索システムの構築方法つまずいたポイントと解決策 CLIPとは？CLIPは、画像とテキストを同じ埋め込み空間にマッピングする画期的なモデルです。従来のImag...

NPTアルゴリズム（Neural Processing Technology） 概要意味：ニューラルネットワーク（AIの脳のような仕組み）を効率的に学習・処理する技術目的：AIモデルを「速く・正確に」学習させる 基本の考え方ニューラルネットワークの計算は非常に重い（行列計算が多い）GPUやTPUといった専用ハードウェアで高速化する**複数の計算機（分散処理）**で一度に学習させることで効率を上げる 主な仕組みデータ並列化（Data Parallelism）同じモデルを複数の機械で、異なるデータに対して同時に学習させるモデル並列化（...

はじめにLiquid Time-Constant Networks (LTC) は、連続時間ダイナミクスをモデル化できる強力なリカレントニューラルネットワーク（RNN）です。しかし、その中核をなす常微分方程式（ODE）の状態更新処理は順伝搬・逆伝搬の双方において計算上のボトルネックとなり得ます。この ODE を解くために主に 2 つのソルバーが提案されています。一つは Fused Euler 法に代表される数値的ソルバー[1]、もう一つは CfC (Closed-form Continuous-time)で用いられる解析的（閉形式）ソルバー[2]です。論文では CfC の計算効率...

目的前回 Transformer に触れてみる (3) — GPT-2 もどき で GPT-2 のミニ版を作ってみた。さて、これは LLM とは呼べないのだが、LLM だと思うことにしよう。LLM と言えばハルシネーションだ。これを体験してみたい。なお、ここで「ハルシネーション」とは Wikipedia: ハルシネーション (人工知能) に解説があるような人工知能によって生成された、虚偽または誤解を招く情報を事実かのように提示する応答のことを意図している。なお、これだけ小さなモデルでそれっぽいことをやるのは難しかったので、結構苦しい結果にはなってしまったと思う。また、本...

論文前回は、S4の理論編と実装編を解説しました。今回は、その続編である以下の論文について解説します。 タイトルOn the Parameterization and Initialization of Diagonal State Space Models論文: https://arxiv.org/pdf/2206.11893Github: https://github.com/state-spaces/s4/blob/main/models/s4/s4d.py 概要S4 をシンプルにしたモデル行列Aを対角行列に制限した（低ランク表現をやめた）行列Aの実部を...

はじめに東京電機大学 M2 の石垣龍馬です。2025年に開催された YANS 2025 に参加してきました。この3日間は、自分の研究を見つめ直す時間であり、他人の視点を取り込む時間であり、そして新しい刺激に満ちた時間でした。この記事では、ハッカソン・発表・交流・食事など、私が印象に残したことを交えて振り返ります。 YANSとは？YANS（言語処理若手の会）は、自然言語処理・計算言語学・関連分野の研究と技術開発を促進することを目的としたシンポジウムです。特に若手の研究者の交流を主軸に置いたシンポジウムになります。学術と産業をつなぐ架け橋になる研究成果の社会実装を...

Meta-Learnerによる因果効果推定の比較（S / T / X-Learner） はじめに因果推論の文脈でよく登場する手法に Meta-Learner があります。代表的なものとして S-Learner, T-Learner, X-Learner が知られています。本記事では、賃貸住宅における宅配ボックス設置が賃料に与える効果 を題材に、これら3つの手法を Python で実装し、その推定分布を比較しました。「不動産」に限らず、マーケティング施策や医療介入など、処置（Treatment）がある場面で効果推定をしたいという一般的なケースに応用できる内容です。...

機械学習モデルの全体像と分類 はじめに人工知能（AI）の進展により、機械学習（ML）は研究・ビジネス・日常生活のあらゆる場面で活用されるようになりました。自然言語処理や画像認識、予測分析、強化学習を用いた自律システムなど、その応用範囲は幅広く、私たちの生活でも日常的に機能しています。本記事は、これから複数回にわたって機械学習モデルを理解していくための導入記事です。機械学習モデルには多様な種類が存在し、それぞれの理論的背景や適用範囲、学習の仕組みも異なります。初学者や実務担当者が個別のモデルを学ぶ際に混乱しないよう、まずはモデル全体の分類と特徴、学習の基本概念を整理することを目...

はじめに - AIが「考える」とはどういうことかあなたがゲームやシミュレーションでNPCの行動を見て「なんか不自然だな...」と感じたことはありませんか？従来のAI:if 空腹 > 0.7: 狩猟する()elif 負傷者がいる: 看護する()else: 休息する()このような場当たり的な条件分岐では、どれだけ複雑にしても「生きている」感じがしません。構造主観力学（SSD理論）ベースのAI:# NPCが「できること」を自分で評価capabilities = self.evaluate_what_i_can_do(situation)#...

イントロダクション前回はE資格のシラバスを見て、認定プログラムや黒本をどう活用していくかを考えていきました！今回は、早速黒本の中身を進めていこうと思います！…が、第一章の線形代数はシラバスの範囲から削除されてしまっているので、さらっとまとめるにとどめたいと思います。あらためて、E資格（JDLA Deep Learning for ENGINEER）はディープラーニング実装エンジニア向けの資格試験であり、出題範囲には数学の基礎知識が含まれます。ここでは、合格体験記や講師の解説をもとに、E資格の数学対策について最新情報を整理します。 1. E資格で重点的に求められる数学分野...

目的OpenAI のとても有名な研究に Improving Language Understandingby Generative Pre-Training と Language Models are Unsupervised Multitask Learners があると思う。いわゆる GPT(-1) と GPT-2 だ。GPT-2 のリファレンス実装は gpt-2 にある。また、この GPT-2 を応用したアプリケーションにニューラルかな漢字変換エンジン「Zenzai」が存在し、macOS の「ライブ変換」のようなことが実現できている。（see ニューラルかな漢字変換エンジ...

イントロダクション前回はE資格勉強するぞ！と宣言をする記事を書きましました。今回はE資格に受かるための現実的な学習計画を作っていきます。「黒本」をどのように進めるか、そして認定プログラムをどう活用するかを、最新のシラバスと突き合わせながら具体的に学習計画を立てていきます。E資格は範囲が広く、すべてを同じ深さで学ぶのは効率的ではありません。そこでシラバスとAIを駆使して、効率的に合格に近づく戦略を考えます。 方針：最初に“浅く広く／深掘り”の線引きをする（AI活用）シラバス全体をAIで整理・マッピングし、まずは“浅く広く”全体をカバーするその中で、出題ウェイトが高...

はじめにこの記事は2025年9月11日・12日に開催された Snowflake World Tour Tokyo 2025（SWT）の振り返り記事です。SWTには今回が初参加でしたが、スポンサーセッションに登壇する機会を頂いたこと、SnowVillage主催のコミュニティブース運営にも関われたこと（あまり戦力にはなれませんでしたが…）、などなど沢山の経験がありました。どのセッションも学びが多く、EXPOでのデモも刺激的でしたが、私は登壇を通じて自分が関わってきたプロジェクトを改めて見直す良い機会になったと感じています。この記事では、特にMLOpsに関して、SWT前に整理してい...

はじめにParakeet株式会社リサーチャーの榎本 (X: @henomoto1025)です。純粋数学で博士号を取りポスドクをしていましたが、音声の分野に興味が移り、現在は音声界隈の研究のキャッチアップをしながら研究開発をしています。さて、今回は、日本語の音声AIの評価に使われる CER (Character Error Rate, 文字誤り率) について初見で分かるように解説し、また（私自身が知らなかった）複数発話のCERを集約する際の注意事項について説明します。 この記事で伝えたいことまず最初に、この記事で伝えたいことについて簡単にまとめます。CERは主に日本語の...