はじめに最近は、Pythonをプログラム・機械学習する環境も、様々増えてきています。ローカルでPythonを使うケースも多く、今年だけでもuvやmarimoなど、便利な環境が多くて助かっています。一方で、仕事柄、色々な環境で作業することが多いと、どうしてもSaaSのサービスがありがたかったりします。SaaSのPython環境といえば、Colabですね。私にとっては、Python学び始めたころ≒Colab使い始めたころなので、もうそろそろ10年近い付き合いです。10年で、GPUやらTerminalやら無料でできることへの制約も強くなりましたが、それでもColabはとても便利...

株式会社Verbexが開発する音声AI「VoiceUI」は、人間と区別がつかないほど自然な会話を実現する技術です。音声AIモデルとアプリケーションを自社で一体開発することで、高速レスポンス、オンプレミス対応、低コストを実現。コールセンターや自治体窓口など、従来のDXが難しかった領域での人手不足解消に貢献しています。方言対応や会話の自然な「間」の再現など、日本語特有の課題もクリアし、葬儀業界や自動車リース業界など多様な分野で実用化が進んでいます。https://biz-journal.jp/company/post_392052.html 深掘り 深掘りを解説Verbexの...

こんにちは、初めましての方は初めまして。かわらです。転職をして 11 月から所属が変わりました。ただ、分野は変わらない（機械学習がメインの IT エンジニア）ので、これからも気の向くままに機械学習などの技術を調べて zenn に書き残していきたいと思っています。最近、位置情報のベクトル化の技術の一つに Wavelet-based positional encoding という技術があるのを知りました。気になってどういう技術なのかを調べていたのですが、調べているうちに「他の位置情報の表現方法についても知りたいな」と思い始め、どうせ調べるならまとめてアウトプットしようと思いこの記事を書くこ...

今回は, ICLR2026で査読中の以下の論文について見てみます.https://openreview.net/forum?id=4NfRcEraCw 関連リンク公式実装はありません.arXivOpenReview 書籍情報断りのない限りは以下の論文から図表を引用します.Juyeop Kim, Songkuk Kim, and Jong-Seok Lee. How diffusion models memorize, 2025. はじめに拡散モデルは多様な画像を高精度に生成できることでしられています. 一方で, 拡散モデルは訓練データを記憶 (memor...

はじめに株式会社SODAでバックエンドのテックリードをしている仲宗根です。SODAは、SNKRDUNKというスニーカーやアパレル、トレーディングカード(トレカ)のフリマサービスを運営しています。本記事では、SNKRDUNKにおける機械学習プロジェクトの一例として、ピックアップリンクのパーソナライズを紹介します。この取り組みを通して、SNKRDUNKの開発に興味を持っていただければ幸いです。 ピックアップリンクとはピックアップリンクとは、SNKRDUNKアプリのおすすめタブの上部に配置された特定のカテゴリーやブランドごとにまとめられた商品へのリンクのことです（図1）。リン...

はじめに時系列予測モデルにおいて、ルックバックウィンドウ（過去データの参照範囲）をどの程度取るべきかは、実務上の重要な選択です。従来は「長いウィンドウを使えば使うほど良い」という考え方が一般的でしたが、この仮定は必ずしも正しくないと言われます。GPTなどの大規模言語モデルでは「データが多いほど、モデルが大きいほど性能が上がる」というスケーリング則が成り立ちます。しかし、時系列予測では異なる挙動を示します。過去データの参照範囲を長くしすぎると、逆に予測精度が下がるケースが存在します。本記事では、arXivに公開された論文「Scaling Law for Time Series F...

特異学習理論(SLT)のディープラーニングへ適用した研究を推進する一人であるメルボルン大学のDaniel Murfet先生のインタビューが今後のディープラーニング、AIの理解と発展、特にアラインメント問題に関して非常に示唆に富む内容であったので概略、感想を日本語で書きます。口語であり非常に長く、やや難解な内容も含むので読む際は各種自動翻訳等を併用することをおすすめします。https://www.lesswrong.com/posts/q6Tky4RzEmTwfGndB/axrp-episode-31-singular-learning-theory-with-daniel-murf...

OpenAIを脅かす中国のAI企業DeepSeek。彼らがオープンソースで公開したDeepSeek-V2は、なぜ高性能と低コストを両立できたのか？ 本書は、その秘密であるMoE（Mixture-of-Experts）とMLA（Multi-head Latent Attention）の技術を、一般のエンジニア向けに徹底解説。AI開発の民主化を加速させるDeepSeekの技術と戦略を理解し、次世代AIを使いこなすための視点を提供します。

はじめにこの記事は論文 [1]"BP-Transformer: Modelling Long-Range Context via Binary Partitioning" の解説です。要旨を一言で言うと、Transformer の自己注意機構において、入力系列を二分木構造に基づいた階層的スパン（multi-scale spans）に分割することで、計算量を O(n^2) から O(k \cdot n\log(n/k)) に削減しつつ、長距離依存関係のモデリング性能を維持または向上させうる、という手法になります。 論文内の手法の解説本論文の手法は、図 3 に要約されます。以下で...

ロジスティック回帰の理論と実装をまとめた資料です。できるだけ端折らずに細かく細かくまとめたつもりです。いつかこのスライドは記事に起こします。https://speakerdeck.com/kai_ds04/rozisuteitukuhui-gui-noshi-zhuang

1. 評価方法以下の各課題について、3エピソード(10×3)評価を実施する。 1.1 課題の種類・Spatial：空間認識関連の10タスク(物体の場所を入れ替えるなど)・Object：扱う物体が変わる10タスク。知識転移の可否を問う。・Goal：異なる指示を与える10タスク。・90：90の短期タスク。(5090環境で動かなかったため結果なし)・10：10の長期タスク。環境例https://lifelong-robot-learning.github.io/LIBERO/html/procedural_generation/overview.htmlhttps:/...

はじめに生成AI（ChatGPTなど）の進歩はすさまじく、人間がやっていた作業の多くをAIを活用することで大幅に時間短縮することが出来ています。しかし、ChatGPTは何でもできるわけではなく、あくまでたくさんの知識をもっている相談相手ぐらいの感覚です。目的に応じたAIを自分で設計できるようになりましょう。プログラムとモデルだけが欲しい場合は、以下のgithubにコードとモデルをあげてるので自由に使ってください。https://github.com/tanileo/HandClassifierAI 進め方この記事では、手の形（グー、チョキ、パー）を分類するAIを以下の順序...

やりたいことMLパイプラインを公開して外部からパイプラインを動かすときに、実行ステータスを確認したい。具体的には、Azure ML Workspace で実行されている最新のジョブの状態（実行中、完了、失敗など）を API 経由で取得できるようにしたい。パイプラインの開始とジョブの取り消しは別記事の予定。 前提条件Azure ML Workspace、Pipeline が作成済みPython 環境（Flask を使用）Azure CLI でログイン済み 必要なライブラリのインストールuv add azure-ai-ml azure-identity 環境...

私ごとですが、毎日テックブログを書き始めてから200日を過ぎまして、感じたこととこれからの目標を書いてみようと思います。※ 季節変わり目の風邪を拗らせて短編になります。 これまでの振り返り大きな目標もなくなんとなく始まってからちゃんと200日以上続いて、まずは発信し続けるという習慣がつきました。今までは例えば書籍で何かを勉強しても使う時が来るまで頭の片隅で眠っていることが多かったですが、ブログを書き始めてからは調べたことや自分の経験を文章として発信することで、頭の整理だけでなく理解度を認識して弱点や強みの理解につながりました。2点目としては単純に知識が増えたことです。毎日書くと...

今年もついに11月に突入しましたので、今月読みたい本をまとめてみます。今月はバタバタしていて少なめです。 機械学習 解釈可能なAI 機械学習モデルの解釈手法を実践的に理解する機械学習モデルはホワイトボックスなものからブラックボックスなものまで様々なモデルがあります。例えばみなさんが普段利用しているような生成AIや画像認識モデルなどのディープラーニングモデルはブラックボックスモデルであり、モデルが生成した結果がなぜそのような結果になったかを説明することは重要なことですがその解析は大変な内容となります。そのような内容を広く取り扱っている書籍であり、解釈可能なAIを実装するための基礎...

🧠 Transformerとは2017年の論文 "Attention Is All You Need" によって提案RNNを使わずに自己注意（Self-Attention）で系列データを処理現在の多くのLLMやBERTなどの基盤 ⚙️ モデル構造の概要Encoder–Decoder構造Encoder: 入力文を埋め込みベクトルとして処理Decoder: 出力文を生成各層に Multi-Head Attention と Feed Forward Network を含む 🔍 Self-Attention（自己注意）とはSelf-Attention...

線形代数とニューラルネットワークをPythonで実装してみる〜中学生でもわかる機械学習の基礎【第4回】〜こんにちは！前回は、ベクトルと行列について学びました。今回は、実際にプログラムで計算してみます。あなたも「ニューラルネットワーク」を動かせるようになります！プログラムは Python を使います。難しく見えるかもしれませんが、実は「掛け算と足し算」の繰り返しです。始めましょう！ 第1章：準備 1-1. 使うものこのチュートリアルでは、以下を使います：Python 3.x（プログラミング言語）テキストエディタ（コードを書く）ターミナル/コマンドプロン...

論文RWKV-7 "Goose" with Expressive Dynamic State Evolution論文: https://arxiv.org/pdf/2503.14456GitHub: https://github.com/BlinkDL/RWKV-LMwiki: https://wiki.rwkv.com/basic/architecture.html現時点(2025/10/31)では最新version です。 前提知識 RWKV v4, v5, v6変更点を記述するスタイルで解説しますので、前バージョンの解説は前提とします。RWKV v4, v...

はじめにこの記事は論文[1] の解説です。要旨を一言で言うと、深層ニューラルネットワークにおける線形変換を行列積演算子（MPO）で表現することで、パラメータ数を大幅に削減しつつ予測精度を維持または向上させうる、という手法になります。 論文内の手法の解説本論文の手法は図 1 および式(3),(5) に要約されます。以下ではこれらの図や式の意味を説明します。 考える設定入力の次元N_x, 出力の次元N_yの線形変換を考えます。すなわち、N_x 次元のベクトルに左から (N_y, N_x) 行列を作用させ、N_y次元のベクトルを取得する過程です。この (N_y, N_x) サ...

最近、LLMの世界で注目を集めている技術にSVG (Support Vector Generation)があります。これは、LLMの能力を古典的な機械学習アルゴリズムであるサポートベクターマシン（SVM）と組み合わせる、非常に興味深いアプローチです。私もこの技術に感銘を受け、自身のブログでSVGの真相：32パラメータのAIは、次世代LLM（MoE）の司令塔になるかとしてその可能性を考察しました。SVGの元論文を読み解くと、特に以下の3つの点が革新的であると感じました。ゼロショット学習とカーネルマシンの等価性: 論文では、「ゼロショット学習は数学的にカーネルマシンと等価である」とい...