リモートセンシングへの基盤モデルの影響近年自然言語処理や画像認識で成果を挙げた「基盤モデル: Foundation Models; FM」が、衛星リモートセンシング（Earth Observation; EO）にも波及しつつあります。数十〜数百TB規模の光学・SAR時系列を自己教師ありで学習したモデルは、洪水域抽出や作物分類など多彩なタスクへ、わずかなラベルとプロンプトだけで即応できます。大量データの前処理と真値作成に費やしていた労力を大幅に減らし、「データ準備地獄」から解放する点が最大の期待なんです。学習済み重みは公開されており、専門外のエンジニアでも短時間で高精度モデルを活用で...

機械学習チートシート対象読者：機械学習に関する講義を履修済みの大学生や社会人の方数式の導出過程に重きを置いていますが、細かい説明や背景は省いているので、これを最初の学習用としないでください参考までにPythonでのデータ解析用コードを記しています 概要 教師あり学習入力データと出力データから関数のパラメータを予測 教師なし学習入力データだけから関数のパラメータを予測 強化学習与えられた状態において報酬を最大化する行動を推定 データ前処理 標準化平均が0、標準偏差が1となるように変換単位や尺度の影響を取り除くz =...

はじめにPart 1では、日本語Reasoning Modelの重要性と、継続事前学習を用いた開発手法についてご紹介しました。今回は、Reasoning Modelが直面する課題の一つである「言語混同」に焦点を当て、強化学習（Reinforcement Learning: RL）を用いたその解決アプローチについて深掘りします。https://zenn.dev/neoai/articles/1670bd029093b0 Reasoning Modelにおける言語混同の課題近年、OpenAIのo1シリーズやDeepSeek-R1のようなReasoning Modelは、その優れ...

Title: Hyperbolic Category Discovery (CVPR 2025)Link: https://openaccess.thecvf.com/content/CVPR2025/papers/Liu_Hyperbolic_Category_Discovery_CVPR_2025_paper.pdf 1. はじめに図1: 球面ベース vs. 双曲ベース手法の概念図（左）と本手法と従来手法の精度比較（右）。左では、球面空間では異なるスケールの物体（左上の水色枠）は同一球面上に配置されるためうまく関係を捉えられないが、双曲空間では半径方向の次元が加...

これは私の学習のアウトプットです。深層学習の基本原理の理解を目指しました。 NotebookLMによる要約(一部修正)ニューラルネットワークの基本原理の理解を目的とし、パッケージに頼らずにパーセプトロンや多層パーセプトロンの実装、AND、NAND、OR、XORゲートの構築方法を解説しています。また、活性化関数としてシグモイド関数やReLU関数を紹介し、ニューラルネットワークのフォワード伝播について説明しています。ソフトマックス関数と交差エントロピー誤差も扱われ、最後にMNISTデータセットを題材に、誤差逆伝播法を用いた2層ニューラルネットワークの具体的な実装と学習プロセスが示され...

はじめにデータソリューション事業部の宮澤です。今回は、デジタルコンテンツの真正性の証明や改ざん検知に用いられる「電子透かし」という技術について、中でもオーディオデータにおける電子透かし技術について調査を行いました。本記事では、従来の統計的手法は簡単に触れるのみとし、研究分野で注目度が高まっているニューラルネットワークを用いた手法に注目します。また、本記事ではモデルアーキテクチャに焦点を当てるため、代表的なデータセットや評価ベンチマークについては触れないものとします。!データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログで...

はじめに 筆者のモチベーション本記事のキーワードは、普遍近似定理（Universal Approximation Theorem）二重降下（Double Descent）過剰パラメータ化（Over-parameterized）多層化の利点（Benefits of Depth）といった感じで、これらのトピックを解説した素晴らしい和文資料は既にたくさん存在します。https://qiita.com/mochimochidog/items/ca04bf3df7071041561ahttps://ibis.t.u-tokyo.ac.jp/suzuki/lecture/...

1.はじめに2025/2に受験したE資格に合格しました。内容を記載するのはNGなので、感想だけ記載します。 2.筆者バックグラウンドエンジニア歴4年目の32歳ポンコツ、一応AI系の会社にいるもののライブラリを使用してゴチャゴチャするだけなのでロジック周りは何も分かっていない。有難くも会社が講座を受講させてくれたので受験することになった。 3.勉強期間、方法講座を受講しつつ、以下に記載する方法で２ヶ月前ほどからボチボチ対策開始。下記参考書籍を何度も読み直し根本のロジック理解に努めた。たくさん式が出てくるが、各項が何を表しているのかを意識するとよいと思う。参考...

Title: Interpretable Image Classification via Non-parametric Part Prototype Learning (CVPR 2025)Link: https://arxiv.org/abs/2503.10247v1Code: https://github.com/zijizhu/proto-non-param 概要 (Abstract)本論文では、プロトタイプを用いた部位ベースの説明可能な画像分類手法が提案されています。従来の説明可能モデル（Prototypical Part Network; ProtoPNet...

はじめにneoAI は日本語で思考過程を出力することで論理的思考能力を向上させた大規模言語モデル（LLM）「neoAI-JP-QwQ-32B」および「neoAI-JP-DeepSeek-Qwen-32B」を公開しました。このようなモデルは一般的にReasoning Modelと呼ばれ、OpenAIのoシリーズやDeepSeek-R1等が代表的なモデルとなっています。!公開されたモデルは以下のHugging Faceリポジトリからアクセス可能です：neoAI-JP-QwQ-32BneoAI-JP-DeepSeek-Qwen-32B日本語Reasoning Model...

第1章：知性のビッグバンか、それとも大炎上案件か？イーロン・マスク氏は、自らが率いるxAIが発表した最新AIモデル、Grok-4を「あらゆる分野で博士号レベルを超える知性」だと称し、我々は「知性のビッグバン」の時代を生きていると宣言しました。公式発表が華々しく謳うのは、前例のない天才の誕生です。しかし、その輝かしいデビューの裏では、全く別の物語が進行していました。https://grok4.app/Grok-4のローンチウィークは、国際的な非難の嵐に見舞われました。モデルが反ユダヤ主義的な暴言を吐き、アドルフ・ヒトラーを称賛し、自らを「メカヒトラー」と名乗るという、前代未聞の...

AIの「脳みそ」！Transformerモデルの仕組みからChatGPTの秘密まで徹底解説 はじめに：AIの進化を加速させたTransformerの登場皆さん、こんにちは！近年、AIの進化には目覚ましいものがありますよね。特にChatGPTのような対話型AIが登場して以来、その自然な文章生成能力や、質問への的確な回答に驚かされた方も多いのではないでしょうか。まるで、AIが人間の言葉を完全に理解しているかのように感じられます。では、一体なぜ、こんなにもAIは賢くなったのでしょうか？その秘密を握っているのが、今回ご紹介する**「Transformer（トランスフォーマー）モデ...

新たな進化の波：時系列データに革新をもたらす「iTransformer」とは？ はじめに：時系列データ分析の新たな地平近年、AI技術の発展は目覚ましく、特にTransformer（トランスフォーマー）というモデルは、自然言語処理（NLP）の分野に革命をもたらしました。まるで人間のように文章を理解し、生成する大規模言語モデルの基盤となっていることをご存知の方も多いでしょう。しかし、Transformerの可能性はテキストデータだけに留まりません。時間とともに変化するデータ、つまり時系列データの分析に応用しようとする研究が活発に進められています。株価の変動、センサーの計測値、...

はじめにこの記事では、WindowsでTensorFlow GPU版を動かす手順を説明します。方法は２つあります。WSL2上でTensorFlowを動かす方法（こちらが正攻法）Windows上で過去のバージョンのTensorFlowを使う方法TensorFlowはバージョン2.11でWindowsでのGPUサポートを打ち切りました。今後はWSL2上で動作させることが推奨されています（方法１）。ただ、「ちょっと試したいだけなのに、WSL2まで入れるのはちょっと面倒……」と思ってる方のために、TensorFlowのバージョン2.10を使う方法も紹介します（方法２）。...

こんにちは！株式会社アイディオットでデータサイエンティストをしています、秋田と申します。今更ですが、PyTorchでLSTMを自作してみました。「え、 torch.nn.LSTM ってモジュールがあるよ？」おっしゃる通り...ですが、改めて自分で作成してみると公式のﾑｽﾞｶｼｲドキュメントを眺めるよりもシンプルに理解ができるのと、改造が可能なことが大きな利点として挙げられるのではないでしょうか！公式で提供されているLSTMのモジュールは、RNNクラスも継承しているため色々参照しなければいけないので大変なんですよね😅今回自作したLSTMでは、極力見慣れたメソッドやクラスだけで構...

初めにこんにちは。休暇亭 向日葵です。AIの学習、推論に使うgpuは一般向けのgeforceが一番コスパがいいと思うので調べてみましたrtx3000番台から最新世代までをピックアップしています。 rtx 3000番代以前のgpuをおすすめしない理由rtx 30000番台以前の世代のものはbf16非対応なうえ、fp16性能が極端に低かったり、torchやcuda、gpuドライバの最新バージョンの互換性、一枚あたりの性能、ワットパフォーマンスが低いのでおすすめしません。また、ヤフオクやメルカリなどで買うものには、故障（中国が改造gpuを作成しているためコアが抜かれている物が...

PyTorchで基本的なディープラーニングを学習していきます。

Deep IV — 操作変数 × 深層学習で反実仮想を推定する“Deep IV: A Flexible Approach for Counterfactual Prediction” (Hartford et al., 2017):contentReference[oaicite:0]{index=0}今回は、"Deep IV: A Flexible Approach for Counterfactual Prediction"という論文を紹介します。深層学習に因果推論を掛け合わせ、反実仮想の精緻な予測を可能にした画期的な手法論文です。紹介論文:Hartford, J., L...

はじめに皆様〜お久しぶりです。前回からずいぶん時間が経過してしまいました。この間資格取得や転職活動などバタバタしておりました。色々ネタは用意していたんですが、ここ最近のAIの進化スピードが異常なため執筆の機会を失ってしまい…。と、言い訳はこの辺にしておき無事転職と参画案件も決まったためブログの執筆を再開していくことにしました。間違いが出てくると思いますが、そこは優しく指摘してくださると今後の励みになります！さて、ここから本題です。前回はOllamaを使ってdeepseek-r1を実際に使ってみましたが、今回から本格的に学習も含めてローカルLLMで遊んでみることになりました。...

皆さん、こんにちは！この度、「未来を創るAI技術を、深く・体系的に学ぶ」をコンセプトにした電子書籍・教材のライブラリサイト SAKAItechLibrary を個人開発しました。Webサイトはこちらhttps://sakaitechlibrary.web.app/「AIを学びたいけど、どの本から読めばいいかわからない…」「自分のレベルに合った、実践的な教材が見つからない…」そんな悩みを解決するための一助となればと思い、このサイトを開発しました。 「SAKAItechLibrary」とは？AI・機械学習・深層学習の分野に特化した、書籍や教材を探せるライブラリサイトです。...