はじめに Javaを使った文字型テキストファイルの読み取りと処理は、多くのアプリケーションで必要とされる基本的な操作です。テキストファイルの特性やサイズに応じて適切な方法を選択することで、効率的かつ正確にデータを扱うことができます。本記事では、…

顧客エクスペリエンス向上への挑戦 ① ビジネスの背景 Amazonのコールセンターでは、従来のシステムとして「メニュープロンプト」が利用されていました。顧客は電話をかけると「返品は1、Kindle関連は2」といった選択肢を選び、特別な訓練を受けたエージェン…

昨今は深層学習と生成AIが大きな注目を集める時代です。ChatGPTやStable Diffusionのようなモデルが日常生活やビジネスで広く活用されていますが、このような高レベルなツールがある中で、なぜNumPyやscikit-learnのような「基礎的」なライブラリを学ぶ必要…

生成AIの課題（Challenges of Generative AI） 生成AIは多くの便利な機能を提供する一方で、いくつかの重要な課題も抱えています。これらの課題には、社会的なリスク、データの安全性とプライバシー、毒性（Toxicity）、幻覚（Hallucinations）、可解釈性（I…

大規模言語モデル（Large Language Models: LLMs） 基本概念 大規模言語モデル（LLMs）はさまざまなアーキテクチャに基づいて構築されますが、現在最先端のモデルで最も一般的に使用されるのはTransformerアーキテクチャです。このアーキテクチャを採用したL…

生成AIの基本概念 生成AIは、深層学習の重要な応用分野の一つです。事前に訓練されたモデルを通じて、トレーニングデータからパターンや構造を学習し、新しいデータを生成することができます。生成AIは、対話、ストーリー、画像、動画、音楽、コードなど、多…

はじめに 強化学習（Reinforcement Learning, RL）は、エージェント（Agent）が環境（Environment）と相互作用しながら最適な行動を学習する手法です。この記事では、強化学習の基本要素であるInterpreter、Reward、State、Agentに焦点を当て、それぞれの役…

はじめに プログラミングにおいて、特定のコード部分にメタデータや指示を追加することは、コード管理や再利用において非常に重要です。D2Lフレームワークの #@save と Java の注釈（アノテーション）は、いずれもコードに追加情報を付与し、その情報をフレ…

はじめに #@save マークは、D2L（『動手学深度学习』）フレームワークにおける便利なコード管理機能です。このブログでは、以下の内容について詳しく説明します： #@save の基本的な役割と仕組み Jupyter Notebook 拡張を用いたコードの解析と保存方法 D2L …

はじめに Python のグラフ描画ライブラリ Matplotlib は、データの視覚化や科学計算に欠かせないツールです。本記事では、Jupyter Notebook で利用される %matplotlib inline と matplotlib_inline モジュールの基本的な役割について解説し、初心者でも理解…

深層学習では、モデルの学習中に「目標関数」を最適化することが重要です。この目標関数は、データから得られるパターンを最大限に活用するために設計されており、ノルム（ベクトルや距離の大きさを測る指標）が頻繁に利用されます。本記事では、以下の3つの…

以下に再作成したブログを提示します。 はじめに 本記事では、Transformerアーキテクチャの理論的背景をわかりやすく解説し、それをPyTorchコードと具体例を用いて詳しく説明します。特に、データがTransformerエンコーダー内をどのように流れるかを実際の英…

PyTorchのtorch.norm関数は、テンソルのノルム（大きさ）を計算するための強力なツールです。特徴的なのは、入力データの次元に応じて動的に処理を切り替える多態性（ポリモーフィズム）を持っている点です。本記事では、torch.normがどのように多態性を実現…

近年、人工知能（AI）の技術が急速に進化し、多くの企業がAIソリューションを活用して業務を効率化し、新たな価値を創出しています。Microsoft Azureは、Cognitive AI（認知AI）とGenerative AI（生成AI）という2つの主要なAIサービスを提供しており、それぞ…

はじめに PyTorchを使用する際、多くのユーザーはベクトルが torch.Size([n, 1]) や torch.Size([1, n]) のように2次元で表現されるべきだと感じるかもしれません。しかし、PyTorchではベクトルを torch.Size([n]) と1次元で表現する設計が採用されています…

はじめに 深層学習でよく使われるPyTorchには、累積総和を計算するための便利な関数cumsumが用意されています。本記事では、cumsum関数が具体的にどのように動作するのかを、実際の例と計算過程を通して詳細に解説します。 使用する例 以下の5×4行列（テンソ…

はじめに 現代のAI開発では、さまざまなツールやプラットフォームが提供されており、それぞれが異なる目的や対象ユーザーに対応しています。本記事では、「OpenAI Service」「OpenAI Studio」「Azure AI Studio」「Copilot Studio」の4つのツールについて、…

PyTorchでは、テンソル操作において 降次（次元削減） や 非降次（次元保持） の集計処理、さらに ブロードキャスト を利用した演算が非常に重要な役割を果たします。本記事では、これらの基本概念を解説し、具体例を通じて理解を深めます。 降次集計の仕組…

はじめに 深層学習において、平均値（mean）や合計値（sum）は非常に重要な役割を果たします。PyTorch では、簡単にこれらの値を計算できる便利な関数が提供されています。本記事では、PyTorch で mean() や sum() を使用してテンソルの平均値や合計値を計算…

はじめに 深層学習では、多次元データの効率的な管理・操作が求められます。このとき、行列やテンソルといったデータ構造が大いに役立ちます。この記事では、深層学習で行列がどのように重要な役割を果たすのか、そして行ベクトルとしてデータサンプルを扱う…

はじめに Azure AI Studio と OpenAI Service は、Microsoft Azure プラットフォーム上で提供されている人工知能サービスです。これらのサービスは、開発者が Azure 上で OpenAI の大規模言語モデルを利用してアプリケーションを構築・デプロイするための強…

はじめに 数学やプログラミングにおいて、ベクトルや行列はおなじみの概念ですが、「次」という用語を通じて、これらをさらに高次元のデータ構造に拡張することができます。本記事では、「次」の概念がどのようにベクトルや行列、そして三次元以上のテンソル…

はじめに 機械学習や深層学習では、ベクトルやテンソルの「長さ」や「次元」、「軸の長さ」といった用語が頻繁に使われます。しかし、これらの概念は文脈によって意味が異なる場合があり、混乱を招きやすいです。本記事では、これらの概念について整理し、そ…

はじめに データ分析や機械学習でデータを扱う際、カテゴリ変数や欠損値の処理は非常に重要なステップです。特に、カテゴリ変数はダミー変数（ワンホットエンコーディング）に変換して、モデルに適した形式にする必要があります。本記事では、Pandasを使って…

Pythonのpandasライブラリを使用する際、data.ilocを使った位置ベースのインデックス操作は非常に便利で強力です。しかし、data.ilocを使ったインデックス操作は、初めて使う人には少し不思議に感じることがあります。特に、data.iloc[:, 1]のようにスライス…

VSCodeでPythonの.ipynbファイルを実行する場合、その作業ディレクトリがどのように設定されるか、またJavaファイルを実行する際との違いについて考察してみましょう。以下のコードを例に説明します。 import os os.makedirs(os.path.join('..', 'data'), ex…

本記事では、Pythonの人気ライブラリであるpandasを使用して、CSVファイルを読み込み、その内容を表示する方法について説明します。以下に紹介するコードは、非常に基本的な操作であり、データ分析や処理の前提となるステップです。 コードの解説 import pan…

CSVファイルは、データ分析や機械学習などの分野で広く使用されるデータ形式です。Pythonでは、CSVデータを読み込むためのライブラリがいくつか存在しますが、その中でもpandas、numpy、そしてPython標準ライブラリのcsvモジュールは特によく使われます。そ…

はじめに Pythonでファイル操作を行う際、open()関数とosモジュールがよく使用されます。この記事では、以下のPythonコードを例に挙げながら、open()やos.path.joinの役割、ファイルオブジェクトとは何かについて詳しく解説します。 import os os.makedirs(o…

はじめに 昨今の大規模言語モデル（LLM）ブームにより、OpenAI APIやLangChainなどのツールを活用すれば、誰でも手軽に強力なアプリケーションを構築できるようになりました。しかし、「この時代において、PyTorchのような深層学習フレームワークを学ぶ必要…