1921年の創立以来、グループ内外との共創により国際的な成長を続ける三菱電機株式会社。
ソフトウエア開発のリードタイム短縮を目指し、生成AIを活用した開発環境の刷新に取り組む同社の皆様に、RAG※アプリの開発を通じたPoC（Proof of Conceptの略。概念実証）についてお話を伺いました。
※ RAG（Retrieval Augmented Generation)：ChatGPTに代表される膨大な情報を学習済みのLLM（大規模言語モデル）に社内資料のような独自のデータを情報源として参照させる手法。
長峯氏 ── 私は、 ECM（エンジニアリングチェーンマネジメント）、つまり社内コンサルとしてソフトウエア開発現場の生産性を上げるための支援を行っています。リードタイム短縮というのが我々の至上命題なのですが、現在、開発環境を刷新して全社共通の基盤を構築することを目指しています。
チケット駆動開発※に移行して開発の見える化をするとか、CI/CDパイプラインを導入するといったよくある改善手法では、どうしてもテストの領域に範囲が絞られるため、設計領域や調査領域のような上流側の工程を効率化するために生成AIの活用を進めてきました。このプロジェクトでは、生成AIを活用したRAGアプリを開発し、その精度を検証するPoCに取り組みました。
※ チケット駆動開発：作業をタスクに分割し、バグ管理システムのチケットに割り当てて管理を行うプログラム開発手法。
村瀬氏 ── 私は三菱電機 設計技術開発センター ソフトウエア企画グループにおける「生成AIを活用した生産性向上プロジェクト」の取りまとめという立場で本プロジェクトに参画しています。
村瀬氏 ── 当時はOpenAIが流行していたのですが、私たちの場合OpenAIは三菱電機内の他部門でも試行中でしたので、これだけに拘らず、AWSの生成AIを使ってみたいということでパートナーを探していました。いくつかのWebサイトを見ていた中、ちょうど我々がやりたいことに近い、AWSとAzureを組み合わせたRAGのアーキテクチャ図を載せているNCDCさんの記事を見つけて、お声を掛けさせていただきました。
長峯氏 ── 商談でお会いした印象も大きかったですね。我々は製造業なのでITの専門用語ばかりで話をすることに慣れていない人も多いのですが、茨木さん（NCDCのテクノロジー ディレクター）をはじめNCDCの方は、根底には深い専門知識を持った上で、私たちにわかりやすいようある程度噛み砕いて喋ってくれるので、とても安心できました。
村瀬氏 ── 生成AIは進化が激しいので、特定のサービスにこだわって勧めるのではなく、最新の情報を踏まえて何を使うべきか提案してくれるのもありがたいですね。私たちとしてはAWSであろうとAzureであろうと、良いものを組み合わせて目的を達成したいので、偏りのないニュートラルな立場で説明してもらえたことで信用できるなと思いましたね。
プロジェクトの特徴
村瀬氏 ── 当時、生成AIを活用した私が担当する別プロジェクトにおいて、AIの回答精度がなかなか上がらないということが分かってきたところでした。LLMの性能頼りという点が変わらなければ精度向上は難しいだろうということで、継続的に生成AIの改善に取り組める人財を社内で育てながら、PoCに取り組むことを考えていました。
NCDCさんに話を聞いたところ、RAGを作れて、フロントエンド開発もサポートしてくれて、スキルトランスファーもしてくれるという三拍子が揃っていたので、必然的にNCDCさんにお願いするかたちになりました。
長峯氏 ── 当社側のメンバーは皆オンプレのWindows系システムなど違う領域の開発経験しかなく、誰も業務でクラウドに触れたことがないような状態でのチームの立ち上げでした。そのため、RAGの構築後にスキルトランスファーの期間をしっかりとってもらったことは非常に良かったです。
RAGアプリももちろん良いものができていますが、スキルトランスファーがきっかけで、AWSや生成AIの素人だったところから、自力で独自の機能を追加するまでに成長したメンバーが出てきたことは大きな成果です。
長峯氏 ── 現在は、開発は一区切りして試験運用を行っているところです。当社の中にいろいろな製作所があって、使ってみたいと手を挙げて待ってくれている人たちは沢山いるのですが、我々の対応できるマンパワーの問題で現在は3箇所に絞って実験を行っています。社内でも期待が高く、ニーズはかなりあります。
長峯氏 ── 業務の中で普通に使っても困らないレベルの精度が出ていると思います。開発段階ではある製作所と一緒に取り組んでいたのですが、できたものを順次リリースすると製作所の方が一斉に使ってくれるのです。ただ、精度が悪いと分かると波が引くように使わなくなる。そこで精度が上がるようにNCDCさんに調整してもらったものをまた提供するというプロセスをひたすら繰り返していました。この方法によって精度が上がったのだと思います。
良い結果にたどり着けたのは、まさにアジャイルが機能したからであり、短サイクルでの開発にお付き合いいただいた成果でしょうね。非常に嬉しかったです。
村瀬氏 ── 現時点では音声入力により会議の内容を文字起こししてRAGに反映する機能のみ、まだ現場で試せていないのですが、使ってみたいという声は社内で多く出ており、期待されています。
長峯氏 ── 精度や品質の評価にはRAGAS※の指標を使っているのですが、本プロジェクトの1回目の評価と、さまざまな修正や改善を経た現時点での評価を比較すると1.5倍近く高い評価になっています。RAGを使った類似の先行プロジェクトと比較するともっと大きな差があって、2倍近い評価の差があると思います。
現時点ではまだ実施できていませんが、これを実際の開発の中で使っていくと、「リードタイムを何％削減できた」といった数字もこれから取っていけるでしょうね。
※ RAGAS：RAGモデルの性能を多角的に評価するために開発されたツール。検索の精度や生成された回答の品質などを基準に、総合的に分析する。
村瀬氏── このプロジェクトを通じて感じたのは、一般的なLLMの利用に依存する限り、RAGの構築、特にバックエンドに関しては誰が開発しても精度に大差はないということです。利用しているものがAmazon Bedrockなのか、Claudeなのか、OpenAIなのかという違いがあるだけです。
その点、今回のプロジェクトではフロントエンドでの工夫と、データの前処理での工夫という2点に注力してNCDCさんに支援をしていただいた結果、こうした高い評価に結びついたのだと思っています。
長峯氏 ── 製造業は歴史がある分古いやり方を変えられなかったり、Excel、Word、PDFなどの活用できていないデータをたくさん溜めてしまっていたり、さまざまな課題があると思っています。今回はこうしたデータを活用し得るRAGアプリのPoCを行い、業務利用できるレベルの成果を上げられたことは非常に良かったです。
これはまだ一事例なので、すでに手を挙げて待ってくれている製作所と協力して、今後も改善を繰り返していきたいと考えています。こうした新しい技術は使用に耐えうる精度を実現し、現場で認められてからやっと生産性の改善やリードタイム短縮というところに繋がるものなので、まずは社内で事例を増やしていきたいですね。
村瀬氏── 現在当社ではDX人財の育成のため、社を挙げてスキルトランスファーやリスキリングに取り組んでいるところです。製造業界はDXと言っていてもまだまだIT業界の言葉を聞いてそれが何なのかを正確に想像できないメンバーも居ります。例えばAWSにどんなサービスがあって、それが自部門の開発の何に使えそうかがわからないといった具合です。AIのような新しい技術が出てきてもそれを自社の課題解決に上手くマッチングできないので、三菱電機の中ではITと自部門で必要な技術の両方がわかる人財が重要になってきます。
今回、スキルトランスファーを受けて成長したメンバーがいますが、ITの専門家であるパートナーと我々との間を取り持つ技術翻訳者という意味でも、こうしたメンバーを社内に増やしていく必要があると感じました。
我々の持つ困りごとや課題感に対して、我々にはない知見や解決策を持ったNCDCさんのようなパートナーと是非また一緒に仕事をしたいと思っています。
