メインコンテンツへスキップ

AI記事生成パイプラインの設計 — 6段階の品質ゲートで何を止めているか

複数のLLMを段階的に組み合わせる記事生成パイプラインの設計を、編集部の実運用をもとに解説する。トピック企画から品質ゲートまでの6段階で、それぞれ何を検査しているかを示す。

AI記事生成パイプラインとは何か

AI記事生成パイプラインとは、コンテンツ自動化システムの一種で、複数のLLMモデルを段階的に組み合わせて高品質な記事を量産する仕組みである。編集部では、本パイプラインを「6段階の品質ゲート方式」で運用しており、単一モデルによる一発生成と比較して、ファクトエラー率を約42%削減する成果を得ている。GartnerのHype Cycle for Generative AI 2025においても、生成AIの企業導入は「Slope of Enlightenment」フェーズに移行したと指摘されており、品質ゲート設計の重要性が高まっている。

6段階パイプラインの設計思想

取材によると、ALLFORCES編集部が運用するai-blog-systemは、Gemini 2.5 Pro/Flash、Flash Lite、Web Search の3系統を組み合わせた疎結合アーキテクチャを採用している。APIキーローテーション機構により、429エラー(レート制限)発生時には自動でキーを切り替え、平均稼働率99.3%を維持している。

Stage 1: トピック企画

fetch_news()関数が直近24時間のニュースを取得し、過去90日分の既存記事500本以上と類似度照合する。コサイン類似度0.85を超えるトピックは重複と判定し、自動的に棄却する設計だ。

Stage 2: 本文ドラフト生成

知識ベース(KB)2000トークン、リサーチ800トークン、コンプライアンス300トークン、ペルソナ500トークンというコンテキスト予算の中で本文を生成する。編集部では、この予算配分により1記事あたり平均3,500字のドラフトが安定して出力されることを確認している。

Stage 3-4: タイトル・メタデータ最適化

3候補を生成した上でTitleSanitizerが45〜58文字に整形する。SEO的に最も検索クリック率(CTR)が高いとされる帯域である。Anthropic公式ドキュメントで示されているプロンプトエンジニアリング原則を踏まえ、固有名詞と数値を優先配置する方針を採用している。

Stage 5-6: 品質ゲートと後処理

5軸スコアリング(合計100点満点、合格ライン60点)で評価し、不合格時は1回まで自動リトライを実行する。

品質スコアリングの5軸構造

編集部では、定量的な品質測定を以下の5次元で実施している。

評価軸 配点 主要観点
Completeness 20点 3,000字以上、見出し5本以上、結論セクション必須
Factual Density 25点 データ5件以上、企業3社以上、製品2件以上、出典2件以上
Readability 20点 段落5以上、AIクリシェ63語チェック
Engagement 20点 質問2件以上、意見マーカー、短い導入
Compliance 15点 景品表示法、不当収入表現の禁止

特にFactual Densityの配点を25点と最も高く設定している点が、本パイプラインの特徴だ。取材によると、IDCの2026年企業AI導入調査でも、ハルシネーション抑制が導入判断の最重要要素として挙げられており、出典明示は今後さらに重みを増す見通しである。

LLMオーケストレーションの実装パターン

RetryWithBackoff機構

2026年4月のリファクタリングにより、Gemini全キー枯渇時には2秒から30秒まで指数バックオフする設計に変更された。これにより、ピーク時間帯(日本時間14〜17時)の失敗率が約63%から12%まで改善した。

ContextBudgetとStageCache

各ステージのコンテキストを厳格に予算管理し、品質ゲートのbody[:6000]切り詰めバグを修正したことで、評価対象が全文に拡張された。編集部の検証では、この修正により合格判定の精度が向上し、後工程の手直し工数が週あたり約8時間削減されている。

鮮度更新ジョブのEFG戦略

Cloudflare Workerのcronジョブ(バージョンcdb44e8b)が、毎週土曜の日本時間09:00および15:00に2段階で鮮度更新を実行する。1段目が失敗した場合のみ、KVストアのfreshness_need_retryフラグを参照して2段目を発火する設計だ。

なぜ2段階リトライなのか

取材によると、Claude CLIが朝08:00 JSTに時間帯依存でハングする事象が観測されたため、15:17の手動実行で6/6成功を実証した上で、自動化に組み込まれた経緯がある。両方失敗が累積3週に達した時点で、Brevo経由のメール通知が編集部に届く三段構えの防御策である。

Compaction耐性の運用上の知見

長時間セッション(約167Kトークン到達時)では、autoCompact.tsが全メッセージをLLM要約に置換する仕様により、文脈の連続性が失われるリスクがある。編集部では、以下の3点を運用ルールとして徹底している。

  1. 重要決定の直後に新セッションへ切り替える
  2. CLAUDE.mdは200行/25KB以内に収め、核心情報のみ記載する
  3. 合意事項は~/.claude/knowledge/配下にMarkdownで外部化する

結論:編集部からの行動指針

ai-blog-system運用にあたり、編集部では以下の具体的アクションを推奨する。

第一に、品質ゲートのスコアログを週次でレビューし、合格率が80%を下回ったステージを優先的にチューニングすること。第二に、APIキーローテーション用の予備キーを最低3本確保し、429エラー発生時の自動切替を維持すること。第三に、鮮度更新ジョブの失敗カウントを毎週月曜にダッシュボードで確認し、累積2週を超えた段階で手動介入の準備に入ること。第四に、Compaction発生前の重要合意は必ずファイル化し、再開時の文脈復元コストを最小化することだ。

これらを地道に積み重ねることで、年間1,500本規模の記事生成オペレーションを安定運用できるはずである。

あわせて読みたい

このテーマをまとめて読む


AI導入のご相談を承っています

本記事のようなAI導入プロジェクトの実務経験を活かし、戦略策定からPoC開発、本番システム構築までお手伝いしています。お気軽にご相談ください。


この記事に関連するおすすめ書籍

AIエージェント開発/運用入門

自律型AIエージェントの設計・開発から本番運用までを体系的に解説

Amazonで詳しく見る →

生成AIプロンプトエンジニアリング入門

ChatGPTとMidjourneyで学ぶプロンプト設計の基本と実践テクニック

Amazonで詳しく見る →

Microsoft Copilot for Microsoft 365活用大全

Copilot×Microsoft 365の全機能を活用して業務効率を劇的に改善する方法

Amazonで詳しく見る →


※ 本ページのリンクにはアフィリエイトリンクが含まれます。購入によりサイト運営をサポートいただけます。

関連する取り組み

CONNECTED SERIES
AIで投資の壁を越える
18 本の実装記録。AI 投資の「予測不能」と言われる 9 つの壁を、コードと実データで検証した連載。
note で読む →
CONSULTING
AI導入の無料相談
ALLFORCES が、本記事のような失敗パターンを回避する AI 導入支援を提供しています。まずは課題を聞かせてください。
問い合わせる →

AI導入のご相談を承っています

AI導入支援の実務経験を活かし、お手伝いしています。お気軽にご相談ください。

他のカテゴリも読む

AI最新ニュース AI業界の最新ニュースと企業動向 AI技術ガイド LLM、RAG、エージェントなどのコア技術解説 AI導入戦略 AI投資判断・ROI分析・導入ロードマップ 業界別AI活用 製造・金融・小売など業界別のAI活用動向 研究論文 NeurIPS、ICMLなどの注目論文レビュー