Google DeepMindが新評価基盤「Game Arena」を公開、AIモデルを「勝敗のあるゲーム」で直接対決させる
ワンポイントAIモデルを「勝敗のあるゲーム」で直接対決させる新評価基盤が公開
Google DeepMindは、フロンティアAIモデルを厳密に評価するための新しいオープンソースプラットフォーム「Game Arena」を公開しました。明確な勝敗条件を持つ環境でAIモデル同士を直接対決させることができる点が特徴です。
Primary Sources Only
公式ブログとリリースノートを、日本語の記事にして毎朝届けます。
まとめサイトの記事や機械翻訳ではなく、一次情報だけを追っています。興味のあるトピックだけ選んで読めます。
- 一次情報のみ公式ブログ・リリースノートだけを収集、二次情報は扱いません
- 毎朝ダイジェスト興味トピックの新着記事をメールでまとめて
- 原文リンク明記出典と原文へのリンクを必ず併記
トピック: ai-benchmarks解除
tech/ai news
AlphaEarth Foundations、地球観測データを統合し地球全体を前例のない精度でマッピング
ワンポイントペタバイト規模の地球観測データを統合し地図作成を一新
Google DeepMindは新しいAIモデル「AlphaEarth Foundations」を発表しました。ペタバイト規模の地球観測データを統合し、統一的なデータ表現を生成することで、地球規模のマッピングとモニタリングの手法を一新するとしています。
tech/ai news
Google DeepMind、流体力学の100年来の難問に新たな解法を発見
ワンポイントAIが流体力学の100年来の難問に新解法をもたらす
Google DeepMindは流体力学における長年未解決だった数学的問題に対し、AIを活用した新しい解法を発見したと発表しました。同社はこの手法が数学者によるAI活用を後押しし、数学・物理学・工学分野の長年の課題解決につながる可能性があるとしています。
tech/ai news
Gemini 2.5 Deep Think、国際大学対抗プログラミングコンテスト世界大会で金メダル相当の成績を達成
ワンポイントGemini 2.5 Deep Think、ICPC世界大会で金メダル相当の成績
Google DeepMindは、AIモデル「Gemini 2.5 Deep Think」が世界最高峰のプログラミング競技会International Collegiate Programming Contest(ICPC)World Finalsにおいて金メダル相当の成績を収めたと発表しました。同社はこれを抽象的な問題解決能力における大きな飛躍と位置づけています。
tech/ai news
GeminiのDeep Think版、国際数学オリンピックで金メダル基準を正式達成
ワンポイントGemini(Deep Think)がIMOで金メダル基準を正式達成
Google DeepMindは、Deep Think機能を搭載した高度なGeminiモデルが、国際数学オリンピック(IMO)において金メダル相当の成績を正式に達成したと発表しました。IMOは1959年から続く、若手数学者にとって世界最高峰の大会です。
tech/ai news
OpenAI、GPT-5システムカードに補遺を公開 センシティブな会話への対応力を新指標で評価
ワンポイントGPT-5、感情依存・メンタルヘルス・ジェイルブレイク耐性を新指標で評価
OpenAIは「GPT-5 System Card」に追補を発表し、感情的依存やメンタルヘルスに関わる会話、ジェイルブレイク耐性という3つの新しいベンチマークを用いてGPT-5の安全性向上を報告しました。センシティブな話題への対応力を可視化する試みです。
tech/ai news
OpenAIが語る「evals」の重要性——AI導入企業の次なる焦点に
ワンポイントAI性能の「評価(evals)」が企業のAI活用戦略を左右する鍵に
OpenAIは公式ブログで、AIの性能を定義・測定・改善する「evals(評価)」が、企業のAI活用における次のステージを左右すると説明しました。リスク低減や生産性向上、戦略的優位性の獲得につながる要素として位置づけています。
Google DeepMind、Gemini 3を発表──「新しい知能の時代」を掲げるブログ公開
ワンポイントGoogle DeepMindが「Gemini 3」を発表、新時代の幕開けを予告
Google DeepMindは2025年11月18日、公式ブログにて「A new era of intelligence with Gemini 3」と題する記事を公開し、新モデル「Gemini 3」の登場を発表しました。現時点で公開されている原文には具体的な機能詳細やベンチマーク情報は含まれていません。詳細は今後の追加情報や公式発表を待つ必要があります。
Tavily、「Deep Research」で最先端(SOTA)水準を達成したと発表
ワンポイント詳細本文なし、Tavilyが「Deep Research」でSOTA達成と発表
Tavilyは、AI向け検索・リサーチ基盤である「Deep Research」機能について、最先端(state of the art)の性能を達成したとHugging Face公式ブログで発表しました。今回提供された原文には具体的な実装内容やベンチマーク数値などの本文が含まれていなかったため、詳細な技術解説は控えています。
tech/ai news
「bashだけで十分」なのか? BraintrustがAIエージェントの抽象化を徹底比較
ワンポイントSQL精度100%、bashは正答率53%でコストも6.5倍
AI評価基盤を手がけるBraintrustが、AIエージェントにとって「ファイルシステムとbash」が万能な抽象化なのかを検証しました。GitHubのissue・PRデータを対象にSQL・bash・ファイルシステムの3方式を比較した結果、SQLが精度・コスト・速度のすべてで優位に立ち、最終的にはbashとSQLを組み合わせたハイブリッド構成が最も信頼性の高い選択肢として浮上しました。
tech/ai news
OpenAI、コーディング評価基準「SWE-bench Verified」の使用を終了 汚染問題を指摘し「SWE-bench Pro」を推奨
ワンポイントOpenAIがSWE-bench Verified評価を停止、SWE-bench Proへ移行
OpenAIは、AIのコーディング能力を測る代表的なベンチマーク「SWE-bench Verified」による評価を今後行わないと発表しました。データ汚染やテスト自体の欠陥により、最先端モデルの実力を正しく測定できなくなっているためです。代替として「SWE-bench Pro」の利用を推奨しています。
tech/ai news
Google DeepMind、LLMの事実性を体系的に評価する「FACTSベンチマークスイート」を公開
ワンポイントLLMの「事実性」を測る新ベンチマーク、DeepMindが公開
Google DeepMindが、大規模言語モデル(LLM)の事実性(ファクチュアリティ)を体系的に評価するための新しいベンチマーク群「FACTS Benchmark Suite」を発表しました。公式ブログでの発表は簡潔で、名称と目的のみが示されています。
tech/ai news
AlphaFold誕生から5年、DeepMindが科学への貢献を振り返る特集を公開
ワンポイントAlphaFold誕生5周年、科学への貢献を振り返る特集が公開
Google DeepMindは公式ブログで、タンパク質構造予測AI「AlphaFold」がこの5年間で科学研究にもたらした影響を振り返る特集コンテンツを公開しました。AlphaFoldが世界中の生物学研究をどのように加速させてきたかを紹介する内容です。
tech/ai news
OpenAI、GPT-5.2が科学・数学分野で最高水準の性能を達成と発表
ワンポイントGPT-5.2、GPQA DiamondとFrontierMathで最高記録を達成
OpenAIは新モデル「GPT-5.2」について、数学・科学分野における同社史上最も高性能なモデルであると発表しました。GPQA DiamondやFrontierMathといった代表的なベンチマークで最高水準の結果を記録し、実際の研究現場での成果にもつながったとしています。
tech/ai news
OpenAI、次世代フロンティアモデル「GPT-5.2」を発表
ワンポイントGPT-5.2はChatGPTとAPI両方でエージェント型ワークフローを高速化
OpenAIは、日常の専門的業務に向けた最新モデル「GPT-5.2」を発表しました。推論・長文コンテキスト理解・コーディング・視覚認識の各分野で最先端の性能を持つとされ、ChatGPTとOpenAI APIの両方で利用可能です。より高速かつ信頼性の高いエージェント型ワークフローの実現を目指しています。
tech/ai news
OpenAI、GPT-5でウェットラボの分子クローニング実験を最適化する評価手法を発表
ワンポイントGPT-5でウェットラボの分子クローニング実験を最適化する評価手法を発表
OpenAIは、AIが生物学研究の実験室作業(ウェットラボ)をどれだけ加速できるかを測る実世界の評価フレームワークを発表しました。GPT-5を用いて分子クローニングのプロトコル最適化を行い、AI支援実験の可能性とリスクの両面を検証しています。
tech/ai news
OpenAI、科学研究タスクへの到達度を測る新ベンチマーク「FrontierScience」を発表
ワンポイントOpenAIが科学研究への到達度を測る新指標「FrontierScience」を発表
OpenAIは、物理学・化学・生物学におけるAIの推論能力を評価する新しいベンチマーク「FrontierScience」を発表しました。実際の科学研究に近い課題への到達度を測ることを目的としています。対象分野や目的は明示されていますが、具体的な評価方法や結果についての詳細は公開情報の範囲では限定的です。
tech/ai news
OpenAI、AIの「思考過程」を監視する新評価フレームワークを発表
ワンポイントAIの内部推論を監視する方が出力監視より効果的と判明
OpenAIは、AIモデルの思考の連鎖(Chain-of-Thought)がどれだけ人間による監視に適しているかを測る新しい評価フレームワークを公開しました。13種類の評価タスクと24種類の環境から構成され、出力結果だけを見るよりも内部の推論過程を監視する方が、モデルの危険な挙動を検知する上で有効であることが示されています。
Google DeepMind、2025年の研究成果を8分野にまとめて総括
ワンポイントDeepMindが2025年の研究成果を8分野で年次総括
Google DeepMindは公式ブログで、2025年に同社の研究チームが達成したブレークスルーを8つの分野に分けて振り返る記事を公開しました。年末恒例の総括企画として、AI研究における1年間の進展を俯瞰する内容になっています。
tech/ai news
Kubernetes v1.35、Pod削除なしで全コンテナを再起動する「RestartAllContainers」がアルファ提供開始
ワンポイントPod削除なしで全コンテナ再起動、月10万ドル規模の学習コスト浪費を解消
Kubernetes v1.35で、Podを削除・再作成せずに全コンテナをその場で再起動できる新機能「RestartAllContainers」がアルファ機能として追加されました。UIDやIP、ボリュームを維持したまま初期化からやり直せるため、特に大規模なAI/ML学習ワークロードでの障害復旧コストを大幅に削減できます。Container Restart Rules(v1.35でベータ昇格)の拡張として提供され、feature gateを有効化することで試せます。