tech/ai news
OpenAIとParadigm、スマートコントラクト脆弱性評価ベンチマーク「EVMbench」を発表
ワンポイントAIエージェントのスマコン脆弱性対応力を測る新指標が登場
OpenAIと暗号資産分野のParadigmは、AIエージェントがスマートコントラクトの重大な脆弱性を検出・修正・悪用する能力を測る新ベンチマーク「EVMbench」を発表しました。これはAIエージェントのセキュリティ実務での実力を定量的に評価する試みです。
Primary Sources Only
公式ブログとリリースノートを、日本語の記事にして毎朝届けます。
まとめサイトの記事や機械翻訳ではなく、一次情報だけを追っています。興味のあるトピックだけ選んで読めます。
- 一次情報のみ公式ブログ・リリースノートだけを収集、二次情報は扱いません
- 毎朝ダイジェスト興味トピックの新着記事をメールでまとめて
- 原文リンク明記出典と原文へのリンクを必ず併記
トピック: ai-benchmarks解除
tech/ai news
AGENTS.mdがSkillsを圧倒、Vercelのエージェント評価で判明した意外な結果
ワンポイントAGENTS.md方式が合格率100%、Skillsの79%を上回る結果に
Vercelは、Next.js 16の新APIをコーディングエージェントに正しく使わせる方法として、Anthropicの「Skills」と「AGENTS.md」への静的なドキュメント埋め込みを比較検証しました。結果は明示的指示付きのSkillsでも79%止まりだったのに対し、圧縮した8KBのドキュメント索引をAGENTS.mdに埋め込む方式は100%の合格率を達成しました。この知見をもとに、Next.jsプロジェクト向けの導入コマンドも公開されています。
tech/ai news
OpenAI、数学チャレンジ「First Proof」への自社AIモデルの証明を公開
ワンポイントOpenAIが数学チャレンジ「First Proof」でAIの証明を公開
OpenAIは「First Proof」と呼ばれる数学チャレンジにおいて、自社AIモデルが作成した証明の試みを公開しました。専門家レベルの数学問題に対する研究レベルの推論能力を検証する取り組みです。
LinkedIn、GPT-OSSへのエージェント型RL学習に関する実践レポートをHugging Faceで公開
ワンポイントLinkedInがGPT-OSSのエージェント型RL学習の実践知を公開
LinkedInがHugging Faceのブログで、オープンウェイトモデル「GPT-OSS」にエージェント型強化学習(RL)を適用した際の実践的な振り返り記事を公開しました。タイトルからは、実運用に向けた学習プロセスの知見や工夫を共有する内容であることがうかがえます。詳細な手法や数値などの具体的な内容は本稿執筆時点の原文情報からは確認できませんでした。
Hugging Face、「Community Evals」を発表 ― ブラックボックスなリーダーボードからの脱却を掲げる
ワンポイントHFが非公開リーダーボードに代わる「Community Evals」を発表
Hugging Faceが公式ブログで「Community Evals」という取り組みを発表しました。タイトルが示す通り、評価基準が非公開な「ブラックボックス」型リーダーボードへの依存から脱し、コミュニティ主導の評価へと軸足を移す方針を打ち出しています。今回参照できた原文情報は限定的で、具体的な仕組みや対象モデルの詳細は明らかにされていません。
tech/ai news
OpenAI、「GPT-5.3-Codex」を発表 コーディング性能と推論力を融合した新モデル
ワンポイントコーディング性能と推論力を融合した「GPT-5.3-Codex」登場
OpenAIがエージェント型コーディングモデル「GPT-5.3-Codex」のシステムカードを公開しました。GPT-5.2-Codexの高いコーディング性能とGPT-5.2の推論・専門知識能力を組み合わせた、現時点で最も高性能なエージェント型コーディングモデルと位置づけられています。
tech/ai news
OpenAIが「CoT-Control」を発表、推論モデルは自らの思考過程を制御できないと判明
ワンポイント推論モデルは自分の思考過程を制御できず、それが安全性の裏付けに
OpenAIは新たな評価手法「CoT-Control」を用い、推論モデルが自身のチェーン・オブ・ソート(思考の連鎖)を意図的に制御することが難しいという結果を報告しました。同社はこの「制御できない」という性質こそが、AIの安全性を担保する「モニタリング可能性」を支える重要な要素だと位置づけています。
tech/ai news
OpenAIが「GPT-5.4 Thinking System Card」を公開
ワンポイント「GPT-5.4 Thinking System Card」公開、詳細は続報待ち
OpenAIが公式サイトにて「GPT-5.4 Thinking System Card」というタイトルの記事を公開したことが確認されました。2026年3月5日付でOpenAI Newsに掲載されていますが、本稿執筆時点では原文の本文内容が確認できていません。詳細が判明次第、続報をお伝えします。
tech/ai news
OpenAI、フロンティアLLMの「指示階層」を強化するIH-Challengeを発表
ワンポイントOpenAIのIH-Challengeでプロンプトインジェクション耐性が向上
OpenAIは、大規模言語モデルが信頼できる指示を優先的に扱えるようにする取り組み「IH-Challenge」を発表しました。これにより指示階層の遵守、安全性の制御性、プロンプトインジェクション攻撃への耐性が向上するとしています。対象は最先端のフロンティアLLMです。
Google DeepMind、AGIへの進捗を測る「認知的フレームワーク」を発表 Kaggleハッカソンも同時始動
ワンポイントDeepMindがAGI進捗測定の「認知的フレームワーク」を発表
Google DeepMindが、AGI(汎用人工知能)への進捗を測定するための新しい枠組みを発表しました。あわせて、この枠組みに基づく評価手法を構築するためのKaggleハッカソンも開始しています。
Google DeepMind、オープンモデル新版「Gemma 4」を発表
ワンポイントGemma 4は推論とエージェント処理に特化した最新オープンモデル
Google DeepMindがオープンモデルファミリーの最新版「Gemma 4」を発表しました。同社の説明によれば、これまでで最も高性能なオープンモデルであり、高度な推論とエージェント型ワークフローのために設計されているとのことです。
IBM Research発、AIエージェントの推論・ツール使用・失敗パターンを検証する「VAKRA」ベンチマーク
ワンポイントIBM ResearchがAIエージェントの推論・ツール使用・失敗モードを分析
Hugging Face Blogに掲載されたIBM Researchの記事「Inside VAKRA: Reasoning, Tool Use, and Failure Modes of Agents」を紹介します。AIエージェントの推論能力やツール使用、失敗モードを分析する「VAKRA」というベンチマークが取り上げられていますが、公開時点で確認できた原文情報は記事タイトルと出典情報のみで、具体的な評価手法や結果の詳細は本稿執筆時点では確認できていません。
tech/ai news
OpenAI、「GPT-5.5」のシステムカードを公開
ワンポイントGPT-5.5のシステムカードが公開、詳細は今後確認へ
OpenAIは公式サイトにおいて「GPT-5.5」に関するシステムカードのページを公開しました。今回参照した原文には本文テキストが含まれておらず、具体的な性能や安全性評価の詳細は確認できていません。詳細情報は公開ページの更新を待つ必要があります。
tech/ai news
「GPT-5.5 Instant System Card」、原文本文が確認できず詳細は不明
ワンポイント原文本文が未提供のため詳細不明、続報待ちです
OpenAI Newsに掲載された「GPT-5.5 Instant System Card」というタイトルの記事について、本記事作成時点で参照可能な原文本文が提供されていません。そのため具体的な機能や変更点、安全性評価などの内容をお伝えすることができません。続報や原文の内容が確認でき次第、改めて詳細をお伝えします。
tech/ai news
VercelのAI Gatewayデータが示す実態:支出はAnthropic首位、流通量はGoogleが首位という逆転現象
ワンポイント支出はAnthropic首位、流通量はGoogle首位という逆転現象が判明
Vercelが自社の**AI Gateway**を通過した7か月分・200K超のチームの実運用データを分析したレポートを公開しました。支出額と処理トークン量ではランキングが逆転するなど、単一のベンチマークでは見えない「本番環境でのAI利用実態」が明らかになっています。
tech/ai news
Databricks、企業向けエージェントワークフローにGPT-5.5を採用
ワンポイントDatabricksがGPT-5.5をエージェントワークフローに採用
Databricksが、OpenAIの新モデル「GPT-5.5」を企業向けエージェントワークフローに導入したことが明らかになりました。同モデルはベンチマーク「OfficeQA Pro」で新たな最高スコアを記録しています。OpenAI Newsが公開した短い発表に基づく内容です。
Elasticsearch対Qdrant、再戦の結末は「同じ土俵なら互角」だった
ワンポイント設定を揃えると両者とも約56QPSで実質互角だった
Elastic Search Labsは、以前公開したElasticsearchとQdrantのベクトル検索ベンチマークについて、Qdrant側の反論(io_uringの非同期ディスクスコアラーやメモリ使用量の違い)を実際に検証しました。結果、両者の性能差の正体はディスクI/Oやメモリではなく、セグメント数と結果ID取得の仕組みにあることが判明しています。
Hugging Face、音声AIの「人間らしさ」を測る新指標『Real World VoiceEQ』を発表
ワンポイント音声AIの「人間らしさ」を測る新指標が登場
Hugging Faceは公式ブログで、音声AIがどれだけ人間らしく聞こえるかを測定する新しい取り組み『Real World VoiceEQ』を発表しました。タイトルからは音声合成・音声対話AIの品質評価に関する新しい枠組みであることがうかがえますが、本記事執筆時点では詳細な本文内容が提供されていないため、具体的な評価手法や指標の詳細は不明です。
tech/ai news
OpenAI、自己対戦でAIの弱点を鍛える自動レッドチーミング「GPT-Red」を発表
ワンポイントAI同士の自己対戦でプロンプトインジェクション耐性を自動強化
OpenAIは、self-play(自己対戦)の仕組みを用いてAIモデルの安全性・アラインメント・プロンプトインジェクション耐性を高める自動レッドチーミングシステム「GPT-Red」を発表しました。人手に頼らずAI自身が弱点を探索し改善につなげる点が特徴です。
NVIDIA Nemotron 3 Embed、RTEBで総合1位を獲得 エージェント型検索の進化に貢献
ワンポイントNVIDIA Nemotron 3 EmbedがRTEBで総合1位を獲得
Hugging Face Blogによると、NVIDIAの埋め込みモデル「Nemotron 3 Embed」がベンチマーク「RTEB」で総合1位にランクインしました。これはエージェント型検索(agentic retrieval)の発展を後押しする成果として紹介されています。