Hugging Face、TransformersにおけるMixture of Expertsを解説する記事を公開
ワンポイントHugging FaceがTransformers向けMoE解説記事を公開
Hugging Faceは公式ブログに「Mixture of Experts (MoEs) in Transformers」と題した記事を公開しました。Transformersライブラリの文脈でMoEアーキテクチャを取り上げた内容ですが、本記事の時点では詳細な本文情報は確認できていません。
Archive
記事アーカイブ
トピック別に新着順で読めます。「あのアップデート何だっけ」はキーワード・期間からも探せます。
すべて1291AI・LLM611セキュリティ368開発ツール257DevOps・CI/CD232OpenAI196Vercel169GitHub116Hugging Face100Cloudflare95Node.js / ランタイム93サーバーレス86データベース76Next.js76Redis73TypeScript68Anthropic64Python61Model Context Protocol60クラウド58フロントエンド58Kubernetes57AIベンチマーク49AWS49オープンソース49Google DeepMind48JavaScript48AI セキュリティ46Docker40Transformers39GitLab35LangChain35React31ベクトルデータベース27pnpm24テスト24Azure22Deno18PostgreSQL15PyTorch15Rust15Terraform13Django12Git12Go12.NET12nginx12ロボティクス12Vite12Bun11Google Cloud11Elastic10OpenTelemetry10Ruby10AIコンテキスト管理9mise9Nuxt9Supabase9Elasticsearch8Ollama8GraphQL7LLVM7Prisma7Prometheus7Vitest7vLLM7Erlang/OTP6Hono6Mojo6Svelte6Grafana5PHP5Playwright5Polars5Rails5Remix5Vue5LlamaIndex4Meilisearch4Astro3Bevy3Elixir3FastAPI3Foundation3モバイル3MobX3OCaml3RabbitMQ3TensorFlow3Turborepo3Zed3Airflow2Angular2Ant Design2Apache Kafka2Biome2Crystal2date-fns2DuckDB2esbuild2htmx2Hugo2Jaeger2Jenkins2JupyterLab2Mantine2Material UI2NumPy2Poetry2Qwik2Rolldown2SolidJS2uv2Webpack2ArgoCD1Celery1Dart1Drizzle ORM1Effect1Flask1Framer Motion1Godot Engine1Ionic1Jest1Jotai1Kotlin1Lodash1Lua1pandas1Pinia1pytest1Ruff1scikit-learn1shadcn/ui1Spring1SQLAlchemy1Storybook1TanStack Query1Zod1
Hugging Face、超長文コンテキスト学習向け技術「Ulysses Sequence Parallelism」を紹介
ワンポイント100万トークン学習を目指す新技術「Ulysses SP」が登場予定
Hugging Faceの公式ブログに、100万トークン規模のコンテキストでの学習を可能にする技術「Ulysses Sequence Parallelism」を扱う記事のタイトルが掲載されました。本記事執筆時点では、原文の本文が公開されておらず、具体的な実装内容や性能数値などの詳細は確認できていません。
IBM、企業文書向け小型マルチモーダルモデル「Granite 4.0 3B Vision」を発表
ワンポイントIBMが企業文書向け軽量マルチモーダル「Granite 4.0 3B Vision」を発表
IBMはHugging Face Blogにて、Granite 4.0シリーズの新モデル「Granite 4.0 3B Vision」を紹介しました。企業文書の処理を想定したコンパクトなマルチモーダルモデルと位置づけられています。ただし公開された原文には具体的な仕様や性能に関する詳細情報が含まれていません。
Hugging Face、ポストトレーニング特化ライブラリ「TRL」がv1.0に到達
ワンポイントHuggingFaceのTRLがついにv1.0へ到達
Hugging FaceがTRL(Transformer Reinforcement Learning)ライブラリのメジャーバージョンとなる**v1.0**を発表しました。ブログのタイトルどおり「分野の進化とともに動くポストトレーニングライブラリ」という位置付けが示されていますが、今回参照した原文には具体的な変更点や機能の記述が含まれていませんでした。
tech/ai news
OpenAIが生命科学研究向けモデル「GPT-Rosalind」を発表
ワンポイントOpenAIが生命科学特化の推論モデル「GPT-Rosalind」を発表
OpenAIは、薬剤発見やゲノム解析、タンパク質推論などの科学研究ワークフローを加速することを目的とした最先端の推論モデル「GPT-Rosalind」を発表しました。詳細な仕様は限定的ですが、生命科学分野に特化した推論能力を備えている点が特徴です。
DeepSeek-V4、「100万トークンのコンテキスト」を掲げて登場
ワンポイントDeepSeek-V4、100万トークンのコンテキストを標榜
Hugging Face Blogに、DeepSeek社の新モデル「DeepSeek-V4」を紹介する記事が掲載されました。タイトルからは100万トークン規模のコンテキストウィンドウを備え、AIエージェントが実務で活用できる設計を目指していることが読み取れますが、本稿執筆時点で確認できる原文本文の情報は限られています。
Hugging Face公式ブログ「Granite 4.1」記事、本文内容が確認できず詳細レポートは見送り
ワンポイント原文本文が未提供のため詳細レポートは見送りました
Hugging Face BlogにIBMのGranite 4.1 LLMsに関する記事「Granite 4.1 LLMs: How They're Built」が掲載されましたが、今回提供された原文には本文テキストが含まれていませんでした。事実に基づく報道を徹底するため、具体的な技術内容の紹介は差し控えます。
Hugging Face、新たなリランカーモデル群「Ettin Reranker Family」を発表
ワンポイントHugging FaceがEttin Reranker Familyを発表、詳細は原文確認が必要
Hugging Face公式ブログにて、新しいリランカーモデル群「Ettin Reranker Family」の発表記事が公開されました。ただし本稿執筆時点で参照できた原文には具体的な仕様やベンチマーク結果などの詳細本文が含まれていないため、確認できた事実は限定的です。詳細を知りたい方は原文URLを直接ご参照ください。
Transformers v5.9.0公開、Cohere製MoEモデルやHRM-Textなど新モデルを追加
ワンポイントCohereのMoEモデルとHRM-Textなど新モデル3種が追加
Hugging FaceのTransformersライブラリがv5.9.0をリリースしました。CohereのMoEモデル「Command A+」やHierarchical Reasoning Modelを言語モデル向けに改良した「HRM-Text」など新モデルが追加されたほか、SAM3系モデルの入力仕様に破壊的変更が加わっています。音声・生成周りの不具合修正や継続的バッチ処理へのテンソル並列対応など、実運用に関わる改善も多数含まれています。
Hugging Face、音声AIの「人間らしさ」を測る新指標『Real World VoiceEQ』を発表
ワンポイント音声AIの「人間らしさ」を測る新指標が登場
Hugging Faceは公式ブログで、音声AIがどれだけ人間らしく聞こえるかを測定する新しい取り組み『Real World VoiceEQ』を発表しました。タイトルからは音声合成・音声対話AIの品質評価に関する新しい枠組みであることがうかがえますが、本記事執筆時点では詳細な本文内容が提供されていないため、具体的な評価手法や指標の詳細は不明です。
Transformers v5.14.0リリース、975BのMoEモデル「Inkling」追加とSDPA高速化
ワンポイントSDPAプレフィルがStaticCacheで最大260%高速化
Hugging FaceのTransformersライブラリがv5.14.0を公開しました。Thinking Machines発の大規模MoEモデル「Inkling」やTIPSv2/DPTモデルが追加されたほか、GPTNeoXとGPTBigCodeの挙動を変更する破壊的変更、生成・キャッシュまわりの性能改善が盛り込まれています。
Hugging FaceとNVIDIA、NeMo AutomodelとDiffusersで動画・画像モデルの大規模ファインチューニングを実現へ
ワンポイントHFとNVIDIAが動画・画像モデルの大規模チューニングで協業
Hugging FaceがNVIDIAとの協業により、NeMo AutomodelとDiffusersライブラリを組み合わせて動画・画像生成モデルを大規模にファインチューニングする取り組みを発表しました。詳細な技術仕様は原文に記載がないため、ここでは発表の概要のみをお伝えします。
LFM2.5-DSpark、推論速度が最大3.2倍に高速化
ワンポイントLFM2.5-DSparkが推論を最大3.2倍高速化
Liquid AIがHugging Face Blogで発表した記事によると、新モデル「LFM2.5-DSpark」は推論処理において従来モデル比で最大3.2倍の高速化を達成したとのことです。ただし本記事執筆時点では、具体的な仕組みやベンチマーク条件などの詳細情報は公開されていません。
tech/ai news
実行検証済みコード修復データセット公開、7Bモデルのバグ修正率が17%→40%に向上
ワンポイント最難関バグの修正率が7Bモデルで17%→40%に有意向上
Hugging Face上で「TrueSET/verified-code-repair」というコード修復データセットが公開されました。すべての正誤判定をLLMではなく実際のコード実行で行っているのが特徴で、Qwen2.5-7B-Instructを微調整したところ、最も難しい2ファイル横断バグの修正率が17.1%から40.0%へ統計的に有意に向上したと報告されています。評価スクリプトも同梱されており、GPU1台・約15分・1ドル未満で誰でも同じ結果を再現できます。
Bilibili、日本語・スペイン語・アラビア語に対応した音声クローンTTS「IndexTTS-2.5」を公開
ワンポイント日本語・スペイン語・アラビア語対応の音声クローンTTSが登場
BilibiliのIndexTeamが、1つの参照音声だけで声質を再現できるゼロショット音声合成モデル「IndexTTS-2.5」をHugging Faceで公開しました。対応言語を5言語に拡大し、感情制御や話速調整、発音制御などの機能を強化しています。
知識蒸留を「安く」大規模実行可能にする取り組み ― Multiverse ComputingがHugging Faceで発信
ワンポイント知識蒸留のコストを下げ、大規模運用を目指す取り組みが発信
Hugging FaceのブログにMultiverse Computingが投稿した記事「Making Knowledge Distillation Cheap Enough to Run at Scale」を紹介します。知識蒸留のコストを下げ、大規模に運用できるようにする取り組みがテーマとされていますが、今回参照した原文には本文の詳細な記述が含まれていなかったため、具体的な手法や数値には触れず、記事のテーマと背景のみを整理します。
Transformers v5.15.0リリース、Meta「Muse Glimmer」追加と複数の破壊的変更に注意
ワンポイントMeta製30Bモデル追加、kernelsは今後必須依存へ
Hugging FaceのTransformersライブラリがv5.15.0を公開しました。Metaのエージェント向けマルチモーダルモデル「Muse Glimmer」など新モデルが追加された一方、線形アテンションのカーネル選択やキャッシュAPI、T5系の実装に関わる破壊的変更も含まれています。今後kernelsパッケージが必須依存になる可能性も示唆されています。
Liquid AI、LFM2.5のQ4_0量子化チェックポイントをQuantization-Aware Distillationで公開
ワンポイントLFM2.5の4bit(Q4_0)チェックポイントがQADで公開
Liquid AIがHugging Face Blogにて、自社の言語モデル「LFM2.5」について、Quantization-Aware Distillation(QAD)という手法を用いて生成した4bit(Q4_0)形式のチェックポイントを公開したと発表しました。低ビット量子化と蒸留を組み合わせることで、性能を保ちながら軽量化したモデルを提供する狙いがあります。
わずか18ドルで学習された1.6億パラメータのテキスト→音声生成モデル「QaDiT」
ワンポイント学習コストわずか18ドルのテキスト→音声生成DiTモデル
研究者Sidharth GN氏が、テキストキャプションから10.24秒の音声を生成する約1.6億パラメータのLatent Diffusion Transformer「QaDiT」をHugging Faceで公開しました。学習コストはわずか18ドルで、AudioCapsデータセットを用いて2万4千ステップ学習されています。音声合成の研究用途向けに、再現可能な小規模ベースラインとして提供されています。
原文本文が提供されていないため記事化できません
ワンポイント原文本文が空のため事実に基づく記事作成ができませんでした
本記事の元となるHugging Face公式ブログ記事「Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers」の本文が提供されなかったため、事実に基づいた記事を作成できませんでした。原文の内容確認後、改めて記事化が必要です。