7月29日晚間消息，今日閉幕的2025世界人工智能大會(huì)（展覽）上，GMI Cloud 發(fā)布自研“ AI 應(yīng)用構(gòu)建成本計(jì)算器”，宣布通過(guò)實(shí)時(shí)量化不同場(chǎng)景下的算力成本、時(shí)間損耗與供應(yīng)商性價(jià)比，可為開(kāi)發(fā)者提供成本規(guī)劃支持。
典型場(chǎng)景評(píng)估顯示，使用 GMI Cloud 方案可使海外 IT 成本降低 40% 以上，回本周期縮短至行業(yè)平均水平的 1/3。
Token作為AI文本處理的基本單位，其消耗成本直接決定商業(yè)可行性。據(jù)行業(yè)數(shù)據(jù)顯示，GPT-4 Turbo處理單次多步驟Agent任務(wù)消耗可達(dá)200萬(wàn)Token（成本約2美元），而工程化部署周期普遍被低估60%。
據(jù)介紹，GMI Cloud “ AI 應(yīng)用構(gòu)建成本計(jì)算器”可基于Token數(shù)量與單價(jià)（區(qū)分輸入 / 輸出）， 核算AI應(yīng)用/AI Agent 構(gòu)建總花費(fèi)；結(jié)合Token吞吐量（輸入 / 輸出速度），計(jì)算處理總請(qǐng)求的耗時(shí)。同時(shí)，該工具還能實(shí)時(shí)對(duì)比OpenAI、Anthropic等15家供應(yīng)商的Token單價(jià)，自動(dòng)標(biāo)記Inference Engine等低成本替代方案。
此外，GMI Cloud Inference Engine 的底層調(diào)用GMI Cloud 全棧能力，可直接調(diào)用英偉達(dá) H200、B200芯片，從硬件到軟件進(jìn)行了端到端的優(yōu)化，極致優(yōu)化單位時(shí)間內(nèi)的Token吞吐量，確保其具備最佳的推理性能以及最低的成本，最大限度地幫助客戶提升大規(guī)模工作時(shí)的負(fù)載速度以及帶寬。同時(shí)，其讓企業(yè)以及用戶進(jìn)行快速部署，選擇好模型后即刻擴(kuò)展，幾分鐘之后就可以啟動(dòng)模型，并用這個(gè)模型進(jìn)行 Serving。
