铭鸿体育资讯网

有朋友拿智己拆车芯片「魔改」了个服务器出来,具体效果怎么样呢?GPU 跑算力 32 Tokens 每秒,但是上下文长度只能到 32K。 自评:基本是扯淡的,这东西的正经用法是做视觉算力,而不是跑大模型。折腾这过程很有意思,但是实际价值可能不是特别大[允悲] #42how##智己# ​

有朋友拿智己拆车芯片「魔改」了个服务器出来,具体效果怎么样呢?GPU 跑算力 32 Tokens 每秒,但是上下文长度只能到 32K。

自评:基本是扯淡的,这东西的正经用法是做视觉算力,而不是跑大模型。折腾这过程很有意思,但是实际价值可能不是特别大[允悲]