4090 24G显存 单卡是否可以运行?

[yuwxyun275]

作者您好，我对您的研究工作很感兴趣并且很感谢您将代码开源。我想询问单张24G显存的4090是否可以部署该模型?

[DragonHou77]

您好，很高兴你能认可我们的工作。该基准及框架是通过api调用大模型，因此对显卡性能并没有过高的要求，完全可以部署在4090上！

[yuwxyun275]

我调用deepseek的api运行的时间很慢是什么原因？请问运行eval_LLM.py文件正常需要多少时间？

def call_with_messages_deepseek(QA, save_list, model="deepseek-chat"):
api_key = ""
client = OpenAI(api_key=api_key, base_url="https://api.deepseek.com/v1")
question = QA['question']
# print(question)
while True:
try:
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": question}],
temperature=0.7,
max_tokens=1024,
stream=False
)
QA.update({'response': response.choices[0].message.content, 'result': True})
save_list.append(QA)
break
except Exception as e:
print(f"DeepSeek 请求失败: {e}")
time.sleep(2)

File:hyperedge_count_cot_bag_test:0/5: 0%| | 2/3500 [01:20<39:51:26, 41.02s/it]

[DragonHou77]

通过我们近期的相关工作来看，deepseek的推理速度很慢...虽然说他的深度思考确实提升了模型的性能，但是时间消耗极大，几乎是别的大模型的十几倍。 如果你想快速的看到结果，那么我建议你使用gpt-4o-mini，国产大模型中qwen系列也还不错，deepseek建议在时间充裕的情况下使用。 gpt-4o-mini的eval很快，进度条几乎是飞一般的加载，其他大模型得看时间段，有的时候很快，有的时候又慢的让人窒息，deepseek在晚上非高峰时间段使用速度也勉强能接受。 超越 ***@***.*** &nbsp;

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "iMoonLab/LLM4Hypergraph" ***@***.***&gt;; 发送时间:&nbsp;2025年3月10日(星期一) 上午10:40 ***@***.***&gt;; ***@***.******@***.***&gt;; 主题:&nbsp;Re: [iMoonLab/LLM4Hypergraph] 4090 24G显存 单卡是否可以运行? (Issue #1) 我调用deepseek的api运行的时间很慢是什么原因？请问运行eval_LLM.py文件正常需要多少时间？ def call_with_messages_deepseek(QA, save_list, model="deepseek-chat"): api_key = "" client = OpenAI(api_key=api_key, base_url="https://api.deepseek.com/v1") question = QA['question'] # print(question) while True: try: response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": question}], temperature=0.7, max_tokens=1024, stream=False ) QA.update({'response': response.choices[0].message.content, 'result': True}) save_list.append(QA) break except Exception as e: print(f"DeepSeek 请求失败: {e}") time.sleep(2) File:hyperedge_count_cot_bag_test:0/5: 0%| | 2/3500 [01:20<39:51:26, 41.02s/it] — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt; yuwxyun275 left a comment (iMoonLab/LLM4Hypergraph#1) 我调用deepseek的api运行的时间很慢是什么原因？请问运行eval_LLM.py文件正常需要多少时间？ def call_with_messages_deepseek(QA, save_list, model="deepseek-chat"): api_key = "" client = OpenAI(api_key=api_key, base_url="https://api.deepseek.com/v1") question = QA['question'] # print(question) while True: try: response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": question}], temperature=0.7, max_tokens=1024, stream=False ) QA.update({'response': response.choices[0].message.content, 'result': True}) save_list.append(QA) break except Exception as e: print(f"DeepSeek 请求失败: {e}") time.sleep(2) File:hyperedge_count_cot_bag_test:0/5: 0%| | 2/3500 [01:20<39:51:26, 41.02s/it] — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;