原子社LLM GPU内存计算器
使用教程:

1. 在”模型参数量”输入框中输入模型的参数数量(以十亿为单位,如7表示7B模型)

2. 从”量化位数”下拉菜单中选择适当的量化精度

3. 点击”计算”按钮

4. 查看结果,了解所需的GPU内存量

量化示例:

我们以常用的ollama框架内的模型为例,经常看见gemma2:9b-instruct-q4_1这种格式的模型,其中9b是模型的参数量,q4是模型的量化位数,那么只需要提取相对应的数值填入到计算器内就可以计算出GPU内存使用量。