使用教程:
1. 在”模型参数量”输入框中输入模型的参数数量(以十亿为单位,如7表示7B模型)
2. 从”量化位数”下拉菜单中选择适当的量化精度
3. 点击”计算”按钮
4. 查看结果,了解所需的GPU内存量
量化示例:
我们以常用的ollama框架内的模型为例,经常看见gemma2:9b-instruct-q4_1
这种格式的模型,其中9b是模型的参数量,q4是模型的量化位数,那么只需要提取相对应的数值填入到计算器内就可以计算出GPU内存使用量。
1. 在”模型参数量”输入框中输入模型的参数数量(以十亿为单位,如7表示7B模型)
2. 从”量化位数”下拉菜单中选择适当的量化精度
3. 点击”计算”按钮
4. 查看结果,了解所需的GPU内存量
我们以常用的ollama框架内的模型为例,经常看见gemma2:9b-instruct-q4_1
这种格式的模型,其中9b是模型的参数量,q4是模型的量化位数,那么只需要提取相对应的数值填入到计算器内就可以计算出GPU内存使用量。