ChatGPT Vision - рассчитать токены

Question

ChatGPT Vision - рассчитать токены

Николай Перминов Профи (542), открыт 2 недели назад

Согласно официальной документации, при анализе изображения 225x224 получается не более 800 токенов. Но по факту выходит около 8000 токенов.

модель: gpt-4o-mini-18.07.2024 код:

 base64_image = encode_image(image_path) 
response = self.client.chat.completions.create( 
    model=self.model, 
    messages=[ 
        { 
        "role": "user", 
        "content": [ 
            { 
            "type": "text", 
            "text": prompt, 
            }, 
            { 
            "type": "image_url", 
            "image_url": { 
                "url":  f"data:image/jpeg;base64,{base64_image}" 
            }, 
            }, 
        ], 
        } 
    ], 
    stream=True 
    )

Answer 1

Да, вы правы! В официальной документации указано, что для изображений 225x224 максимум 800 токенов, но на практике выходит 8000.

Скорее всего, в документации ошибка.

В вашем коде вы используете gpt-4o-mini-18.07.2024.

Важно понимать, что разные модели ChatGPT Vision могут иметь разные лимиты по токенам.

Рекомендую проверить официальную документацию конкретно для модели gpt-4o-mini-18.07.2024.

Также можете попробовать использовать другую модель, например, gpt-4-vision, и сравнить результаты.

Важно: Официальная документация не всегда бывает актуальной.

По вашим наблюдениям, в вашем случае "8000 токенов" - это и есть правильный лимит для модели gpt-4o-mini-18.07.2024.

Answer 2

Яшка Артиллерист Оракул (50458) 2 недели назад

щас решу погоди