Тут приведены примеры Python кода по исполльзованию API векторизации.
Для запуска кода необходимо установить библиотеку requests
BASE_URL - адрес, по которому осуществляется доступ к API.
import requests
BASE_URL = "http://172.18.130.45:5046"
Токен = слово. Данную функцию желательно использовать только для векторизации отдельных слов.
def vectorize_token(token, model_name):
response = requests.get(
f"{BASE_URL}/vectorize_token", params={"query": token, "model_name": model_name}
)
data = response.json()
return data['vector']
token_vector = vectorize_token(token="python", model_name="bert")
Вектризация текста позволяет перевести произвольное предложения в векторный формат. Для разделения текста на токены используется библиотека razdel.
def vectorize_text(text, model_name):
response = requests.get(
f"{BASE_URL}/vectorize_raw_text", params={"query": text, "model_name": model_name}
)
data = response.json()
return data['vector']
text_vector = vectorize_text(text="мама мыла раму", model_name="bert")
Рекомендуется к использованию, если нужно векторизовать несколько токенов за один вызов API.
def vectorize_array(tokens, model_name):
response = requests.get(
f"{BASE_URL}/vectorize_multiple_tokens",
params={"query": tokens, "model_name": model_name},
)
data = response.json()
return data['vector']
tokens_array_vector = vectorize_array(tokens_array=["мама", "мыла", "раму"], model_name="bert")