Цитаты из книги «Основы нейросетей»

похожим, родственным или близким по контексту словам давать близкие в цифровом плане индексы – см. статью web2vec, skigram etc (ссылка 9). 3)

В результате я потерял надежду заставить Keras.NET обработать текст и сам посчитал индексы слов и создал массивы для обучения НС. В

Какие были проблемы в процессе работы над финальным решением: 1) При обучении НС примерно на 9.5 тыс примеров приложение падало с ошибкой (process eхited with code -1073740940, нехватка памяти?). Я хотел обучить НС на всем датасете (14.412 записей), но из-за этого пришлось остановиться на 9 тыс примерах.

На Kaggle нашел датасет с русским текстом (ссылка 6). Датасет содержит ~14 тыс комментариев с пикабу и пометкой, является ли текст токсичным или нет. Модель НС использовал ту же, что и для IMDB

нейронками, а старым добрым ElasticSearch, который умеет искать по большому набору данных учитывая контекст, лингвистику, опечатки и т.п. Короче, на хакатоне надо было делать гугл, а не нейронку

DeepBlue (побила Каспарова в шахматах) или AlphaGo (разгромила чемпиона мира по ГО)

Есть инструменты обучения НС более высокого порядка – Google/TensorFlow, Microsoft/Azure, Amazon/AWS, Яндекс/DSVM

нас тоже dvc для моделей. Это чтобы релизить новые модели дообученные или с новыми сетами без релиза всего приложения как я понял. Перебор количества нейронов и слоев это и есть ml/ds.

DVC добавляет поверх гита с большими файлами семантику типичного воркфлоу для датасайентиста. Конечно, все можно и руками поверх гита делать, LFS, файлики всякие с заметками аккуратно править, но DVC просто удачно автоматизирует эту рутину. На него стоит посмотреть хотя бы для того, чтобы этот воркфлоу понять. DVC: версионирование ML моделей и датасетов: ht

MNIST database в удобном формате *.csv