Яндекс Метрика

// хронология развития ИИ

История моделей искусственного интеллекта по годам: от ранних нейросетей до современных LLM.

2026
Эпоха агентов и мультимодальности
ИИ-агенты выполняют сложные задачи автономно. Модели понимают текст, изображения, видео и аудио одновременно. Контекстные окна достигают миллиона токенов. Гонка за AGI ускоряется.
Gemma 4 31B ITGoogle DeepMindЯзыковая модель
Nemotron 3 SuperNVIDIAЯзыковая модель
GPT-5.4 ProOpenAIМультимодальная модель, Языковая модель, Компьютерное зрение
GPT-5.4OpenAIМультимодальная модель, Языковая модель, Компьютерное зрение
Gemini 3.1 Flash-LiteGoogleЯзыковая модель, Мультимодальная модель
Gemini 3.0 Flash-liteGoogle DeepMindЯзыковая модель
SWE 1.6CognitionЯзыковая модель
Qwen 3.5 Flash (hosted 35B-A3B)Alibaba
Qwen3.5-2BAlibabaЯзыковая модель
Qwen3.5-4BAlibabaЯзыковая модель
2025
Взрыв рассуждающих моделей
OpenAI o1/o3, DeepSeek R1, Claude 3.5 — модели учатся «думать» перед ответом. Chain-of-thought становится стандартом. Открытые модели догоняют закрытые. Россия выпускает GigaChat 2 и YandexGPT 5.
K-EXAONELG AI ResearchЯзыковая модель
Solar Open 100BUpstageЯзыковая модель
VAETKINC AIЯзыковая модель
A.X K1SK TelecomЯзыковая модель
HyperCLOVA X SEED 32B ThinkNAVERМультимодальная модель, Языковая модель, Компьютерное зрение
MiniMax-M2.1MiniMaxЯзыковая модель
GLM-4.7Z.ai (Zhipu AI)Языковая модель
GLM 4.7 FlashZ.ai (Zhipu AI)Языковая модель
GPT-5.2 CodexOpenAIЯзыковая модель
Gemini 3 FlashGoogle DeepMind
2024
Год открытых моделей
Meta выпускает Llama 3 и открывает гонку open-source LLM. Mistral, Qwen, Gemma — десятки открытых моделей. Генерация видео: Sora, Runway Gen-3. ИИ интегрируется в каждый продукт.
OLMo 2 Furious 13BAllen Institute for AI,University of Washington,New York University (NYU)Языковая модель
OLMo 2 Furious 7BAllen Institute for AI,University of Washington,New York University (NYU)Языковая модель
STORM-B/8University of Southern California,Georgia Institute of Technology,Stanford University,NVIDIA3D-моделирование
Zhaoyan (兆言大语言模型)Shanghai Jiao Tong UniversityЯзыковая модель
LTX-Video-0.9.1. 2BLightricksВидео
Zhixiang 3.0 (智象)HiDreamВидео, Генерация изображений
HiDream Foundation Model 1.0HiDreamВидео, Генерация изображений, Компьютерное зрение, 3D-моделирование
Xiaomi Pengpai Image (小米澎湃图像)Xiaomi CorpГенерация изображений
Xiaomi Edge-side Text (小米端侧文本)Xiaomi CorpЯзыковая модель
LinGan VL (临感VL)Beijing 58 Information TechnologyМультимодальная модель
2023
ChatGPT меняет мир
GPT-4 показывает мультимодальность. Claude 2, Llama 2, Mistral 7B — взрыв конкуренции. Stable Diffusion и Midjourney делают AI-арт мейнстримом. ИИ-стартапы привлекают рекордные инвестиции.
Qarasu-14BLightblueЯзыковая модель
CoReTsinghua UniversityМатематика, Языковая модель
MengziGPT-General-13BLangboatЯзыковая модель
Mengzi-Code-6.7BLangboatЯзыковая модель
ElyzaElyzaЯзыковая модель
Zhuhai-13BZhujian Intelligence
Nous-Hermes-2-Yi-34BNous ResearchЯзыковая модель
Solar-10.7B (Solar Mini)UpstageЯзыковая модель
GQA-8-XXLGoogle ResearchЯзыковая модель
Fulu Gua (福禄瓜)ByteDanceГенерация изображений
2022
Генеративный ИИ становится публичным
ChatGPT запускается в ноябре и за 5 дней набирает миллион пользователей. DALL-E 2 и Stable Diffusion открывают эру генерации изображений. Whisper решает распознавание речи.
Hybrid H3-2.7BStanford University,University at BuffaloЯзыковая модель
Hybrid H3-355MStanford University,University at BuffaloЯзыковая модель
Hybrid H3-1.3BStanford University,University at BuffaloЯзыковая модель
Hybrid H3-125MStanford University,University at BuffaloЯзыковая модель
OPT-IML (175B)Meta AIЯзыковая модель
text-embedding-ada-002OpenAIЯзыковая модель
RT-1GoogleРобототехника
XiaoAI 6.0Xiaomi Corp
TranceptEveUniversity of Oxford,Harvard Medical SchoolБиология и ИИ
Stable Diffusion 2.1Stability AIГенерация изображений
2021
Масштабирование продолжается
GitHub Copilot показывает, что LLM могут писать код. DALL-E генерирует изображения из текста. AlphaFold 2 решает предсказание структуры белков — прорыв в биологии.
ERNIE-ViLGBaiduМультимодальная модель, Генерация изображений, Компьютерное зрение, Языковая модель
VespaTechnical University of MunichБиология и ИИ
ERNIE 3.0 TitanBaidu,Peng Cheng LaboratoryЯзыковая модель
XGLMMeta AI
Fairseq-dense 13BMeta AIЯзыковая модель
XGLM-7.5BMeta AI,Facebook AI ResearchЯзыковая модель
GLIDEOpenAIГенерация изображений
MoE-1.1TMeta AIЯзыковая модель
LDM-1.45BHeidelberg University,RunwayГенерация изображений
HSOToyota Technological Institute at ChicagoЯзыковая модель
2020
Прорыв масштаба: GPT-3
OpenAI выпускает GPT-3 со 175 миллиардами параметров — модель впервые показывает emergent abilities. NVIDIA выпускает A100 — GPU, который определит эпоху обучения LLM.
AraGPT2-MegaAmerican University of BeirutЯзыковая модель
ERNIE-Doc (247M)BaiduЯзыковая модель
ShortformerUniversity of Washington,Facebook AI Research,Allen Institute for AIЯзыковая модель
ERNIE-Doc Base (151M, WT103)BaiduЯзыковая модель
CT-MoS + DynamicEval (WT2)National Tsing Hua University,GoogleЯзыковая модель
CT-MoS (PTB)National Tsing Hua University,GoogleЯзыковая модель
CT-MoS (WT2)Google,National Tsing Hua UniversityЯзыковая модель
CT-MoS + DynamicEval (PTB)National Tsing Hua University,GoogleЯзыковая модель
RaSoRKorea University,Princeton UniversityЯзыковая модель
DensePhrasesKorea University,Princeton UniversityЯзыковая модель
2019
Трансформеры захватывают NLP
BERT от Google революционизирует понимание текста. GPT-2 показывает генерацию связного текста. T5 унифицирует задачи NLP в формат text-to-text.
Big Transfer (BiT-M)Google BrainКомпьютерное зрение
Big Transfer (BiT-L)Google BrainКомпьютерное зрение
DD-PPOGeorgia Institute of Technology,Facebook AI Research,Oregon State University,Simon Fraser UniversityРобототехника
SeqVecTechnical University of MunichБиология и ИИ
OpenAI Five RerunOpenAIИгровой ИИ
OpenAI FiveOpenAIИгровой ИИ
MMLSTM (PTB)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
MMLSTM (WT-2)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
MMLSTM (WT-103)Beijing University of Posts and Telecommunications,University of West LondonЯзыковая модель
StarGAN v2NAVER,Yonsei University,Swiss Federal Institute of TechnologyКомпьютерное зрение, Генерация изображений
2018
Предобучение и transfer learning
ELMo и BERT показывают силу предобученных языковых моделей. GPT-1 от OpenAI запускает линейку. StyleGAN генерирует фотореалистичные лица.
StyleGANNVIDIAГенерация изображений
SPN (ImageNet 128)Google Brain,DeepMindГенерация изображений
SPN (CelebA HQ)Google Brain,DeepMindГенерация изображений
Vine copula (wine quality)Massachusetts Institute of Technology (MIT),Rey Juan Carlos University
Vine copula (crime)Massachusetts Institute of Technology (MIT),Rey Juan Carlos University
Vine copula (breast cancer)Massachusetts Institute of Technology (MIT),Rey Juan Carlos UniversityКомпьютерное зрение
DMPFoldUniversity College London (UCL)Биология и ИИ
GPipe (Transformer)GoogleЯзыковая модель
GPipe (Amoeba)GoogleКомпьютерное зрение
Multi-cell LSTMUniversity of HyderabadЯзыковая модель
2017
Attention Is All You Need
Google публикует статью о трансформерах — архитектуре, которая изменит всё. AlphaGo Zero учится играть с нуля без человеческих данных. Начало эры трансформеров.
PixelSNAIL (ImageNet)University of California (UC) BerkeleyГенерация изображений
PixelSNAIL (CIFAR 10)University of California (UC) BerkeleyГенерация изображений
Tacotron 2Google,University of California (UC) BerkeleyРаспознавание речи
WGAN (Wasserstein GAN)Facebook AI Research,Courant Institute of Mathematical SciencesГенерация изображений
2-layer-LSTM+Deep-Gradient-CompressionTsinghua University,Stanford University,NVIDIAЯзыковая модель
AlphaZeroDeepMindИгровой ИИ
PNASNet-5Johns Hopkins University,Google AI,Stanford UniversityКомпьютерное зрение
PNAS-netJohns Hopkins University,Google AI,Stanford UniversityКомпьютерное зрение
DL scaling speechBaiduРаспознавание речи
DL scaling LMBaiduЯзыковая модель
2016
AlphaGo побеждает человека
DeepMind's AlphaGo обыгрывает чемпиона мира по го Ли Седоля. Это момент, когда ИИ доказывает способность к сверхчеловеческой интуиции в сложных задачах.
YOLOv2University of Washington,Allen Institute for AIКомпьютерное зрение
EnhanceNetMax Planck Institute for Intelligent SystemsКомпьютерное зрение
GCNN-14Facebook AI ResearchЯзыковая модель
GCRN-M1, dropoutEcole Polytechnique F´ed´erale de Lausanne (EPFL)Языковая модель
3DMM-CNNUniversity of Southern CaliforniaКомпьютерное зрение
LSTM (WT2)Facebook AI ResearchЯзыковая модель
Neural cache model (size=2000)Facebook AI ResearchЯзыковая модель
Neural cache model (size=2000) (300M)Facebook AI ResearchЯзыковая модель
HR-ResNet101Carnegie Mellon University (CMU)Компьютерное зрение
LSTM (WT103)Facebook AI ResearchЯзыковая модель
2015
Глубокое обучение взлетает
ResNet побеждает на ImageNet с рекордной точностью. Batch Normalization ускоряет обучение. TensorFlow от Google становится открытым. ИИ входит в мейнстрим.
Variational (untied weights, MC) LSTM (Large)University of CambridgeЯзыковая модель
Advantage LearningGoogle DeepMindИгровой ИИ
BPLUniversity of Toronto,New York University (NYU),Massachusetts Institute of Technology (MIT)Генерация изображений
ResNet-101 (ImageNet)MicrosoftКомпьютерное зрение
ResNet-110 (CIFAR-10)MicrosoftКомпьютерное зрение
ResNet-152 (ImageNet)MicrosoftКомпьютерное зрение
SSDКомпьютерное зрение
DeepSpeech2 (English)Baidu Research - Silicon Valley AI LabРаспознавание речи
Inception v3Google,University College London (UCL)Компьютерное зрение
Netflix Recommender SystemNetflixРекомендательные системы
2014
GAN и генеративные модели
Ян Гудфеллоу изобретает генеративно-состязательные сети (GAN) — архитектуру, которая позже приведёт к генерации изображений. Seq2Seq революционизирует машинный перевод.
SCRN (Structurally Constrained Recurrent Network)Facebook AI ResearchЯзыковая модель
N-gram (PTB)Facebook AI ResearchЯзыковая модель
N-gram+Cache (PTB)Facebook AI ResearchЯзыковая модель
4-gram + 8 DENNIBMЯзыковая модель
ADAM (CIFAR-10)University of Amsterdam,OpenAI,University of TorontoКомпьютерное зрение
DeepLabGoogle,University of California Los Angeles (UCLA)Компьютерное зрение
Fractional Max-PoolingUniversity of WarwickКомпьютерное зрение
NTMGoogle DeepMindДругое, Языковая модель
SNM-skipGoogleЯзыковая модель
TA-CNNChinese University of Hong Kong (CUHK)Компьютерное зрение
2013
Word2Vec и нейросетевые эмбеддинги
Google публикует Word2Vec — метод представления слов в виде векторов. Начало эры нейросетевого NLP. Variational Autoencoder (VAE) открывает новый подход к генерации.
OverFeatNew York University (NYU)Компьютерное зрение
DOT(S)-RNNAalto University,University of Montreal / Université de MontréalЯзыковая модель
Image generationUniversity of AmsterdamКомпьютерное зрение
DQNDeepMindИгровой ИИ
Network in NetworkNational University of SingaporeКомпьютерное зрение
RNN for 1B wordsGoogleЯзыковая модель
Deep RNN (PTB)MetaMind IncЯзыковая модель
DBLSTMUniversity of TorontoРаспознавание речи
DeViSEGoogleКомпьютерное зрение
TransEUniversite de Technologie de Compiègne – CNRS,GoogleЯзыковая модель
2012
AlexNet — начало эры глубокого обучения
AlexNet побеждает на ImageNet с огромным отрывом благодаря GPU-обучению. Это момент, который запустил революцию deep learning и привлёк миллиарды в ИИ.
RNN (SGD+CLR)University of Montreal / Université de MontréalАудио
RNN (SGD+CLR) (PTB)University of Montreal / Université de MontréalЯзыковая модель
DistBelief VisionGoogleКомпьютерное зрение
DistBelief SpeechGoogleРаспознавание речи
DNN EM segmentationIDSIA,SUPSIКомпьютерное зрение
Bayesian automated hyperparameter tuningUniversity of Toronto,University of Sherbrooke,Harvard UniversityДругое
RNN+LDA+KN5+cacheMicrosoft,Brno University of TechnologyЯзыковая модель
RNN+LDAMicrosoft ResearchЯзыковая модель
RNNMicrosoft ResearchЯзыковая модель
RNN+LSA+KN5+cache (model combination w/ linear extrapolation)Microsoft ResearchЯзыковая модель
2011
ИИ побеждает в Jeopardy
IBM Watson побеждает чемпионов в телевикторине Jeopardy!. Siri от Apple запускается как первый массовый голосовой ассистент. ИИ начинает входить в повседневную жизнь.
HOGWILD!University of Wisconsin MadisonДругое
NLP from scratchNEC Laboratories,Princeton UniversityЯзыковая модель
Domain AdaptationUniversity of MarylandКомпьютерное зрение
Adaptive SubgradTechnion - Israel Institute of Technology,Google,University of California (UC) BerkeleyЯзыковая модель
CNN committee (traffic sign)IDSIAКомпьютерное зрение
CNN Committee (MNIST)IDSIAКомпьютерное зрение
CNN Committee (NIST)IDSIAКомпьютерное зрение
Bayesian StarcraftCollège de FranceИгровой ИИ
High Performance CNN (NORB)IDSIA,SUPSIКомпьютерное зрение
Recursive sentiment autoencoderStanford UniversityЯзыковая модель
2010
Начало эры больших данных
ImageNet становится главным бенчмарком компьютерного зрения. GPU начинают использовать для обучения нейросетей. Рождается современная индустрия ИИ.
YouTube Video Recommendation SystemGoogleРекомендательные системы
RNN LMJohns Hopkins UniversityЯзыковая модель
RNN 1000/5 + RT09 LM (NIST RT05)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
KN5 LM + RNN 400/10 (WSJ)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
RNN 500/10 + RT09 LM (NIST RT05)Brno University of Technology,Johns Hopkins UniversityРаспознавание речи
Pooling CNN (Caltech 101)University of BonnКомпьютерное зрение
Pooling CNN (NORB)University of BonnКомпьютерное зрение
Fisher-BoostXerox Research Centre Europe (XRCE)Компьютерное зрение
SimuParallelSGDYahoo ResearchДругое
ReLU (NORB)University of TorontoКомпьютерное зрение
2009
ImageNet и большие данные для зрения
Запускается ImageNet — датасет из миллионов размеченных изображений. Он станет бенчмарком, определившим развитие компьютерного зрения на десятилетие.
LCNP MNISTКомпьютерное зрение
LCNP NORBКомпьютерное зрение
LCNP LabelMeUniversity of BonnКомпьютерное зрение
3D city reconstructionUniversity of Washington,Microsoft Research,Cornell University3D-моделирование
BellKor 2007AT&TРекомендательные системы
Two Stage Feature Extraction (MNIST)New York University (NYU)Компьютерное зрение
Polarity ClassifierUniversity of Edinburgh,University of PittsburghЯзыковая модель
ConvNet ProcessorCourant Institute of Mathematical SciencesКомпьютерное зрение
MatrixFac for RecommendersYahoo Research,AT&TРекомендательные системы
RL mapping instructions (troubleshooting)Massachusetts Institute of Technology (MIT)Языковая модель
2008
GPU-вычисления для ИИ
Исследователи начинают использовать GPU для обучения нейросетей. NVIDIA CUDA открывает эпоху параллельных вычислений для машинного обучения.
Semantic HashingUniversity of TorontoЯзыковая модель
GNNUniversity of SienaДругое
HLBLUniversity of TorontoЯзыковая модель
ADAPTIVE NLPMUniversity of TorontoЯзыковая модель
BigChaos 2008AT&TРекомендательные системы
Sparse digit recognition SVMUniversity of LubeckКомпьютерное зрение
Boss (DARPA Urban Challenge)Carnegie Mellon University (CMU)Автономное вождение
Stacked Semisuperviser AutoencodersNew York University (NYU),MicrosoftЯзыковая модель
Deep Multitask NLP NetworkNEC LaboratoriesЯзыковая модель
Denoising AutoencodersUniversity of Montreal / Université de MontréalДругое
2007
Глубокие сети набирают обороты
Методы предобучения без учителя позволяют обучать более глубокие сети. Появляются первые практические применения глубокого обучения в распознавании речи.
BLSTM for handwriting (2)University of Bern,IDSIA,Technical University of MunichКомпьютерное зрение
Enhanced Neighborhood-Based FilteringAT&TРекомендательные системы
BLSTM for handwriting (1)University of Bern,IDSIA,Technical University of MunichКомпьютерное зрение
Regularized SVD for Collaborative FilteringWarsaw UniversityРекомендательные системы
Fisher Kernel GMMXeroxКомпьютерное зрение
SB-LMGoogleЯзыковая модель
KN-LMGoogleЯзыковая модель
Restricted Bolzmann machinesUniversity of TorontoРекомендательные системы
Empirical evaluation of deep architecturesUniversity of Montreal / Université de MontréalДругое
λ-WASPUT AustinЯзыковая модель
2006
Возрождение нейронных сетей
Джеффри Хинтон публикует работу о глубоких сетях доверия (DBN), запуская ренессанс нейронных сетей после «зимы ИИ». Термин «deep learning» входит в обиход.
Greedy layer-wise DNN trainingUniversity of Montreal / Université de MontréalДругое
Sparse Energy-Based ModelNew York University (NYU)Компьютерное зрение
Local Binary Patterns for facial recognitionUniversity of Oulu,IEEEКомпьютерное зрение
Sparse Vision EncodingStanford UniversityКомпьютерное зрение
Deep Belief NetsUniversity of Toronto,National University of SingaporeКомпьютерное зрение
Dimensionality ReductionUniversity of TorontoКомпьютерное зрение
Semantic Taxonomy InductionStanford UniversityЯзыковая модель
CTC-Trained LSTMIDSIA,Technical University of MunichРаспознавание речи
SVM-CNNNew York University (NYU)Компьютерное зрение
Spatial Pyramid MatchingINRIA,University of Illinois Urbana-Champaign (UIUC),Ecole Normale SupèrieureКомпьютерное зрение
2005
Развитие ансамблевых методов
Random Forest и градиентный бустинг становятся стандартом для табличных данных. Машинное обучение активно используется в рекомендательных системах и рекламе.
Vision-based obstacle avoidance system (2005)New York University (NYU),Net-Scale technologies,NEC LaboratoriesРобототехника, Компьютерное зрение
Monocular Depth PredictionStanford UniversityКомпьютерное зрение
RankNetMicrosoft Research,MicrosoftПоиск
BiLSTM for SpeechIDSIA,Technical University of MunichРаспознавание речи
Histograms of Oriented GradientsINRIAКомпьютерное зрение
ConvNet similarity metricNew York University (NYU)Компьютерное зрение
HieroUniversity of MarylandЯзыковая модель
SACHSMassachusetts Institute of Technology (MIT),Stanford UniversityБиология и ИИ
Hierarchical LMЯзыковая модель
2004
Машинное обучение в продуктах
Google использует ML для ранжирования поиска. Amazon развивает рекомендательные системы. ИИ начинает приносить реальные деньги технокомпаниям.
LMICAКомпьютерное зрение
Synergistic Face DetectorNEC Laboratories,Courant Institute of Mathematical SciencesКомпьютерное зрение
LIRAInstituto de Ciencias Aplicadas y TechnologiaКомпьютерное зрение
Automated WSD via WordNetUniversity of SussexЯзыковая модель
Invariant CNNNew York University (NYU)Компьютерное зрение
Sandstorm (DARPA Grand Challenge I)Carnegie Mellon University (CMU)Автономное вождение
GPU implementation of neural networksSoongsil UniversityКомпьютерное зрение
Max-Margin Markov NetworksStanford UniversityКомпьютерное зрение, Языковая модель
2003
Нейронные языковые модели
Бенжио публикует работу о нейронных языковых моделях — предшественниках современных LLM. Идея предсказания следующего слова нейросетью закладывает фундамент будущего.
RankBoost (EachMovie)Columbia University,Princeton University,Hebrew University of JerusalemРекомендательные системы
RankBoost (meta-search)Columbia University,Princeton University,Hebrew University of JerusalemРекомендательные системы
Bayesian object categorizerCalifornia Institute of Technology,University of OxfordКомпьютерное зрение
CNN Best PracticesMicrosoft ResearchКомпьютерное зрение
Unsupervised Scale-Invariant LearningUniversity of OxfordКомпьютерное зрение
Phrase-based translationUniversity of Southern CaliforniaЯзыковая модель
NPLM (Brown)University of Montreal / Université de MontréalЯзыковая модель
NPLM (AP News)University of Montreal / Université de MontréalЯзыковая модель
LDAStanford UniversityЯзыковая модель
Statistical Shape ConstellationsCalifornia Institute of TechnologyКомпьютерное зрение
2002
SVM и ядерные методы
Метод опорных векторов (SVM) доминирует в задачах классификации. Ядерные методы показывают отличные результаты на малых датасетах.
Web mining + Decision tree recommenderKorea Advanced Institute of Science and Technology (KAIST)Рекомендательные системы
Maximum Entropy Models for machine translationUniversity of Southern California,RWTH Aachen UniversityЯзыковая модель
Joint Probability Machine TranslationUniversity of Southern CaliforniaЯзыковая модель
NEATUT AustinДругое
Tagging via Viterbi DecodingAT&TЯзыковая модель
Thumbs Up?Cornell University,IBMЯзыковая модель
2001
Random Forest
Лео Брейман публикует работу о случайном лесе — ансамблевом методе, который до сих пор используется в промышленности для табличных данных.
Decision tree (classification)Mitsubishi Electric Research Labs,Compaq CRLКомпьютерное зрение
Gradient Boosting MachineStanford UniversityМатематика
Immediate triheadBrown UniversityЯзыковая модель
Restricted Boltzmann machine for Face RecognitionUniversity of Toronto,University College London (UCL)Компьютерное зрение
2000
Начало эры интернет-данных
Взрыв интернета создаёт огромные объёмы текстовых данных. Статистические методы NLP начинают вытеснять правиловые. Латентное семантическое индексирование для поиска.
PoE MNISTUniversity College London (UCL)Компьютерное зрение
Neural LMUniversity of Montreal / Université de MontréalЯзыковая модель
FrameNet role labelingUniversity of RochesterЯзыковая модель
Peephole LSTMIDSIAМатематика
SVD in recommender systemsUniversity of MinnesotaРекомендательные системы
1999
LSTM набирает популярность
Рекуррентные сети с LSTM-ячейками показывают результаты в распознавании рукописного текста и речи. Начало практического применения последовательных моделей.
Perceptron for Large Margin ClassificationUniversity of California San Diego,Shannon Laboratory,AT&TКомпьютерное зрение
IBM Model 4University of Southern California,IBM,University of PennsylvaniaЯзыковая модель
Credibilty NetworkUniversity College London (UCL),University of TorontoКомпьютерное зрение
RECONTRA-categorizedЯзыковая модель
RECONTRA-uncategorizedЯзыковая модель
Learning to Order ThingsAT&TРекомендательные системы, Поиск
LSTM with forget gatesIDSIAЯзыковая модель
1998
LeNet-5 и MNIST
Ян Лекун совершенствует LeNet для распознавания рукописных цифр. MNIST становится стандартным бенчмарком. Свёрточные сети доказывают свою практичность.
LeNet-5AT&TКомпьютерное зрение
Social and content-based classificationAT&T,Bell Laboratories,Rutgers UniversityРекомендательные системы
Probabilistic modeling for object recognitionCarnegie Mellon University (CMU)Компьютерное зрение
RNN for speechNational Chiao Tung UniversityРаспознавание речи
1997
Deep Blue побеждает Каспарова
Суперкомпьютер IBM Deep Blue обыгрывает чемпиона мира по шахматам Гарри Каспарова. LSTM решает проблему долгосрочных зависимостей в рекуррентных сетях.
Sparse coding model for V1 receptive fieldsUC Davis,Cornell UniversityКомпьютерное зрение
LSTMTechnical University of MunichЯзыковая модель
Bidirectional RNNAdvanced Telecommunications Research InstituteРаспознавание речи
n-gram LMUniversity of Cambridge,Carnegie Mellon University (CMU)Языковая модель
SVM for face detectionMassachusetts Institute of Technology (MIT)Компьютерное зрение
Deep BlueIBMИгровой ИИ
SOM-CNNКомпьютерное зрение
1996
Развитие обучения с подкреплением
TD-Gammon от IBM играет в нарды на уровне чемпиона мира. Обучение с подкреплением показывает потенциал в сложных стратегических задачах.
HMM Word AlignmentUniversity of Erlangen - NuremburgЯзыковая модель
AdaBoost.M2 Digit RecognitionAT&TКомпьютерное зрение
System 11Carnegie Mellon University (CMU)Компьютерное зрение
MUSIC perceptronКомпьютерное зрение
1995
SVM и статистическое обучение
Владимир Вапник представляет метод опорных векторов (SVM). Статистическое обучение начинает доминировать над нейросетевыми подходами. Начало «зимы нейросетей».
LISSOMUniversity of Texas at AustinКомпьютерное зрение
Support Vector MachinesAT&T,Bell LaboratoriesКомпьютерное зрение
Random Decision ForestsAT&T,Bell LaboratoriesДругое
Iterative Bootstrapping WSDUniversity of PennsylvaniaЯзыковая модель
Multi-cause Binary ClusteringXeroxДругое
1994
Веб и первые поисковые системы
WebCrawler и Lycos — первые поисковые системы, использующие алгоритмы ранжирования. TF-IDF становится основой информационного поиска.
Predictive Coding NNTechnical University of MunichЯзыковая модель
NeuroChessИгровой ИИ
JPMAXКомпьютерное зрение
Mixture of linear modelsКомпьютерное зрение
GroupLensMassachusetts Institute of Technology (MIT)Рекомендательные системы
Markov-driven POS taggerEURECOMЯзыковая модель
Ceramic-MLPSapienza Università di RomaМатериаловедение
1993
Вероятностные модели
Байесовские сети и скрытые марковские модели используются для распознавания речи. Вероятностные подходы доминируют в NLP.
Learning-curve predictionAT&TКомпьютерное зрение
ANN Eye TrackerКомпьютерное зрение
Siamese-TDNNBell LaboratoriesКомпьютерное зрение
IBM-5IBMЯзыковая модель
1992
Бустинг и ансамблевые методы
Роберт Шапире и Йоав Фройнд разрабатывают AdaBoost — первый практичный алгоритм бустинга. Ансамблевые методы становятся мощным инструментом ML.
BoostingBell LaboratoriesКомпьютерное зрение
Cancer drug mechanism predictionNational Cancer InstituteМедицина
GolemAlan Turing InstituteБиология и ИИ
Fuzzy NNIndian Statistical InstituteРаспознавание речи
TD-GammonIBMИгровой ИИ
1991
Развитие рекуррентных сетей
Исследования рекуррентных нейросетей для обработки последовательностей. Проблема затухающего градиента ограничивает глубину обучения.
Weight DecayРаспознавание речи
SRN-Encoded Grammatical StructuresUniversity of California San DiegoЯзыковая модель
DIABETESAalborg University,University of LondonМедицина
1990
Вторая зима ИИ
Финансирование ИИ-исследований сокращается. Экспертные системы не оправдали ожиданий. Но работа над нейросетями продолжается в академических лабораториях.
RAAMДругое
SexNet compressionКомпьютерное зрение
SexNet classificationКомпьютерное зрение
ISR networkStanford UniversityКомпьютерное зрение
Bankruptcy-NNДругое
NETtalk reimplementationOregon State UniversityРаспознавание речи
1989
LeNet и свёрточные сети
Ян Лекун создаёт LeNet — первую практическую свёрточную нейросеть для распознавания рукописных цифр. Начало компьютерного зрения на нейросетях.
ALVINNCarnegie Mellon University (CMU)Автономное вождение
InnervatorStanford University,California Institute of TechnologyМатематика
Zip CNNAT&T,Bell LaboratoriesКомпьютерное зрение
Handwritten digit recognition networkAT&TКомпьютерное зрение
Speaker-independent vowel classificationUniversity of WashingtonРаспознавание речи
Invariant image recognitionComplutense University of MadridКомпьютерное зрение
Truck backer-upperStanford UniversityАвтономное вождение
Time-delay neural networksAdvanced Telecommunications Research Institute,Carnegie Mellon University (CMU)Распознавание речи
Q-learningUniversity of LondonРобототехника, Игровой ИИ
MLP baggage detectorScience Applications International Corporation / SAICКомпьютерное зрение
1988
Развитие коннекционизма
Нейросетевой подход набирает популярность. Публикуются работы о распределённых представлениях и параллельной обработке данных.
MLN-ASRMcGill UniversityРаспознавание речи
MADALINE IIStanford UniversityМатематика
Adaptive Broom BalancerStanford UniversityИгровой ИИ
Latent semantic analysisUniversity of Chicago,Bell Laboratories,University of Western OntarioЯзыковая модель
1987
Первые коммерческие нейросети
Появляются первые коммерческие применения нейросетей в финансах и распознавании образов. Исследования backpropagation набирают обороты.
Translation-invariant MLPCarnegie Mellon University (CMU)
NetTalk (dictionary)Princeton UniversityРаспознавание речи
NetTalk (transcription)Princeton UniversityРаспознавание речи
1986
Обратное распространение ошибки
Румельхарт, Хинтон и Уильямс публикуют работу об обратном распространении ошибки — алгоритме, который до сих пор лежит в основе обучения всех нейросетей.
Optimized Multi-Scale Edge DetectionMassachusetts Institute of Technology (MIT)Компьютерное зрение
MLP with back-propagationUniversity of California San Diego,Carnegie Mellon University (CMU)Математика
Distributed representation NNCarnegie Mellon University (CMU)Другое
PDP model for serial orderUniversity of California San DiegoРаспознавание речи
Error PropagationUniversity of California San Diego,Carnegie Mellon University (CMU)Другое
Learning past tensesStanford UniversityЯзыковая модель
1984
Сети Больцмана
Хинтон и Сейновски создают сети Больцмана — стохастические нейросети, использующие принципы статистической механики для обучения.
Learnability theory of language developmentMassachusetts Institute of Technology (MIT)Языковая модель
Hierarchical CognitronNHK Broadcasting Science Research LaboratoriesДругое
1983
Развитие экспертных систем
Экспертные системы на основе правил активно используются в медицине и промышленности. Это пик первой волны коммерческого ИИ.
ASE+ACEUniversity of Massachusetts AmherstРобототехника
1982
Hopfield networkCalifornia Institute of TechnologyДругое
1981
Kohonen networkHelsinki University of TechnologyМатематика
1980
Карты Кохонена
Тойво Кохонен создаёт самоорганизующиеся карты — метод обучения без учителя для визуализации и кластеризации многомерных данных.
NeocognitronNHK Broadcasting Science Research LaboratoriesКомпьютерное зрение
1976
Развитие символьного ИИ
Экспертные системы набирают популярность. MYCIN диагностирует инфекции крови. Символьный подход к ИИ доминирует.
Transfer LearningUniversity of ZagrebКомпьютерное зрение
Statistical continuous speech recognizerMassachusetts Institute of Technology (MIT)Распознавание речи
1975
Backpropagation: первые идеи
Пол Вербос описывает метод обратного распространения ошибки в своей диссертации. Идея остаётся незамеченной до 1986 года.
CognitronBiological CyberneticsДругое
1973
Доклад Лайтхилла и первая зима ИИ
Джеймс Лайтхилл публикует разгромный отчёт о состоянии ИИ в Великобритании. Финансирование сокращается. Начинается «первая зима ИИ».
Piecewise linear modelUniversity of KansasКомпьютерное зрение
Punish/RewardIEEEИгровой ИИ
1972
PROLOG и логическое программирование
Создаётся язык Prolog — основа логического программирования и экспертных систем. Японский проект компьютеров пятого поколения будет основан на нём.
Self-Organizing Nets of Threshold ElementsUniversity of TokyoДругое
1970
Ограничения перцептрона
Минский и Паперт публикуют книгу «Перцептроны», показывая ограничения однослойных сетей. Это временно останавливает исследования нейросетей.
Graph-based structural reasoningMassachusetts Institute of Technology (MIT)Компьютерное зрение
1969
Первые шаги робототехники
Робот Shakey от SRI International — первый мобильный робот, способный рассуждать о своих действиях. Интеграция зрения, планирования и движения.
Decision tree adalineTokyo Medical and Dental UniversityМедицина
1968
Развитие компьютерного зрения
Появляются первые системы компьютерного зрения. MIT запускает проект «Summer Vision» — попытка решить зрение за лето. Задача оказалась значительно сложнее.
Boxes (pole)University of EdinburghИгровой ИИ
GLEEUniversity of EdinburghИгровой ИИ
1967
Samuel Neural Checkers IIUniversity of GenevaИгровой ИИ
1966
ELIZA — первый чат-бот
Джозеф Вейценбаум создаёт ELIZA — программу, имитирующую психотерапевта. Первая демонстрация разговорного ИИ, предтеча ChatGPT.
LTE speaker verification systemIBMРаспознавание речи
1965
Развитие машинного перевода
Исследования автоматического перевода текстов. Ранние системы основаны на правилах и словарях — до статистических методов ещё далеко.
Heuristic Reinforcement LearningPurdue UniversityРобототехника
1963
Ранние нейросетевые исследования
Исследования адаптивных линейных элементов (ADALINE). Развитие теории обучения нейронных сетей. Работы по распознаванию образов.
MENACEUniversity of EdinburghИгровой ИИ
STeLLAUniversity of CanterburyРобототехника
Print Recognition LogicIBMКомпьютерное зрение
1962
Программа для шашек
Артур Сэмюэл совершенствует программу для игры в шашки, которая учится на опыте — один из первых примеров машинного обучения.
MADALINE IStanford UniversityДругое
Linear Decision FunctionsBell LaboratoriesМатематика
1961
Unimate — первый промышленный робот
Первый промышленный робот Unimate начинает работать на конвейере General Motors. Начало робототехники в промышленности.
PAPAUniversity of GenoaДругое
1960
ADALINE и адаптивное обучение
Бернард Уидроу создаёт ADALINE — адаптивный линейный нейрон. Метод стохастического градиентного спуска для обучения.
ADALINEStanford UniversityКомпьютерное зрение
Perceptron (1960)Cornell Aeronautical LaboratoryКомпьютерное зрение
1959
Машинное обучение получает имя
Артур Сэмюэл вводит термин «машинное обучение» — способность компьютеров обучаться без явного программирования. Его программа для шашек учится играть всё лучше.
Pattern recognition and reading by machineSandia CorporationКомпьютерное зрение
Samuel Neural CheckersIBMИгровой ИИ
Pandemonium (morse)Massachusetts Institute of Technology (MIT)Языковая модель
1957
Фрэнк Розенблатт проектирует перцептрон
Розенблатт описывает теорию перцептрона — устройства, способного распознавать образы. Публикация вызывает волну оптимизма о будущем ИИ.
Perceptron Mark ICornell Aeronautical Laboratory,Cornell UniversityДругое
1955
Термин «Искусственный интеллект»
Джон Маккарти предлагает термин «Artificial Intelligence» для конференции в Дартмуте. Рождение ИИ как научной дисциплины.
Self Organizing SystemMassachusetts Institute of Technology (MIT)Другое
Sequence-based pattern recognitionMassachusetts Institute of Technology (MIT)Компьютерное зрение
1954
Джорджтаунский эксперимент
IBM и Джорджтаунский университет демонстрируют автоматический перевод 60 русских предложений на английский. Первый публичный успех машинного перевода.
Genetic algorithmInstitute for Advanced StudyМатематика, Биология и ИИ
1952
SNARCHarvard UniversityРобототехника
1950
Тест Тьюринга
Алан Тьюринг публикует статью «Computing Machinery and Intelligence» и предлагает тест на разумность машины. Философский фундамент всего ИИ.
TheseusBell LaboratoriesРобототехника