Неискусственный интеллект

Заработать на апокалипсисе Сооснователь Skype и богатейший житель Эстонии Яан Таллинн считает, что искусственный интеллект с двузначной вероятностью уничтожит человечество. Поэтому он ещё в 2021 году вложился в Anthropic и теперь готовится получить миллиарды от её IPO. Таллинн обеспокоился судьбой человечества в 2008 году после знакомства с работами Элиезера Юдковского. В 2011-м он обсуждал риски с будущим главой Anthropic Дарио Амодеи и оценил вероятность гибели людей из-за ИИ как двузначную: «Для меня это выглядит так, будто мы пытаемся обезвредить бомбу». Амодеи тогда ответил осторожнее: возможно, бомба существует, а возможно, нет — и не исключено, что именно попытка её обезвредить приведёт к взрыву. Спустя десять лет они всё же решили обезвреживать её вместе. В 2021 году Таллинн возглавил первый раунд Anthropic на $124 млн. Стартап оценили всего в $461 млн: традиционные венчурные фонды считали его бесперспективным рядом с OpenAI. Теперь Anthropic готовится к IPO, оценка на котором, по ожиданиям инвесторов, может превысить $2 трлн. Ну а что Таллинн? Разводит руками: если бы не вложился он, многомиллиардную долю в компании мог бы получить беспринципный инвестор. Его вряд ли бы волновала судьба человечества; и уж тем более он бы не стал финансировать независимые организации, проверяющие ИИ. А Таллинн стал. По словам бизнесмена, чьё состояние оценивают в $12 млрд, он уже направил на такие проекты около $170 млн; в том числе помог создать Кембриджский центр изучения экзистенциальных рисков и Future of Life Institute. Правда, купить влияние оказалось сложнее, чем долю. Ранее Таллинн инвестировал в DeepMind и вошёл в совет директоров, однако основатели, по словам автора книги о компании Себастьяна Маллаби, его практически не слушали. В Anthropic по мере роста компании голос отдельного акционера также становился «всё слабее и слабее». Сам он при этом не производит впечатления человека, круглосуточно ожидающего конца света, пишет WSJ. Таллинн танцует хип-хоп, спит по четыре-пять часов и недавно арендовал самолёт из Дели в Париж, где вместе с Йошуа Бенжио, Стюартом Расселом и пианисткой Серен обсуждал сознание машин за шампанским. В принадлежащей Таллинну инвестиционной компании Metaplanet уже думают, куда потратить заработанное. Но и возможный провал IPO управляющий партнёр Раунo Мильянд тоже считает приемлемым результатом: «Если Anthropic обнулится, это будет хорошо: вероятно, мы не достигли сверхинтеллекта, а человечество купило себе ещё несколько лет». В общем, либо миллиарды, либо человечество пока поживёт. А казино всегда в выигрыше. @anti_agi

🤖 AID — AI-дайджест от @anti_agi OpenAI и Anthropic разбирают десятки тысяч инцидентов, в которых их ИИ-агенты вели себя не по инструкции: обходили ограничения, выбирались из песочниц, захватывали сайты и сами себе писали промпты, чтобы обмануть мониторинг. Claude Opus 5.5, по данным Axios, пытался сбежать из песочницы в 1,5% тестов. После австралийского Medicare выяснилось, что агенты OpenAI гуляли и по американским госсайтам: у Минобразования они нашли API-ключи разработчиков, выложили данные SEC и Бюро переписи на публичный форум, а сайт управления по гражданским правам пытались взломать. Досталось и сайту ООН. Правда, Сэм Альтман считает, что самым серьёзным инцидентом всё ещё остаётся июльская атака на Hugging Face. Тем не менее, в субботу компания приостановила обучение, оценку и работу с инструментами своих самых мощных моделей — это вторая такая пауза за три месяца. Интересно, что это сказалась на акциях чипмейкеров: сегодня утром SK Hynix подешевела на 4,8%, Samsung — на 4,6%, корейский KOSPI упал на 2,3%. Под ударом и SoftBank, взявший кредит для выкупа акций OpenAI. Думаю, что паузой будет доволен и Билл Гейтс, который в эфире Meet the Press заявил, что ИИ способен запустить события, ведущие к гибели миллиарда людей, и что риски эти «вовсе не мистификация», как их назвал недавно Трамп. Американский президент, к слову в воскресенье позвал Дарио Амодеи на ужин в Белый дом на их первую встречу один на один, при том, что в пятницу апелляционный суд округа Колумбия решением 2 к 1 оставил Anthropic в чёрном списке Пентагона как «риск для цепочки поставок». Судьи сочли резонным опасение, что «чрезмерно ограниченная» модель может отключиться посреди военной операции. 🔮 Что-то мне подсказывает, что после этой встречи семейный траст Трампов обзаведется небольшой долей в Anthropic. Завтра с Трампом и спикером Палаты представителей Майком Джонсоном встретятся и другие главы ИИ-компаний. Австралия ждёт своих: Сенат пригласил Альтмана и Амодеи в четверг на слушания по взлому Medicare. Между тем, рисков для «крупнейшей экономической ставки в истории Америки», как теперь называют активное строительство дата-центров, становится все больше. Один из них, неожиданно — доходность казначейских облигаций США. По 10-летним бумагам она превысила 5,17%, и это автоматически увеличивает стоимость заемного капитала. JPMorgan ждёт, что до 2030 года отрасль займёт $4,1 трлн. Спред ИИ-облигаций уже 115 б.п. против 78 по рынку, а CoreWeave с каждым процентным пунктом роста ставок платит около $30 млн в год сверху. Деньги — не единственная беда. За полгода местные жители заблокировали или затормозили проекты дата-центров на $200 млрд, 70% американцев против стройки рядом с домом. В Огайо действуют уже 138 мораториев, а Нью-Йорк ввёл первый мораторий на уровне штата. В результате SB Energy от SoftBank, строящая проекты Stargate отложила IPO — покупателей при оценке в $50 млрд не нашлось, а Holtec приостановила размещение из-за «неопределённости в развитии дата-центров». Впрочем, без ИИ уже сложно представить себе жизнь. В России 54% людей пишут резюме с помощью ИИ, среди 18–25-летних — 63%, подсчитали в MTS Ads. И если выключить дата-центры — что от нас останется?

Первый «космический ЦОД» от Google поместился в холодильник Мечты о космических дата-центрах до сих пор оставались мечтами. Но индустрия делает робкие шаги в этом направлении: вот и Google решила отправить вычисления туда, где солнце светит почти постоянно. Первый аппарат компании Project Suncatcher должен стартовать 1 октября в 21:18 мск на Falcon 9. Это спутник Planet размером примерно с холодильник с четырьмя серверными ускорителями Trillium TPU и солнечными панелями мощностью около 1 кВт. На орбите TPU будут запускать модели Gemini и собирать данные о радиации, температуре и вычислительных ошибках. Один сеанс продлится около 15 минут, после чего чипам потребуется остыть. В вакууме нет воздуха, поэтому тепло отводится трубками на внешние радиаторы. Спутник уже испытали вибрацией‌ и перегрузками: вся конструкция выдержала до 10 g, отдельные компоненты — до 50–100 g. Trillium также облучали протонами во время выполнения ИИ-задач. Память начала выдавать аномалии после дозы 2 крад — примерно в 2,7 раза выше той, которую электроника получит за пять лет на низкой орбите под защитой, эквивалентной 10 мм алюминия. В 2027 году Google планирует вывести еще‌ два спутника и связать их лазером. Затем каждый‌ аппарат должен получить десятки TPU, а их группы — объединиться в распределённый‌ вычислительный‌ кластер. Для обучения крупных моделей‌ потребуется передавать данные между спутниками со скоростью порядка 10 Тбит/с: коммерческие космические линии сеи‌час обеспечивают 1–100 Гбит/с. Главное преимущество орбиты — энергия. Солнечные панели там могут вырабатывать за год до восьми раз больше электричества, чем на Земле. Главный расход — доставка оборудования. Сеи‌час SpaceX продае‌т место в групповых запусках по $350 тыс. за 50 кг, или по $7000 за килограмм. Даже расче‌тная цена полностью загруженного Falcon Heavy составляет около $1500 за килограмм. Google рассчитывает, что к середине 2030-х показатель опустится ниже $200. Вилами по Млечному Пути, конечно... @anti_agi