Джеймс МАНЖЕТЫ: Привет, хороший днем, все. Меня зовут Джеймс манжеты. Я заместитель декана по научной работе Вычисление здесь в Гарвардском университете. И сегодня я хочу поговорить с вами о почему масштабируемыми вычислительными имеет важное значение. 

Так что я думаю, во-первых вверх, кто этот парень? Почему я здесь? Почему я говорю с вами? У меня есть опыт работы в научно- вычисления и Научно-исследовательский вычислительный, уходящие в Соединенных Kingdom-- The Wellcome Trust Sanger Институт человека genome-- и то в последнее время в Соединенных Штатах работает в широком и других уважаемых места обучения, такие как Гарвард. 

Я думаю, что это действительно означает, что я восстановления молекулярного био физик. Так что я имею право должен сказать Вы о масштабном вычислений? Там это однако. 18 лет или около того я только что видел наиболее резкое увеличение сложности масштабе и общая эффективность вычислительных систем. 

Когда я делаю свою докторскую степень в Оксфорде, я был очень взволнован с 200 мегагерц Silicon Graphics машина с 18 гигабайт хранения и один процессор. Времена изменились. Если вы быстро вперед, то, что мы спиннинг более 60000 процессоров здесь в Гарварде. Многие другие организации спиннинг многое другое. 

Важно вынос из этого, что масштаб теперь не только неизбежным, это случилось, и это будет продолжать происходить. Итак, давайте на мгновение, добрый перемотки и говорить очень быстро о науке, мой любимый предмет, научный метод. 

Если вы хотите быть ученым, Вы должны сделать несколько ключевых вещей. Если вы этого не сделаете эти вещи, которые вы можете не считать себя ученым и вы будете бороться, будучи в состоянии понять вашу зону дисциплины. 

Итак, прежде всего, вы должны сформулировать Ваш вопрос, можно создавать гипотезы, но что еще более важно, вы предсказать вашу results-- у вас есть предположение о том, какие результаты будут. И, наконец, вы проверяете ваш гипотезы и анализировать свои результаты. 

Так что это научный метод чрезвычайно важно в вычислений. Вычислительный обоих прогнозирования и быть в состоянии проверить результаты являются ключевой частью того, что мы должны сделать в научный метод. Эти прогнозы и тестирования реальные два краеугольных научного метода, и каждый требуют наиболее значительных достижений в современной вычислений. 

Два столпа науки в том, что теории и что из экспериментов. А совсем недавно, вычислительная часто упоминается как третий столп науки. Так что если вы студенты смотрят на это, у вас нет абсолютно никакого давления. Третий столп science-- не большая deal-- вычислений, добрый важно. Так рад это вычислительная часть компьютерной науки, конечно 50. 

Так достаточно фоновом режиме. Я хочу рассказать вам план того, что мы будем говорить о сегодняшнем дне. Я собираюсь перейти на некоторую историю. Я хочу объяснить, почему мы здесь. Я собираюсь поговорить о некоторых из истории вычислений здесь в Гарварде, некоторые деятельность вокруг социальных медиа, зеленый things-- очень увлечены всем green-- storage-- компьютер storage-- как хаос влияет горизонтального масштабирования из системы, и распределительные системы в частности. 

А потом я собираюсь остановиться на некоторых в масштабном оборудование, которое требуется, чтобы иметь возможность сделать вычисления в масштабе. И, наконец, мы собираемся обернуть с каким-то удивительным науки. 

Так, давайте на минутку, чтобы посмотреть на нашей фактической истории. Вычислительный изменилась. Так, начиная с 60-х годов, все от до сегодняшнего дня, мы видели в основном изменение Сфера из централизованных вычислений децентрализовать вычисления, чтобы сотрудничества и становится независимой вычисления и обратно снова. 

И позвольте мне комментировать, что немного. Когда мы впервые начали с компьютеры, мы были мэйнфреймы. Они были чрезмерно дорогие устройства. Все должно было быть общими. Вычислительная было сложным. Вы можете видеть, это заполнено номера и были операторы и ленты и всякие whirry, щелкающим, spinny устройства. 

Вокруг 70-х начале 80-х, вы начали чтобы увидеть влияние факсимильных машин. Таким образом, вы начинаете видеть вычислений начинают появляться еще в лабораториях и стать ближе к вам. Рост личного компьютер, конечно, в 80-х, в начале частью Десять лет, на самом деле изменилось вычислений. 

И есть ключ в название, потому что это был назван персональный компьютер, что означало он принадлежал к вам. Так как эволюция вычислительная продолжал, люди поняли, что их личная Компьютер не было достаточно действительно большой чтобы быть в состоянии сделать что-либо каких-либо заслуг, или значительные заслуги в науке. 

И так люди начали развивать сетевое устройство водители, чтобы иметь возможность подключения к компьютеру вместе, чтобы иметь возможность построить кластеры. И вот этот родил эру кластера Beowulf. Linux взорвался в ответ на собственная операционная система, и экономически и сложность. 

И потом, здесь мы находимся сегодня, где, еще раз, мы сталкиваются с комнаты, полные компьютере оборудование и способности салфетки свою кредитную карту и получить Доступ к этим вычислительных средств, удаленно. 

И поэтому вы можете видеть, в с точки зрения истории сжимать как мы это делаем вычисления сегодня, это, безусловно, превратилась из машины комнаты, полные компьютеров через некоторое персональных компьютеров все было образом право снова в машине номера, полные компьютеров. 

Так что это мой первый кластер. Так 2000 году мы построили компьютерная система в Европе эффективно комментировать геном человека. Там это много технологий перечислены на правой стороне там, что, к сожалению, больше нет с нами. Это прошло в великолепная технология в небе. 

Машина сама, вероятно, эквивалент немногих приличных ноутбуков сегодня, и что только вид показывает вам. Однако, мы тщательно комментировать геном человека, и оба ее защиту с этой конкретной бумаги в Природа от забот данных будучи публичным или частным порядком. 

Так что это удивительным, не так ли? Таким образом, мы получили генома человека. Мы сделали вычисления. Я чувствую себя очень доволен собой. Я закатал в Гарвард в 2006 году, чувство много меньше доволен собой. 

Это то, что я унаследовал. Это ведомственные почтовые и файловые сервера. Вы можете посмотреть здесь есть немного ленты который используется для хранения системы вместе. Это наша лицензия сервера и сервера печати. Я уверен, что там возможно пароли на некоторых из них Post-It Notes. 

Не удивительно. Довольно далеко от удивительным. И так, я понимаю, этот маленький график что я показал вам, в начале от обмена в собственность Вернуться к совместному, что нам нужно изменить игру. И поэтому мы изменили игру путем предоставления стимулов. И так люди, так как это небольшая статья в Википедии Здесь говорится, наши целеустремленные существа. И изучение стимулов структуры имеет важное значение для исследования экономической деятельности. 

Поэтому мы начали стимулировать наш факультет и наши исследователи. И поэтому мы стимулы их очень большой компьютерная система. Таким образом, в 2008 году мы построили 4096 процессор machine-- 10 стойки, пару сотен киловатт энергии. 

То, что я думаю, Интересно, что не Неважно, где вы находитесь в цикле. Это же количество энергии, и вычисляют мощность является постоянным. Это было 200 киловатт, когда мы строили системы в Европе. Это двести киловатт в 2008 году, и что кажется, [? quanter?] малых на базе университета вычислительные системы. 

Так что Гарварде раз сегодня перемотки вперед, я не больше грустно панда, вполне счастливы панда. Мы 60-лишним тысяч балансировки нагрузки Процессоры, а их восхождение резко. У нас есть 15 петабайт хранение, а также восхождение. Опять же, это 200 кВт прирост, мы, кажется, чтобы быть добавив, что каждые шесть месяцев или около того. Много-много виртуальных машин. И что еще более важно, около 1,8 мегаватт научно-исследовательской вычислительной техники. 

И я собираюсь приехать вернуться к этому позже, о том, почему я теперь уже не обязательно рассчитывать, сколько процессорного у нас есть, но насколько велика счет за электричество. 20 друга так, посвященный Научно-исследовательский вычислительный персонала. И что еще более важно, мы начинает расти наш GPGPUs. Я был поражен тем, насколько это добавляется на день-в день. Таким образом, урок истории закончился, не так ли? 

Так как же нам попасть отсюда? Давайте посмотрим на некоторые современные Масштабное примеры вычислительных. Я немного одержим размер и масштаб социальных медиа. Есть целый ряд чрезвычайно успешный масштабный вычислений организации в настоящее время на планете, обеспечивая поддержку и услуги для всех нас. Так вот отказ. 

И я хочу, чтобы начать с Количество унций в Instagram. Это на самом деле не привести в систему, чтобы шутка, это даже не смешно, на самом деле, если подумать об этом. Но в любом случае, мы собираемся посмотреть на унций в Instagram. И мы собираемся, чтобы начать с "Моей пчелы и цветка." Я был в [неразборчиво] Деревня и я взял небольшую картину пчелы сидит на цветке. И тогда я начал думать о том, что это на самом деле означает. И я сделал этот снимок с моего телефона и считали, сколько байт в нем, А это около 256 килобайт. Какие, когда я начал, будет в основном заполнить 5 и 1/4 дюйма дискеты. И начал думать, хорошо, что это круто. 

И я начал искать и делать Некоторые исследования в сети. И я узнал, что Instagram имеет 200 млн Маус. Я не был на самом деле, что уверен, что МАУ. И МАУ, здесь, является ежемесячно активных пользователей. 

Таким образом, 200 миллионов MAUs-- довольно прохладно. 20000000000 photographs-- так довольно много фотографий. 60000000 новые фотографии каждый день выходит около 0,002 концерта в фотографии. Это примерно в пять петабайт диска только прямо там. И это действительно не центральная часть что мы собираемся поговорить. Это пустяки. Или, как говорят у нас в Англии, крошечные картошкой. 

Итак, давайте посмотрим на реальный слон в room-- уникальных граней. Опять же, давайте измерить это новые кванты вызвать МАУ. Сам facebook имеет 1300000000 Маус. WhatsApp, который я даже не не слышали о до недавнего времени, это Некоторые службы вроде сообщениями, это 500 миллионов Маус. Instagram, который мы только что говорили о 200 млн Маус. И Посланник, который является Еще одна услуга, сообщениями, Также 200000000 Маус. 

Так очков, до, речь идет о 2200000000 Всего пользователей. Очевидно, есть какая-то пересекаются, но это эквивалентна одной трети планеты. И они что-то послать в область +12000000000 сообщений в день. И опять же, есть только 7 Миллиард человек на планете. Не у всех есть смартфон. Так что это безумные цифры. 

И я собираюсь доказать, что это не даже о хранении или вычислительных. И цитировать песню, это все о том, что графа. Вот наша любимая Меган Трейнор вниз здесь, поет о всех баса. Обратите внимание, что она также имеет довольно немного баса herself-- 207, а 218 миллионов людей видели эта барышня поет свою песню. 

Так что мой аргумент это это все о графике. Поэтому мы приняли некоторое программное обеспечение с открытым исходным кодом и начал смотреть на графике. И это LinkedIn, так что это является Facebook для пожилых людей. И так, это мой LinkedIn граф. У меня есть 1200 или около того узлы, так называемые "друзья". И вот мне на самом верху. И вот всех соединений. 

Теперь, думаю, вернемся к истории Instagram. Каждый из них является не только фото, его имеет целый множество соединений между этой конкретной личности и многие другие. Это центральная часть либо ошибка в алгоритме Визуализация графов, или это может быть Дэвид Малан, я не уверен. Таким образом, вы можете перерисовать графики во всех видах из ways-- gephi.gihub.io где вы можете вытащить, что программное обеспечение. Это действительно здорово, за то, что в состоянии организовать общины. Вы можете видеть здесь, это Гарвард и различные другие места, которые я работал, потому что это мои данные, связанные с работой. 

Так что просто думать о сложности графика и все данные что вы тянете вместе с. Так Тем временем, в FriendFace, не так ли? Мы смотрели на данных Instagram, что было порядка пяти петабайт. Ничего страшного. Тем не менее довольно много данных, но не большая дело в большей схеме вещей. 

Из этой статьи на старом Интернет, "Масштабирование хранилища данных Facebook 300 петабайт ". Это совсем другая игра-чейнджер сейчас, когда вы начинаете думаю, данных и графика и то, что вы принести с собой. И их высокоскоростной передачи данных растет из порядка 600 terrabytes день. 

Теперь вы знаете, хорошо, then-- Я имею в виду, 600 terrabytes день, 300 petabytes-- они Также в настоящее время начинают чтобы получить очень обеспокоены как сохранить этот материал и чтобы убедиться, что это данные остаются вокруг. И это джентльмен, Джей Parikh, ищет в том, как хранить Эксабайт данных. 

Просто для тех из вас, , которые смотрят вместе дома, exabyte-- 10 до 18 лет. Он получил свой собственный Википедия страница, то, что большая числа. То есть размер и масштаб того, что мы смотрите, чтобы иметь возможность хранить данные. И эти ребята не отводом вокруг, они хранения, что объем данных. Таким образом, одна из подсказок, которые они смотрят на здесь это центры обработки данных для так называемое холодное хранение. 

Это подводит меня к тому, зеленый. А вот Кермит. Он и я agree-- это очень Трудно быть зеленого цвета, но мы даем ему наше самое лучшее попытку. Кермит не могу с собой поделать, он имеет быть зеленым все время, не может принять его зеленый-Несс с вообще. 

Так, будучи concepts-- несколько добрых основных понятий из зелени, когда она относится к компьютерам. Тот, который является наиболее важным является долговечность продукта. Если ваш продукт имеет короткий срок службы, Вы не можете, по определению, быть зеленым. Энергия, затраченная на производство диск, материнская плата, компьютер Система, таблетки, какой бы она ни быть, долговечность ваших систем являются ключевой частью как зеленый вы можете быть. 

Важная часть, как все вы строят программное обеспечение algorithms-- алгоритма частичное Слово для программного обеспечения, не так ли? Таким образом, ваша конструкция алгоритм абсолютно необходимо с точки зрения о том, как вы собираетесь быть в состоянии сделать Быстрые и точные вычисления, чтобы использовать Наименьшее количество энергии возможно. И я вернусь к этому в немного. 

Центр обработки данных design-- вы видели что мы уже имеем тысячи и тысячи машин, сидя тихо в небольших, темных углов мирового, вычислительной техники. Ресурс allocation-- как получить к ЭВМ, для хранения, через сеть. Операционные системы ключевой частью это и много виртуализации чтобы иметь возможность собрать больше и большую вычислительную в небольшом пространстве. 

Я дам вам небольшой пример от Научно-исследовательский вычислительный. Нам нужно больше пинг, более мощности и более труб. Нам нужно больше больше, Лучше, быстрее компьютеры, и нужно использовать меньше сока. И мы не могли решить, как это сделать. Я не знаю, если хэштегом gowest как вероятно, были использованы в Кардашян, но в любом случае, gowest. И мы это сделали. 

Мы выбрали нашу работу и мы переехали его для Западного Массачусетса в небольшом мельницы города называется Спрингфилд, к северу из Chikopee и Спрингфилд. Мы сделали это в течение нескольких причин. Главный из них, что мы был очень, очень большой плотины. И это очень большой плотины в состоянии потушить 30 плюс мегаватт энергии, и было недостаточно в то время. 

Более того, мы также имели очень сложная сеть что уже на месте. Если вы посмотрите на то, где сеть идет в Соединенных Штатах, следует все железнодорожные пути. Это определенная часть сети была принадлежит нашим коллегам и друзьям в Массачусетсе Технологический институт, и это было в основном построено все выход на маршрут 90. 

Так у нас была большая река галочку, Route 90 тик, у нас был короткий путь в 100 миль, и длинный путь около 1000 километров. Мы не должны делать очень большой Сеть сращивания, как вы можете видеть здесь, в основном поставить ссылку на территории, в быть в состоянии подключиться к Хольок, но у нас было все реквизита infrastructure-- пинг, власть, труба. Жизнь была хороша. И снова, большая плотина. 

Таким образом, мы построили в основном Массачусетс Зеленый High Performance Computing Центр. Это было труд любви через пять universities-- MIT, Гарвард, UMass, Северо-Восточный и BU. Пять мегаватт день один подключенной нагрузки. Мы сделали все виды ума с контролируемой зоне экономайзеров чтобы держать вещи зеленого цвета. И мы построили из 640 с лишним стойки, предназначен для исследования вычислений. 

Это было старый сайт заброшенных, так что мы были некоторые мелиорации и некоторые аккуратные вверх и некоторые очистка сайте. И тогда мы начали построить центр и, boom-- прекрасный объект с Возможность запуска песочницы вычислений, иметь конференций и семинаров, а также массивный центр обработки данных этаж. 

Вот мой хороший я. Очевидно, я носить ту же самую куртку. Я, может быть, только один куртка, но есть мне и Джон Goodhue-- он Исполнительный директор Center-- стоя в машинном зале пол, который, как вы видите, довольно драматично, и это восходит долгий, долгий путь. 

Я часто играют в игры вождения из Бостона, чтобы Хольок, делая вид, что я / IP пакетов TCP. И я беспокоюсь о моей задержки разъезжать в моей машине. Так вот зеленый кусок. Так что давайте просто занять минуту и думать о стеков. Таким образом, мы пытаемся очень тщательно, чтобы строить центры обработки данных эффективно, вычислительных эффективно, чтобы хорошо Выбор для вычислительной техники и поставить, более главное, наше приложение, будь то служба обмена сообщениями или научное применение. 

Так вот стеки. Так физического уровня, все путь через application-- надеясь, что это будет быть хорошая часть вашего курса. Модель OSI семь слой в основном, Вы будете жить, есть, и дышать это на протяжении вашей вычислительной карьеры. Вся эта концепция физического infrastructure-- провода, кабели, центры обработки данных, ссылки. И это только описания сети. 

Здесь, наверху, ну, очевидно, это старый слайд, потому что это должно сказать, HTTP, потому что никто не заботится о простом почте транспортные протоколы, больше. Это все происходит в HTTP пространстве. Так вот один уровень стека. 

Вот еще один набор стеков, где вы есть сервер, хост, гипервизор, гость, двоичный библиотека, и ваше приложение. Или, в данном случае, устройство Водитель, ядро ​​Linux, родной C, Виртуальная машина Java, Java API, то Java приложения, и так далее, и так далее. Это описание виртуальной машины. 

Святые стеки, Бэтмен! Подумайте об этом в Условия сколько вычислительных Вы должны получить от что здесь происходит, все, вплоть до верхней из этого стека, чтобы затем быть в состоянии сделать ваш фактический доставка приложения. 

И если вы вроде назад и начать думать о том, что это берет, чтобы обеспечить операция с плавающей точкой, Ваш операция с плавающей точкой является сумма гнезд, количество ядер в розетку, часы, которые Как быстро часы turnover-- четыре гигагерца, два gigahertz--, а затем номер операций вы можете сделать в данной герц. 

Так что те, микропроцессоров сегодня сделать между четырьмя и 6-флоп за один такт. И так одноядерный 2,5 концерт часы имеет теоретическую производительность около мега флопе, давать или принимать. 

Но, как и все, у нас есть выбор. Так и Intel Core 2, Nehalem Sandy Bridge, Haswell, AMD, принять ваш choices-- Intel Atom. Все эти архитектуры процессора все они имеют немного другой способ быть в состоянии добавить два числа вместе, который является в основном их цель в жизни. Должен быть жестким. Там же миллионы из них сидит в центрах обработки данных, в настоящее время, хотя. 

Сор, плюхается в watt-- это большое дело. Так что, если я хочу получить больше из этого чтобы пройти через этот стек, быстрее, Я должен работать от того, сколько операций с плавающей запятой в секунду, Что я могу сделать, а затем дать им ватт. И, к счастью, люди думал об этом. 

Так что большой конкурс каждый год, чтобы увидеть кто может построить самый быстрый компьютер которые могут диагонализовать матрицу. Это называется Top 500. Они выбирают верхнюю от 500 лучших компьютеры на планете, которые могут диагонализирующие матрицы. И вы получите некоторые удивительные результаты. 

Многие из этих машин от 10 до 20 МВт. Они могут диагонализовать матрицы чрезмерно быстро. Они не обязательно к диагональному их так же эффективно, в расчете на ватт, так что это было большой толчок, чтобы смотреть на что зеленый 500 список будет выглядеть следующим образом. А вот список с июня. Там должно быть новое самое ближайшее время. 

И это вызывает out-- я возьму Верхняя часть этого списка. Там двое конкретных machines-- один от Токийского технологического института И один из Кембриджа Университет в Соединенном Королевстве. И у них есть довольно ошеломляющие мега-флоп в соотношениях ватт. Эта песня 4389, и следующий вниз 3631. 

Я объясню разницу между эти двое, на следующем слайде. Но это они среднего размера тестовых кластеров. Это всего лишь 34 киловатт или 52 кВт. Есть некоторые более крупные here-- этот специфический в Швейцарском национальном Суперкомпьютерный центр. Взять домой сообщение в том, что мы пытаясь найти компьютеры которые могут эффективно работать. 

И так, давайте посмотрим на этой вершине Один из них, мило называют, KFC. И немного рекламы здесь. Это особенно продовольственная компания не имеет ничего общего с этим. Это тот факт, что это особая система замачивают в очень умный масляной основе соединение. И таким образом они получили их курица фритюрницы прозвище когда они впервые начали построить эти типы систем. 

Но в основном то, что они сделали Здесь количество лопастей, положить им в этом сложные минеральное масло, а затем работал, как получить все Технология и из него. Тогда не только это, они поместили его снаружи так что он может использовать за пределами охлаждающего воздуха. Это было довольно впечатляющим. Таким образом, вы должны сделать все, этой махинации чтобы иметь возможность получить эту сумму Вычислить доставлен для малого мощности. 

И вы можете видеть, что это форма где дело идет. Задача состоит в том, что регулярное воздуха охлаждение экономия от масштаба и за рулем много развитие как обычной компьютерной, и высокопроизводительных вычислений. Таким образом, это довольно разрушительными. Я думаю, что это увлекательно. Это немного запутаться, когда попробуйте поменять диски, но это действительно классная идея. 

Так что не только это, есть целая куча работы строятся вокруг того, что мы вызова Open Compute Project. И так, больше о том, что немного позже. Но промышленность, которая начинает понимают, что FLOPs на ватт становится важным. И вы, как люди здесь, как вы разработали свои алгоритмы и вы создать свой Код, вы должны знать, что ваш код может есть эффект домино. 

Когда Марк сидел здесь, в его комната в общежитии писать Facebook 1,0, Я уверен, что он имел вид что он собирается быть огромным. Но насколько огромный это было бы на среда большой Dealio. И так все ya'll мог придумать алгоритмов , которые могут быть следующей сложной что для людей вроде меня, пытаюсь запустить систем. 

Так что давайте просто думать о в реальном мире ограничения мощности. Эта статья на Landauer-- не новая вещь. 1961 был опубликован в IBM Journal. Это каноническое "Необратимость и тепло Генерация в вычислительный процесс ". И так он утверждал, что машины неизбежно выполнять логистические функции, которые не имеют однозначную обратную. 

Так что целая часть в том, что еще в 60-х годах, люди знали, что это было будет проблемой. И так закон пределах сказал 25 градусов Цельсия, своего рода канонической комнате Температура, предел представляет 0,1 электрон-вольт. Но теоретически, это теория, компьютерное памяти, работу в этот лимит может быть изменилось в один миллиард бит в секунду. 

Я не знаю о вас, но не столкнетесь со многими один миллиард бит а второй обмен скорость передачи данных. Аргумент было то, что только 2,8 триллионов ватт мощности должно когда-либо быть расширен. 

Ладно, реальный мир example-- это мой счет за электричество. Я 65% процентов что прекрасный центр обработки данных Я показал вам, в это время. Это еще в июне прошлого года. Я взял старую версию, так что мы может и своего рода анонимные немного. Я был тратить $ 45000 месяц для энергии там. 

Так Причина в том, есть то, что мы есть более 50000 процессы в комнате. Так не могли бы вы представить себе свой собственный жилой счет за электричество в том, что высокие? Но это было для 199000000 ватт-часах более месяца. 

Так вопрос я задаю в том, можно представить счет за электричество г Цукерберга? Шахта довольно большой, и я изо всех сил. И я не одинок в этом есть. Там очень много людей, с большими центрами обработки данных. И так, я думаю,, полный disclosure-- Мои друзья Facebook немного странным. 

Так что мой Facebook друг центр обработки данных Prineville, который является одним из Facebook, крупнейшая, новейший, самый низкий центрах обработки данных. И они будут отправлять мне такие вещи, как Эффективность питания утилизации, как в том, как эффективно данные центр против того, сколько энергии вы положить в него, сколько вода они используют, что влажность и температура. 

И у них есть это прекрасный, прекрасный участков. Я думаю, что это удивительным страницы Facebook, но я предполагаю, что я немного странно. 

Так что еще одна сила, что, Научно-исследовательский вычислительный что я делаю существенно отличается от что Facebook и Yahoo и Google и другие по требованию, в полном объеме, всегда доступные услуги. И поэтому у меня есть то преимущество, что, когда ISO Новой England-- и ISO Новой Англии помогает установить энергию ставки для региона. 

И он говорит, что это расширение Запрос на потребителей добровольно сохранить высокую энергию, из-за высокой температуры и влажности. И это было еще на 18 июля. И поэтому я с радостью Tweet назад, Эй, ISO Новой Англии, зеленый Гарварде. Мы делаем наше участие свыше здесь, в Научно-исследовательский вычислительный. И это потому, что мы делаем науку. 

И так же, как люди говорят, науку никогда не спит, наука может ждать. Таким образом, мы можем заморозить наш системы, воспользуйтесь ставок классов на нашем счет энергии, и помощь весь Новую Англию область, проливая многие мегаватт нагрузки. Так вот уникальная вещь, что отличается о научных вычислений данных центры и те, которые в полном объеме производства 24/7. 

Так что давайте просто взять другую передачу здесь. Итак, я хочу, чтобы обсудить хаос немного. И я хочу, чтобы положить его в эгидой хранения. Так что для тех, что вид из боролись получить их голову вокруг того, что петабайт хранения выглядеть, это пример. И это рода вещи Я имею дело с все время. 

Каждый из этих маленьких парней это четыре терабайта жесткий диск, так что вы можете отчасти рассчитывать их. Мы получаем теперь между один для 1 и 1/2 петабайт в качестве отраслевого стандарта стойке. И у нас есть номера и номера, как ты видел в этой более ранней картины с Джоном и я, полно таких стоек с оборудованием. Так что это становится очень, очень легко строить крупные массивы хранения 

Это в основном просто внутри Unix для вид подсчитать, как идут дела. Так что это подсчитывать, сколько МАУ очков я туда попал. Так вот 423 точек перехвата. И потом, если я запускаю несколько кратких AWK, я Можно добавить до, в этой конкретной системе, было 7,3 петабайт доступной памяти. 

Так вот многие вещи. И ХРАНЕНИЕ действительно трудно. И все же, почему-то, это промышленность тенденцией. Всякий раз, когда я разговариваю с наших исследователей и наш факультет и сказать, эй, я могу запустить хранилище для вас. К сожалению, я должен возместить стоимость хранения. Я получаю это дело. И люди ссылаться Newegg или они ссылаются Скобы или как много они могут купить один терабайт диск для. 

Так что это, вы заметите, здесь, что есть ключ. Там один диск здесь. И если мы вернемся, у меня много. Мало того, что у меня есть много, у меня есть сложные межсоединения чтобы быть в состоянии сшить эти вещи вместе. Таким образом, риск, связанный с такими крупными Массивы хранения данных не является незначительным. 

В самом деле, мы вышли на Интернет и мы написали Короткий рассказ о лучших побуждений, кроткий директор по исследованиям computing--, случается, есть Странно английский accent-- пытается объяснить исследователя, что Нет Папка подчеркивания резервного копирования на самом деле имел в виду. Это было довольно давно, маленькая история, хорошие четыре минуты открытия. 

И заметьте, я ужасно намного меньше места, чем дамы что поет обо всем на бас-гитаре. Мы очень немного сведений ниже. Но в любом случае, это главное, чтобы думать, в плане того, что может пойти не так. Так что, если я получаю диск, и Я бросаю его в машине Unix, и я начинаю писать вещи к нему, есть магнит, есть головка привода, есть якобы, один или ноль пишется вниз на этом устройстве. 

Motors-- spinny, twirly вещи всегда ломаются. Подумайте о вещах, которые нарушают. Это всегда было spinny, twirly вещи. Принтеры, дисководы, автомобили, и т.д. Все, что движется, скорее всего, сломать. 

Так что вам нужно двигатели, вы нужно ехать прошивки, Вы должны SAS / SATA контроллеры, провода, прошивки на контроллерах SAS / SATA, Блоки питания для уровня. Выберите свой хранения файлов контроллера Код системы, какой бы ни один это может быть, как вы сшить вещи вместе. И ваш виртуальный менеджер памяти Страницы, DRAM выборки и магазины. Затем, вы получите еще стек, которая является своеобразной из вниз по списку на это один, алгоритмы, пользователи. 

И если умножить это , я не знаю сколько, есть много мест, где материал может выйти боком. Я имею в виду, что это пример, о математике. Но это забавно думать Сколько способов вещи может пойти не так, только для диска. Мы уже на 300 петабайт, так представить количество дисковых накопителей нужно в 300 петабайт что может пойти не так. Не только that-- так что хранение. И, что намекает на человек, которого я хотел бы видеть С левой стороны сцены, которые это хаос Обезьяна. Таким образом, в какой-то момент, он получает даже больше, чем просто диск Проблема. 

И так, эти прекрасные дамы и господа которые работают в видео-сервис потокового поняли, что их компьютеры были и огромный и очень сложный а также предоставление услуг чтобы ужасно много людей. У них есть 37 миллионов members-- и На этом слайде в, может быть, год или около того old-- тысячи устройств. Есть миллиарды часов видео. Они войти миллиарды событий день. 

И вы можете видеть, большинство людей смотрят телек позже вечером, и это далеко перевешивает все. И так, они хотели быть в состоянии, чтобы убедиться, что обслуживание было и надежным и работает на них. Таким образом, они придумали это что называется Хаос Обезьяна. Это часть программного обеспечения, которые, когда вы думаете, о разговоре о названии из всей этой презентации, Масштабное означает, что вы должны проверить этот материал. Это не хорошо только имея миллион машин. Так приятно, что о это, хаос Обезьяна это сервис, который выявить те группы систем и случайно завершает один систем в группе. Высокий. Так что я не знаю, о Вы, но если я когда-либо построил систему, которая опирается на другие Системы разговаривали друг с другом, вы берете одну из них, Вероятность того, что все вещи работы, быстро уменьшается. 

И вот этот кусок программного обеспечения работает вокруг инфраструктуры Netflix в. К счастью, он говорит, что работает только в Часы работы с целью что инженеры будут начеку и реагировать. Таким образом, эти типы вещей мы сейчас того, чтобы сделать, чтобы возмутить нашу вычислений среда, ввести хаос и ввести сложность. 

Так кто же, по их права ум, охотно выбирают работать с Chaos обезьяна? Держитесь, он, кажется, указывая мне. Ну, я предполагаю, что я должны: мило. Но проблема в том, вы не получают выбор. Хаос Обезьяна, как вы видите, выбирает тебя. 

И это проблема с вычислением в масштабе, что вы не можете избежать этого. Это неизбежность сложности и масштабе и нашей эволюции, В некотором смысле, вычислительных экспертизы. И помните, что это Важно помнить, Хаос Monkeys любовь snowflakes-- любовь снежинки. Snowflake-- мы объяснили Хаос Monkey-- но снежинка это сервер, который является уникальным и специальные и деликатный и индивидуальный и никогда не будет воспроизведен. 

Мы часто находим снежинку Обслуживание В нашей среде. И мы всегда стараемся расплава снежинка обслуживание. Но если вы найдете сервер в вашей среде что имеет решающее значение для долголетия Вашей организации и тает, Вы не можете поместить его снова вместе. Так работа Chaos Обезьяны было пойти и прекратить случаи. Если Chaos Обезьяна тает снежинка, вы более, вы сделали. Я хочу поговорить о некоторые аппаратные средства, которые мы видя в плане рода Масштабное деятельности тоже. А некоторые уникальные вещи, которые находятся в и вокруг научной деятельности. Мы сейчас начинаем видеть, помните, Это устройство выдачи, это стойки? Так что это стойка GPGPUs-- так общего назначения графические процессоры. 

Мы это находится в наших данных центр, 100 или около того километров. Это особенно стойки это около 96 тера FLOPS из одинарной точностью математика состоянии чтобы доставить из задней части его. И у нас есть порядок 130-нечетных карты в случае, что we-- несколько Стойки данного экземпляра. 

Так что это интересно в том смысле, что Общая цель графические процессы в состоянии сделать математику невероятно быстро для очень низких количеств энергии. Так что большой всплеск научные вычислительные области, глядя на графики блоки обработки в большой путь. 

Так что я побежал некоторые Mcollective через наш кукольный инфраструктуры вчера, очень рады, об этом. чуть меньше петафлопс из одинарной точности. Просто чтобы быть ясно здесь, это немного множитель 3,95. Двойной точностью математики будет примерно 1,2, но мой Твиттере посмотрел лучше, если я сказал, что мы почти петафлоп из одинарной точности GPGPUs. 

Но это как туда добраться. Это добирается, чтобы быть очень, очень впечатляет. И почему мы это делаем? Потому что квантовой химии, среди прочего, но мы начинаем проектировать некоторые новые фотоэлектрические. 

И так Алан Аспуру Газик, кто профессор chemistry-- моего партнера в crime-- за последние несколько лет. Мы настаивали конверт на вычислений. И GPGPU идеальна Технология, чтобы иметь возможность делать Очень много сложнее математика, очень, очень быстро. 

Так со шкалой, поставляется с новыми вызовами. Так огромный scale-- вы должны быть осторожны, как вы подключите данный материал. И у нас есть определенные уровни обсессивно-компульсивное расстройство. Эти фотографии, вероятно, водить много людей орехов. И шкафов, которые не являются проводной особенно хорошо езды нашу сеть и Услуги инженеры орехи. Плюс есть также воздуха вопросы, которые у вас есть, чтобы содержать. 

Таким образом, эти вещи, которые я никогда бы не подумал. С измерительной шкалой, поставляется больше сложности. Это новый тип файловой системы. Это потрясающе. Это петабайт. Он может хранить 1100000000 файлов. Она умеет читать и писать 13 гигабайт и 20 гигабайт в second-- гигабайт второй. Таким образом, можно выгрузить терабайт в самое короткое время. 

И это очень доступно. И он получил удивительную поиск rates-- 220000 поисковые операции в секунду. И есть много разных людей, строительство такого рода систем. И вы можете видеть его здесь графически. Это один из наших файловых систем это под нагрузкой, вполне счастливо читаете чуть меньше 22 гигабайт в секунду. Так вот cool-- так сложность. 

Таким образом, с уровня сложности и масштаба, приходит более сложность, не так ли? Это один из наших многочисленных, Многие сетевые диаграммы, где вы должны много разных Шасси все с поддержкой до в основной основной коммутатор, связаны с хранением, подключения к низким межсоединений задержки. А потом все это части дом, просто все управления что вы должны быть в состоянии решать Эти системы из удаленного местоположения. Так шкала имеет много Сложность с ним. 

Переключение скоростей снова, давайте вернемся и имеют небольшое пятно науки. Итак, помните, исследования вычисления и эта маленькая shim-- маленький розовый прокладка между преподаватели и все их алгоритмов и все прохладной науки и все Это питания и охлаждения и центров обработки данных пол и сетей и большие компьютеры и обслуживание столы и помощь столы и так forth-- и так, мы просто эта маленькая прокладка между ними. 

То, что мы начали видим, что в мире смогли построить Эти крупных центров обработки данных и быть в состоянии построить Эти большие компьютеры. Мы получили довольно хорошо. Что мы не очень хорошо это немного прокладка между исследований и голый металл и технологии. И трудно. 

И так мы смогли нанять люди, которые живут в этом мире. А совсем недавно, мы говорили с Национальный научный фонд и сказал, это Масштабное материал является большим, но мы не можем получить наши ученые на этих больших сложных машин. И так, было Количество различных программ где мы действительно были в основном обеспокоены пытаясь чтобы увидеть, если мы могли бы превратить Кампус инфраструктуры. 

Есть много программ вокруг национальных центров. И так, мы сами, наш друзья в Клемсон, Университет Висконсин Мэдисон, Южная Калифорния, Юта и Гавайи вид собрались вместе, чтобы Посмотрим на эту проблему. И этот маленький граф здесь является длинный хвост науки. 

Так что это is-- это не Дело в то, что на этой оси, но эта ось на самом деле число рабочих мест переживает кластера. Так что 350 000 за любого периода времени. Это наши обычные подозреваемые по дну здесь. В самом деле, есть Алан Аспуру Газик, кто мы только что говорили about-- тонн и т Вычислить, на самом деле эффективным, знает, что он делает. 

Вот другая лаборатория, что я буду говорить о в moment-- лаборатории Джона Ковача. Они его получили. Они хороши. Они счастливы. Они вычисления. Великий наука становится все сделано. А потом, как вы вид Приди сюда, там и другие группы, не работают много рабочих мест. 

И почему это? Это потому, что вычисления слишком сложно? Это потому, что они не знают, как? Мы не знаю, потому что мы пошли и смотрели. И вот что это Проект это все о, локально, в пределах каждой из этих областей, смотреть проспектов, где мы можем заниматься с преподавательским составом и исследователей на самом деле в нижней части хвоста, и понять, что они делают. 

Так вот то, что мы на самом деле увлечены. И это то, что наука не будет продолжать чтобы двигаться вперед, пока мы не решим некоторые из этих крайних случаев. Другие биты науки что происходит up-- всех видел Большой адронный коллайдер. Удивительный, не так ли? Этот материал все выбежали на Хольок. Мы built-- самый первый наука, что происходило в Holyoke был сотрудничество между себя и Бостонский университет. Так что это очень, очень круто. 

Это весело кусок науки для масштаба. Это цифровой доступ к Небо века в Гарварде. В основном, это архив пластины. Если вы идете вниз Oxford-- Сад Street, извините, Вы найдете один из обсерватории здания в основном полный около половины миллиона пластинок. 

И это фотографии небо ночью, более 100 лет. Так что вся установка создана оцифровку этих пластин, сфотографировать их, зарегистрируйтесь их, положить их на компьютере. И это петабайт и половина, только право there-- один небольшой проект. 

Эти и другие проекты. Этот проект Pan-STARRS делает полный широкий панорамный обзор, Ищу в районе астероидов Земли и переходные небесные события. В молекулярной биофизик, я люблю Слово переходный небесное явление. Я не совсем уверен, что это такое, но Во всяком случае, мы ищем для них. 

И мы генерируем 30 терабайт ночь из этих телескопов. И это на самом деле не пропускная способность Проблема, это как проблема FedEx. Таким образом, вы поставить хранилище на фургоне и вы посылаете его все, что есть. 

BICEP действительно interesting-- так фон изображения космической дополнительной галактической поляризации. Когда я впервые начал работать в Гарварде семь или около того, восемь лет назад, я помню, работая над этим проектом и это на самом деле не тонет Главная, почему поляризованном свете от космического микроволнового фон будет иметь важное значение, пока это не произошло. 

И это был Джон Ковач, кто я разговаривал с раньше, используя миллионы и миллионы процессора часов, на нашем предприятии и других, в основном смотрят внутрь первых моментов во вселенной после Большого Взрыва, и пытаясь понять, Общая теория относительности Эйнштейна. Это сногсшибательное, что наши компьютеры помогают нам разгадать и смотреть в самых истоков, почему мы здесь. 

Поэтому, когда вы говорите о масштабах, это какая-то серьезная масштаб. Другое дело, масштаба в том, что конкретный проект попал этих парней. И это кривая отклика для бицепса [Неразборчиво] Это был наш маленький обзор. 

И вы можете видеть здесь, жизнь было хорошо, пока об этом который был, когда Объявление вышел. И у вас есть буквально секунд, чтобы ответить в случае масштабного которые соответствует этой маленькой точкой здесь, которые в конечном итоге переход четыре или около того терабайт данных через веб-сервер что day-- довольно волосатый. 

И так, это типы вещей, которые может случиться с вами в вашей инфраструктуре если вы не дизайн для масштаба. У нас было немного карабкаться этот день, чтобы быть в состоянии охватить из достаточно веб-сервис держать сайт и работает. И мы были успешными. Это немного по электронной почте это мило. Это почта Марка Vogelsberger, и Ларс Hernquist, кто преподаватель здесь в Гарварде. Больше о марке позже. Но я думаю, что это один вроде подводит итог вид где вычислительное в Научно-исследовательский вычислительный. Эй, команда, так как в прошлом Вторник, вы, ребята, ломал более 28% от нового кластер, который объединил составляет более 78 лет CPU всего за три дня. И я сказал: это все-таки только в пятницу утром. Это является довольно удивительным! Счастливый пятницу! 

Тогда я даю им точки данных. И так, чтобы было довольно интересно. Так что помните о Марке, он придет вернуться в картину в немного. Так масштабируемыми вычислительными везде. 

Мы даже помогают люди смотрят в том, как функционирует НБА, и где люди бросание шаров с. Я действительно не понимаю эту игру слишком хорошо, но похоже, что это большое дело. Там же обручи и кубки и деньги. 

И так, в нашей базе данных, мы встроенный немного 500 [неразборчиво] параллельный процессор кластер, пара терабайт оперативной памяти, чтобы иметь возможность построить это Кирка и его команды. И они делают вычисления в совершенно другой путь. Теперь это проект мы связан с это Удивительное, вокруг нервных пластичность connectomics и геномная imprinting-- три очень тяжелый удара направления исследований что мы будем бороться с ПО изо дня в день. Идея, что наш мозг под пластик стресс, когда мы молоды. И многое из нашего поведения взрослого Скульптор опыт в зачаточном состоянии. Так что это большой Dealio. 

И так это работа, который финансируется за счет Национальные институты психического здоровья. И мы стараемся, чтобы в основном, через много больших объемов данных и большой анализ данных, добрый из вглядываться в нашей человеческого мозга с помощью различных различные методы. 

Поэтому я хотел бы остановиться и вид просто приостановить на некоторое время. Проблема с удаленного центры обработки данных является его далеко. Это не может работать. Мне нужно мои данные рядом. Мне нужно, чтобы мои исследования в моей лаборатории. 

И так я вроде взял пример функциональная магнитно-резонансная томография Набор данных по нашим данным центр в Западной Массачусетс. и связать его с моим стола в Кембридже. И я буду играть в эту немного видео. Надеюсь, это будет своего рода работа. 

Так что это меня идущий через Проверка моего чипы работают. И я проверяю, что до VNC-х годов. И это умный VNC. Это VNC с 3D штук. И так, как вы можете видеть в ближайшее время, это это я спиннинг это мозг вокруг. Я пытаюсь получить вид его направленность. И тогда я могу двигаться через многие различных срезов данных МРТ. И единственное, что отличается об этом есть, это идет по проводам из Западной Массачусетс. на мой рабочий стол. И его рендеринг быстрее, чем мой рабочий стол, потому что я не имею $ 4000 видеокарта в моем рабочем столе, что у нас есть из западной массовой. Я, конечно, пытаюсь быть умным. Я бегу GLX передач в фон, в то время как делать все это, чтобы убедиться, что я могу подчеркнуть графическую карту, и что это все рода работает и все остальное. Но главное в том, это 100 км. И вы можете видеть из этого, что нет никакой очевидной задержки. Вещи, которые вместе достаточно хорошо. 

И так, что само по себе, является примером и некоторое представление о том, как вычисления и масштабном развертывании вычислительная произойдет. Мы все работаем на все тоньше и тоньше устройства. Мы используем таблеток увеличивается. 

И поэтому, моя углерода след основном переход от того, что используется сделать что бы имею был огромная машина под моим столом, к тому, что Теперь facility-- может быть где угодно. Это может быть в любом месте на всех. И все же, это все еще в состоянии принести Вернуться высокопроизводительный графический в моем рабочем столе. 

Таким образом, становится рядом end-- помнить Марк? Ну, умный парень Марк. Он решил, что он собирается построить реалистичный виртуальный вселенную. Это довольно проект, когда вы думаю, вы должны передать это. Я собираюсь использовать компьютер, и я собираюсь для моделирования 12 миллионов лет после Big Bang представлять день. А потом я собираюсь сделать 13,8 миллиардов лет космической эволюции. Хорошо. 

Это на самом деле использует компьютер было больше, чем наш компьютер, и он перебросился на национальном ресурсы для наших друзей в Техасе. И к национальным объектов, это было много вычислительных. Но мы сделали много моделирование локально чтобы убедиться, что программное обеспечение работал и системы работали. 

И это дни, как это, когда тебя понять, что вы поддерживаете науки на этом уровне масштабе, то люди могут говорить вещи, как я иду на модели Вселенной. И это его первая модель. И это первая модель своей команды. Есть много других люди, которые собираются прийти за Марка, кто собирается хочу модель с высоким разрешением, с большим специфики, с большей точностью. 

И вот, в последние пару минут, Я просто хочу показать вам видео Марка и Ларс, что для меня, опять же, как жизнь ученого, это своего рода мило. Таким образом, это, в нижней здесь, чтобы быть наиболее достоверной, Это говорит вам о Время с момента Большого Взрыва. Так что мы примерно в 0,7 млрд лет. И это показывает текущее обновление. Таким образом, вы видите в настоящее время, темная материя и эволюция тонкой структуры и рано структуры в известной нам Вселенной. 

И дело с этим, что в этом Все это делается внутри компьютера. Это набор параметров и набор физике и множество математике и множество моделей которые тщательно отобраны, а затем тщательно соединены друг с другом чтобы иметь возможность моделировать взаимодействия. 

Таким образом, вы можете увидеть некоторые старты некоторые газообразные взрывы здесь. И температура газа меняется. И вы можете начать видеть структуру видимого изменения Вселенной. И важная часть с этим есть, каждый крошечный, крошечный, маленькая точка это часть физики и имеет Набор математике вокруг, информирования своего друга и своего соседа. 

Таким образом, с точки зрения масштабирования, это компьютеры всех работ в концерте и разговаривать друг с другом эффективно. Поэтому они не могут быть слишком болтливый. Они должны хранить свои результаты. И они должны продолжать информировать всех своих друзей. В самом деле, вы увидите сейчас, этой модели становится все более и более сложным. Там все больше и больше вещей происходит. Там все больше и больше Материал летают. 

И это то, что в начале Космос бы уже выглядел. Это было довольно волосатые место. Там же взрывы по всей место, мощные столкновения. И образование тяжелых металлы и элементы. И эти большие облака врезался в друг к другу с крайней силой. 

И вот теперь мы 9600000000 лет из этого первоначального взрыва. Вы начинаете видеть вещи вид успокоилась немного, только чуть-чуть, потому что энергия теперь начинает расслабляться. И так математические Модели получили, что на месте. И вы начинаете видеть Слияние различных элементов. И начинаем видеть эту вещь вид из собраться вместе и медленно охлаждают. 

И это начинает выглядеть немного больше похоже на ночное небо, немного. И это [? QSing. ?] Мы теперь 30,2 миллиард лет и мы вроде сделано. И тогда то, что они делали, было что они приняли эту модель, а затем посмотрел на видимой Вселенной. И в основном то были в состоянии взять, что и наложения это с тем, что вы можете видеть. И верность ошеломляет, как в насколько точны компьютерные модели. 

Конечно, астрофизики и исследовательские группы нужно еще лучше верность и даже с более высоким разрешением. Но если вы думаете о том, что Я говорю с вами сегодня этот небольшой плавания через оба хранение и структура и сети и стеки, главное, Весовая вычислительными важно? Это была моя оригинальная hypothesis-- назад к нашей научного метода. 

Я надеюсь, что в начале часть этого, я бы прогнозируют, что я был бы в состоянии объяснить с вами о масштабном вычислений. И мы как-то испытания некоторые из этих гипотез. Мы прошли через этот разговор. И я просто хочу сказать, горизонтального масштабирования вычисления essential-- о, Да, очень Да. 

Итак, когда вы думаете о ваших кодов, когда Вы делаете CS50 окончательные проекты, когда вы думаете о вашем наследия для человечества и ресурсов, которые мы должны быть в состоянии запустить эти компьютерные системы, думаю, очень тщательно о FLOPS на ватт, и думать о Хаоса Обезьяны. 

Подумайте о ваших снежинок, не сделать один-офф, библиотеки многократного использования, построить многоразовый codes-- все вещи, что преподаватели учили вас в этом классе. Это фундаментальные аспекты. Они не просто на словах. Это реальные вещи. 

И если кто из вас хочет следовать за мной, Я обсессивно с Twitter вещь. У меня как-то откажется. Но много справочная информация является на нашем Научно-исследовательский вычислительный сайт в rc.fas.harvard.edu. 

Я стараюсь держать в блоге до к Дата с современными технологиями и как мы делаем дистрибутив вычислений и так далее. И тогда наши сотрудники всегда доступны через odybot.org. И odybot наш маленький помощник. Он часто имеет мало конкурсы на своем сайте тоже, где вы можете попробовать и определить его по всему университетскому городку. Он дружелюбный немного Лицо Научно-исследовательский вычислительный. 

И я вроде обернуть есть и спасибо всем за ваше время. И я надеюсь, вы помните, что Масштабное вычисления реальная вещь. И есть много людей, у кого есть много предшествующего уровня техники кто сможет вам помочь. И все удачи с Ваши будущие усилия в принятии Уверены, что наше вычисления и весы, высокая исполнительская, и помогает человечеству более чем что-либо еще. Так что, спасибо вам за ваше время.