DuckDuckGo: Как устроена технология Smarter Encryption?

DuckDuckGo Privacy Essentials – простенькое расширение, обеспечивающее базовую защиту приватности в интернете. Однако в отличие от конкурентов оно не только блокирует скрытые рекламные трекеры, но и шифрует ваш трафик, автоматически открывая https-версии нужных вам сайтов. Как устроена технология Smarter Encryption и в чём её основные отличия от конкурентов? Перевод заметки DuckDuckGo.

Для справки:

  • Smarter Encryption – один из важнейших компонентов как мобильного браузера DuckDuckGo, так и браузерного расширения DuckDuckGo Privacy Essentials.
  • Благодаря Smarter Encryption более 80% переходов по ссылкам из поисковой выдачи DuckDuckGo происходит через безопасное https-соединение.
  • Pinterest также использует Smarter Encryption, чтобы защитить переходы по внешнем ссылкам.
  • Код Smarter Encryption от DuckDuckGo открыт для исследования.

Как устроена технология Smarter Encryption?

Временами, путешествуя по просторам глобальной паутины, вы ставите под удар свою конфиденциальность. Например, если в адресной строке вместо уже привычного https:// вы видите давно забытый http://, соединение с этим сайтом не шифруется, а значит, всё, что все вы делаете на странице, может быть доступно как администрации сайта, так и тем, кто решит покопаться в вашем трафике.

Если же адрес сайта начинается с https:// (вы ведь заметили букву «s», правда?), соединение с ним зашифровано, а значит, все ваши действия на сайте скрыты от посторонних. Если кто-то попытается отследить ваш трафик, ничего, кроме самого домена, он не увидит. Всё, что вы делаете на сайте (включая точный адрес заинтересовавшей вас страницы и ваши поисковые запросы), посторонним покажутся лишь пустым набором случайных символов.

Благодаря HTTPS вся информация, кроме самого домена, надёжно зашифрована

Одна буква способна полностью изменить подход к защите приватности! И нам бы хотелось, чтобы у наших пользователей была возможность по максимуму использовать преимущества зашифрованного трафика. Smarter Encryption защитит большинство ваших соединений, а следовательно, существенно повысит и уровень вашей конфиденциальности в интернете.

Например, именно благодаря Smarter Encryption около 81% сайтов в поисковой выдаче DuckDuckGo откроется с помощью безопасного https-соединения. Будьте уверены: вне зависимости от того, куда занесут вас поиски нужной вам информации, DuckDuckGo сделает всё, чтобы там было безопасно.

И в этом нелёгком деле нас поддерживают многочисленные партнёры: например, Pinterest использует Smarter Encryption для того, чтобы защитить переходы по внешнем ссылкам (до 80% внешних ссылок теперь ведут на безопасные версии сайтов).

Блокировка скрытых рекламных трекеров, приватная поисковая система и умное шифрования – это тот уровень конфиденциальности, который мы считаем базовым. Smarter Encryption – один из важнейших компонентов как мобильного браузера DuckDuckGo (iOS / Android), так и браузерного расширения DuckDuckGo Privacy Essentials (Firefox / Chrome). Инструменты DuckDuckGo доступны пользователям всех популярных платформ и совершенно бесплатны.

Ниже мы постараемся объяснить, как именно работает Smarter Encryption и насколько данная технология эффективна в сравнении с аналогичными инструментами от наших «конкурентов». Кстати, сегодня мы опубликовали исходный код Smarter Encryption, и теперь любой желающий может своими глазами увидеть наше творение изнутри.

Многие уверены, что в интернете нет места для конфиденциальности. Мы же уверены в том, что пока это вовсе не так, а значит, наш общий долг — бороться за будущее без постоянной слежки. И порой даже такие простые инструменты способны изменить подход к цифровой приватности…

Как работает Smarter Encryption?

В основе Smarter Encryption лежит внушительный список сайтов, у которых уже есть безопасная https-версия. Список этот сгенерирован специальным алгоритмом, который постоянно прочёсывает интернет в поисках новых https-сайтов. Если сайт попал в этот список, приложение / расширение автоматически откроет именно https-версию.

Всё ещё слишком сложно? Что ж… У многих сайтов уже есть безопасная https-версия, однако устаревшая http-версия по каким-то причинам всё ещё доступна. И зачастую именно эту незашифрованную версию сайт предлагает открывать по умолчанию. Здесь в дело вступает Smarter Encryption и автоматически переводит вас на https-версию сайта.

Однако, даже если у сайта есть безопасная https-версия и именно её сайт предлагает пользователям по умолчанию, ваш запрос к сайту может остаться незашифрованным. Это особенно актуально для социальных сетей, где довольно часто публикуют http-ссылки. Если ссылка ведёт на один из сайтов из нашего списка, Smarter Encryption автоматически добавит в URL-адрес букву «s» и превратит небезопасное http-соединение в безопасное https.

Кстати, у нас уже есть заметка с подробным описанием того, как именно работает шифрование. Ознакомится с ней вы можете здесь.

Чем Smarter Encryption отличается от конкурентов?

Если вы используете Smarter Encryption, большая часть того, что вы делаете в интернете, надёжно скрыта от посторонних (благодаря надёжному и безопасному https-соединению).

Помимо собственного списка зашифрованных https-сайтов, Smarter Encryption использует также HSTS Preload List от Chromium и HTTPS Everywhere от Фонда электронных рубежей (EFF). В своё время EFF были новаторами в этой области (когда-то они вручную добавляли сайты в белый список), но времена изменились, и сегодня мы генерируем список https-сайтов автоматически. Кроме того, мы регулярно сканируем и сам список: если что-то сломалось или сайт пережил существенные изменения, мы заметим и исправим это прежде, чем пользователь столкнётся с проблемой.

Когда вы вводите адрес сайта или переходите по ссылке, вы ждёте, что браузер зашифрует максимальное количество соединений. И в процентном соотношении Smarter Encryption действительно опережает большинство конкурентов.

Сравнение списков HTTPS по охвату трафика

Список – количество записей – охват трафика:

  • Chromium HSTS Preload – 85 000 – 12%
  • EFF HTTPS Everywhere – 125 000 – 27%
  • DuckDuckGo Smarter Encryption – 12 000 000 – 81%

Результаты могут варьироваться в зависимости от конкретной ситуации, но логика тут простая: чем больше сайтов находится в нашем списке, тем больше трафика мы можем охватить. А раз Smarter Encryption уже включает в себя списки HTTPS Everywhere и HSTS Preload, то и охват трафика у него существенно выше. Кстати, сейчас мы ведём переговоры с EFF, и, возможно, совсем скоро наш список Smarter Encryption будет доступен и в их расширении HTTPS Everywhere.

Мы регулярно проверяем сертификаты известных нам сайтов и примерно раз в две недели заново оцениваем каждый сайт. Кроме того существенный вклад в выявление новых https-сайтов вносит и наша поисковая система.

С недавних пор Smarter Encryption – это проект с открытым исходным кодом. Ознакомится с ним можно на сайте GitHub, лицензия Apache 2.0. Мы были бы рады, если бы вы включились в работу и указали нам на возможные ошибки. Сам список распространяется по лицензии Creative Commons Attribution-NonCommercial-ShareAlike 4.0. Если хотите использовать его в коммерческих целях, пожалуйста, свяжитесь с нами.

Утка Дэкс,
команда DuckDuckGo

19 ноября 2019 г.

Comment