воскресенье, 31 октября 2010 г.

Троллинг - знать и противодействовать

Универсальное средство
для борьбы с троллями —
бан, а не то, что вы подумали.
Троллинг. Если вы ничего не слышали об этом виде интернет-активности – вы наивны как младенец. Если вы заходите на политический или коммерческий Интернет-ресурс и читаете отзывы о коммерческом продукте или политике,  при этом искренне веря, что  это изложение точек зрения читателей этого сайта, Вы абсолютно ничего не понимаете в технологиях черного пиара на просторах Интернета.

Пока вы заблуждаетесь в своей наивности, тролли разрушают целые порталы, а то и бренды, зарабатывая на этом деньги. Эта интернетовская «чума» появилась в США в 80-годы. Долгое время троллинг считался безобидным занятием спорщиков, которые игрались в  аргументы. Но во второй половине 1990-х появилась новая разновидность троллей, которые ставят своей целью целенаправленное уничтожение выбранной конференции, блога, форума. Первой жертвой тролля под ником Callidice стал известный политический портал Guardian Unlimited (аналог отечественной «Украинской правды»).  Троллю  удалось перессорить огромное количество юзеров,  запустить сотни провокаций. Читатели не могли уже спокойно оставлять свои комментарии,  им казалось, что за каждым новым комментарием или ником стоит тролль.  В конце концов, из-за  постоянных расистских споров, разгоравшихся по поводу и без, сайт был закрыт.

Мотивы троллей бывают разные. Психологические мотивы – достаточно ясны: некоторым просто нравится поспорить, самоутвердится, побороться интеллектом. Но наиболее циничный вариант троллинга – коммерческий или политический, попросту – заказной.  Эти люди четко организованы, группированы, технически оснащены. Они работают на заказ: «очернить» конкретную персону, политика, политсилу, и даже  коммерческий продукт. Именно в такой, гипертрофированной форме троллинг пришел в Рунет, а потом и в Укрнет. Первыми, кто его начали применять – были политтехнологи, поняв, что за сравнительно небольшие бюджеты можно «ковать» общественное мнение, заполоняя интернет комментариями  «нужного» политического  направления.  Сейчас троллинг в Украине взят на вооружение бойцами информационных войн. Начали появляться целые пиар-агентства, которые предлагают подобный вид услуг, только называют его другими терминами.

На одном сайте социальной журналистики, я как то нашла любопытную статью, где используется термин «Юлеботы» (http://www.rtkorr.com/news/2010/09/27/175443.new). Автор статьи пишет: «Юлеботы – общее название пользователей, целью пребывания которых на новостных сайтах, блогах, страницах интернет-изданий, является распространение материалов и комментариев агитационного содержания в поддержку БЮТ. Свое название они получили от имени лидера партии – Юлии Тимошенко…   Главная задача юлеботов – информационная поддержка БЮТ. На любом популярном сайте работает группа людей, которые поддерживают действия и заявления Тимошенко и обливают грязью ее противников. Изо всех сил штабные тролли пытаются создать видимость недовольства широких слоев населения существующей властью, для чего регистрируют сотни однотипных ников с якобы разных регионов Украины».

Если вспомнить все мало-мальски популярные политические ресурсы, то слова автора вышеприведенной статьи абсолютно адекватны. Даже в своем блоге, главный редактор «Украинской правды» г-жа Притула говорит о засилии БЮТовских троллей на ее веб-портале. Она пишет: «окружение Тимошенко допускает черные игры со всеми читателями украинского Интернета. Игры, искажающие реальность, зомбирующие мозги, одурманивающие. Они пишут из всех регионов страны, создавая сомнительную массовую поддержку своему лидеру.» (http://blogs.pravda.com.ua/authors/prytula/4a6077808c428/).

Но как же ip-адреса троллей спросите Вы? Ведь их не  так уж сложно определить администраторам сайтов и заблокировать. С этой небольшой сложностью отечественные тролли прекрасно справляются благодаря мобильному интернету. Дело в том, что при каждом новом сеансе подключения к Интернету через 3G- или GSM-модем, присваивается новый ip-адрес. Кроме того есть масса программ-анонимайзеров, которые меняют реальные ip-адреса. Сейчас УП ввел практику – под каждым комментарием показываются  ip-адрес комментатора. Пройдясь по ним, я с «удивлением» обнаружила, что оказывается масса поклонников БЮТ и лично леди Ю живут в таких экзотических странах, как Гондурас, Австралия, Руанда, Новая Гвинея и т.п., так как именно там зарегистрированы их фиктивные ip-ишники. Остальная львиная доля комментаторов под статьями об упомянутой политической силе оставляют свои комментарии с мобильных модемов.
Итак, я позволю дать несколько советов каждому, кто так ли иначе не хочет стать жертвой тролля.

Во-первых, как говорили римляне: Кто предупрежден – тот вооружен. Осознано подходите к проблеме троллинга. Читая отзывы о товаре, услугах компании, о публичном человеке или политической силе, помните, что наверняка на ветках популярных форумов или порталов сидят тролли, цель которых очернить одних и выгородить других. Не дайте собой манипулировать и тем более не принимайте какое-либо потребительское решение исключительно из информации, которую вы почерпнули на форумах. Будьте внимательны к информации, которую вам стараются навязать.

Во-вторых, никогда не отвечайте троллям в дискуссиях, не спорьте с ними. Помните старую детскую игру "купи слона" - это принцип работы  для тролля. Даже самые яркие аргументы они высмеют или игнорируют  и будут продолжать «гнуть свою линию». А вот абсолютно игнорируемый посетителями форума или сайта тролль, отписав положенное количество комментариев, попросту уйдет. Самое полезное, что Вы можете написать - это напомнить другим участникам дискуссии, что не надо вступать в спор с троллем (на форумах это формулируется как призыв: "Не кормите троллей!").

В-третьих, если на каком-либо сайте вы обнаружили активность троллей, не поленитесь и сообщите об этом администратору сайта. Более чем уверена, что админы «забанят» такого тролля.  Ведь регулярное удаление постов троллей с форума или сайта - признак хорошего тона и уважения к своим читателям.

Троллинг чрезвычайно деструктивное явление. И для веб-ресурса, который теряет своих читателей, и для пользователей Интернета, которым пытаются заморочить голову. Особо деструктивно оно для «жертв» троллей, которыми, как я уже говорила, может стать как публичный человек, так и торговая марка или компания. Например, на одном из блогов  я прочла рассказ о том, как троллинг использовался для компрометации одного из автомобильных производителей на территории Украины (http://novayagazeta.livejournal.com/139768.html?thread=2358264). Ну а пресс-службы любого политика, думаю, хотя бы один раз в своей практике встречались с троллями в сети, но, увы, многие из них просто закрывают глаза на эту проблему.

Пиар-отделам компаний или пресс-службам политиков, я очень рекомендую уделять внимание форумам и комментариям под статьями, где упоминается ваш бренд ли имя вашего политика.  Метод борьбы с троллями выбирают каждый свой собственный. Одни – нанимают анти-троллей, другие – «банят» троллей на корпоративных сайтах или подконтрольных порталах, третьи – нанимают айтишников, которые разрабатывают специальные программы – боты, невидимые для самих троллей и отправляющие  их в так называемые «изоляторы», где тролли общаются с машиной, а не с реальными посетителями сайта или форума. В любом случае, какой бы метод не был избран, важно помнить, что троллей нужно игнорировать лишь в дискуссиях, но вот само явление троллинга необходимо выявлять и  ему противодействовать.


Серова Ирина Игоревна 
кандидат юридических наук, доцент
PR консультант (юридический бизнес, политтехнологии, имидж-консалтинг, новые медиа 2.0)

суббота, 30 октября 2010 г.

Ubuntu Privacy Remix 10.04.1 LTS

Сверхзащищенный вариант Ubuntu Linux



14.10.2010 года вышел релиз LiveDVD дистрибутива Ubuntu Privacy Remix 10.04r1 (UPR) , перешедшего на пакетную базу Ubuntu Linux 10.04.1


Ubuntu Privacy Remix это дистрибутив от немецких разработчиков предназначенный для обеспечения максимально возможной степени изоляции системы, для защиты персональных данных пользователя. Кроме средств для предотвращения проникновения злонамеренного кода, такого как троянские программы, модули перехвата клавиатурного ввода и руткиты, в дистрибутиве используются и средства для противостояния средствам слежения и мониторинга активности пользователей, внедряемым некоторыми правительствами.


Ключевые особенности дистрибутива:

- Базовая система работает только c CD-диска в режиме для чтения. Дистрибутив не предназначен для установки на жесткий диск, дополнительные программы, включая вредоносные, доустановить невозможно;
— Все внешние накопители и локальные жесткие диски ПК могут быть смонтированы только в режиме "noexec", недопускающем выполнение программ с внешних носителей;
— Из Linux ядра убрана поддержка оборудования для работы в сети, дистрибутив работает полностью автономно, задействование LAN/WLAN/Bluetooth запрещено;
— В дистрибутиве используются только open source программы, исходные тексты которых доступны для аудита;
— Для хранения настроек пользователя, таких как файлы конфигурации программ и PGP-ключи, используется технология "extended TrueCrypt-Volumes", позволяющая прозрачно накладывать на основную ФС примонтированные из зашифрованного раздела данные;
— В базовой поставке дистрибутива присутствует комплект локализации для русскоязычных пользователей.


Основные улучшения Privacy Remix 10.04r1:

- В поставку включена новая версия TrueCrypt 6.3a. Переход на версию 7.0 отложен, так как там произведено изменение формата контейнера и он еще не прошел полный аудит;
— Вместо ПО Seahorse добавлен собственный фронтэнд к GnuPG, позволяющий обслуживать группы ключей и выполнять такие операции, как восстановления оригинальных имен файлов. Настройка осуществляется через меню "Applications — Security — GnuPG Settings". Фронтэнд оптимизирован для работы с большим набором ключей (более 300), поддерживаются операции поиска и фильтрации вывода. Для кэширования паролей задействован обычный gpg-agent, но для управления ключами по прежнему используются функции Seahorse;
— В состав включены новые программы: VYM Mindmapper, GIMP, Xterm
— Упрощен процесс создания и использования дисковых разделов, зашифрованных при помощи LUKS;

Сайт проекта

Размер isо-образа — 888 Мб

Скачать Ubuntu Privacy Remix 10.04.1 LTS

Перевод взят отсюда

Делаем backup Ubuntu

В этом уроке показывается как сделать бэкап резервной копии Linux Ubuntu.

Просмотрим имеющие разделы, чтобы знать какой раздел нам нужен для создания бэкапа. Для этого откройте терминал. Введите в нем следующую команду:

df -h

На экран выведится список имеющхся разделов, нам нужен раздел который примонтирован как слеш / например как:

/dev/sda1

У вас он может быть другой. Создадим копию именно этого раздела. Вы можете создать бэкап других разделов аналогиным способом. Для создания бэкапа введите следующую команду:

sudo dd if=/dev/sda1 bs=8096 | gzip -9cf > root.gz

(if=/dev/sda1) это путь раздела, (root.gz) это название сохраняемого бэкапа.

Начнется посекторное копирование выбранного раздела, это может занять продолжительное время.

Бэкап сохранится в домашний каталог с именем root.gz. Вы можете его оставить там же или скопировать на другой носитель.

Как этот бэкап развернуть?

Вам нужно загрузиться с LiveCD, затем открыть терминал и ввести в нем следующую команду чтобы получить права ROOT:

sudo su

Для развертывания бэкапа введите следующее:

gunzip -c /media/(далее указываете расположение бэкапа)/root.gz | dd of=/dev/sda1 bs=8096

(if=/dev/sda1) это путь раздела, (root.gz) это название сохраняемого бэкапа.

Развертываение бэкапа может занять продолжительное время.

То же самое в видеоуроке.



Сделал стенографию с видеоурока Панзина Сергея.

пятница, 29 октября 2010 г.

Архитектура Вконтакте

Самая популярная социальная сеть в рунете пролила немного света на то, как же она работает. Представители проекта в лице Павла Дурова и Олега Илларионова на конференции HighLoad++ ответили на шквал вопросов по совершенно разным аспектам работы Вконтакте, в том числе и техническим. Спешу поделиться своим взглядом на архитектуру проекта по результатам данного выступления.

Платформа

* Debian Linux — основная операционная система
* nginx — балансировка нагрузки
* PHP + XCache
* Apache + mod_php
* memcached
* MySQL
* Собственная СУБД на C, созданная «лучшими умами» России
* node.js — прослойка для реализации XMPP, живет за HAProxy
* Изображения отдаются просто с файловой системы xfs
* ffmpeg — конвертирование видео


Статистика

* 95 миллионов учетных записей
* 40 миллионов активных пользователей во всем мире (сопоставимо с аудиторией интернета в России)
* 11 миллиардов запросов в день
* 200 миллионов личных сообщений в день
* Видеопоток достигает 160Гбит/с
* Более 10 тысяч серверов, из которых только 32 — фронтенды на nginx (количество серверов с Apache неизвестно)
* 30-40 разработчиков, 2 дизайнера, 5 системных администраторов, много людей в датацентрах
* Каждый день выходит из строя около 10 жестких дисков

Архитектура
Общие принципы

* Cервера многофункциональны и используются одновременно в нескольких ролях:
o Перебрасывание полуавтоматическое
o Требуется перезапускать daemon'ы
* Генерация страниц с новостями (микроблоги) происходит очень похожим образом с Facebook (см. Архитектура Facebook), основное отличие — использование собственной СУБД вместо MySQL
* При балансировке нагрузки используются:
o Взвешенный round robin внутри системы
o Разные сервера для разных типов запросов
o Балансировка на уровне ДНС на 32 IP-адреса
* Большая часть внутреннего софта написано самостоятельно, в том числе:
o Собственная СУБД (см. ниже)
o Мониторинг с уведомлением по СМС (Павел сам помогал верстать интерфейс :) )
o Автоматическая система тестирования кода
o Анализаторы статистики и логов
* Мощные сервера:
o 8-ядерные процессоры Intel (по два на сервер, видимо)
o 64Гб оперативной памяти
o 8 жестких дисков (соответственно скорее всего корпуса 2-3U)
o RAID не используется
o Не брендированные, собирает компания ТехноОкта
* Вычислительные мощности серверов используются менее, чем на 20%
* Сейчас проект расположен в 4 датацентрах в Санкт-Петербурге и Москве, причем:
o Вся основная база данных располагается в одном датацентре в Санкт-Петербурге
o В Московских датацентрах только аудио и видео
o В планах сделать репликацию базы данных в другой датацентр в ленинградской области
* CDN на данный момент не используется, но в планах есть
* Резервное копирование данных происходит ежедневно и инкрементально

Волшебная база данных на C

Этому продукту, пожалуй, уделялось максимум внимания аудитории, но при этом почти никаких подробностей о том, что он собственно говоря собой представляет, так и не было обнародовано. Известно, что:

* Разработана «лучшими умами» России, победителями олимпиад и конкурсов топкодер; озвучили даже имена этих «героев» Вконтакте (писал на слух и возможно не всех успел, так что извиняйте):
o Андрей Лопатин
o Николай Дуров
o Арсений Смирнов
o Алексей Левин
* Используется в огромном количестве сервисов:
o Личные сообщения
o Сообщения на стенах
o Статусы
o Поиск
o Приватность
o Списки друзей
* Нереляционная модель данных
* Большинство операций осуществляется в оперативной памяти
* Интерфейс доступа представляет собой расширенный протокол memcached, специальным образом составленные ключи возвращают результаты сложных запросов (чаще всего специфичных для конкретного сервиса)
* Хотели бы сделать из данной системы универсальную СУБД и опубликовать под GPL, но пока не получается из-за высокой степени интеграции с остальными сервисами
* Кластеризация осуществляется легко
* Есть репликация
* Если честно, я так и не понял зачем им MySQL с такой штукой — возможно просто как legacy живет со старых времен

Аудио и видео

Эти подпроекты являются побочными для социальной сети, на них особо не фокусируются. В основном это связанно с тем, что они редко коррелируют с основной целью использования социальной сети — общением, а также создают большое количество проблем: видеотраффик — основная статья расходов проекта, плюс всем известные проблемы с нелегальным контентом и претензиями правообладателей. Медиа-файлы банятся по хэшу при удалении по просьбе правообладателей, но это неэффективно и планируется усовершенствовать этот механизм.

1000—1500 серверов используется для перекодирования видео, на них же оно и хранится.
XMPP

Как известно, некоторое время назад появилась возможность общаться на Вконтакте через протокол Jabber (он же XMPP). Протокол совершенно открытый и существует масса opensource реализаций.

По ряду причин, среди которых проблемы с интеграцией с остальными сервисами, было решено за месяц создать собственный сервер, представляющий собой прослойку между внутренними сервисами Вконтакте и реализацией XMPP протокола. Основные особенности этого сервиса:

* Реализован на node.js (выбор обусловлен тем, что JavaScript знают практически все разработчики проекта, а также хороший набор инструментов для реализации задачи)
* Работа с большими контакт-листами — у многих пользователей количество друзей на вконтакте измеряется сотнями и тысячами
* Высокая активность смены статусов — люди появляются и исчезают из онлайна чаще, чем в других аналогичных ситуациях
* Аватарки передаются в base64
* Тесная интеграция с внутренней системой обмена личными сообщениями Вконтакте
* 60-80 тысяч человек онлайн, в пике — 150 тысяч
* HAProxy обрабатывает входящие соединения и используется для балансировки нагрузки и развертывания новых версий
* Данные хранятся в MySQL (думали о MongoDB, но передумали)
* Сервис работает на 5 серверах разной конфигурации, на каждом из них работает код на node.js (по 4 процесса на сервер), а на трех самых мощных — еще и MySQL
* В node.js большие проблемы с использованием OpenSSL, а также течет память
* Группы друзей в XMPP не связаны с группами друзей на сайте — сделано по просьбе пользователей, которые не хотели чтобы их друзья из-за плеча видели в какой группе они находятся

Интеграция со внешними ресурсами

Во Вконтакте считают данное направление очень перспективным и осуществляют массу связанной с этим работы. Основные предпринятые шаги:

* Максимальная кроссбраузерность для виджетов на основе библиотек easyXDM и fastXDM
* Кросс-постинг статусов в Twitter, реализованный с помощью очередей запросов
* Кнопка «поделиться с друзьями», поддерживающая openGraph теги и автоматически подбирающая подходящую иллюстрацию (путем сравнивание содержимых тега и атрибутов alt у изображений, чуть ли не побуквенно)
* Возможность загрузки видео через сторонние видео-хостинги (YouTube, RuTube, Vimeo, и.т.д.), открыты к интеграции с другими

Интересные факты не по теме

* Процесс разработки близок к Agile, с недельными итерациями
* Ядро операционной системы модифицированно (на предмет работы с памятью), есть своя пакетная база для Debian
* Фотографии загружаются на два жестких диска одного сервера одновременно, после чего создается резервная копия на другом сервере
* Есть много доработок над memcached, в.т.ч. для более стабильного и длительного размещения объектов в памяти; есть даже persistent версия
* Фотографии не удаляются для минимизации фрагментации
* Решения о развитии проекта принимают Павел Дуров и Андрей Рогозов, ответственность за сервисы — на них и на реализовавшем его разработчике
* Павел Дуров откладывал деньги на хостинг с 1 курса :)

Подводим итоги

В целом Вконтакте развивается в сторону увеличения скорости распространения информацию внутри сети. Приоритеты поменялись в этом направлении достаточно недавно, этим обусловлено, напимер, перенос выхода почтового сервиса Вконтакте, о котором очень активно говорили когда появилась возможность забивать себе текстовые URL вроде vkontakte.ru/ivan.blinkov. Сейчас этот подпроект имеет низкий приоритет и ждет своего часа, когда они смогут предложить что-то более удобное и быстрое, чем Gmail.

Завеса тайны насчет технической реализации Вконтакте была немного развеяна, но много моментов все же остались секретом. Возможно в будущем появится более детальная информация о собственной СУБД Вконтакте, которая как оказалось является ключом к решению всех самых сложных моментов в масштабируемости системы.

Как я уже упоминал этот пост написан почти на память, на основе небольшого конспекта «круглого стола Вконтакте», так что хочется сразу извиниться за возможные неточности и недопонимания. Я лишь структурировал хаотичную кучу ответов на вопросы. Буду рад уточнениям и дополнениям.

Опубликовано 28 октября 2010, автор: Иван Блинков

Видеоуроки для Linux Ubuntu 10.04


Предисловие. Основы Linux. Краткая история становления. Зачем переходить на Linux. (записывается)

Год выпуска: 2010
Используемый видеокодек: xvid
Разрешение видео: 1280*1024

Чтобы скачать, щелкните правой кнопкой мыши по уроку и из контекстного меню выберите сохранить объект как (сохранить по ссылке как)

Урок 0. Подготовка к установке Ubuntu 10.04 (130 Мб)
Урок 1. Настройка Bios (30,2 Мб)
Урок 2. Установка Linux Ubuntu 10.04 (108 Мб)
Урок 3. Файловый менеджер в Linux Ubuntu 10.04 (65,6 Мб)
Урок 4. Работа с файловой системой в командной строке (166,0 Мб)
Урок 5. Установка драйвера видеокарты NVIDIA (117 Мб)
Урок 6. Обзор графической среды Gnome (80,6 Мб)
Урок 7. Настройка внешнего вида графической среды Gnome (67,7 Мб)
Урок 8. Установка программ в Linux Ubuntu 10.04 (94 Мб)
Бонусный. Как быстро найти ответ по системе Linux

Уроки на популярном видеосервисе YouTube


Панзин Сергей