Антиалиасинг (сглаживание). 

 
   Если вы не знаете, что такое алиасинг и антиалиасинг, то можете посмотреть в интернете. Вкратце (цитата из википедии): http://ru.wikipedia.org/wiki/. Сглаживание    ----    Основной принцип сглаживания — использование возможностей устройства вывода для показа оттенков цвета, которым нарисована кривая. В этом случае пикселы, соседние с граничным пикселом изображения, принимают промежуточное значение между цветом изображения и цветом фона, создавая градиент и размывая границу.    ----    В общем можно сказать, что антиалиасинг - это то, как сглаживаются пикселы на границах контрастных цветов. Даже с настройками по умолчанию в VRay сглаживание краёв есть. Но есть дополнительная обработка финальной картинки, которая называется Antialiasing Filter.    В настройках VRay фильтр антиалиасинга выставляется в закладке VRay в свитке Image Sampler (Antialiasing). Можно поставить галочку On и выбрать из выпадающего меню возможные варианты. По умолчанию фильтр антиалиасинга включён и выбран пункт Area.

   Теперь посмотрим разницу при увеличении. Я взял варианты: отключённый фильтр антиалиасинга, Area (по умолчанию), Catmull-Rom и Mitchell-Netravali. Конечно, в некоторых случаях разницу реально можно увидеть, только поставив картинки как слои в Photoshop и включая/отключая их. Но всё равно присмотримся.

   Отключённый фильтр антиалиасинга и Area. На Area картинка как будто немного размыта, это заметнее на контрастных краях. В Photoshop похожего эффекта можно добиться, применив фильтр размытия по Гауссу с радиусом около 0.2 пиксела. То есть значения соседних пикселов чуть-чуть "усредняются".    Catmull-Rom и Mitchell-Netravali действуют по-другому. Вдоль тёмной границы добавляется светлая полоска, вдоль светлой - тёмная (в Mitchell-Netravali больше настроек, которые позволяют менять результат от почти незаметного до такого, что Catmull-Rom нервно курит в сторонке, например при Ringing=2 и Blur=0 эффект псевдо-резкости намного превышает тот же эффект при Catmull-Rom). В результате картинка выглядит более резкой, хотя это просто обман зрения. На самом деле это полезно, но с моей точки зрения проще отрендерить картинку без фильтра антиалиасинга, а потом в Photoshop применить фильтр Unsharp Mask или Smart Sharpen (в Photoshop верхнее меню Filter/Sharpen), которые делают то же самое, но с большим количеством настроек а, главное, без необходимости пересчитывать картинку, если что-то не понравилось.