Что такое ftp? Поиск файлов. Способы передачи файлов. Особенности протокола. Основные функции, правила работы

<

051614 1423 ftp1 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работыFTP — File Transfer Protocol. Главное назначение FTP — это пересылать (копировать, передавать) файлы. FTP можно использовать самостоятельно, а также через другие системы, например, WWW имеет FTP как часть своего протокола.

FTP серверы разбросаны по всему миру, но для соединения с ними не требуется знания их физического расположения. В Internet к компьютеру обращаются по адресу. Например, FTP сервер фирмы Borland имеет адрес ftp.borland.com

Итак, предположим, что Вам известен адрес нужного FTP сервера . Теперь неплохо было бы соединиться с ним. Это делается с помощью специальной программы, которая называется FTP клиент. Раньше, когда выход в Internet имели только UNIX-компьютеры, все FTP клиенты были одинаковы: командная строчка со стандартным набором команд и все. Сейчас же, во времена оконных систем, появилось много программ, при использовании которых не требуется запоминать синтаксис команд, а файлы просто-напросто перетаскиваются мышкой. Однако и в их основе лежит стандартная система команд FTP. На каждое действие мышью FTP клиент генерирует последовательность FTP-команд.

Сервис FTP (File Transfer Protocol) позволяет пользователям одной машины получать доступ к файловой системе другой и получать (передавать) файл с машины на машину. FTP является внутренним протоколом передачи файлов операционной системы UNIX.

FTP является интерфейсом пользователя, реализующий ARPANET стандартный (IP) протокол передачи файлов. Эта программа позволяет пользователю передавать файлы между двумя компьютерами, связанными между собой локальной или глобальной сетью. При этом компьютерные платформы могут быть различных типов, что составляет главную особенность сервиса FTP в Internet.

 

Существует два способа организации доступа к файловой системе удаленного компьютера (системы) по протоколу FTP: авторизованный и анонимный.

Авторизованный доступ. На конкретной удаленной системе использовать авторизованный доступ имеют право только пользователи этой удаленной системы, после подтверждения своего пользовательского имени (login или user name) и пароля (password), то есть после входа в систему. После входа в систему пользователь, как правило, получает доступ к своему домашнему каталогу и ко всем другим файловым ресурсам удаленной системы, к которым он имеет права на доступ.

Анонимный доступ FTP является весьма новой службой Интернет, возникшей в конце 80-х годов. Такой доступ обеспечивается под видом специально выделенного пользователя (которого чаще всего зовут «anonymous» и который имеет пароль, совпадающий с адресом электронной почты). При входе в систему с правами «anonymous» получаете доступ к специально выделенному для этих пользователей каталогом (как правило, только на чтение), который называется FTP-сервером. Сообщать серверу в качестве пароля адрес своей электронной почты не является обязательным, считается правилом «хорошего тона» в поведении пользователя.

С момента организации анонимного FTP доступа на многих машинах в сети Internet созданы такого типа каталоги (анонимного FTP сервера), которые накопили огромные коллекции (терабайты информации) архивов программных средств, всевозможной документации, художественной литературы, компьютерных фильмов, музыки и дp. Как правило, эта служба на большинстве FTP серверах работает бесплатно, хотя существуют сервера (например, в сети RELCOM), которые предоставляют информацию только своим пользователем.

На FTP серверах находятся гигантские архивы файлов, в которых можно найти базовое программное обеспечение, утилиты и новые версии драйверов, программы исправления замеченных в коммерческих программах ошибок (patches), документацию, адреса, сборники и многое другое. Практически все, что может быть предоставлено мировому сообществу в виде файлов, доступно с серверов anonymous FTP. Это и программы — свободно распространяемые и демонстрационные версии, это и мультимедиа, это, наконец, просто тексты — законы, книги, статьи, отчеты.

Доступ к FTP серверу, в большинстве операционных систем, как правило, организован через вызов специальной утилиты ftp. Хотя существуют различные программные оболочки, как под UNIX (например, ncftp2), так и под MS Windows (например, Norton Navigator), реализующие протокол FTP и облегчающие работу с этой службой Интернет.

Таким образом, если вы имеете IP-соединение и выход в глобальный Интернет, то вызвав утилиту ftp, набрав соответствующий адрес (или имя FTP-сервера), назвавшись «anonymous» и послав в качестве пароля свой E-mail адрес вы получите доступ к выбранному вами файловому архиву.

Например:

>ftp ftp.ict.nsc.ru

ftp>login: anonymous

ftp>passwd: ваш@email.адрес

Анонимный доступ к FTP серверу можно получить также, используя программу просмоторщик WWW страниц (MS Internet Explorer или Netscape Navigator). К тому же большинство FTP серверов позволяют получать файлы и по электронной почте.

По FTP доступу anonymous вам доступны файлы, хранящиеся на в файловых архивах по всему миру. Много информации, хранящейся на различных серверах в той или другой степени задублирована, к тому же многие сервера имеют mirror-сервера, расположенный в разных частях мировой сети и сами можете выбирать с какого сервера лучше перекачивать ту или иную информацию.

Простейшая модель работы протокола FTP представлена на рисунке 1. В FTP соединение инициируется интерпретатором протокола пользователя. Управление обменом осуществляется по каналу управления в стандарте протокола TELNET. Команды FTP генерируются интерпретатором протокола пользователя и передаются на сервер. Ответы сервера отправляются пользователю также по каналу управления. В общем случае пользователь имеет возможность установить контакт с интерпретатором протокола сервера и отличными от интерпретатора протокола пользователя средствами.

051614 1423 ftp2 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

Рис.1.Модель работы протокола FTP

 

FTP (File Transfer Protocol — протокол передачи файлов) —

протокол семейства TCP/IP, обеспечивающий возможность найти, получить и переслать нужные файлы через Internet с одного компьютера на другой.

Команды FTP определяют параметры канала передачи данных и самого процесса передачи. Они также определяют и характер работы с удаленной и локальной файловыми системами.

Сессия управления инициализирует канал передачи данных. При организации канала передачи данных последовательность действий другая, отличная от организации канала управления. В этом случае сервер инициирует обмен данными в соответствии с согласованными в сессии управления параметрами.

Канал данных устанавливается для того же хоста, что и канал управления, через который ведется настройка канала данных. Канал данных может быть использован как для приема, так и для передачи данных.

Алгоритм работы протокола FTP состоит в следующем:

Сервер FTP использует в качестве управляющего соединение на TCP порт 21, который всегда находится в состоянии ожидания соединения со стороны пользователя FTP.

После того как устанавливается управляющее соединение модуля «Интерпретатор протокола пользователя» с модулем сервера — «Интерпретатор протокола сервера», пользователь (клиент) может отправлять на сервер команды. FTP-команды определяют параметры соединения передачи данных: роль участников соединения (активный или пассивный), порт соединения (как для модуля «Программа передачи данных пользователя», так и для модуля «Программа передачи данных сервера»), тип передачи, тип передаваемых данных, структуру данных и управляющие директивы, обозначающие действия, которые пользователь хочет совершить (например, сохранить, считать, добавить или удалить данные или файл и другие).

После того как согласованы все параметры канала передачи данных, один из участников соединения, который является пассивным (например, «Программа передачи данных пользователя»), становится в режим ожидания открытия соединения на заданный для передачи данных порт. После этого активный модуль (например, «Программа передачи данных сервера») открывает соединение и начинает передачу данных.

После окончания передачи данных, соединение между «Программой передачи данных сервера» и «Программой передачи данных пользователя» закрывается, но управляющее соединение «Интерпретатора протокола сервера» и «Интерпретатора протокола пользователя» остается открытым. Пользователь, не закрывая сессии FTP, может еще раз открыть канал передачи данных.

Возможна ситуация, когда данные могут передаваться на третью машину. В этом случае пользователь организует канал управления с двумя серверами и прямой канал данных между ними. Команды управления идут через пользователя, а данные — напрямую между серверами. Канал управления должен быть открыт при передаче данных между машинами. Иначе, в случае его закрытия передача данных прекращается.

Основу передачи данных FTP составляет механизм установления соединения между соответствующими портами и выбора параметров передачи. Каждый участник FTP-соединения должен поддерживать порт передачи данных по умолчанию. По умолчанию «Программа передачи данных пользователя» использует тот же порт, что и для передачи команд (обозначим его «U»), а «Программа передачи данных сервера» использует порт L-1, где «L»- управляющий порт. Однако участниками соединения используются порты передачи данных, выбранные для них «Интерпретатором протокола пользователя», поскольку из управляющих процессов участвующих в соединении, только «Интерпретатор протокола пользователя» может изменить порты передачи данных как у «Программы передачи данных пользователя», так и у «Программы передачи данных сервера».

Пассивная сторона соединения должна до того, как будет подана команда «начать передачу», «слушать» свой порт передачи данных. Активная сторона, подающая команду к началу передачи данных, определяет направление перемещения данных.

После того как соединение установлено, между «Программой передачи данных сервера» и «Программой передачи данных пользователя» начинается передача. Одновременно по каналу «Интерпретатор протокола сервера» — «Интерпретатор протокола пользователя» передаются уведомления о получении данных. Протокол FTP требует, чтобы управляющее соединение было открыто, пока по каналу обмена данными идет передача. Сессия FTP считается закрытой только после закрытия управляющего соединения.

Как правило, сервер FTP ответственен за открытие и закрытие канала передачи данных. Сервер FTP должен самостоятельно закрыть канал передачи данных в следующих случаях:

Сервер закончил передачу данных в формате, который требует закрытия соединения.

Сервер получил от пользователя команду «прервать соединение».

Пользователь изменил параметры порта передачи данных.

Было закрыто управляющее соединение.

Возникли ошибки, при которых невозможно возобновить передачу данных.

Общие недостатки:

– невысокая надежность соединения на плохих линиях;

– встречающиеся проблемы при обрыве соединения со включенным proxy;

– невысокая скорость работы из-за закрытия соединения после пересылки;

– недоступность файлов через ftp, адресуемых через протокол http (хотя это и не недостаток самого http, это его особенность.)

– требуется установка FTP-клиента;

– после закачки необходимо проверить ключевые слова и отправить снимки на проверку через Web-интерефейс

Недостатки FTP-серверов:

FTP-серверы представляют собой потенциальную дыру в системе безопасности сети. Поэтому если не планируется организация архивов, библиотек, т.е. хранилищ данных, доступных для широкого доступа, лучше не запускать FTP-сервер вообще. Однако данный сервис широко распространен, поэтому его безопасности необходимо уделить самое пристальное внимание. Следует сразу заметить, что все FTP-серверы уязвимы в той или иной степени. Но различия в реализации и конфигурации приводят в одних случаях к отказу от обслуживания, а в других — к полному контролю над хостом. Причем из-за особенностей протокола FTP могут быть поражены как серверы, так и клиенты.

FTP серверы достаточно неустойчивы к DoS атакам.

Одной из проблем FTP-серверов является отсутствие проверки подлинности источника пакетов. Суть в следующем: при установке соединения сервер прослушивает один из TCP портов, сообщает его номер клиенту, после чего клиент открывает указанный порт и начинает передачу данных. Это так называемый пассивный режим. При активном режиме TCP порт назначает клиент, а сервер открывает соединение с порта 20 на порт, назначенный клиентом. Поскольку в процессе сеанса подлинность абонента не проверяется, то возможна атака следующего вида: на открытый порт периодически посылаются запросы на TCP соединение. Как только соединение установлено, происходит подмена клиента. Уязвимость к данной атаке демонстрируют все ftpd — серверы.

Недостатки FTP-клиентов:

Основные недостатки FTP с точки зрения клиента — возможность перехвата данных, недостаточная стандартизованность и плохая совместимость с брандмауэрами. Это само по себе уже достаточный повод избегать использования FTP везде, где можно.

FTP-архивы являются одними из основных информационных ресурсов Internet. Фактически, это распределенный депозитарий текстов, программ, фотографий и прочей информации, хранящейся в виде файлов на различных компьютерах во всем мире.

Информация в FTP-архивах разделена, в основном, на три категории:

Защищенная информация, режим доступа к которой определяется ее владельцами и разрешается по специальному соглашению с потребителем. К этому виду ресурсов относятся коммерческие архивы (к примеру, коммерческие версии программ в архивах ftp.microsoft.com), закрытые национальные и международные некоммерческие ресурсы (например, работы по международным проектам CES или IAEA), частная некоммерческая информация со специальными режимами доступа (например, частные благотворительные фонды).

Информационные ресурсы ограниченного использования, к которым относятся, например, программы класса shareware. В данный класс могут входить ресурсы ограниченного времени использования или ограниченного времени действия.

Свободно распространяемые информационные ресурсы или freeware, если речь идет о программном обеспечении. К этим ресурсам относится все, что можно свободно получить по сети без специальной регистрации. Это может быть документация, программы или что-либо еще. Следует отметить, что свободно распространяемое программное обеспечение не имеет сертификата качества, но его разработчики открыты для обмена опытом. Из выше перечисленных ресурсов наиболее интересными являются две последних категории, которые, как правило, оформлены в виде FTP-архивов.

Технология FTP была разработана в рамках проекта ARPA и предназначена для обмена большими объемами информации между машинами с различной архитектурой. Главным в проекте было обеспечение надежной передачи, поэтому с современной точки зрения FTP кажется перегруженным излишними редко используемыми возможностями. Стержень технологии составляет FTP-протокол.

FTP-архив можно использовать и в качестве архива коммерческого программного обеспечения, которое используется в компании, только в этом случае такой архив не должен разрешать анонимного доступа к хранящимся в нем ресурсам.

Часто возможность авторизированного FTP-доступа используют и для обмена сообщениями, т.е. в качестве средства коммуникации. Это происходит обычно в том случае, когда система электронной почты по тем или иным причинам не работает.

В настоящее время всю систему взаимодействия компонентов FTP-обмена можно представить в виде схемы представленной на рисунке 2.

На этой схеме показано два важных технологических момента: во-первых, доступ к архиву можно осуществлять не только из специализированной программы-клиента, но и из универсального броузера, например Netscape Communicator или Microsoft Internet Explorer, а во-вторых, для поиска информации в FTP-архивах можно воспользоваться программой Archie.

При этом следует четко понимать, что Archie и FTP — это совершенно разные технологии. В большинстве случаев доступ к Archie-серверу пользователи осуществляют из Archie-клиента, который находится на той же машине, что и сервер, т.е. сначала пользователь по Telnet заходит как пользователь Archie, а потом использует программу-клиент (обычно она запускается в качестве оболочки) для доступа к Archie серверу.

 

051614 1423 ftp3 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

 

Рис.2. Схема взаимодействия компонентов FTP-обмена

 

FTP site (ftp-страница) —

компьютер в сети Internet, на котором ведется файловый архив, доступный для удаленных пользователей.

FTP-сервер —

программа, работающая на таком компьютере и обеспечивающая обработку запросов к архиву.

anonymous FTP server —

FTP-сервер, допускающий использование своего файлового архива без паролей доступа.

FTP-клиенты —

программы, используемые для доступа к архивам on-line.

ля соединение с удаленной FTP-site в ответ на системное приглашение (>) введите:

> ftp [address]|[name]

или

> ftp

ftp> open [address]|[name]

где [address] — адрес, [name] доменное имя удаленной FTP-site, например:

> ftp

ftp> open ftp.ict.ncs.ru

Если удаленная FTP-site не отвергла посланный запрос на соединение, например, по причине перегруженности, она запросит входное имя (login). Как правило, можно ввести ftp или anonymous. Если дополнительно запрашивается пароль (Passwd), обычно нужно ввести свой адрес в Сети (таким образом, термин anonymous не понимается в буквальном смысле, так как для подключения к серверу может быть проведена проверка указанного и реального обратного адреса, а те, у кого anonymous ошибочно ассоциируется с анонимностью, могут всегда пользоваться вместо anonymous именем ftp). Если на данной FTP-site нет запрета доступа для сторонних абонентов, можно обратиться к его архиву.

Основные команды FTP следующие.

Некоторые FTP команды могут отличаться в зависимости от типа компьютерной платформы и используемой операционной системы, но в целом это обычные UNIX команды. Вы всегда можете проверить их список набрав ‘help’ или ‘?’. Кроме того, если вы работаете в UNIX системе, то, как правило, справочная информация о FTP доступна по команде man — наберите ‘man ftp’ или ‘man ftpd’. В manual pages OS UNIX содержатся исчерпывающие данные о командах, и об их синтаксисе.

open —

устанавливает связь с FTP-site. Эта команда нужна, если при вызове программы ftp связь с требуемой FTP-site не была установлена, например, из-за ошибки в названии удаленной машины. Она применяется также при обращении к разным FTP-site во время сеанса работы с ftp. При этом нужно сначала закрыть связь с одной ftp-площадкой с помощью команды close, а затем вызвать другую машину.

Пример:

ftp> open ftp.ict.nsc.ru

user —

позволяет повторно ввести входное имя и пароль. Полезна, скажем, если удаленная машина не допускает пользователей с именем ftp, но может допустить с именем anonymous.

Пример:

ftp> user anonymous

close —

закрывает связь с данной FTP-site

bye или quit.

Закрывает все связи и прекращает выполнение программы ftp.

help или ? —

запрашивает помощь по командам ftp, поддерживаемых на вашей локальной машине. Может иметь параметр — имя интересующей команды. Если параметр не задан, выводит список команд ftp, аналогичный данному описанию, на английском языке.

remotehelp —

запрашивает справку, какие команды ftp поддерживает удаленный FTP сервер.

! [команда[аргументы]]

Выход в shell — интерпретатор на вашей локальной системе.

Как правило, удаленный FTP-сервер размещают на компьютере, работающим под какой-либо разновидность ОС Unix. Файловая система Unix по сравнению с MS DOS имеет некоторые особенности. Хотя она организована иерархически, подобно MS-DOS, имена каталогов в ней разделяются символом «/», а не «\». Корневой каталог обозначается просто как «/» (в том числе и корневой каталог FTP сервера).

Имя файла может иметь произвольную (Unix этих ограничений на формат имени файла и, более того, у файла может быть несколько префиксов (расширений), начинающихся с точки, например, file.my.love. И самое главное, в отличие от MS DOS и MS Windows, строчные и прописные буквы в именах файлов считаются различными .

Установив соединение с файловой системой удаленного компьютера, ориентироваться и перемещаться в ней можно, используя стандартные команды с параметрами (ключами) или без параметров операционной системы Unix:

pwd —

Определить текущий каталог на удаленном компьютере.

ls —

Просмотреть краткий список файлов и подкаталогов. В качестве параметра можно задать имя интересующего вас каталога или способ выдачи информации о файлах из каталогов. Если параметр каталога не задан, подразумевается текущий каталог. Команда ls с ключом -l дает более подробную информацию, включая размер файлов, их принадлежность и дату создания. У команды ls очень много ключей, но используются довольно часто ключи -l (или -al — выдать полную информацию о файлах).

<

dir —

Просмотреть детальный список файлов и подкаталогов, т.е. информацию не только об именах, но и размерах, датах и правах доступа. Аналогично команде ls можно задать параметр с именем каталога.

mls —

Поместить краткий список файлов и подкаталогов каталога на удаленной машине в файл на локальном устройстве.

mdir —

Поместить детальный список файлов и подкаталогов каталога на удаленной машине в файл на локальном компьютере.

mkdir —

ftp>mkdir [имя_каталога]

Создать каталог на удаленной машине.

cd —

Перейти в другой каталог на удаленном компьютере.

lcd —

Перейти в другой каталог на локальном компьютере.

Примеры:

ftp> lcd /pub/doc

ftp> dir internet/example

ftp> mdir /doc/ftp/news_ftp.txt

Установка режимов передачи файлов (все команды без параметров)

ascii —

Устанавливает текстовый режим передачи файлов.

binary или bin —

Устанавливает бинарный режим, необходимый например, для передачи исполняемых файлов.

verbose —

Включает/выключает вывод протокольных и статусных сообщений удаленной машины.

prompt —

Включает/выключает запросы на переход к передаче очередного файла в макрокомандах типа mget *.

Команды передачи файлов

При работе с файлами вы можете, либо указать его полное имя в текущем каталоге (или вместе с путем от корня или от текущего каталога), либо использовать групповую операцию UNIX’а (маску). При задании маски используются правила, принятые в OS UNIX: символ «*» обозначает любое количество символов, стоящих на его месте; символ «?» обозначает один символ, стоящий на его месте.

get или recv —

ftp>get [удаленный_файл] [локальный_файл]

Получить файл с удаленного компьютера. В качестве обязательного параметра требуется указать имя этого файла на удаленной машине. Допускает второй параметр — новое имя файла на локальном компьютере.

Пример:

ftp> get /pub/winsite/news/win.zip

mget —

ftp>mget [список удаленных_файлов]

Получить несколько файлов по списку или в соответствии с маской. Пример. Получить файл news.txt и все файлы с расширением tex:

ftp> mget news.txt *.tex

put или s —

Переслать файл с локальной машины на удаленную. По аналогии с командой get указывается имя файла на локальном компьютере в качестве параметра. Вторым параметром может быть указано новое имя файла на удаленной машине (по умолчанию сохраняется имя локального файла). Пересылать файлы можно только при авторизованном доступе к FTP архиву или в специально выделенный для этого каталог, как правило, имеющий имя incoming.

Пример:

ftp> put myfile newmyfile.

mput —

Переслать несколько файлов по списку или маске. Пример. Переслать файл myfile.txt и все файлы с расширением doc:

ftp> mput myfile.txt *.doc

delete [имя_файла] —

Стереть файл на удаленной машине (требует авторизованного доступа).

Поиск в архивах FTP

Archie. Первые сайты начали появляться в 1993 году, в большинстве это были сайты университетов, но задолго до того как появились они, появился «Арчи», так назывался первый созданный поисковик. Он появился в 1990 году, благодаря Алану Эмтагу, студенту университета МакГила в Монреале. Вначале проект хотели назвать «Архивы», но потом сократили до Арчи.

Арчи помог решить проблему поиска разбросанной по всей сети информации, комбинируя основанный на скрипте механизм сбора и выдачи данных по запросу, основываясь на совпадении в названиях файлов с поисковыми запросами. Арчи превратился в базу данных документов, в которой и производился поиск по запросам пользователей.

В настоящее время доступ по FTP-протоколу осуществляется из множества мультипротокольных интерфейсов (например, Mosaic или Netscape) или графических ftp-оболочек типа ftptool для X-Window. Все они гораздо удобнее и проще в использовании, но и потребляют гораздо больше ресурсов.

Любопытно, что FTP-сервер есть даже для MS-DOS (пакет NCSA Telbin), не говоря о многозадачных средах. Однако поиск нужного FTP-сервера в Internet — задача сложная и трудоемкая. Для ее облегчения существует специальное средство — Archie. Archie был разработан в Университете McGill в Канаде. Задача Archie — сканировать FTP-архивы на предмет наличия в них требуемых файлов. Работать с Archie можно через telnet-сессию, через локального клиента или по электронной почте.

WAIS (Wide Area Information Server) распределенная система поиска информации (В настоящее время утилита устарела и не используется. Статья сохранена для понимания эволюции Интернет). Поиск производится по базам данных, содержащим текстовые документы (но допустимы также графические, звуковые или видео документы). Тематика баз данных и поиска произвольны. Базы данных могут иметь любую структуру, но пользователю не нужно знать языка управления этими базами. WAIS использует естественный управляющий язык. WAIS доступен в Интернет. Для пользователей, имеющих доступ только к электронной почте, предназначен интерфейс, размещенный по адресу waismail@quake.think.com. В сети Интернет существует много серверов WAIS. Список депозитариев серверов достаточно широк, начать можно с анонимного FTP по адресу Think.com секция /wais, файл wais-sources.tar.Z (файл архивирован и пересылка должна осуществляться в режиме BINARY). В настоящее время многие WAIS-сервера интегрированы в сети WEB.

Существуют клиент-серверы WAIS для систем MS-DOS, VMS, MVS, OS/2, UNIX и Macintosh, а также для GNU Emacs, NeXT, X-Windows, MS-Windows, Sunview и т.д. Эти продукты несколько отличаются друг от друга, но обычно процедура содержит следующие шаги:

Пользователь выбирает набор баз данных, где будет проводиться поиск, из числа имеющихся.

Формулируется задание на поиск, выбираются ключевые слова.

В процессе поиска WAIS запрашивает информацию из всех указанных баз данных.

Отображаются заголовки документов, отвечающих критериям отбора. Документы аранжируются согласно их степени соответствия условиям запроса.

Для получения копии пользователь просто отбирает документы из предлагаемого списка.

При необходимости пользователь может переформулировать критерии отбора и повторить поиск.

Вновь найденные документы, если они не совпадают с уже известными будут добавлены в список.

Veronica. Для поиска в виртуальной файловой системе GopherSpace разработана система Veronica. Обращение к ней содержится в корневом меню большинства серверов Gopher. Это полноценная информационно-поисковая система (ИПС), которая позволяет осуществлять поиск с использованием ключевых слов в массивах, поддерживаемых зарегистрированными в университете Миннесоты серверами GopherSpace.

Jughead. Арчи стал настолько популярным, что группа System Computing Services при университете Невады создала Veronica, которая служила тем же целям, что и Арчи, но осуществляла поиск по текстам документов в простом текстовом формате. Всоре появился еще один интерфейс для поиска информации — Jughead, который служил тем же целям, что и Veronica. Они оба работали с документами, пересылаемыми через Gopher, который был создан как альтернатива «Арчи» Марком МакКахилом в университете Миннесоты в 1991 году.

2. Поисковые сервера. Специализированные программы для загрузки файлов. http клиенты

 

Протокол передачи гипертекста HTTP является протоколом прикладного уровня для распределенных мультимедийных информационных систем. Это объектно-ориентированный протокол, пригодный для решения многих задач, таких как создание серверов имен, распределенных объектно-ориентированных управляющих систем и др.. Структура HTTP позволяет создавать системы, независящие от передаваемой информации.

Протокол HTTP использован при построении глобальной информационной системы World-Wide Web (начиная с 1990).

Первые версии, такие как HTTP/0.9, представляли собой простые протоколы для передачи данных через Интернет. Версия HTTP/1.0, описанная в RFC-1945, улучшила протокол, разрешив использование сообщений в формате MIME, содержащих метаинформацию о передаваемых данных, и модификаторы для запросов/откликов. Дальнейшее развитие сетей WWW-серверов потребовало новых усовершенствований, которые вряд ли являются последними.

Реальные информационные системы требуют больших возможностей, чем простой поиск и доставка данных. Для описания характера, наименования и места расположения информационных ресурсов введены: универсальный идентификатор ресурса URI (Uniform Resource Identifier), универсальный указатель ресурса URL и универсальное имя ресурса URN. Формат сообщений сходен с используемыми в электронной почте и описанный в стандарте MIME (Multipurpose Internet Mail Extensions).

HTTP используется также в качестве базового протокола для коммуникации пользовательских агентов с прокси-серверами и другими системами Интернет, в том числе и использующие протоколы SMTP, NNTP, FTP, Gopher и Wais. Последнее обстоятельство способствует интегрированию различных служб Интернет.

Все HTTP-транзакции имеют один общий формат. Каждый запрос клиента и ответ сервера состоит из трех частей: строки запроса (ответа), раздела заголовка и тела. Клиент инициирует транзакцию следующим образом:

1. Клиент устанавливает связь с сервером по назначенному номеру порта (по умолчанию — 80). Затем клиент посылает запрос документа, указав HTTP-команду, называемую методом, адрес документа и номер версии HTTP. Например, в запросе

GET /index.html HTTP/1.0

используется метод GET, которым с помощью версии 1.0 HTTP запрашивается документ index.html. Методы HTTP более подробно рассматриваются ниже.

2. Клиент посылает информацию заголовка (необязательную), чтобы сообщить серверу информацию о своей конфигурации и данные о форматах документов, которые он может принимать. Вся информация заголовка указывается построчно, при этом в каждой строке приводится имя и значение. Например, приведенный ниже заголовок, посланный клиентом, содержит его имя и номер версии, а также информацию о некоторых предпочтительных для клиента типах документов:

User-Agent: Mozilla/4.05 (WinNT; 1)

Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*

Завершается заголовок пустой строкой.

3. Послав запрос и заголовки, клиент может отправить и дополнительные данные. Эти данные используются главным образом теми CGI-программами, которые применяют метод POST. Клиенты (например, Netscape Navigator-Gold), также могут использовать их для помещения отредактированной страницы обратно на Web-сервер.

Сервер отвечает на запрос клиента следующим образом:

1. Первая часть ответа сервера — строка состояния, содержащая три поля: версию HTTP, код состояния и описание. Поле версии содержит номер версии HTTP, которой данный сервер пользуется для передачи ответа.

 

Код состояния — это трехразрядное число, обозначающее результат обработки сервером запроса клиента. Описание, следующее за кодом состояния, представляет собой просто понятный для человека текст, поясняющий код состояния. Например, строка состояния

НТТР/1.0 200 OK

говорит о том, что сервер для ответа использует версию HTTP 1.0. Код состояния 200 означает, что запрос клиента был успешным и затребованные данные будут переданы после заголовков.

2. После строки состояния сервер передает клиенту информацию заголовка, содержащую данные о самом сервере и затребованном документе. Ниже приведен пример заголовка:

Date: Fri, 10 Jan 1998 08:17:58 GMT

Server: Apache/1.2.6

Last-modified: Mon, 12 Jun 1997 21:53:08 GMT

Content-type: text/html

Content-length: 2482

Завершает заголовок пустая строка.

3. Если запрос клиента успешен, то посылаются затребованные данные. Это может быть копия файла или результат выполнения CGI-программы. Если запрос клиента удовлетворить нельзя, передаются дополнительные данные в виде понятного для пользователя разъяснения причин, по которым сервер не смог выполнить данный запрос.

В HTTP 1.0 за передачей сервером затребованных данных следует разъединение с клиентом, и транзакция считается завершенной, если не передан заголовок Connection: Keep Alive. В HTTP 1.1 сервер по умолчанию не разрывает соединение и клиент может посылать другие запросы. Поскольку во многие документы встроены другие документы — изображения, кадры, апплеты и т.д., это позволяет сэкономить время и затраты клиента, которому в противном случае пришлось бы для получения всего одной страницы многократно соединяться с одним и тем же сервером. Таким образом, в HTTP 1.1 транзакция может циклически повторяться, пока клиент или сервер не закроет соединение явно.

HTTP не сохраняет информацию по транзакциям, поэтому в следующей транзакции приходится начинать все заново. Преимущество состоит в том, что HTTP сервер может обслужить в заданный промежуток времени гораздо больше клиентов, ибо устраняются дополнительные расходы на отслеживание сеансов от одного соединения к другому. Есть и недостаток: для сохранения информации по транзакциям более сложные CGI-программы должны пользоваться скрытыми полями ввода или внешними средствами, например «ключиками» (cookies) Netscape.

Поисковый WWW-сервер, отрабатывающий запросы на поиск WWW-АДРЕСОВ ДОКУМЕНТОВ. В WWW-технологии каждый WWW-документ при его создании может быть снабжен набором ключевых слов по усмотрению автора. Поисковые сервера считывают эти ключевые слова, находят такие же в своих больших словарях и добавляют ссылку на данный WWW-документ в список уже имеющихся ссылок для каждого такого слова. Кроме поиска по ключевым словам, все большие поисковые сервера имеют универсальные иерархические классификаторы, охватывающие все отрасли знаний, сферы деятельности, области интересов, стороны общественной жизни и т.п.

Некоторые поисковые сервера содержат внутри себя Yellow и White pages WWW-адресов серверов.

Поиск WWW-адресов интересен как сам по себе (поиск WWW-документы на заданную тему), так и как задача поиска организаций в сети. В свою очередь, найденный WWW-сервер конкретной организации может быть интересен как сам по себе, так и в качестве источника адресной информации (телефоны и e-mail адреса самой организации и ее подразделений).

Типичные поисковые задачи:

поиск WWW-адреса сервера конкретной организации или конкретного человека;

поиск WWW-адреса сервера какой-то организации по определенным условиям;

поиск новых WWW-адресов серверов;

поиск новых WWW-адресов документов.

Основные средства поиска (reference sites):

большие универсальные поисковые WWW-системы (search engines);

поисковые WWW-системы по нескольким search engines;

остальные универсальные и специализированные search engines и index sites;

справочные системы Yellow Pages по WWW-адресам серверов;

MetaReference sites (каталоги search engines, index sites, Yellow Pages WWW).

Дополнительные способы поиска:

персональные и тематические подборки ссылок на WWW-сервера;

newsletters и guides на WWW-серверах, объявления в телеконференциях, списки рассылки

запрос к абонентам какой-либо массовой службы;

Поисковые WWW-сервера позволяют найти отдельные WWW-документы (WWW-страницы), относящиеся к заданным тематикам или снабженные заданными ключевыми словами или их комбинациями. На больших поисковых серверах имеются оба эти способа поиска (по иерархии понятий и по ключевым словам).

Наполнение поисковых серверов происходит либо автоматически (они непрерывно обозревают все WWW-сервера в мире), либо вручную (с отбором материала).

Поисковый сервер обычно имеет ссылки и на остальные большие поисковые сервера, но не передает им автоматически запрос на поиск (см. ниже).

Наиболее известные поисковые WWW-сервера:

http://www.yahoo.com

Один из первых и самых известных search engine, отличающийся развитой иерархической классификацией. Наполняется вручную, имеет наименьшее количество ссылок по сравнению с другими search engines (по некоторым темам примерно в 10 раз меньше Webcrawler-а, но по другим — больше его).

Кроме WWW-адресов, содержит ссылки на ftp- и gopher- ресурсы.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции «и», «или», но только одного типа в одном запросе. Найденные по ключевым словам ссылки снабжаются еще и указанием их положения в иерархической классификации сервера. Для сокращения диапазона поиска предусмотрена возможность искать в пределах текущей подтемы классификатора.

На первом уровне иерархии имеется раздел «References», содержащий много ссылок на разного рода reference sites.

Имеет развитой сервис новостей.

http://www.lycos.com

Один из самых известных и самых больших по количеству ссылок search engine.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции «и», «или», но только одного типа в одном запросе. Операция «и» вообще не работает, операция «или» работает неверно — возвращает количество ссылок, равное максимальному из количеств ссылок по отдельным аргументам).

http://www.webcrawler.com

Относительно небольшой search engine, по-видимому, наполняется вручную — примерно в 10 раз меньше Lycos-а.

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции «и», «или», «не» и их комбинации, которые, однако, отрабатываются не всегда верно (находятся документы, совершенно не подходящие под условия поиска).

http://www.inktomi.com

Новый и, вероятно, самый большой по количеству ссылок search engine — наполняется автоматически и хранит все найденные ссылки (примерно в 5 раз больше Lycos-а).

Имеется иерархический классификатор и поиск по ключевым словам, поддерживающий операции «и», «или», но только одного типа в одном запросе.

Кроме собственно поиска документов имеет Yellow Pages по разным категориям.

http://www.infoseek.com

Средний по количеству ссылок search engine (по некоторым темам чуть больше Webcrawler-а, но по некоторым — больше Lycos-а).

Имеет иерархическую классификацию и поиск по ключевым словам, не поддерживающий операций «и», «или».

Поиск может производится: по всему WWW-пространству, лишь среди серверов, отобранных экспертами данного сервера (в этом случае каждая найденная ссылка снабжена краткой аннотацией), лишь среди серверов компаний (yellow-поиск, каждая найденная ссылка снабжена кратким описанием профиля компании), среди статей USENET, среди e-mail адресов, среди свежих новостей (сервер имеет дополнительный очень развитой сервис новостей). Результат поиска дополнительно снабжается и списком подходящих тем из иерархической классификации (общий список тем для данного запроса, а не конкретные иерархические пути для каждой найденной ссылки, как у Yahoo).

http://www.altavista.com

Большой search engine (немного меньше Lycos-а по числу ссылок). Имеет лишь поиск по ключевым словам, поддерживающий только операцию «и». Поиск может проводиться по всему WWW-пространству или среди статей USENET.

http://www.dejanews.com

Считается наиболее мощным средством поиска новостей Usenet. Поиск может выполняться по дате, автору, теме и группе

http://www.hotbot.com

Средний по количеству ссылок search engines, с довольно устойчивой связью. Производит поиск по ключевым словам, поддерживающий операции «и», «или», но только одного типа в одном запросе. Однако логика не всегда работает корректно.

http://www.mckinley.com/

Поисковая система Magellan — очень неплохая система, типа Yahoo. Возможен поиск как по ключевому слову, так и по темам. Можно искать по ключевому слову в рамках выбранной темы.

Имеет сервис новостей.

http://www.excite.com

http://www.opentext.com

http://www.nlightn.com

Поиск по ключевому слову.

Yandex.ru. Поиск ведется более чем по 47 тыс. серверов, проиндексировано около 3,5 млн. документов. Основное достоинство Яndex’а это способность находить заданные слова независимо от формы, в которой они употребляются в документах. Система может образовывать словоформы даже для тех слов, которых нет в словаре. Есть возможность ограничить поиск указанным диапазоном дат создания документа. А в том случае, если нужные документы не будут найдены, можно продолжить поиск через AltaVista, куда автоматически передается уже обработанный системой запрос. Учёт русской морфологии. Подсветка найденных документов, показ контекстов. Параллельный поиск в «Энциклопедиях», «Новостях», «Маркете». Структурирование поиска по разделам каталога и серверам. Цитируемость: 42000

Rambler. Система охватывает более 2 млн. страниц. Возможен поиск в именах URL, названиях документов, заголовках, адресах (если те находятся в специальных тегах) и только среди слов в начале документа. Есть возможность поиска документов «похожих» на приглянувшийся среди найденных, а также поиска среди уже найденных документов. www.rambler.ru — Цитируемость: 17000

AltaVista. Известный поисковик с поиском на многих языках

Апорт. Поиск ведется почти по 2 миллионам документов и более чем по 13000 серверов. Система умеет искать по различным словоформам введенных слов и даже исправляет в введенных словах ошибки. Система может переводить с русского на английский и с английского на русский не только запрос, но и полученную в результате поиска информацию. Учёт русской морфологии. Выделение контекстов найденных слов. Уточнение поиска по разделам каталога и серверам. www.aport.ru — Цитируемость: 20000.

Далее приведем характеристики некоторых программ для загрузки файлов.

FlashGet

051614 1423 ftp4 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

FlashGet — это один из самых быстрых и удобных менеджеров загрузки. При помощи данной программы можно дозваниваться в Интернет, производить автоматический поиск зеркал и выбирать самый быстрый вариант загрузки. Программа предлагает три режима скорости закачки файлов — неограниченный, ручной и автоматический. В ручном режиме скорость загрузки определяется пользователем, в автоматическом программа подберет наилучшую скорость сама. По умолчанию FlashGet разбивает файл на пять частей, но это количество, равно как и размер одной части, можно изменить. Программа также позволяет просматривать содержимое HTTP- и FTP-серверов, а также создавать неограниченное количество тематических категорий, в которых для облегчения поиска могут располагаться задания на загрузку.

FlashGet предлагает пользователю множество вариантов занесения ссылки в список загрузки. Можно сделать это, выбрав соответствующую команду в контекстном меню, воспользоваться плавающей «корзиной» или же настроить программу на автоматический перехват ссылок. При этом, если это необходимо, FlashGet может производить загрузку сразу же, без подтверждения.

ReGet

051614 1423 ftp5 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

Как известно, создать программу, которая подходила бы все пользователям, невозможно. Если перегрузить ее возможностями, кому-то они могут мешать, если же их не добавить, найдется те, кому дополнительных опций будет не хватать. Именно поэтому разработчики менеджера загрузки ReGet выпускают не одну, а три программы для загрузки файлов. Это ReGet Junior, ReGet Pro и ReGet Deluxe. Каждая из них ориентирована на свою категорию пользователей. Базовые функции у всех трех программ одинаковые, отличия в дополнительных возможностях.

Все версии ReGet отличаются удобным интерфейсом, позволяют восстанавливать оборванные загрузки, производить загрузку в несколько потоков, интегрируются с популярными браузерами и дают возможность загружать все ссылки на веб-странице одним щелчком мыши.

ReGet Junior ориентирован на начинающих пользователей и имеет минимальный набор функций. К его особенностям можно отнести возможность изменения интерфейса при помощи скинов, которая отсутствует в других версиях программы. ReGet Pro может предложить такие опции, как управление скоростью загрузки, благодаря чему можно одновременно производить загрузку файла и открывать веб-страницы; соединение с Интернетом в случае обрыва связи; управление настройками закачки для нескольких файлов одновременно. Кроме этого, с его помощью можно автоматически скачивать галереи изображений и проверять загруженные файлы на вирусы. Однако для опытного пользователя, проводящего в Интернете много времени, наибольший интерес, несомненно, представляет версия ReGet Deluxe. В этой версии менеджера загрузки пользователям предлагается встроенный FTP-клиент, расширенные возможности планировщика (например, планирование загрузки на указанную дату, повторение загрузки в указанное время и дни, начало загрузки при выполнении заданных условий), выключение компьютера, возможность сортировки загруженных файлов по папкам и ведение истории закачек.

Если же вы хотите получить в свое распоряжение весь инструментарий программы, но при этом не уверены, нужны ли вам все эти средства ежедневно, можно работать с ReGet Deluxe в упрощенном режиме. Всего в программе предусмотрено три режима: с отображением всех возможностей, большинства опций или же только базовых. Переключение между ними осуществляется при помощи команд главного меню.

GetRight

До недавнего времени существовала только одна версия GetRight, однако, начиная с шестого релиза, разработчики также предлагают версию с индексом Pro. Необходимо заметить, что в настоящее время она пока еще находится на стадии бета-тестирования, а это означает, что некоторые опции могут работать не совсем корректно. Однако уже сейчас можно сказать, что в этой программе есть не только базовые опции, которые пользователь ожидает от менеджера загрузки, но также и пакет расширенных возможностей.

 

051614 1423 ftp6 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

Так, наряду с возможностью разбивать файл на части, самостоятельно звонить в Интернет через dial-up модем, разрывать соединение, вести историю загрузок и планировать закачки GetRight Pro может похвастаться многими уникальными опциями. К ним можно отнести проверку файла на целостность после окончания загрузки, автоматический поиск подкастов по указанным адресам, их загрузка и помещение в список воспроизведения проигрывателя, возможность скачивания файлов через протокол BitTorrent, управление менеджером закачки удаленно, через Интернет. Кроме этого, GetRight Pro имеет свой браузер для просмотра содержимого ФТП и веб-серверов. Веб-мастера оценят средства для синхронизации содержимого папок на ФТП-сервере с директориями на жестком диске, возможность загрузки файлов на сервер.

Download Master

Неоспоримое преимущество Download Master перед конкурентами — его полная бесплатность. Единственное, чем он может надоедать пользователю в этой связи, баннер, расположенный в верхней части окна загрузки. Впрочем, на этом недостатки этого менеджера загрузки заканчиваются.


051614 1423 ftp7 Что такое ftp? Поиск файлов. Способы передачи файлов.                      Особенности протокола. Основные функции, правила работы

На рынке существуют десятки download-менеджеров, многие из них бесплатны. Однако именно Download Master за достаточно короткое время (программе всего лишь немногим более семи лет) смог завоевать расположение пользователей. Секрет такой популярности не только в бесплатном статусе, но и в том, что разработчики программы постарались собрать в ней всевозможные опции, доступные пользователям других менеджеров закачки. В Download Master есть корзина, позволяющая добавлять ссылку на файл, не переключаясь в окно программы, интеграция со всеми популярными браузерами, сортировка скачанных файлов по категориям, закачка по расписанию, дозвон в Интернет и т.д. Найти в конкурентных приложениях возможность, которая отсутствовала бы в Download Master, достаточно трудно, а если таковая и имеется, то есть большой шанс, что она появится в следующей версии программы.

Среди наиболее востребованных опций Download Master можно отметить: встроенный ФТП-клиент, возможность просмотра Zip-архивов перед загрузкой, получение размера файлов до начала закачки, проверка и восстановление архивов, установка приоритетов для закачек, работа с командной строкой, загрузка HTML-страниц с изображениями. Кроме этого, недавно разработчики программы сообщили о возможности расширения ее возможностей при помощи подключаемых модулей — плагинов. Предполагается, что они помогут реализовать те функции, которые в настоящее время отсутствуют в Download Master, например, загрузка файлов с файлообменных систем наподобие Rapidshare.

Специфика приложения требует от разработчиков менеджера закачки постоянного развития и совершенствования, так как мир Интернета постоянно изменяется, а вместе с ним изменяются и предпочтения пользователей. Если еще совсем недавно для download-менеджера достаточно было обеспечивать поддержку Internet Explorer, сегодня отсутствие интеграции с альтернативными браузерами Mozilla, Opera и пр. расценивается как большой недостаток. Конкурируя между собой, разработчики менеджеров загрузки постоянно встраивают в программы новые опции, поэтому теми возможностями, которые сегодня являются для программы уникальными, завтра уже наверняка обзаведутся и другие приложения.

Если же говорить о лидере, то это Download Master. Эта программа обходит конкурентов как по функциональности, так и по удобству. К тому же, она постоянно обновляется.

 

Таблица 1 – Сравнение характеристик программ для загрузки файлов

 

Характеристика

Download Master

FlashGet

ReGet Deluxe

GetRight Pro

Частичное скачивание архивов

+

+

Запрос размера файла перед загрузкой

+

+

+

Интеграция с IE

+

+

+

+

Интеграция с браузерами Mozilla и Opera

+

при помощи плагинов

+

+

Наличие FTP-клиента

+

+

+

+

Проверка файлов на вирусы

+

+

+

+

Установка приоритета загрузки для каждого файла отдельно

+

+

 

Среди популярных программ для загрузки файлов, рассмотренных в обзоре, аутсайдером можно назвать FlashGet. Эту программу пользователи оставляют на компьютере, скорее, по привычке, а не когда делают выбор между несколькими менеджерами загрузки. FlashGet, который еще в недалеком прошлом, был достаточно функциональным менеджером закачки, сегодня уже не может конкурировать с быстро развивающимся Download Master и другими программами.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Cписок литературы

 

  1. Информатика. В 2-х кн./Под ред. Н.В. Макаровой- М.: Финансы и статистика, 2007.
  2. Информационные технологии в экономике / Под ред. Ю.Ф. Сименова. Ростов-н/Дону, 2003.
  3. Львов И.Б., Казеев Г.Г., Морев И.А. Информатика.– Владивосток: АВГУ. 2006.
  4. Пакеты программ офисного назначения: Уч. пособие/Под ред. С.В. Назарова. – М.: Финансы и статистика, 2007.
  5. Фигурнов В.Э.. IBM РС для пользователя. — М.:ИНФРА, 2007.


     

<

Комментирование закрыто.

MAXCACHE: 1.02MB/0.00040 sec

WordPress: 22.34MB | MySQL:116 | 2,353sec