Я вряд ли эксперт, но у меня есть небольшой опыт распределенных вычислений с использованием MPI (с C). То, о чем вы говорите, не похоже на грид-вычисления, а скорее на систему master/slave. То есть ваш сервер является мастером и направляет всех клиентов (рабов).

Я очень мало знаю о программировании .net, поэтому буду говорить в общих чертах.

Существует множество веб-фреймворков, и, вероятно, у большинства из них есть все необходимое. То есть ваш клиент сможет загружать файлы с собранным содержимым (или они могут просто использовать http get/post), потому что вам не нужно беспокоиться о проблемах с пользовательским интерфейсом, вы можете справиться со всем, вероятно, одним действием (при условии, что веб-фреймворк, основанный на действиях). Затем сервер может вернуть ответ через JSON или XML, который клиент может использовать для получения дальнейших указаний. JSON — правильный выбор, если система очень проста и, вероятно, хороший выбор для прототипирования.

Для обновления приложения я бы рассматривал это как отдельную проблему (хотя для сервера должно быть простым делом вернуть это клиенту).

BOINC — это фреймворк, который наиболее естественно отвечает вашим требованиям к вычислительным ресурсам для добровольцев, он стабилен и обладает высокой масштабируемостью — я хотел бы убедиться, что вы полностью рассмотрели его, прежде чем исключать его.

Если вам нужно доставить что-то в сжатые сроки, я бы подумал о разработке простого шаблона супервизора (или планировщика) — работника, просто чтобы запустить приложение с нуля. Руководитель будет нести ответственность за разбиение данных на части и их доступность через http. Рабочие (ваше клиентское приложение) будут подключаться к серверу супервизора; скачать кусок работы; завершить чанк; и передать результаты руководителю.

Главный трюк состоит в том, чтобы правильно отработать конечный автомат, чтобы вы могли точно отслеживать, в каком состоянии находится каждый рабочий блок. Я бы хотел, чтобы супервизор сохранял состояние в базе данных в фоновом режиме.

Должен ли ваш первый релиз быть внутренним или он предназначен для общего пользования?

Пока это работает, я бы начал изучать BOINC и планировать миграцию.

Моя рекомендация

Рабочее расстояние:

1. Иметь приемник запросов, который помещает сообщения в очередь сообщений, например, rabbit mq
2. Имейте множество рабочих, слушающих одну и ту же очередь, берущих из нее работу и подтверждающих ее выполнение.
3. Когда закончите, отправьте сообщение в другую очередь, содержащее URI, в известное место, например на сетевой диск. Целью являются ваши проанализированные данные.
4. Получатель прослушивает эти завершенные сообщения. Извлекает данные из URI.

Сделанный.

RabbitMQ поставляется с отличными API-интерфейсами CLR.

Те же рассуждения хорошо работают с Microsoft Azure и их AbbFabric Queue. Плюс в том, что очень хорошо масштабируется.

Горячее управление версиями

http://topshelf-project.com/

Он дает папку, куда можно закинуть бинарники, которые потом запускаются. Он управляет их версиями, а также запускает их как службы Windows.

Развертывание

Вы можете развернуть двоичные файлы с помощью robocopy/xcopy и сетевого использования Q: pwd \server\share, net delete Q:

Непрерывная интеграция

Teamcity

После интенсивной работы с MsBuild я бы рекомендовал написать сценарий с помощью psake и запустить сборку с помощью PowerShell. Если вы продвинулись в PowerShell, у вас также будет доступ к WinRM из ваших сценариев сборки, что очень удобно.

Используйте номер коммита git/subversion как 0.0.0.x, x в номере предыдущей версии, и вы получите автоматическое управление версиями, совместно используемое в сборках Debug/Production.

Лазурный путь

Рабочее расстояние:

То же, что и выше, но с очередью AppFabric вместо RabbitMQ.

Горячее управление версиями

Меняя местами промежуточные и производственные экземпляры, вы избегаете простоев.

Развертывание

Вы можете использовать инструменты Azure для задач MsBuild Visual Studio, как можно прочитать о здесь или вы можете использовать PowerShell AzureSnapIns с аналогичной настройкой, как указано выше, для непрерывной интеграции.

Непрерывная интеграция

То же, что и выше.

Как насчет установщика .net ClickOnce для управления автоматически обновляемыми двоичными файлами клиента. http://msdn.microsoft.com/en-us/library/t71a733d.aspx

Я не уверен в «каркасе рабочих мест», скажем так, но фреймворк Microsoft Sync для поддержки синхронизации ваших собственных заданий с клиентами?

http://msdn.microsoft.com/en-us/sync/default