Вопросы по теме 'large-data'

Как обновить одну таблицу из другой без указания имен столбцов?
У меня есть две таблицы с одинаковой структурой и ОЧЕНЬ БОЛЬШИМ количеством полей (около 1000). Мне нужно выполнить 2 операции 1) Вставить из второй таблицы все строки в первую. Пример: INSERT INTO [1607348182] SELECT * FROM _tmp_1607348182;...
4677 просмотров
sql sql-update large-data sql-server-2005
schedule 10.06.2023
Как сохранить производительность MYSQL при импорте больших файлов данных с помощью LOAD DATA INFILE?
Я работаю с большой базой данных (некоторые таблицы 500000000+ строк). Каждый день следует заменять 3-10 миллионов строк, а каждый импорт составляет около 1 миллиона строк (то есть 3-10 раз в день с CRON) с использованием LOAD DATA INFILE. Проблема...
1220 просмотров
mysql amazon-ec2 import large-data load-data-infile
schedule 14.11.2023
Каков наиболее эффективный способ перемещения данных из одной таблицы sql в другую?
В настоящее время у меня есть задание SSIS, которое запускается для перемещения данных с одной машины sql 20008 на другую. Задание перемещает около 2 миллионов записей примерно из 6 таблиц. Это занимает около 5-10 минут в зависимости от загрузки...
1882 просмотров
ssis sql-server-2008 large-data data-synchronization
schedule 02.05.2023
Как отсортировать очень большой массив в C
Я хочу отсортировать порядка четырех миллионов long long в C. Обычно я бы просто malloc() использовал буфер в качестве массива и вызывал qsort() , но четыре миллиона * 8 байтов — это один огромный кусок непрерывной памяти. Какой самый простой...
3399 просмотров
c arrays sorting large-data qsort
schedule 12.07.2023
Чрезвычайно большое средневзвешенное значение
Я использую 64-битный Matlab с 32 г ОЗУ (просто так, чтобы вы знали). У меня есть файл (вектор) из 1,3 миллиона чисел (целых). Я хочу сделать еще один вектор той же длины, где каждая точка является средневзвешенным значением всего первого вектора,...
1807 просмотров
matlab average convolution large-data fft
schedule 01.07.2022
Лучшие в своем классе индексирующие структуры данных для чрезвычайно больших временных рядов
Я хотел бы спросить у коллег по SO's их мнения относительно лучших в своем роде структур данных, которые будут использоваться для индексации временных рядов (также называемых столбцовыми данными, также известными как плоские линейные). Существуют...
3954 просмотров
c++ indexing algorithm data-structures large-data
schedule 25.03.2022
Создание больших файлов Excel из данных MySQL с помощью PHP из корпоративных приложений
Мы разрабатываем и поддерживаем несколько систем, которым необходимо экспортировать отчеты в формате Excel для конечного пользователя. Отчеты собираются из базы данных MySQL с некоторой тривиальной обработкой и обычно приводят к примерно 40000 строк...
18579 просмотров
mysql php excel export-to-excel large-data
schedule 11.04.2022
Самый быстрый способ переноса данных таблицы Excel в SQL 2008R2
Кто-нибудь знает самый быстрый способ получить данные из таблицы Excel (массив VBA) в таблицу на SQL 2008 без с помощью внешней утилиты (например, bcp)? Имейте в виду, что мои наборы данных обычно состоят из 6500-15000 строк и примерно 150-250...
18767 просмотров
import sql-server-2008 excel vba large-data
schedule 25.01.2023
Загрузить большой объем данных в БД - Android
Я создаю новое приложение для платформы Android, и мне нужно предложение. У меня есть большой объем данных, которые я хочу импортировать в базу данных sqlite, например, 2000 строк. Мой вопрос: как лучше всего загрузить данные в БД? Два способа, о...
2844 просмотров
android sqlite large-data
schedule 06.07.2022
SSIS: исключение OutOfMemoryException при загрузке данных из большой таблицы
У меня действительно большая таблица, которую я не могу извлечь. Эта таблица извлекается благодаря проприетарному драйверу ODBC базы данных, который я связываю с источником ADO.NET. Исходная таблица содержит 90 000 строк и 333 столбца. Я...
759 просмотров
out-of-memory ssis large-data
schedule 05.04.2022
Сжатие данных без потерь для чрезвычайно больших данных — Планетарный искусственный интеллект
Я хочу создать среду для искусственного интеллекта планетарных размеров. Он будет имитировать подземную жизнь в очень большом мире. Согласно Википедии, площадь поверхности планеты Земля составляет 510 072 000 км ^ 2, я хочу создать квадрат таких же...
1282 просмотров
large-data lossless-compression
schedule 18.06.2023
Python: как обычно обойти ошибку превышения максимально допустимого размера?
Я пытаюсь создать массив размером 2 ^ n x 2 ^ n numpy всех возможных перестановок скалярного произведения очень большого набора векторов. Мой тестовый массив «data» представляет собой массив (129L, 222L) numpy. Моя функция кажется (по моему мнению...
4642 просмотров
python numpy multidimensional-array large-data
schedule 21.03.2022
Потоковая передача большого количества объектов WCF
Я столкнулся с написанием сервера WCF, работающего на IIS, для использования другими платформами на разных компьютерах. Мне нужно вернуть большое количество объектов (сериализованных) клиентам. Мне нужно, чтобы он был потоковым, так как получение...
1602 просмотров
c# streaming wcf large-data deferred-execution
schedule 20.03.2023
Хранить большую матрицу в приложении Rails
В моем приложении Ruby On Rails мне приходится хранить (относительно) большие матрицы размером около 300x300 элементов (значения с плавающей запятой, в основном разные) для каждого документа. При каждом извлечении документа необходимо загружать...
455 просмотров
ruby-on-rails mongodb large-data rails-activerecord
schedule 01.12.2022
Запрос большой таблицы в sql server 2008
У нас есть таблица с 250 миллионами записей (уникальное 15-значное число. Столбец кластеризованного уникального индекса), которые будут запрашиваться не менее чем от 0,7 до 0,9 миллиона запросов в среднем в день. У нас есть несколько приложений,...
3221 просмотров
sql-server sql-server-2008 query-performance large-data
schedule 09.03.2023
PHP-скрипт (алгоритм) - зацикливается только до определенной итерации, после чего останавливается
Я запускаю алгоритм на PHP, в котором задействовано много данных. Вся обработка происходит во вложенном цикле for. Как ни странно, внешний цикл for перестает работать после «X» итераций (где «X» меняется все время, пока я запускаю скрипт). Сбой...
184 просмотров
php for-loop timeout memory large-data
schedule 24.09.2022
Программное обеспечение для визуализации очень больших графиков
У меня есть очень большой (около 205 тысяч ребер и 200 тысяч узлов) график текстовых узлов (имен), который я хотел бы визуализировать с помощью чего-то вроде Graphviz. Проблема с запуском этого на Graphviz (с использованием sfdp) заключается в том,...
510 просмотров
large-data graph-visualization graphviz
schedule 10.09.2022
Производительность MySQL с большим количеством записей - разделение?
Я пытаюсь создать базу данных, которая будет содержать большое количество записей, каждая из которых имеет множество столбцов (полей) - может быть, всего около 200-300 полей для всех таблиц. Предположим, что через несколько лет у меня будет от 40 000...
2543 просмотров
mysql performance large-data database-partitioning
schedule 23.11.2022
Горизонтальное разбиение в MySQL
У меня есть таблица с ~ 20 столбцами. ----------------------------------------------------------------- GUID_PK | GUID_SET_ID | Col_3 | Col_4 | ... | Col_20 ----------------------------------------------------------------- Могут...
1150 просмотров
mysql partitioning database-design large-data
schedule 05.07.2023
Joomla getItems Пагинация по умолчанию
Может ли кто-нибудь сказать мне, автоматически ли функция getItems() в модели добавляет глобально установленный LIMIT перед выполнением запроса (из getListQuery() ). Joomla действительно борется, пытаясь кэшировать все результаты (здесь более 1...
779 просмотров
model pagination components joomla large-data
schedule 23.12.2023