[Te0reTiK]

А база по адресу http://kob.su/kobbase есть в формате sql ?

хочу сделать БД с полнотекстовым поиском на основе Sphinx, т.к. инструменты MySQL для этого не совсем удобны

а про возможность реализации пользования таким инструментарием на планшетниках и т.д. не совсем просто реализуема.
предлагаю сделать некий сервис поиска, не более. его портирование на другие устройства - отдельная задача

прочитав тему понял, что требуется некое хранилище литературы с возможностью поиска по названию, фрагментам текста(Sphinx) и т.д., при этом само содержимое документов хранится в БД(MySQL) и, соответственно может быть эспортировано(возможно не полностью) прямо в онлайн html-читалку

Возникает вопрос рубрикации документов - Аналитическая записка, тек.момент и др (+ работы других авторов). Такое разделение может быть реализовано тегами - каждый документ имеет набор тегов + ФИО автора статьи/книги.

еще подумаю над схемой БД...

где взять все работы ВП СССР на текущий момент?

[Sirin]

Сообщение от Te0reTiK

А база по адресу http://kob.su/kobbase есть в формате sql ?

нету

Возникает вопрос рубрикации документов - Аналитическая записка, тек.момент и др (+ работы других авторов). Такое разделение может быть реализовано тегами - каждый документ имеет набор тегов + ФИО автора статьи/книги.

вполне разумно

где взять все работы ВП СССР на текущий момент?

ВСЕ РАБОТЫ ВП СССР
Внизу страницы ссылка на скачивание всей базы (база в архиве не обновлялась примерно полгода, а некому этим заниматься на регулярной основе - так что несколько последних работ нужно будет добавить).

[Ян Юшин]

Сообщение от Te0reTiK

А база по адресу http://kob.su/kobbase есть в формате sql ?

не совсем понял вопрос

[Te0reTiK]

как вы храните таблицу http://kob.su/kobbase ?
чистым html ? или в базе данных ?

[Sirin]

чистый HTML
+ возможность простого переноса на любой сайт/домашнюю страничку.
Там внизу всё написано.

[Te0reTiK]

Что сделано на данный момент:
схема в mongoDB (не стал использовать MySQL)
настроен поиск с морфологией Sphinx, который, скорее всего, нужно будет еще настраивать, чтобы он выдавал то, что хочет пользователь
схематичный веб-интерфейс к этому всему, который сейчас поддерживает добавление книги(точнее текста книги) и полнотекстовый поиск

-- дизайна нет, с этим придется подождать

как устроено хранение книг:
таблица Book_contents:
id,
content: text - собственно абзац (либо параграф, страница и т.д. в зависимости от того, как разделяем текст книги)

таблица Book - содержит информацию о книге,
id,
autor: text,
title: text,
.....,
content является списком из ID book_contents

так (Book) One --> Many (Book_contents)

Т.е. входной текст книги разбивается на абзацы, которые индексируются Sphinx.

Что нужно сделать:
красивый дизайн+вёрстка
автодобавление индекса (после добавления пользователем книги передаём ее на индексацию) (займёт дня 2)
найти программу для преобразования doc в html, pdf в html, ...
catdoc на win64 не запускается, abiword вылетает с ошибкой (WTF?)

инструментарий:
python
flask
pymongo
mongoengine
flask-admin
sphinxsearch
если нужно выложу исходники на github

[Линуксоид]

Я тоже давно думаю над созданием системы, по быстрому поиску информации КОБ. Думаю, нужно сначала поднять специальный домен с системой тасков, например redmine (redmine.kob.su, либо redmine.dotu.ru, либо другое). Там ставить таски, и обсуждать отдельные фичи (функции). Система КОБ информации должна быть не простым сайтом с веб-формой поиска. Она должна быть целой инфраструктурой, где будут веб-сервисы (xml, json, soap, rest, rss/atom-каналы), программы с графическим интерфейсом (GUI), взаимодействующие с этими веб-сервисами, либо локальными копиями базы данных, которые можно будет сохранять на устройствах пользователя (компьютер, флешка, мобильник/смартфон, карта памяти мобильника/смартфона. Также можно создавать расширения для браузеров, и вместо текста-рыбы (например dummy lipsum для Firefox, генерирующий текст "Lorem ipsum") их (расширения) использовать. Короче, в системе тасков, очень много технических вопросов будет, и их обсуждение. Нужно делать это по-грамотному. На счёт mongoDB, поддерживаю, т.к. за NoSQL будущее. И к тому же, mongoDB как раз заточен на работу с документами (MongoDB — документо-ориентированная система управления базами данных (СУБД) с открытым исходным кодом, не требующая описания схемы таблиц. /Википедия).
Я сам специализируюсь на PHP+MySQL(+Javascript+jQuery+CSS+HTML+XML+UML+и т.п.), но хорошо отношусь и к другим технологиям (Java, C++, Python, J2ME, J2EE, Android).

[Sirin]

Линуксоид, вот время от времени появляются люди, которые теоретически МОГУТ, но до практической реализации ни у кого так руки и не дошли. Мысль так и "висит в воздухе" уже третий год.
Вопрос о том - MySQL или NoSQL - это, я уверен, вопрос уже второго или третьего плана.
Первый вопрос за тем, чтобы у человека, который МОЖЕТ, возникшее ЖЕЛАНИЕ было поддержано его ВОЛЕВЫМИ усилиями.
А говоря проще - чтобы взялся, и начал делать.
Что касается в вопросе организационной, технической и иной помощи - я уверен, мы её сумеем оказать. Но нужен ведущий проекта.
Его сейчас нет.
Дело стоит.

[Линуксоид]

Сообщение от Te0reTiK

Что сделано на данный момент:
схема в mongoDB (не стал использовать MySQL)
настроен поиск с морфологией Sphinx, который, скорее всего, нужно будет еще настраивать, чтобы он выдавал то, что хочет пользователь
схематичный веб-интерфейс к этому всему, который сейчас поддерживает добавление книги(точнее текста книги) и полнотекстовый поиск

-- дизайна нет, с этим придется подождать

как устроено хранение книг:
таблица Book_contents:
id,
content: text - собственно абзац (либо параграф, страница и т.д. в зависимости от того, как разделяем текст книги)

таблица Book - содержит информацию о книге,
id,
autor: text,
title: text,
.....,
content является списком из ID book_contents

так (Book) One --> Many (Book_contents)

Т.е. входной текст книги разбивается на абзацы, которые индексируются Sphinx.

Что нужно сделать:
красивый дизайн+вёрстка
автодобавление индекса (после добавления пользователем книги передаём ее на индексацию) (займёт дня 2)
найти программу для преобразования doc в html, pdf в html, ...
catdoc на win64 не запускается, abiword вылетает с ошибкой (WTF?)

инструментарий:
python
flask
pymongo
mongoengine
flask-admin
sphinxsearch
если нужно выложу исходники на github

А где взять всё, что вы уже наработали? Давайте работать дальше, я тоже подключаюсь .

[Sirin]

Сообщение от Te0reTiK

Ник кагбэ намекает...