Август 2018
ПнВтСрЧтПтСбВс
  12345
6789101112
13141516171819
20212223242526
2728293031  

Календарь Календарь

Последние темы

Сказ о добЫче слов для словаря литературного русского языка.

Страница 1 из 5 1, 2, 3, 4, 5  Следующий

Перейти вниз

Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Сб Мар 09, 2013 9:10 am

Сначала напомню про нашу задачу - так как сказал Виктор.


Форум: Форум Сергея Алексеева Добавлено: Пн Фев 11, 2013 8:55 pm Тема: Сорок Уроков Русского

Вы пока составьте словарь русских слов, но такой чтобы он был справедлив к
букве Ё. Составите....может и время придёт, и место не такое общее
будет, как здесь, так и там где вы указали.


Надо открыть ветку. Всё же начать надо со словаря, как и было
сказано. Словарь вам поможет набирать разные таксоны и определять разные
слоги, но его нужно будет потом почистить. Убрать гоменнированные
согласные и пр, пропустить через алгоритм связей, а только потом
формировать таксоны.

Во многих словарях и текстах буква Ё
заменена на Е, и словарь в этом случае если его формировать
автоматически, будет писать слова без буквы Ё. Поэтому словарь нужно в
ручную просмотреть и заменить где надо Е на Ё.

Это очень кропотливый труд, я не сторонник всеобзора этой темы. Этот труд для вас, а не толпе дать не заслуживаемое.

Словарь должен содержать не менее 500 000 слов.

Почти
вся классика есть в формате txt, складывайте в дерикторию и программа
сама пусть открывает файл, очередной, читает его, слова новые в
екселевскую табличку заносит, потом прочитанный файл из этой директории
переписывает в директорию "Прочитанное", и всё вам нужно будет только
грузить txt файлы. Когда начитается, нужно поставить счётчик записанных
новых слов, вы увидите что счётчик перестанет практически изменяться,
один два слова. Вот и всё. Будем обрабатывать, как было сказоно выше.

Так
как вы это должны делать сами...то вам нужно найти кто может писать
макросы в ехеле, для автоматического чтения и внесения в базу слов.
Читать и формировать словарь нужно только на классических авторах.

Готовый файл разместите в файлообменнике, любом и дайте ссылку на него участникам форума

Во время работы программиста Виктор очень помог ей, чтоб всё было организовано в программе правильно.
Были поставлены дополнительные задачи:


Попроси
программистов организовать в программе следующую процедуру. Когда
извлеченное слово из читаемого текста проверяется на существование в
словаре, то если оно есть там, пусть это слово пере запишется на ячейку
выше, а слово которое стояло над ним запишется ниже. Кроме случая когда
слово занимает первую позицию. Эта процедура позволит вам в конце
получить не просто список слов, а список слов выстроенных по ранжиру
встречаемости. Все слова которые стоят в начале списка это слова которые
чаще всего встречаются в прочитанных текстах. В конце списка как
правило осадок скапливается, слова редко встречаемые и слова с ошибками.
Так же устроена работа (почти так) мозга. В подсознании хранится всё а в
сознании оперативная информация которая встречается человеку
повседневно.

Ещё одно замечание, текстовые файлы имеют разную
кодировку, нужно этот факт учесть, т.е. нужно проверять кодировку. Нужно
сначала перекодировать.
Перекодировщиком лучше пользоваться
отдельно, на стадии подготовки текстов к читке. Собираешь файлы которые
необходимо читать, загружаешь в ABConverter, он пакетно всё
перекодирует. Потом уже файлы записываешь в ту директорию откуда
читается словарь.

Фильтр настраиваешь так. У программиста верхняя
строка пустая, первую колонку называешь «Slova», вторую «Kol», ставишь
на этой строке фильтр. Потом на колонке Slova кликаешь кнопочку со
стрелкой, выбираешь в «Текстовые настройки», потом «Содержит» и в
верхнюю правую строку вводишь слог, после нажатия кнопки ОК, у тебя
останутся только слова содержащие этот слог, если снимешь фильтр опять
появится весь словарь. Отфильтрованные слова с нужным слогом можно
копировать и переносить в удобное место для анализа.

Вам
нужно разбиться по писателям и по каждому писателю сделать свой словарь.
Потом объединить словари, дубликаты удаляются автоматически, в экселе
есть такая функция. Получится общий словарь
о самой важности этой работы хочу напомнить вот такие слова Виктора:

"Однако думаю кто помешает иметь то, что потом как воздух вам понадобиться. "

и письмо Егора:

"От Admin Кому Арина, Сб Сен 13, 2008 11:14 pm

Арина,
вы только входите в дверь знаний. Уже сделаны выводы. Всё вы познаете.
Сама увидишь как истина будет открываться каждый день. Всё будут
очевидно, так же как и твои выводы №1 и №2, только надо объединять много
в одно. Как в скрижали «Большое в малом и малое в большом». Ты же
увидела как это просто. Работайте с рунами их вид проявляет сознание. Я
ещё один раз приду, дам правила словообразования и организация толкового словаря. Это будет как только решите задачу.
Не сомневайся скоро придёт очень много людей к вам. Храните чистоту
слова на форуме, будьте жёстки к сквернословам, даже если он говорит
весомые слова."


______________________

Программист сделала для нас файл. Хороший. Но ...немного медленный. Чтобы составить
тот словарь, который от нас требуется у нас бы на скачку книг ушло
около месяца. Виктор переделал программу для нас - чтоб максимально
быстрым было считывание и не надо было переходить из вкладки во вкладку,
чтоб не открывалось лишних вкладок. И он думает - как ещё можно её
убыстрить. Но пока мы можем начать составлять словарь по авторам и с
этой тоже очень быстрой програмкой. Там в ней внутри прописана
инструкция.

Единственно что могу добавить:
1. Необходим Excel не ниже версии 2010 года.
2. При открытии программы не забывайте включать макросы (всплывающее окно вверху)
3.
Чтобы скорость была максимальной необходимо перед закачкой нажать на
минусик, чтоб была не видна динамика процесса. Когда видна динамика
процесс затягивается в разы.

Програма расположена тут http://yadi.sk/d/nMtK_zWl32ZLV
Конвертер для перекодировки старых файлов можно взять тут http://yadi.sk/d/OMzH83Nc2q2rE


Последний раз редактировалось: Арина (Ср Май 08, 2013 8:46 am), всего редактировалось 2 раз(а)

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Сб Мар 09, 2013 9:12 am

Словари по авторам:

Слова ВиКъ: http://yadi.sk/d/gVcDnHgx2t8Lk

Слова Егора: http://yadi.sk/d/LmbK1bHE2t8O6

Слова М.Волошина: http://yadi.sk/d/XLvCLMlv2t8RM

Слова Мельникова-Печёрского: http://yadi.sk/d/JAcqgMB12t8Pu

Слова Гоголя http://yadi.sk/d/f8McWMBp2t8Si

Слова Пушкина http://yadi.sk/d/kWiAZXgn2t8Tw

слова Грибоедова http://yadi.sk/d/rqTnzQ1m2t8Ua

слова Ломоносова http://yadi.sk/d/tNoMIK9H2t8VO

слова Л.Н.Толстого http://yadi.sk/d/i6R-44Cy2t8XE

слова Есенина http://yadi.sk/d/e2nYOWqM2uhpT

слова Блока http://yadi.sk/d/nsP90we52uhvh

слова Крылова http://yadi.sk/d/MJH4HcWT2uiAf

слова Мамина-Сибиряка http://yadi.sk/d/E_o84tkH2w160

слова Достоевского http://yadi.sk/d/VFM85FU-2x_rm

слова Некрасова http://yadi.sk/d/HukczPDf2xg15

слова Ершова http://yadi.sk/d/rsGVn9rK2xhOX

слова Авдеева http://yadi.sk/d/9drHQN0f2xiB5

словарь Островского http://yadi.sk/d/JMffeP8d2xkL5

слова Тютчева http://yadi.sk/d/3PVkXctL2zJsJ

слова Грина http://yadi.sk/d/2TRxvhT-2zJxf

слова Жуковского http://yadi.sk/d/TLeDHhYs2zMzT

слова Баратынского http://yadi.sk/d/QE85s4qw2zN8C

слова Горького http://yadi.sk/d/Y0OmJHZw2zNDG

слова Аксакова http://yadi.sk/d/F964JAj92zPR6

слова Бунина http://yadi.sk/d/Ktvj70h62zRvA

слова Витте http://yadi.sk/d/weEE7SVT3-NKn

слова Тургенева http://yadi.sk/d/L9TjBwEe3-NRf

слова Астафьева http://yadi.sk/d/xUaBfe5V3-cmo

слова Ефремова И. http://yadi.sk/d/FD-lBFpl30EfS

слова Анненского http://yadi.sk/d/74-J5qZX30wiD

слова Апухтина http://yadi.sk/d/Jm8-bR0u30wt1

слова Арсеньева http://yadi.sk/d/JylR35Q030wxl

слова Айпина http://yadi.sk/d/gkU4x2Wu30x0n

слова Л.Андреева http://yadi.sk/d/JZrwBVqH30x6h

cлова Арцыбашева http://yadi.sk/d/GSp9F0LC313bm

слова Батюшкова http://yadi.sk/d/_cz8_GdC313me

слова Цветаевой http://yadi.sk/d/Oil6SazY313u6

слова Циолковского http://yadi.sk/d/DV6sHQXA316j2

слова Пришвина http://yadi.sk/d/yC_PvA_-32jPI

слова Шолохова http://yadi.sk/d/3L9lsNj332y8T

слова Мавро Орбини http://yadi.sk/d/9o48zEQe37IFA

слова Егора Классена http://yadi.sk/d/loPjj08T37IQm

слова Булгакова http://yadi.sk/d/WRlOFTgY37Vwi

слова Туровой http://yadi.sk/d/JkHT3sZA37W1W

слова Зиганшина "Скитники" http://yadi.sk/d/k_0qa1cY37W7O

слово Паустовского http://yadi.sk/d/Brv20Bqd37gGP

слово Черкасова-Московитиной http://yadi.sk/d/X2v5e75737gIp

слово Ю.Сергеева http://yadi.sk/d/x4a-qKCw37md7

слово Мережковского http://yadi.sk/d/nqtu4cu037mid

слова из старых книг Алексеева С.Т. http://yadi.sk/d/ueVg5AtY382Pf

слова Салтыкова -Щедрина http://yadi.sk/d/RVvmQ4xu39JzM (огромный словарь больше 205000)

слова Бальмонта http://yadi.sk/d/LjJmlBfy39K8q

слова В.Каверина http://yadi.sk/d/128RCxTT39KDy

слова Толстого А.Н. http://yadi.sk/d/f_4YLaVg39KJA

слова Платонова А.П http://yadi.sk/d/aYHRbcoh39TwP

слова Бажова http://yadi.sk/d/_Am7PGMy39U7x

слова Лермонтова http://yadi.sk/d/ko5jIGqR39U9t

слова Зощенко http://yadi.sk/d/85vA2KSE39zOQ

слова Фета http://yadi.sk/d/8yI61hGp39zQe

слова В.Арсеньева http://yadi.sk/d/rpUDdMjQ3Aa7K

слова Катаева http://yadi.sk/d/ipZDqy9Y3AaM0

слова Заболоцкого http://yadi.sk/d/o5r507HN3AaVK

слова К.Пруткова http://yadi.sk/d/bS6VQm_l3Az7s

слова Б.Воробьёва http://yadi.sk/d/d8aQFFZQ3AzDo

слова В.Пикуля http://yadi.sk/d/BHSX_5UX3AzMP

слова Пастернака http://yadi.sk/d/ZySviN6A3AzWB

слова Меняйлова http://yadi.sk/d/5wGxHF_E3AzcH

слова Михайлова К. http://yadi.sk/d/jHaPrLTv3Azld

слова Пятибрата http://yadi.sk/d/1e0BtSsK3B9zc

слова Чернышевского http://yadi.sk/d/zQhmwB4Y3B9uU

слова Б.Васильева, светлая ему память... http://yadi.sk/d/u9Cw23NE3ClpU

слова Федосеева http://yadi.sk/d/gJuHjMF53Cm0y

слова Гемана Ю. http://yadi.sk/d/YNt6HySf3CmCO

слова Твардовского http://yadi.sk/d/W5cQR3D53CmKC

слова Шишкова В. http://yadi.sk/d/fk8gc4Lo3E_qq

слова Гайдара http://yadi.sk/d/7fWC7vzT3Ea-W

слова Ильфа и Петрова http://yadi.sk/d/_YeyB_mq3Ea9U

слова Липатова В. http://yadi.sk/d/XZUrBBjN3EaJi

слова Лиханова http://yadi.sk/d/12A3bXSD3EaRc

слова Пантелеева Л. http://yadi.sk/d/hPB0n6KT3Eahu




слова руских песен http://yadi.sk/d/nzJnwW_I3EaaI

словарь пословиц и поговорок http://yadi.sk/d/LEpIB1ZX3G6cm

словарь былин http://yadi.sk/d/WljV5TjY3Ac5x

словарь руских народных сказок (Афанасьев) http://yadi.sk/d/o8Vw9PNG2xa2e

словарь казачьих сказок http://yadi.sk/d/MOO9yjeR2xmIm

сказки Виктора http://yadi.sk/d/U24sAGCo2xqmz

Машковец "Сказки казачьего яика" http://yadi.sk/d/KGTp-AVs2xtKT

сказки Ончукова Н.Е записаные на руском северном говоре. Там
буква Ё везде поставлена. А в самой книге словарь в конце есть.

http://yadi.sk/d/Dq9u_Ip33MbyG

древнеславянские тексты

Слово Даниила Заточника, написанное им своему князю Ярославу Владимировичу
Поучение Владимира Мономаха
Письмо Епифания премудрого к Кириллу Тверскому
Сказание о князьях Владимирских
Сказание о Мамаевом побоище
Сказание о роскошном житии и веселии
Сказание об убиении в орде князя Михаила Черниговского
Повесть и сказание о прении живота со смертию и о храбрости его и о смерти его
Повесть о битве на реке Калке
Повесть о бражнике кака вниде в раи
Повесть о Горе и Злосчастии
Повесть о Петре и Февронии
Повесть о путешествии Иоанна Новгородского на бесе
Повесть о разорении Рязани Батыем
Повесть о Савве Грудцыне
Повесть о Тверском отрочем монастыре
Слово о Димитрии купце
Слово о житии и учении Святого отца нашего Стефана, епископа пермского
Слово о погибели Русской земли после смерти Великого князя Ярослава
Житие Александра Невского
Повесть о Фроле Скобееве
Повесть о Юлиании Лазаревской
Повесть об азовском осадном сидении донских казаков
Житие преподобного отца нашего Феодосия, игумена печерского
Житие преподобного Сергия Радонежского
Домострой
Задонщина
О житии Святого Михаила Христа ради Юродивого
Сказание о Ерше о Ершове
Суд Шемякин
Хождение за три моря Афанасия Никитина
Сказание и страдание и похвала святым мученикам Борису и Глебу
Повесть временных лет
Житие протопопа Аввакума, им самим написанное

http://yadi.sk/d/xyOd_W9l3AbrJ

том 1-7 по ссылке данной браговаром http://lib.pushkinskijdom.ru/Default.aspx?tabid=2070
http://yadi.sk/d/e0qMzYfl3D-VJ
том 8-14 http://yadi.sk/d/tDlXy_Ct3Eo72

Огромное спасибо Елене и брагавару , за помощь и подготовку файлов!


Последний раз редактировалось: Арина (Пн Мар 18, 2013 6:21 pm), всего редактировалось 13 раз(а)

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Сб Мар 09, 2013 10:42 am

Какие задачи теперь? Вначале объединить или править поотдельности?
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Сб Мар 09, 2013 10:44 am

Пока собранный словарь составляет 615000. Надо 800000 - чтоб потом он почистился где-то до 500000. Поэтому пока надо добрать ещё авторские словари.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Admin в Сб Мар 09, 2013 11:27 am

Сначала править букву Ё, потом программа сама очистит и доочистит, и можно приступать к работе.
avatar
Admin
Admin

Возраст : 58
Дата регистрации : 2008-08-31

http://prarod.forum2x2.ru

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Пн Мар 11, 2013 4:21 pm

Пока скопирую с форума цитату о дальнейшей методике хотя уже сомневаюсь что кому-то кроме нас словарь интересен..((

комбинированные методики применяемые при анализе информационных потоков - определённым образом объединить и попробовать получить ответ на вопрос. Наука такими методиками на данный момент времени владеет.
Могу подсказать процедуру методики, которая объединяет несколько методик, которые позволят получить описание каждого слога используемого в русском языке.
Для определения значения слога, требуется набрать список слов образующие таксон имеющие хоть одно общее свойство, которое потом экстраполируется на слог.
Обратить внимание на процедуру связывания слоговых свойств определённых из свойств таксонов. Предположим, слоговое представление слова ГОВОРИТ будет по тем правилам, которые мною озвучены выше = ГО ВО РИ ТЪ. Если изъять слог ВО из анализируемого слова, то получится ГО РИ ТЪ = ГОРИТ. По тем критериям, которые мы знаем на сегодняшний день, эти слова ГОВОРИТ и ГОРИТ разные по смыслу. Что происходит со смыслом слова, когда в него или из него вставляется или удаляется один слог. Как обвязывать свойства слогов составляющих конкретное слово, последовательно или как фантазия позволит. Все ли слоги можно сочетать друг с другом?
Можно ли узнать суть слога, путём его исключения из слов, суть которых известна? В данном случае ВО.
слова имеют право на существование и узнаваемы их «внутренние образы», внутри которых встречаются только те слоги с которых начинаются и заканчиваются слова. Для того чтобы получить список этих слогов, необходимо проанализировать только лишь глоссарий русских слов на предмет первых и последних слогов.
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Вт Мар 19, 2013 3:01 am

Admin пишет:Сначала править букву Ё, потом программа сама очистит и доочистит, и можно приступать к работе.
Арина, раздели пожалуйста поле деятельности. Чистить уже можно или нужно из общего файла это делать?
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Вт Мар 19, 2013 5:44 am

Тань надо сначала с общим файлом доразбираться, видимо его делить придётся на два- слишком большой получился.

А потом разделим по буквам и будем каждый букву брать и чистить от слов с ошибками + править букву Ё.

Ошибки наверное в словах будут в самом конце файла выпадать, если выравнивать по частоте употребляемости, потому что их должно быть мало. Но возможно придётся просматривать всё-таки все слова...

А вот для правки буквы Ё возможно лучше будет выборку делать слов, содержащих в себе букву Е. Предполагаю, что настройку сделать *Е* в первом столбике и уже в полученном править...


у кого ещё какое есть видение - как лучше сделать с ётизацией?

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Елена в Вт Мар 19, 2013 6:50 am

Да, придётся разделить по буквам, а уже потом доводить до ума.

1. Убрать двойные согласные.
Если НН можно заменить на Н автоматически ( а также ММ, ЛЛ, РР), то например, слово "ввод" нужно сразу переделывать на "въвод", иначе теряется смысл. Или слово ССУДА, тоже нельзя делать одну С автозаменой - потеряется смысл.

2. Ётирование:

Буква «ё» употребляется:

для передачи ударного гласного [o] и одновременно для указания на мягкость предшествующего согласного: гребёнка, овёс, молодёжь, ползём, лёжа, мёд, днём, пёс, брёл, всё, тётя, Фёдор (после г, к, х это возможно только в заимствованиях: Гёте, Кёльн, Хёглунд, ликёр, не считая единственного собственно русского слова ткёшь, ткёт, ткём, ткёте с производными, а также образованного в русском языке от заимствования слова паникёр);
для передачи ударного [o] после шипящих: жжём, чёрт, шёлк, щёлкать (в этой позиции выбор между написаниями через «ё» или через «о» задаётся достаточно сложной системой правил и списков слов-исключений);
для передачи сочетания [j] и ударного [o]:
o в начале слова: ёлка, ёж, ёмкость;
o после гласных: заём, её, остриё, боёк, куёт, плюём;
o после согласных (отделяется разделительным знаком): вьёт, бельё, объём.

В русских словах «ё» возможно только под ударением (хотя бы побочным: трёхместный, четырёхэтажный, лёссовидный); если же при словоизменении или словообразовании ударение уходит на другой слог, то «ё» заменяется на «е» (мёд — на меду́ — медо́вый, берёт — вы́берет, о чём — не́ о чем (но: ни о чём)).


3. Убрать заимствованные.

Понятно, что "мерчендайзер" убрать, а как быть с теми словами, что появились раньше? "Телевизор", например... -визор от видеть ушло совсем недалеко. Предки руских когда-то были и на территории Англии и Франции, и в Азии...

avatar
Елена

Географическое положение : Ростов-на-Дону
Дата регистрации : 2008-09-19
Настроение : Да будет Свет!

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 6:54 am

Поздравляю всех с Днём весеннего равноденствия! Свет прирастает над тьмой!
А ещё с днём Леса и днём Земли (хоть и недавно придумаными праздниками - но всё равно харошими) http://www.calend.ru/holidays/0/0/1176/

1330501859_83511328_eb0154cc7953 (560x700, 155Kb)

А вот и словарь долгожданный))

http://yadi.sk/d/JuycsbsR3Ov_Y

Он на одном листе никак не разместился(( Слов больше мильёна!!!

Сейчас его надо будет поделить на буквы (вечером сделаю) разделим их между собой и можно приступать к Ё-тизации и первичной чистке - от явных несуразиц. То есть фамилии, имена, иностранные слова, сдвоенные согласные - всё пока оставляем. Убираем только явные ошибки.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 7:11 am

А почему пока оставляем? Может сразу подряд чистить? Мильён на неск раз - долго..
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 7:14 am

Там программа дальше доочистит частично и мы не зная основ слов можем выкинуть значимые слова (помнишь Мавро Орбини). Брагавар предложил дельную мысль - помечать (например выделить цветом или выписать в отдельный файлик) сразу ещё сомнительные слова, чтоб их можно было обсудить.

Процесс очистки будет достаточно длительный. Но первый этап именно мусор и ё-тизация.

Admin пишет:Сначала править букву Ё, потом программа сама очистит и доочистит, и можно приступать к работе.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 7:36 am

первый этап именно мусор и ё-тизация - сразу удалять мусор и править ё? или только мусор? и какие его параметры? Опечатки?
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 7:46 am

опечатки, явные ошибки, которые из-за сканирования и перевода потом в вордовский документ случаются.

А букву ё может всё-таки через выборку слов с Е править - задаётся так *е*

(на работе ексель третий и не могу ничего толком сделать(( )

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 1:34 pm

Словари по алфавиту - их можно уже брать чистить и ётизировать!!! Только пишите - кто что, какую букву берёт))

Справа количество слов в каждом словаре (всего 1 172 097) - интересно - сколько останется в итоге?

Букву А взял Брагавар.

Зелёным выделено те что сделаны файлы
___________________

слова начинающиеся с :

А http://yadi.sk/d/8AdT7zR63PaxA 35682

Б
http://yadi.sk/d/vJ39i7SA3Pb8K 51045

В
http://yadi.sk/d/vJ39i7SA3Pb8K 81119

Г
http://yadi.sk/d/8bsSLaXl3PbGs 35568

Д
http://yadi.sk/d/ILRMtDJ43PbVk 45631

Е-Ё
http://yadi.sk/d/MDEVdFwG3PbLW 12207

Ж http://yadi.sk/d/w-rUYNSL3Pcjw 9283

З http://yadi.sk/d/46fPJSLs3Pcr8 51617

И http://yadi.sk/d/qkYepurj3PcwC 35178

Й http://yadi.sk/d/zUyk5Nkc3Pd2q 884

К http://yadi.sk/d/diBznCFJ3PepM 68716

Л http://yadi.sk/d/R-okVb3t3Pex2 27290

М http://yadi.sk/d/xqXAdeAn3Pf-W 49434

Н http://yadi.sk/d/AazmLB3Y3Pf5e 71576

О
http://yadi.sk/d/q1Mswg2X3PhNC 81549


П http://yadi.sk/d/rwEiNohn3PhT0 184695

Р http://yadi.sk/d/zqfZeT1Y3PhYW 56519

С http://yadi.sk/d/U-UBwnXz3Phba 108057


Т http://yadi.sk/d/EyOIYVaz3Phgq 39598

У http://yadi.sk/d/SZdnr85E3Pifu 35575


Ф http://yadi.sk/d/pK2dioF53PinO 15157

Х http://yadi.sk/d/LnUB0i6Z3Pitw 16318

Ц http://yadi.sk/d/ym-IXaW-3Pize 6470

Ч
http://yadi.sk/d/5ipUVEG-3Pni8 15131

Ш
http://yadi.sk/d/P15QbllM3Pnqc 15539

Щ
http://yadi.sk/d/LW9idjZV3Po-C 2430

ЪЫЬ
http://yadi.sk/d/zE8Dxax83PoAy (920 мне кажется, что там сплошные ошибки))

Э
http://yadi.sk/d/vtWMx_xR3PoIK 11075

Ю
http://yadi.sk/d/M1IrTi_Q3PoQy 2370

Я
http://yadi.sk/d/yZmvUYJT3Poae 5464



Последний раз редактировалось: Арина (Вт Май 07, 2013 6:46 pm), всего редактировалось 22 раз(а)

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:00 pm

Пусть я буду вторая. Сейчас скачала, открыла, попробовала редактировать и закрыть - всё получилось. Единственная просьба - скажите источники откуда столько слов незнакомых...? На какую они тему..? Не знаю что и делать, или искать каждое непонятное (значение и на предмет заимствования) или же сразу править удалять все незнакомые?? Получится тогда что я слишком много удаляю слов..
И второй ещё вопрос - оставлять ли слова разные словарные формы (числа и лица времени например)?
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 3:02 pm

словарные формы обязательно оставлять!
удаляй только явные несуразицы, если сомневаешься - выдели слово цветом, потом посмотрим на него ещё раз. Я посмотрела - много остатков слов после переноса...

Тогда я на себя возьму букву В.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:07 pm

Можно для скорости выделять цветом да. А потом править. Я просто боюсь что очень много выделю там...
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 3:08 pm

у меня те же опасения(( столько слов и сочетаний незнакомых...

совсем явное всё-таки удаляй сразу...

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:09 pm

А заимстования как удалять или нет? Или названия, всякие баалы, баальбеки??
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 3:10 pm

нет, пока не удаляй. Они возможно наши.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:11 pm

И ещё как цветом выделять быстро ячейки...??
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 3:13 pm

Вкладка "Главная" (вторая после файла вверху) там есть цвет заливки - выбирай какой нравится.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:16 pm

Я так и делаю но у меня 1 раз выделяется, затем опять без цвета выделяется.
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 3:18 pm

а под леечкой цвет проявлен у тебя? Сейчас попробовала - если он там есть то всё хорошо, хоть сколько раз подряд.

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:25 pm

Ну конечно. Но каждый раз только один раз выделяется((((
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 3:45 pm

Не буду я тогда ничего выделять. Время жалко на это пол-вечера прошло. Я буду сразу удалять.
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 4:01 pm

Арин ещё вопрос, как быть с орфографией? Например слово баальшой - надо исправлять на большой? так? или оставлять разг. вариант?
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 4:03 pm

не знаю. По идее может оду А убрать, ведь в разговорных "ошибках" часто кроется родовая память, помнишь как у Данилы?


Может Админ нам подскажет?

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 4:05 pm

да, наверное деревенский говор надо оставлять орфографию.
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 4:18 pm

БЯРОЗКА - не поднимается рука удалять.. красиво)) и бяха бехом - видимо из санскрита)
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Арина в Ср Мар 20, 2013 4:19 pm

))) это бы тебе тоже понравилось
ВАДЖР
ВАДЖРА
ВАДЖРАБХАЙРАВА
ВАДЖРАВАРАХИ
ВАДЖРАДХАРА
ВАДЖРАДХАРЕ
ВАДЖРАДХАРОЙ
ВАДЖРАДХАРЫ
ВАДЖРАЙОГИНИ
ВАДЖРАПАНИ
ВАДЖРАСАНА
ВАДЖРАСАНУ
ВАДЖРАСАНЫ
ВАДЖРАСАТТВА
ВАДЖРАСАТТВЕ
ВАДЖРАСАТТВОЙ
ВАДЖРАСАТТВУ
ВАДЖРАСАТТВЫ
ВАДЖРАХАРЫ
ВАДЖРАХРИК
ВАДЖРАЯНЕ
ВАДЖРАЯНЫ
ВАДЖРЕ
ВАДЖРНАЯ
ВАДЖРНОГО
ВАДЖРНОЙ
ВАДЖРНЫЙ
ВАДЖРНЫМ
ВАДЖРОВЫМ
ВАДЖРОЙ
ВАДЖРОЛИ
ВАДЖРУ
ВАДЖРЫ

\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/\/
«Путь — это всего лишь путь. Ты спросишь: “Есть ли у этого пути сердце?” Если есть, то это хороший путь; если нет, то от него никакого толку».
avatar
Арина

Географическое положение : Урал
Дата регистрации : 2008-09-01

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Runes в Ср Мар 20, 2013 5:08 pm

какая прекрасная работа! столько нового узнаёшь.. и столько слов из небытия возвращается.. и так чисто без лишних... как долго правда мы сможем всё осилить - не знаю. Smile
avatar
Runes

Возраст : 47
Дата регистрации : 2010-02-28

Вернуться к началу Перейти вниз

Re: Сказ о добЫче слов для словаря литературного русского языка.

Сообщение автор Спонсируемый контент


Спонсируемый контент


Вернуться к началу Перейти вниз

Страница 1 из 5 1, 2, 3, 4, 5  Следующий

Вернуться к началу


 
Права доступа к этому форуму:
Вы не можете отвечать на сообщения